KR102458270B1 - 비가시권 비행 uav의 vr 기반 모니터링 장치 및 방법 - Google Patents

비가시권 비행 uav의 vr 기반 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR102458270B1
KR102458270B1 KR1020210163469A KR20210163469A KR102458270B1 KR 102458270 B1 KR102458270 B1 KR 102458270B1 KR 1020210163469 A KR1020210163469 A KR 1020210163469A KR 20210163469 A KR20210163469 A KR 20210163469A KR 102458270 B1 KR102458270 B1 KR 102458270B1
Authority
KR
South Korea
Prior art keywords
flight
unmanned aerial
aerial vehicle
area
flight path
Prior art date
Application number
KR1020210163469A
Other languages
English (en)
Other versions
KR102458270B9 (ko
Inventor
김태훈
윤준희
박기태
김지은
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020210163469A priority Critical patent/KR102458270B1/ko
Application granted granted Critical
Publication of KR102458270B1 publication Critical patent/KR102458270B1/ko
Publication of KR102458270B9 publication Critical patent/KR102458270B9/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • B64C2201/141

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

비가시권 자율 비행을 위한 UAV의 VR 기반 모니터링 장치 및 방법이 제공된다. 격자지도 생성 모듈은 가상현실(VR: Virtual Reality) 공간에서 무인 비행체가 비행할 지역에 대한 3D 입체격자지도를 생성하고, 비행 경로 산정 모듈은 3D 입체격자지도를 이루는 격자들 중 상기 무인 비행체의 임무 수행 지점을 나타내는 격자들을 기준으로 비행 경로를 산정하고, 모니터링 모듈은 무인 비행체가 비행 경로를 따라 비행하는 동안 촬영한 촬영 영상과 무인 비행체의 상태정보를 기반으로 무인 비행체의 비행을 VR 공간에서 실시간 가시화할 수 있다.

Description

비가시권 비행 UAV의 VR 기반 모니터링 장치 및 방법{VR-based monitoring apparatus and method for non-visible flight drones for autonomous flight of drones}
본 발명은 비가시권 자율 비행을 위한 UAV의 VR 기반 모니터링 장치 및 방법에 관한 것으로서, 보다 상세하게는, 무인 비행체의 자율 비행을 위한 3D 좌표로 이루어진 경로를 제공하고 가상현실 기반으로 무인 비행체의 운항을 모니터링할 수 있는 비가시권 자율 비행을 위한 UAV의 VR 기반 모니터링 장치 및 방법에 관한 것이다.
시설물 유지관리 분야에서 육안으로 관리가 힘들거나 광범위한 지역에 걸친 인프라의 운영관리를 위해 도론과 같은 무인 비행체(UAV: Unmanned Aerial Vehicle)의 활용성 및 필요성이 증가하는 추세에 있다.
현재 GCS(Ground Control Station)를 이용한 도론의 자율주행 방법은 드론 운용자가 도론의 경로(좌표)를 선정하여 드론에게 전달하면, 드론이 약속된 경로로 운항하면서 자체의 위치를 GCS로 발신하고, 운용자는 GCS 상에서 2차원으로 모니터링한다.
이로써 도론의 경로계획을 위한 좌표는 3D로 주어지지만 드론 운용자가 사용하는 컴퓨터 또는 태블릿 또는 GCS의 화면이 2차원 인터페이스를 제공하기 때문에, 드론이 비행하여야 하는 3D 좌표를 정확히 특정하기 어렵다.
또한, 드론이 3D 대상물에 근접하여 3D 경로를 따라 촬영하기 위해서는 대상물(또는 장애물)과 충돌하지 않는 적절한 거리를 계산하여 비행 좌표를 계산하여야 하나 공중의 좌표를 지상에서 측정하는 것은 불가능하다.
운항중인 드론이 장애물에 접근하는지의 여부는 드론 운용자의 위치에서 육안으로 확인하거나, 드론에 장착되어 있는 카메라를 GCS를 통해 육안 확인하거나, 드론에 설치되어 있는 레이더 등을 활용하여 확인 가능하다.
그러나, 드론이 비가시권을 비행하거나 야간 비행 시에는 드론 운용자는 드론 운용자의 위치에서 육안으로 확인이 불가하며, 드론 장착 카메라를 활용할 경우 카메라 화각의 한계로 인해 장애물의 근접 여부 판단에 한계가 있다.
국내 등록특허 10-1815028호(2017년12월28일 등록)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 장애물과 충돌하지 않으면서 촬영할 수 있도록 3D 좌표로 이루어진 경로를 무인 비행체에게 제공하고 가상현실 기반으로 무인 비행체의 운항을 모니터링할 수 있는 비가시권 자율 비행을 위한 UAV의 VR 기반 모니터링 장치 및 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 무인 비행체의 자율 비행을 위한 비행 경로를 제공하고 자율 비행을 모니터링하는 장치는, 가상현실(VR: Virtual Reality) 공간에서 무인 비행체가 비행할 지역(이하, '비행 지역'이라 한다)에 대한 3D 입체격자지도를 생성하는 격자지도 생성 모듈; 상기 3D 입체격자지도를 이루는 격자들 중 상기 무인 비행체의 임무 수행 지점을 나타내는 격자들을 기준으로 비행 경로를 산정하는 비행 경로 산정 모듈; 및 상기 무인 비행체가 비행 경로를 따라 비행하는 동안 촬영한 촬영 영상과 상기 무인 비행체의 상태정보를 기반으로 상기 무인 비행체의 비행을 VR 공간에서 실시간 가시화하는 모니터링 모듈;을 포함한다.
상기 비행 지역에 위치하는 비행 장애물의 3D 객체 모델링 데이터와 상기 비행 장애물의 영상데이터를 매핑하여 상기 비행 지역에 대한 3D VR 데이터를 구축하는 VR 데이터 구축 모듈;을 더 포함한다.
상기 격자지도 생성 모듈은, 비행 장애물로 이루어진 비행 장애물 영역과 상기 비행 장애물을 불포함하는 비행 가능 영역을 포함하는 비행 지역에 대한 3D 입체격자지도를 생성한다.
상기 비행 경로 산정 모듈은, 상기 무인 비행체의 임무 수행 지점이 선택되면, 상기 선택된 임무 수행 지점이 속한 격자의 중심점을 관심점으로 지정하는 관심점 지정부; 상기 관심점 지정부에서 지정된 하나 이상의 관심점들을 연결하여 최적의 비행 경로를 산정하는 비행 경로 산정부; 및 상기 비행 경로 산정부에서 산정된 비행 경로가 상기 무인 비행체로 전송되도록 처리하는 비행 경로 전송부;를 포함한다.
상기 모니터링 모듈은, 상기 무인 비행체가 임무 수행 지점에서 임무를 수행한 임무 수행 결과와 상기 무인 비행체의 상태정보를 수신하는 정보 수신부; 및 상기 무인 비행체의 상태정보를 기반으로 무인 비행체의 현재 위치를 상기 3D 입체격자지도에 실시간으로 매핑하여 VR 기반으로 가시화하는 VR 뷰어와, 상기 무인 비행체의 임무 수행 결과를 가시화하는 임무 가시화 영역과, 상기 비행 지역에 설정된 비행 경로와 임무 수행 지점을 2차원으로 가시화하는 평면 가시화 영역을 포함하는 모니터링 화면을 생성하는 3D 모니터링부;를 포함한다.
상기 비행 경로 산정 모듈에서 산정되는 비행 경로는 GCS(Ground Control Station)을 통해 무인비행체로 전달되고, 상기 무인비행체에서 획득되는 임무 수행 결과와 상태정보는 상기 GCS를 통해 모니터링 모듈로 전달된다.
한편, 무인 비행체의 자율 비행을 위한 비행 경로를 제공하고 자율 비행을 모니터링하는 방법은, (A) 전자장치가, VR(Virtual Reality, 가상현실) 공간에서 무인 비행체가 비행할 지역(이하, '비행 지역'이라 한다)에 대한 3D 입체격자지도를 생성하는 단계; (B) 상기 전자장치가, 상기 3D 입체격자지도를 이루는 격자들 중 상기 무인 비행체의 임무 수행 지점을 나타내는 격자들을 기준으로 비행 경로를 산정하는 단계; 및 (C) 상기 전자장치가, 상기 무인 비행체가 비행 경로를 따라 비행하는 동안 촬영한 촬영 영상과 상기 무인 비행체의 상태정보를 기반으로 상기 무인 비행체의 비행을 VR 공간에서 실시간 가시화하는 단계;를 포함한다.
상기 (A) 단계 이전에, (D) 상기 전자장치가, 상기 비행 지역에 위치하는 비행 장애물의 3D 객체 모델링 데이터와 상기 비행 장애물의 영상데이터를 매핑하여 상기 비행 지역에 대한 3D VR 데이터를 구축하는 단계;를 더 포함한다.
상기 (A) 단계는, 비행 장애물로 이루어진 비행 장애물 영역과 상기 비행 장애물을 불포함하는 비행 가능 영역을 포함하는 비행 지역에 대한 3D 입체격자지도를 생성한다.
상기 (B) 단계는, (B1) 상기 무인 비행체의 임무 수행 지점이 선택되면, 상기 선택된 임무 수행 지점이 속한 격자의 중심점을 관심점으로 지정하는 단계; (B2) 상기 (B1) 단계에서 지정된 하나 이상의 관심점들을 연결하여 최적의 비행 경로를 산정하는 단계; 및 (B3) 상기 (B2) 단계에서 산정된 비행 경로가 상기 무인 비행체로 전송되도록 처리하는 단계;를 포함한다.
상기 (C) 단계는, (C1) 상기 무인 비행체가 임무 수행 지점에서 임무를 수행하여 획득한 임무 수행 결과와 촬영 영상과 상기 무인 비행체의 상태정보를 수신하는 단계; 및 (C2) 상기 무인 비행체의 상태정보를 기반으로 무인 비행체의 현재 위치를 상기 3D 입체격자지도에 실시간으로 매핑하여 VR 기반으로 가시화하는 VR 뷰어와, 상기 무인 비행체의 임무 수행 결과를 가시화하는 임무 가시화 영역과, 상기 비행 지역에 설정된 비행 경로와 임무 수행 지점을 2차원으로 가시화하는 평면 가시화 영역을 포함하는 모니터링 화면을 생성하는 단계;를 포함한다.
상기 (B) 단계에서 산정되는 비행 경로는 GCS(Ground Control Station)을 통해 무인비행체로 전달되고, 상기 무인비행체에서 획득되는 임무 수행 결과와 상태정보는 상기 GCS를 통해 상기 (C) 단계로 전달된다.
본 발명에 따르면, 무인 비행체가 비가시권 영역을 비행하는 동안 장애물과 충돌하지 않으면서 장애물 또는 주변을 촬영할 수 있도록 3D 좌표로 이루어진 경로를 무인 비행체에게 제공하고, 촬영 영상과 무인 비행체의 비행 상황을 가상현실 기반으로 모니터링할 수 있도록 VR 화면에 가시화하여 모니터링 편의와 효율을 높일 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 무인 비행체의 자율 비행 경로 제공 및 VR 기반 모니터링 시스템을 도시한 도면,
도 2는 본 발명의 실시 예에 따른 무인비행체(20)의 자율 비행 경로 제공 및 VR 기반 모니터링 장치(100)를 도시한 블록도,
도 3 및 도 4는 VR 데이터 구축 모듈(151)에서 생성된 VR 데이터 구축 결과를 보여주는 예시도,
도 5는 VR 서비스 어플리케이션이 실행된 후 비행 지역의 VR 데이터를 불러온 제1비행 경로 산정 화면(500)을 도시한 예시도,
도 6은 비행 지역의 VR 공간에서 격자를 생성한 제2비행 경로 산정 화면(600)을 도시한 예시도,
도 7은 도 2에 도시된 비행 경로 산정 모듈(155)을 자세히 도시한 블록도,
도 8은 격자가 활성화된 비행 지역의 VR 공간에서 비행 경로를 산정하는 제3비행 경로 산정 화면(800)을 도시한 예시도,
도 9는 도 2에 도시된 모니터링 모듈(157)을 자세히 도시한 블록도,
도 10은 무인비행체(20)가 비행하는 동안 제공되는 모니터링 화면(1000)을 도시한 예시도,
도 11은 본 발명의 실시 예에 따른 무인 비행체의 자율 비행 경로 제공 및 VR 기반 모니터링 방법을 개략적으로 도시한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다.
또한, 제1구성요소가 제2구성요소 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1구성요소는 제2구성요소가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2구성요소와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.
어떤 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 어떤 구성요소가 구현됨에 있어서 특별한 언급이 없다면, 그 구성요소는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
또한, 본 명세서에서 '부', '모듈', '시스템', '플랫폼', '장치' 또는 '단말' 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되거나 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 지칭하는 것으로 의도될 수 있다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 상기 용어들은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것이 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
도 1, 도 2, 도 7 및 도 9에 도시된 각각의 구성은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
무인비행체(UAV)의 자율비행을 위해서는 정확한 경로 계획 및 비행 상태 모니터링이 필요하다. 상업용 UAV 운용앱의 경로계획은 2차원 지도에 관심점을 지정하고, 지상으로부터 관심점까지의 높이를 입력하여 비행 경로를 계획함으로써 정확한 3D 경로계획 수립에 한계가 있다.
또한, 무인 비행체의 카메라에만 의존하는 기존의 주변 위험 인지방식은 카메라 화각의 한계를 극복하기 어렵다.
따라서, 본 발명의 실시 예에서는 가상현실(VR: Virtual Reality) 기반의 무인 비행체의 비행 경로를 계산하고, 비행 상황을 모니터링하는 시스템을 제안한다. 본 발명의 실시 예는, 첫째, 무인 비행체가 비행할 지역의 VR 데이터를 구축한다. VR 데이터 구축에는 지형데이터, 건물의 3D 객체모델, 그리고 건물의 영상이 활용된다. 둘째, 무인 비행체의 비행데이터 연계모듈을 설계한다. 무인 비행체의 비행상태 데이터를 실시간으로 전달받을 수 있는 연계모듈의 구조와 주요 클래스를 설계한다. 셋째, VR 기반으로 비행 경로를 계획하고, 비행 상태를 실시간으로 모니터링하는 시스템의 응용아키텍처를 설계한다. 넷째, 시스템의 구현 결과를 나타낸다.
구현 결과, 무인비행체에 장착된 센서에만 의존한 일인칭 시점의 한계를 극복하여 삼인칭 시점의 실시간 무인비행체와 장애물 간의 위치 관계를 파악할 수 있는 효과를 제공하며, 무인비행체를 활용한 다양한 비가시 지역에 대한 모니터링 시스템 구현으로 확장될 수 있을 것으로 판단된다.
도 1은 본 발명의 실시 예에 따른 무인 비행체의 자율 비행 경로 제공 및 VR 기반 모니터링 시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 무인 비행체의 자율 비행 경로 제공 및 VR 기반 모니터링 시스템은 지상 조종 장치(GCS: Ground Control Station)(10), 무인비행체(UAV)(20) 및 자율 비행 경로 제공 및 VR 기반 모니터링 장치(100)를 포함할 수 있다.
무인비행체(20)는 수동형 조종 또는 자동형 조종에 의해 비행하는 도론과 같은 비행체이다. 수동형 조종 방식은 조종사의 시야 내에서 지상 조종 장치(10)를 통해 무인비행체(20)를 운용하거나 시야 밖에서 통신기기가 탑재된 임베디드 시스템을 통해 운용된다. 자동형 조종 방식은 조종사의 제어없이 자율적 비행 및 임무수행을 하는 방식으로, 무인비행체(20)에 GPS 모듈이 내장되어 GPS 모듈이 인식할 수 있는 좌표 형태의 비행 경로를 미리 계획하여 무인비행체(20)에 전달함으로써 자율 비행과 임무를 수행할 수 있다.
이를 위해, 무인비행체(20)는 지상 조종 장치(10)로부터 비행 경로와 임무 수행 명령을 수신하여 저장하고, 비행 경로를 따라 비행하면서 획득되는 촬영영상과 무인비행체(20)의 상태정보와 임무 수행 결과를 지상 조종 장치(10)로 주기적으로 또는 실시간으로 전송할 수 있다.
촬영영상은 실시간 동영상이거나, 정해진 지점에서 촬영한 정지영상 또는 동영상일 수 있다. 무인비행체(20)는 상태정보는 무인비행체(20)의 비행 속도, 현재 비행 위치(위도, 고도, 경도)와 자세정보, 카메라 3D 위치 및 자세정보(Pitch, Yaw, Roll), 배터리 정보(온도, 잔여량 등)를 포함한다.
지상 조종 장치(10)는 자율 비행 경로 제공 및 VR 기반 모니터링 장치(100)의 비행 경로 산정 모듈(155)에서 산정된 비행 경로와 임무 수행 명령을 무인비행체(20)에게 전달하고, 무인비행체(20)로부터 수신한 임무 수행 결과와 촬영영상과 상태정보를 장치(100)의 모니터링 모듈(157)로 전송할 수 있다. 지상 조종 장치(10)와 장치(100)는 USB(Universal Serial Bus) 인터페이스로 연결되거나 유무선 네트워크 통신가능하도록 연결될 수도 있다.
자율 비행 경로 제공 및 VR 기반 모니터링 장치(100)는 무인비행체(20)의 자율 비행을 위한 최적의 비행 경로를 산정하여 임무 수행 명령과 함께 제공하고, 무인비행체(20)가 전달한 촬영영상과 상태정보를 실시간으로 3D 모델링 화면을 통해 제공하거나 가상 현실(VR: Virtual Reality) 기반으로 제공하여 무인비행체(20)의 비행을 모니터링하도록 할 수 있다.
도 2는 본 발명의 실시 예에 따른 무인비행체(20)의 자율 비행 경로 제공 및 VR 기반 모니터링 장치(100)를 도시한 블록도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 무인비행체(20)의 자율 비행 경로 제공 및 VR 기반 모니터링 장치(100)는 사용자 인터페이스부(110), 통신 인터페이스부(120), 스토리지(130), 메모리(140) 및 프로세서(150)를 포함할 수 있다.
사용자 인터페이스부(110)는 사용자와 장치(100) 간의 인터페이싱을 위한 장치로서, 표시패널, 키보드, 마우스 등 다양한 입출력 장치를 포함할 수 있다.
통신 인터페이스부(120)는 무인비행체(20)의 비행 경로와 임무 수행 명령을 지상 조종 장치(10)로 전송하고, 지상 조종 장치(10)로부터 무인비행체(20)가 수행한 임무 수행 결과, 촬영영상과 무인비행체(20)의 상태정보를 수신하기 위한 통신 회로를 포함한다.
스토리지(130)는 무인비행체(20)의 비행 경로를 작성하는데 필요한 비행 지역의 3D VR 데이터와, 무인비행체(20)의 비행 경로와 무인비행체(20)에게 주어질 임무와 임무 수행 지점에 대한 정보를 저장하고, 무인비행체(20)로부터 전달되는 임무 수행 결과, 촬영영상 및 상태정보를 저장할 수 있다. 비행 지역은 무인비행체(20)가 비행할 지역을 의미한다.
메모리(140)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(140)에는 장치(100)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(110~150)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
메모리(140)에 저장되는 프로그램은 VR 데이터를 구축하기 위한 VR 구축 프로그램과, VR 서비스 어플리케이션을 포함할 수 있다. VR 서비스 어플리케이션은 VR 데이터에서 무인비행체(20)의 비행 경로를 생성하고, 비행 경로에 따라 비행한 무인비행체(20)의 비행 결과를 3D로 가시화하여 모니터링 서비스를 제공할 수 있다.
프로세서(150)는 메모리(140)에 저장된 하나 이상의 프로그램을 실행하여 장치(100)의 전반적인 동작을 제어한다.
예를 들어, 프로세서(150)는 메모리(140)에 저장된 VR 구축 프로그램을 실행하여 비행 지역에 대한 VR 데이터를 구축하고, VR 서비스 어플리케이션을 실행하여 VR 데이터로부터 VR 공간을 구축하고 3D 비행 경로를 생성하며, 무인비행체(20)의 비행과 관련된 상태를 3D VR 공간에 가시화할 수 있다.
이를 위하여, 프로세서(150)는 VR 데이터 구축 모듈(151), 격자지도 생성 모듈(153), 비행 경로 산정 모듈(155) 및 모니터링 모듈(157)을 포함할 수 있다.
VR 구축 프로그램이 실행되면 사용자 인터페이스부(110)를 통해 입력되는 사용자 명령에 따라, VR 데이터 구축 모듈(151)은 무인비행체(20)가 비행할 비행 지역의 지형데이터와, 비행 지역에 위치하는 비행 장애물의 3D 객체 모델링 데이터와, 비행 장애물의 영상데이터를 매핑하여 비행 지역에 대한 3D VR 데이터를 구축할 수 있다. 비행 장애물은 건물, 전선, 탑, 나무 등 비행에 장애를 주는 지형 지물이다. VR 데이터 구축 모듈(157)은 장치(100)에서 생략가능하며, 이러한 경우, 외부 전자 장치(미도시)에서 VR 데이터가 구축되어 스토리지(130)에 저장될 수도 있다.
자세히 설명하면, VR 데이터 구축 모듈(151)은 3D 모델링과 텍스처 매핑된 데이터로 정의되는 비행 지역에 대한 3D VR 데이터를 구축할 수 있다. 예를 들어, VR 데이터 구축 모듈(151)은 비행 지역에 위치하는 건물들은 3D 모델링 후 텍스처 매핑을 통해 실감형 모델로 구축하고, 비행 지역 외의 주변 건축물은 텍스처 매핑 없이 3D 모델링만 수행할 수 있다. 지형 지물이 무인비행체(20)가 비행할 때의 장애물 확인 역할로만 활용된다면 텍스처 매핑은 생략될 수 있다. 본 발명의 실시 예에서는 무인비행체(20)가 관심점(Point of Interest)을 경유하여 이동하는 것을 가정하였으며 관심점의 육안 확인을 위해 텍스처 매핑을 수행한다.
3D 모델링 및 텍스쳐 매핑을 위해서는 지형데이터, 건물의 3D 객체모델, 그리고 건물의 영상 등이 필요하다. 지형데이터는 국토지리정보원에서 무료로 수집이 가능한 1:5000 수치지도를 이용하여 수치표고모델(Digital Elevation Model, DEM)를 제작하여 활용하며, VR 데이터 구축 모듈(151)은 제작된 지형형상정보 위에 25cm급 해상도 항공영상 데이터를 수집하여 3D 지형을 구축하여 시각화할 수 있다.
또한, VR 데이터 구축 모듈(151)은 항공 영상을 활용하여 건물의 3D 모델링과 텍스처 매핑을 수행하고, 텍스처 매핑된 건물 이외의 주변 건물은 행정안전부 도0로명주소에서 제공하고 있는 2차원 건물 레이어 상의 건물 층수에 3m를 곱하여 3D로 모델링한다.
도 3 및 도 4는 VR 데이터 구축 모듈(151)에서 생성된 VR 데이터 구축 결과를 보여주는 예시도이다.
도 3을 참조하면, VR 데이터 구축 모듈(151)에서 생성된 VR 데이터 중 특정 건물에 텍스처 매핑되어 있다. 도 4를 참조하면, 대상 지역 전체, 즉, 비행 지역 전체에 대해 구축된 VR 데이터로 구현되는 VR 공간이 도시된다.
다시 도 2를 참조하면, VR 서비스 어플리케이션이 실행되면, 격자지도 생성 모듈(153), 비행 경로 산정 모듈(155) 및 모니터링 모듈(157)은 사용자 인터페이스부(110)를 통해 입력되는 사용자 명령에 따라 비행 경로를 산정하기 위한 비행 경로 산정 화면들을 생성하여 비행 경로를 산정하고, 무인비행체(20)의 비행 상태를 모니터링하기 위한 모니터링 화면들을 생성하여 사용자 인터페이스부(110)로 제공할 수 있다.
도 5는 VR 서비스 어플리케이션이 실행된 후 비행 지역의 VR 데이터를 불러온 제1비행 경로 산정 화면(500)을 도시한 예시도이다.
도 5를 참조하면, 제1비행 경로 산정 화면(500)은 3D 뷰어(510), 지도 영역(520), 상태정보 영역(530), 촬영영상 영역(540) 및 기능 버튼 영역(550)을 포함한다.
3D 뷰어(510)는 무인비행체(20)가 비행할 대상 지역(즉, 비행 지역)의 VR 데이터를 이용하여 3차원 VR 공간으로 보여준다. 3D 뷰어(510)는 경사각 방향 시점으로 비행 지역을 3D VR 공간으로 보여준다.
지도 영역(520)은 천저각 방향의 비행 지역을 보여준다.
상태정보 영역(530)은 무인비행체(20)로부터 전송되는 무인비행체(20)의 현재 상태정보를 보여준다.
촬영영상 영역(540)은 무인비행체(20)로부터 전송되는 촬영영상을 실시간으로 보여주거나, 임무 수행 결과를 보여줄 수 있다.
기능 버튼 영역(550)은 VR 서비스 어플리케이션이 제공하는 다수의 기능들 중 비행 경로 산정 및 모니터링과 관련된 기능을 요청하기 위한 다수의 버튼들을 보여준다. 기능 버튼 영역(500)에 표시된 아이콘들은 예를 들어, 격자활성화, 관심점 입력, 최적경로 계산, GCS 전송, UAV 전송, 미션 시작, 미션 멈춤, 귀환, 그리고 네트워크 상태를 의미한다.
격자지도 생성 모듈(153)은 VR 데이터로 구축되는 VR 공간에서 무인비행체(20)가 비행할 비행 지역에 대한 3D 입체격자지도를 생성할 수 있다.
도 6은 비행 지역의 VR 공간에서 격자를 생성한 제2비행 경로 산정 화면(600)을 도시한 예시도이다.
도 6을 참조하면, 기능 버튼 영역(650) 중 격자활성화 버튼이 선택되면, 격자지도 생성 모듈(153)은 사용자 인터페이스부(110)를 통해 설정되는 격자 크기에 따라 비행 지역에 대한 격자를 지구좌표를 기반으로 생성하여 3D 입체격자지도를 생성하여 3D 뷰어(610)에 표시할 수 있다. 이 때, 격자지도 생성 모듈(153)은 지형 지물을 포함하는 비행 장애물로 이루어진 비행 장애물 영역과 비행 장애물을 불포함하는 비행 가능 영역을 포함하는 비행 지역에 대한 3D 입체격자지도를 생성하여 3D 뷰어(610)에 표시할 수 있다.
격자지도 생성 모듈(153)은 사용자 요청에 따라, 비행 장애물 영역 또는 비행 가능 영역 중 어느 하나만 격자를 생성할 수도 있다.
또한, 격자지도 생성 모듈(153)은 비행 장애물 영역의 격자와 비장애물 영역의 격자를 서로 다른 형태나 색상으로 가시화하거나 둘 중 하나만 가시화함으로써, 사용자로 하여금 육안으로 비행 가능 영역과 비행 불가능 영역이 인지되도록 할 수 있다.
또한, 격자지도 생성 모듈(153)은 VR 데이터 중 건물과 지표면에 해당하는 격자의 속성을 장애물로 설정하여, 비행 경로로 지정되지 못 하도록 할 수 있다. 따라서, 도 6에 도시된 것처럼, 비행 지역에 대한 3D 입체격자지도 중 비행 장애물 영역을 포함하는 격자들(하늘색으로 표시됨)이 활성화되면, 격자지도 생성 모듈(153)은 속성이 장애물로 설정된 격자들은 비행 경로가 되지 못 하도록 한다.
격자의 속성은, 사용자가 건물에 해당하는 영역 또는 격자를 선택하면 격자지도 생성 모듈(153)이 선택된 영역 또는 격자를 포함하는 건물, 지형 지물 또는 지표면을 자동으로 인식하고, 장애물 또는 비장애물 속성으로 설정할 수 있다. 또는, 격자 지도 생성 모듈(153)은 사용자가 건물에 해당하는 영역 또는 격자를 선택하면 수치표고모델에 설정된 속성과 연동하여 각 격자를 장애물 또는 비장애물 속성으로 설정할 수 있다.
또한, 운용자에 의해 설정되는 격자의 크기는 예를 들어, 실제 거리인 5m x 5m의 크기로 설정될 수 있다. 격자의 크기는 시스템 상에서 가변가능하며, 무인비행체(20)의 비행 오차 및 VR 데이터의 정확도와 관련이 있다. 움직이는 무인비행체(20)는 바람 또는 기기오차에 의해 일정한 위치오차를 가질 수 있으며 VR 데이터의 위치 오차가 크다면 안전율을 고려하여 보다 큰 격자를 구성하도록 운용자에게 안내할 수 있다. 다만, 격자의 크기가 클수록 근접 촬영 등의 세밀한 비행에 영향을 끼칠 수 있다.
다시 도 2를 참조하면, 비행 경로 산정 모듈(155)은 3D 입체격자지도를 이루는 격자들 중 무인 비행체의 임무 수행 지점을 나타내는 격자들을 기준으로 비행 경로를 산정할 수 있다.
도 7은 도 2에 도시된 비행 경로 산정 모듈(155)을 자세히 도시한 블록도이고, 도 8은 격자가 활성화된 비행 지역의 VR 공간에서 비행 경로를 산정하는 제3비행 경로 산정 화면(800)을 도시한 예시도이다.
도 7을 참조하면, 비행 경로 산정 모듈(155)은 관심점 지정부(155a), 비행 경로 산정부(155b) 및 비행 경로 전송부(155c)를 포함한다.
관심점 지정부(155a)는 무인비행체(20)의 임무 수행 지점(주변 촬영을 위한 촬영 지점, 물류 배송 지점 등)이 3D 뷰어(810)에서 선택되면, 선택된 임무 수행 지점이 속한 격자(보라색, 1~4)의 중심점을 관심점으로 지정할 수 있다. 운용자는 사용자 인터페이스부(110)를 조작하여 3D 뷰어(810)에 표시된 3D 입체격자지도에서 임무를 수행할 지점을 선택할 수 있으며, 관심점 지정부(155a)는 선택된 지점이 해당하는 격자의 중심점을 관심점으로 지정한다.
또한, 운용자가 관심점을 선택하면, 관심점 지정부(155a)는 임무 수행 명령을 작성하고 출발점과 도착점을 운용자로부터 입력받기 위한 화면(미도시)를 생성할 수 있다. 운용자는 화면(미도시)을 통해 무인비행체(20)가 관심점에서 수행할 임무를 작성한다. 임무는 예를 들어, 주변을 촬영하거나, 물류를 배송하는 등 다양하다. 출발점과 도착점은 관심점에 해당하는 격자가 될 수도 있고, 운용자가 추가로 지정할 수도 있다.
이 때, 사용자 인터페이스부(110)는 장애물로 속성이 설정된 격자들로는 이동이 불가하므로, 운용자는 사용자 인터페이스부(110)의 예를 들어 마우스 포인트를 움직이면서 장애물 영역과 비행 가능 영역을 구별할 수 있다. 또는, 격자지도 생성 모듈(153)에서 장애물 영역의 격자와 비행 가능 영역의 격자의 색상이 다르게 표시되도록 하거나, 장애물 영역에는 장애물의 윤곽선이 격자보다 낮은 명암으로 오버랩되게 표시되어, 운용자가 구별하도록 할 수도 있다.
도 8에는 장애물 영역의 격자들 전체와 비행 가능 영역의 격자들 중 일부가 활성화되어 있다. 따라서, 운용자는 비행 가능 영역 중 활성화된 일부 격자들을 기준으로 임무 수행 지점을 선택할 수 있다.
비행 경로 산정부(155b)는 관심점 지정부(155a)에서 지정된 하나 이상의 관심점들에 해당하는 격자들을 연결하여 최적의 비행 경로를 산정할 수 있다. 도 8의 경우 4개의 관심점이 지정되었으므로, 비행 경로 산정부(155b)는 4개의 관심점 격자들을 통과하는 최적의 비행 경로를 산정한다.
관심점은 예를 들어, 마우스를 클릭하여 지정할 수 있으며, 모든 격자의 중심점은 node가 되고, 격자의 중심점은 최대 6개의 node와 연결되는 링크(즉, 6-connected link)로 연결되어 출발지와 목적지, 관심점 사이의 최적경로는 A* 알고리즘으로 결정될 수 있다.
비행 경로 전송부(155c)는 비행 경로 산정부(155b)에서 산정된 비행 경로가 통신 인터페이스부(129)를 통해 무인비행체(20)로 전송되도록 처리한다. 따라서, 비행 경로 전송부(155c)는 비행 경로와 임무 수행 명령을 지상 조종 장치(10)로 전송되도록 하고, 지상 조종 장치(10)는 수신된 비행 경로와 임무 수행 명령을 무인비행체(20)로 전송한다.
무인비행체(20)는 수신된 비행 경로를 저장하여 비행하면서 임무를 수행하고 주변을 실시간으로 촬영한 촬영영상과 무인비행체(20)의 상태정보를 주기적으로 확인한 후 지상 조종 장치(10)로 전송한다.
다시 도 2를 참조하면, 모니터링 모듈(157)은 무인비행체(20)가 수신 및 저장된 비행 경로를 따라 비행하는 동안 촬영한 촬영 영상과 무인비행체(20)의 상태정보와 임무 수행 결과를 지상 조종 장치(10)를 통해 수신하면, 수신된 임무 수행 결과, 촬영 영상 및 상태정보를 기반으로 무인비행체(20)의 비행과 관련된 정보를 VR 공간에서 실시간으로 가시화할 수 있다.
도 9는 도 2에 도시된 모니터링 모듈(157)을 자세히 도시한 블록도이고, 도 10은 무인비행체(20)가 비행하는 동안 제공되는 모니터링 화면(1000)을 도시한 예시도이다.
도 9를 참조하면, 모니터링 모듈(157)은 정보 수신부(157a) 및 3D 모니터링부(157b)를 포함한다.
정보 수신부(157a)는 무인비행체(20)가 임무 수행 지점에서 임무를 수행한 임무 수행 결과와 무인비행체(20)가 촬영한 촬영 영상과 무인비행체(20)의 상태정보를 지상 조종 장치(10) 및 통신 인터페이스부(120)를 통해 수신할 수 있다.
도 10를 참조하면, 3D 모니터링부(157b)는 무인비행체(20)의 상태정보를 기반으로 무인비행체(20)의 현재 위치를 3D 입체격자지도에 실시간으로 매핑하여 VR 기반으로 가시화하는 3D 뷰어(1010)와, 비행 지역에 설정된 비행 경로와 임무 수행 지점을 2차원으로 가시화하는 지도 영역(1020)과, 무인비행체(20)의 상태 정보를 보여주는 상태정보 영역(1030)과, 무인비행체(20)의 임무 수행 결과를 보여주거나 실시간으로 촬영된 촬영 영상을 보여주는 촬영영상 영역(1040)과, 기능 버튼 영역(1050)을 포함하는 모니터링 화면(1000)을 생성한다.
모니터링 화면(1000)은 무인비행체(20)의 비행이 시작되면서 비행상태 정보가 VR 기반하에서 모니터링되고 있음을 보여준다. 이로써, 운용자는 무인비행체(20)가 가시권 영역 또는 비가시권 영역을 비행하는 동안에도 무인비행체(20)의 비행상태와, 촬영영상을 실시간으로 확인할 수 있다.
도 11은 본 발명의 실시 예에 따른 무인 비행체의 자율 비행 경로 제공 및 VR 기반 모니터링 방법을 개략적으로 도시한 흐름도이다.
도 11에 도시된 무인 비행체의 자율 비행 경로 제공 및 VR 기반 모니터링 장치(100), 지상 조종 장치(10) 및 무인비행체(20)는 도 1 내지 도 10을 참조하여 설명하였으므로 자세한 설명은 생략한다.
도 11을 참조하면, 전자장치로 적용된 자율 비행 경로 제공 및 VR 기반 모니터링 장치(100)는 비행 지역에 위치하는 비행 장애물의 3D 객체 모델링 데이터와 비행 장애물의 영상데이터를 매핑하여 비행 지역에 대한 3D VR 데이터를 구축한다(S1110).
장치(100)는 VR 공간에서 무인비행체(20)가 비행할 비행 지역에 대한 3D 입체격자지도를 생성한다(S1120).
장치(100)는 S1120단계에서 생성된 3D 입체격자지도를 이루는 격자들 중 무인비행체(20)의 임무 수행 지점과 수행할 임무가 운용자에 의해 선택되면 선택된 임무 수행 지점을 나타내는 격자들을 기준으로 비행 경로를 산정할 수 있다(S1130).
S1130단계를 자세히 설명하면, 장치(100)는, 무인비행체(20)의 임무 수행 지점, 비행 시작점, 비행 종료점이 3D 입체격자지도에서 운용자에 의해 선택되면, 선택된 임무 수행 지점이 속한 격자의 중심점을 관심점으로 지정하고, 지정된 다수의 관심점들과 시작점과 종료점을 연결하여 최적의 비행 경로를 산정할 수 있다.
장치(100)는 임무 수행 정보와 비행 경로를 지상 조종 장치(10)로 전송하고, 지상 조종 장치(10)는 수신된 임무 수행 명령과 비행 경로를 무인비행체(20)로 전송한다(S1140, S1150).
무인비행체(20)는 수신된 임무 수행 명령과 비행 경로를 저장한 후 비행 경로에 따라 비행 지역을 비행하면서 임무를 수행한다(S1160, S1170).
무인비행체(20)는 비행하면서 임무를 수행한 결과와, 주변을 촬영한 영상과, 비행상태정보를 획득하여 지상 조종 장치(10)로 주기적으로 전송한다(S1180).
지상 조종 장치(10)는 수신된 임무 수행 결과, 촬영 영상 및 무인비행체(20)의 상태정보를 장치(100)로 전송한다(S1190).
장치(100)는 수신된 임무 수행 결과, 촬영 영상 및 무인비행체(20)의 상태정보를 저장하고, VR 기반으로 모니터링하도록 화면에 도 10과 같이 가시화한다(S1195).
한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 지상 조종 장치 20: 무인비행체
100: 자율 비행 경로 제공 및 VR 기반 모니터링 장치
110: 사용자 인터페이스부 120: 통신 인터페이스부
130: 스토리지 140: 메모리
150: 프로세서 151: VR 데이터 구축 모듈
153: 격자지도 생성 모듈 155: 비행 경로 산정 모듈
157: 모니터링 모듈

Claims (10)

  1. 무인 비행체의 자율 비행을 위한 비행 경로를 제공하고 자율 비행을 모니터링하는 장치에 있어서,
    가상현실(VR: Virtual Reality) 공간에서 무인 비행체가 비행할 지역(이하, '비행 지역'이라 한다)의 지형데이터와, 비행 지역에 위치하는 비행 장애물의 3D 객체 모델링 데이터와, 상기 비행 장애물의 영상데이터인 텍스처 데이터를 매핑하여 상기 비행 지역에 대한 3D VR 데이터를 구축하는 VR 데이터 구축 모듈;
    비행 장애물로 이루어진 비행 장애물 영역과 상기 비행 장애물을 불포함하는 비행 가능 영역을 포함하는 비행 지역에 대한 3D 입체격자지도를 생성하고, 상기 비행 장애물 영역과 비행 가능 영역의 격자를 서로 다른 형태 및 색상 중 적어도 하나가 다르게 가시화되도록 처리하는 격자지도 생성 모듈;
    상기 3D 입체격자지도를 이루는 격자들 중 상기 무인 비행체의 임무 수행 지점을 나타내는 격자들을 기준으로 비행 경로를 산정하는 비행 경로 산정 모듈; 및
    상기 무인 비행체가 비행 경로를 따라 비행하는 동안 촬영한 촬영 영상과 상기 무인 비행체의 상태정보를 기반으로 상기 무인 비행체의 비행을 VR 공간에서 실시간 가시화하는 모니터링 모듈;을 포함하고,
    상기 모니터링 모듈은,
    상기 무인 비행체가 임무 수행 지점에서 임무를 수행한 임무 수행 결과와 상기 무인 비행체의 상태정보를 수신하는 정보 수신부; 및
    상기 무인 비행체의 상태정보를 기반으로 무인 비행체의 현재 위치를 3D 입체격자지도에 실시간으로 매핑하여 VR 기반으로 가시화하는 3D 뷰어와, 상기 비행 지역에 설정된 비행 경로와 임무 수행 지점을 2차원으로 가시화하는 지도 영역과, 상기 무인 비행체의 상태 정보를 보여주는 상태정보 영역과, 무인 비행체의 임무 수행 결과를 보여주거나 실시간으로 촬영된 촬영 영상을 보여주는 촬영영상 영역과, 기능 버튼 영역을 포함하는 모니터링 화면을 생성하는 3D 모니터링부;를 포함하고,
    상기 VR 데이터 구축 모듈은, 상기 비행 지역 외에 위치하는 장애물에 대해서는 텍스처 데이터 매핑을 생략하며,
    상기 격자지도 생성 모듈은, 상기 3D VR 데이터 중 건물, 지형 지물 및 지표면에 해당하는 격자의 속성을 장애물로 설정하여 상기 비행 경로 산정 모듈에서 비행 경로로 지정되지 못 하도록 처리하는
    비가시권 자율 비행을 위한 UAV의 VR 기반 모니터링 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 비행 경로 산정 모듈은,
    상기 무인 비행체의 임무 수행 지점이 선택되면, 상기 선택된 임무 수행 지점이 속한 격자의 중심점을 관심점으로 지정하는 관심점 지정부;
    상기 관심점 지정부에서 지정된 하나 이상의 관심점들을 연결하여 최적의 비행 경로를 산정하는 비행 경로 산정부; 및
    상기 비행 경로 산정부에서 산정된 비행 경로가 상기 무인 비행체로 전송되도록 처리하는 비행 경로 전송부;
    를 포함하는 것을 특징으로 하는 비가시권 자율 비행을 위한 UAV의 VR 기반 모니터링 장치.
  5. 삭제
  6. 무인 비행체의 자율 비행을 위한 비행 경로를 제공하고 자율 비행을 모니터링하는 방법에 있어서,
    (A) 전자장치가, VR(Virtual Reality, 가상현실) 공간에서 무인 비행체가 비행할 지역(이하, '비행 지역'이라 한다)의 지형데이터와, 비행 지역에 위치하는 비행 장애물의 3D 객체 모델링 데이터와, 상기 비행 장애물의 영상데이터인 텍스처 데이터를 매핑하여 상기 비행 지역에 대한 3D VR 데이터를 구축하는 단계;
    (B) 상기 전자장치가, 비행 장애물로 이루어진 비행 장애물 영역과 상기 비행 장애물을 불포함하는 비행 가능 영역을 포함하는 비행 지역에 대한 3D 입체격자지도를 생성하고, 상기 비행 장애물 영역과 비행 가능 영역의 격자를 서로 다른 형태 및 색상 중 적어도 하나가 다르게 가시화되도록 처리하는 단계;
    (C) 상기 전자장치가, 상기 3D 입체격자지도를 이루는 격자들 중 상기 무인 비행체의 임무 수행 지점을 나타내는 격자들을 기준으로 비행 경로를 산정하는 단계; 및
    (D) 상기 전자장치가, 상기 무인 비행체가 비행 경로를 따라 비행하는 동안 촬영한 촬영 영상과 상기 무인 비행체의 상태정보를 기반으로 상기 무인 비행체의 비행을 VR 공간에서 실시간 가시화하는 단계;를 포함하고,
    상기 (D) 단계는,
    (D1) 상기 무인 비행체가 임무 수행 지점에서 임무를 수행하여 획득한 임무 수행 결과와 촬영 영상과 상기 무인 비행체의 상태정보를 수신하는 단계; 및
    (D2) 상기 무인 비행체의 상태정보를 기반으로 무인 비행체의 현재 위치를 3D 입체격자지도에 실시간으로 매핑하여 VR 기반으로 가시화하는 3D 뷰어와, 상기 비행 지역에 설정된 비행 경로와 임무 수행 지점을 2차원으로 가시화하는 지도 영역과, 상기 무인 비행체의 상태 정보를 보여주는 상태정보 영역과, 무인 비행체의 임무 수행 결과를 보여주거나 실시간으로 촬영된 촬영 영상을 보여주는 촬영영상 영역과, 기능 버튼 영역을 포함하는 모니터링 화면을 생성하는 단계;를 포함하고,
    상기 (A) 단계는, 상기 비행 지역 외에 위치하는 장애물에 대해서는 텍스처 데이터 매핑을 생략하며,
    상기 (B) 단계는, 상기 3D VR 데이터 중 건물, 지형 지물 및 지표면에 해당하는 격자의 속성을 장애물로 설정하여 상기 비행 경로 산정 모듈에서 비행 경로로 지정되지 못 하도록 처리하는 비가시권 자율 비행을 위한 UAV의 VR 기반 모니터링 방법.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 (C) 단계는,
    (C1) 상기 무인 비행체의 임무 수행 지점이 선택되면, 상기 선택된 임무 수행 지점이 속한 격자의 중심점을 관심점으로 지정하는 단계;
    (C2) 상기 (C1) 단계에서 지정된 하나 이상의 관심점들을 연결하여 최적의 비행 경로를 산정하는 단계; 및
    (C3) 상기 (C2) 단계에서 산정된 비행 경로가 상기 무인 비행체로 전송되도록 처리하는 단계;
    를 포함하는 것을 특징으로 하는 비가시권 자율 비행을 위한 UAV의 VR 기반 모니터링 방법.
  10. 삭제
KR1020210163469A 2021-11-24 2021-11-24 비가시권 비행 uav의 vr 기반 모니터링 장치 및 방법 KR102458270B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210163469A KR102458270B1 (ko) 2021-11-24 2021-11-24 비가시권 비행 uav의 vr 기반 모니터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210163469A KR102458270B1 (ko) 2021-11-24 2021-11-24 비가시권 비행 uav의 vr 기반 모니터링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR102458270B1 true KR102458270B1 (ko) 2022-10-25
KR102458270B9 KR102458270B9 (ko) 2023-03-23

Family

ID=83803847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210163469A KR102458270B1 (ko) 2021-11-24 2021-11-24 비가시권 비행 uav의 vr 기반 모니터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102458270B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405891B1 (ko) * 2012-10-11 2014-06-17 (주)아이비리더스 항공정보 현시 시스템 및 그 방법
KR101815028B1 (ko) 2015-09-09 2018-01-04 (주)태성에스엔아이 무인 촬영 비행체의 이동 경로 설정 방법 및 무인 촬영 비행체의 이동 경로 설정 방법을 실행시키는 프로그램이 기록된 기록 매체
KR20200002213A (ko) * 2018-06-29 2020-01-08 현대엠엔소프트 주식회사 무인 항공기용 경로 탐색을 위한 3차원 공간지도 구축 장치 및 방법
KR102099137B1 (ko) * 2019-12-20 2020-04-09 한국건설기술연구원 유무인비행체를 위한 3d 공중도로 안내 서비스 제공 장치 및 방법
KR102225116B1 (ko) * 2020-12-31 2021-03-10 주식회사 도트만 네트워크 드론 서비스 시스템 및 방법
KR102286252B1 (ko) * 2020-09-08 2021-08-06 ㈜유엔이 삼차원 비행경로 가시화 방법 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405891B1 (ko) * 2012-10-11 2014-06-17 (주)아이비리더스 항공정보 현시 시스템 및 그 방법
KR101815028B1 (ko) 2015-09-09 2018-01-04 (주)태성에스엔아이 무인 촬영 비행체의 이동 경로 설정 방법 및 무인 촬영 비행체의 이동 경로 설정 방법을 실행시키는 프로그램이 기록된 기록 매체
KR20200002213A (ko) * 2018-06-29 2020-01-08 현대엠엔소프트 주식회사 무인 항공기용 경로 탐색을 위한 3차원 공간지도 구축 장치 및 방법
KR102099137B1 (ko) * 2019-12-20 2020-04-09 한국건설기술연구원 유무인비행체를 위한 3d 공중도로 안내 서비스 제공 장치 및 방법
KR102286252B1 (ko) * 2020-09-08 2021-08-06 ㈜유엔이 삼차원 비행경로 가시화 방법 및 시스템
KR102225116B1 (ko) * 2020-12-31 2021-03-10 주식회사 도트만 네트워크 드론 서비스 시스템 및 방법

Also Published As

Publication number Publication date
KR102458270B9 (ko) 2023-03-23

Similar Documents

Publication Publication Date Title
US11897607B2 (en) Unmanned aerial vehicle beyond visual line of sight control
US20210358315A1 (en) Unmanned aerial vehicle visual point cloud navigation
US20200026720A1 (en) Construction and update of elevation maps
US20200012756A1 (en) Vision simulation system for simulating operations of a movable platform
WO2016130994A1 (en) Unmanned aerial vehicle remote flight planning system
CN104932527A (zh) 一种飞行器的操控方法和装置
EP3077881A1 (en) Method and apparatus for developing a flight path
JP6829513B1 (ja) 位置算出方法及び情報処理システム
KR102639272B1 (ko) 가시선 침투 도달 가능 영역을 계산 및 표현하기 위한 방법 및 시스템
CN106227232A (zh) 无人机的控制方法、装置和设备
WO2022095060A1 (zh) 路径规划方法、路径规划装置、路径规划***和介质
WO2022247498A1 (zh) 无人机监控
CN112484717A (zh) 无人机倾斜摄影航线规划方法及计算机可读存储介质
CN114115289A (zh) 一种自主无人集群侦察***
KR102058510B1 (ko) 무인비행체의 안전 운영을 위한 장애물 정보를 제공하는 방법 및 이를 위한 지도 서버, 그리고 이를 포함하는 무선통신망 기반의 무인비행체 자동운항 운영 시스템
US10429834B2 (en) Control interface for UxV
Pěchouček et al. Autonomous agents for air-traffic deconfliction
KR102012361B1 (ko) 무인비행체의 안전 운항을 위한 디지털 무빙 맵 서비스 제공 방법 및 장치
CN114019828A (zh) 一种无人机集群多模态虚实交互仿真***及方法
KR102458270B1 (ko) 비가시권 비행 uav의 vr 기반 모니터링 장치 및 방법
WO2021079516A1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
Yang et al. Wide area surveillance of urban environments using multiple Mini-VTOL UAVs
CN210072405U (zh) 一种无人机协同控制验证平台
KR20190004976A (ko) 무인비행체의 안전 운항을 위한 디지털 무빙 맵 생성 방법 및 장치
CN112154395A (zh) 飞行控制方法、***、无人飞行器及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]