KR102655962B1 - Remote Drone Tactical Training System - Google Patents
Remote Drone Tactical Training System Download PDFInfo
- Publication number
- KR102655962B1 KR102655962B1 KR1020230089968A KR20230089968A KR102655962B1 KR 102655962 B1 KR102655962 B1 KR 102655962B1 KR 1020230089968 A KR1020230089968 A KR 1020230089968A KR 20230089968 A KR20230089968 A KR 20230089968A KR 102655962 B1 KR102655962 B1 KR 102655962B1
- Authority
- KR
- South Korea
- Prior art keywords
- tactical
- drone
- information
- enemy
- training
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 98
- 238000012800 visualization Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 12
- 230000006378 damage Effects 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 4
- 230000034994 death Effects 0.000 claims description 2
- 231100000517 death Toxicity 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 5
- 230000007123 defense Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000010746 number 5 fuel oil Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010672 photosynthesis Methods 0.000 description 1
- 230000029553 photosynthesis Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/003—Simulators for teaching or training purposes for military purposes and tactics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
- G01S19/18—Military applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 원격 드론 전술훈련 시스템에 관한 것이다.
구체적으로는, 분대급 드론 조종병들이 전술훈련소에서 원거리 훈련장에 위치한 전투드론을 조종하여 가상의 동적표적에 대해 다양한 전술 훈련을 수행할 수 있도록 하는, 원격 드론 전술훈련 시스템으로서,
부연하면, 드론 조종병이 전투드론을 조종하면 드론에 부착된 카메라를 통해 수신되는 영상정보를 실시간 분석하여 지형/지물에 대한 객체를 인식하고, 시스템관리자는 드론의 영상정보를 모니터링하고 가상적군을 영상정보에 합성하며, 전술지휘관은 전술지원 AI를 활용하여 전술에 대한 의사결정을 하고 드론 조종병에게 임무를 부여하되, 상기 드론 조종병은 XR 디바이스의 전시화면을 통하여 전술훈련을 위한 정보들을 확인하며, 합성된 가상적군을 무력화하기 위해 전투드론을 제어할 수 있도록 하는, 원격 드론 전술훈련 시스템에 관한 것이다.The present invention relates to a remote drone tactical training system.
Specifically, it is a remote drone tactical training system that allows squad-level drone operators to conduct various tactical training against virtual dynamic targets by controlling combat drones located at a remote training site in a tactical training center.
To elaborate, when a drone operator controls a combat drone, the image information received through the camera attached to the drone is analyzed in real time to recognize objects for terrain/objects, and the system administrator monitors the drone's image information and detects virtual enemies. It is synthesized with video information, and the tactical commander uses tactical support AI to make decisions about tactics and assign missions to drone operators, who check information for tactical training through the display screen of the XR device. It is about a remote drone tactical training system that allows control of combat drones to neutralize synthesized virtual enemies.
Description
본 발명은 원격 드론 전술훈련 시스템에 관한 것이다.The present invention relates to a remote drone tactical training system.
구체적으로는, 분대급 드론 조종병들이 전술훈련소에서 원거리 훈련장에 위치한 전투드론을 조종하여 가상의 동적표적에 대해 다양한 전술 훈련을 수행할 수 있도록 하는, 원격 드론 전술훈련 시스템으로서,Specifically, it is a remote drone tactical training system that allows squad-level drone operators to conduct various tactical training against virtual dynamic targets by controlling combat drones located at a remote training site in a tactical training center.
부연하면, 드론 조종병이 전투드론을 조종하면 드론에 부착된 카메라를 통해 수신되는 영상정보를 실시간 분석하여 지형/지물에 대한 객체를 인식하고, 시스템관리자는 드론의 영상정보를 모니터링하고 가상적군을 영상정보에 합성하며, 전술지휘관은 전술지원 AI를 활용하여 전술에 대한 의사결정을 하고 드론 조종병에게 임무를 부여하되, 상기 드론 조종병은 XR 디바이스의 전시화면을 통하여 전술훈련을 위한 정보들을 확인하며, 합성된 가상적군을 무력화하기 위해 전투드론을 제어할 수 있도록 하는, 원격 드론 전술훈련 시스템에 관한 것이다.To elaborate, when a drone operator controls a combat drone, the image information received through the camera attached to the drone is analyzed in real time to recognize objects for terrain/objects, and the system administrator monitors the drone's image information and detects virtual enemies. It is synthesized with video information, and the tactical commander uses tactical support AI to make decisions about tactics and assign missions to drone operators, who check information for tactical training through the display screen of the XR device. It is about a remote drone tactical training system that allows control of combat drones to neutralize synthesized virtual enemies.
미래 무기체계의 핵심 요소로 상용 드론 및 로봇, CPS(Cyber-Physical System), 인공지능, 빅데이터, LTE 기반 5G 이동통신 기술 등을 국방력 증강에 활용하기 위한 연구가 강력히 요구되고 있으며, 미래전 양상과 전장환경 변화에 따라 무인전투체계의 필요성이 증대되고 있다.As key elements of future weapon systems, there is a strong need for research to utilize commercial drones and robots, CPS (Cyber-Physical System), artificial intelligence, big data, and LTE-based 5G mobile communication technology to enhance national defense capabilities, and the aspects of future warfare. As the battlefield environment changes, the need for unmanned combat systems is increasing.
국방개혁과 부대구조 개편에 따른 군 운영체계의 변화와 작전 환경변화에 따라 현재 진행 중인 “드론봇전투체계”의 운용 확대가 예상된다.It is expected that the ongoing operation of the “dronebot combat system” will expand in accordance with changes in the military operating system and operational environment resulting from national defense reform and unit structure reorganization.
특히, 드론은 생존성/운용성/안정성 측면에서 활용성이 높고, 비용 대비 효과가 매우 높아 군사작전에서 다양한 임무를 수행하게 될 것으로 기대된다.In particular, drones are highly useful in terms of survivability, operability, and stability, and are highly cost-effective, so they are expected to perform a variety of missions in military operations.
현재 군용 드론은 전시에 정찰/감시에 주로 활용 중이지만 적 식별 후 드론을 활용하여 선제공격을 한다면 전투에서 단기간 승리를 이룰 수 있을 것임. 군에서는 기관총/유탄발사 드론을 실험 중에 있으며, 현재까지 평가는 정밀사격에는 아직 미흡하지만 지역 사격에는 효과적인 것으로 알려졌다.Currently, military drones are mainly used for reconnaissance/surveillance during wartime, but if the enemy is identified and used to conduct a preemptive attack using drones, victory in the battle can be achieved in a short period of time. The military is experimenting with machine gun/grenade launcher drones, and although the evaluation so far is still insufficient for precision shooting, it is known to be effective for area shooting.
또한, 사단의 작전지역은 정면이 15km → 30km, 종심이 30km → 60km로 2배로 확대될 것으로 전망되고, 투입될 적 규모 증가 대비 아군의 병력 밀도가 감소되어 ‘공간지’ 및 ‘중간지’ 발생이 필수불가결하게 발생 될 것으로 예상되는 바, 원거리 작전지역에서의 원격드론 운용을 통해 보완해 나가는 방향으로의 접근이 필요한 실정이다.In addition, the division's operational area is expected to double from 15km → 30km in front and 30km → 60km in depth, and the density of our troops is reduced compared to the increase in the size of the enemy to be deployed, resulting in the creation of 'space areas' and 'middle areas'. As this is expected to become an indispensable occurrence, it is necessary to approach it in a way that complements it through the operation of remote drones in remote operational areas.
현재 군에서는 드론 전력화를 위한 전투체계 운용이 가능하도록 무인전투체계 전문 운용 인력을 선발 및 양성할 수 있는 ‘지역별 드론교육센터’를 창설하여 운용 중에 있으나, 전문 운용 인력의 개별적인 무인전투체계 조종 및 정밀 타격 능력 향상과 다양한 전술적 훈련을 다각도로 훈련하기에는 아직 이에 부합하는 시스템이 충분히 확보되지 않은 상태이다.Currently, the military has established and is operating a 'regional drone training center' that can select and train professional unmanned combat system operators to enable the operation of the combat system for drone deployment, but the individual unmanned combat system control and precision of the professional operators is There is not yet a sufficient system in place to improve striking ability and provide diverse tactical training.
훈련을 위한 물리적인 표적을 생성 및 배치하는 것은 제한적이고, 다양하고 새로운 전술 훈련을 위한 변화되는 표적 생성과 운용에는 많은 비용과 시간이 소요된다.Creating and deploying physical targets for training is limited, and creating and operating changing targets for diverse and new tactical training is costly and time-consuming.
이러한 물리적 부담과 제한적인 전술훈련의 한계를 극복하고 운용의 편의성을 보장하기 위해서 현장감 있는 적 표적의 실시간 가상화가 반드시 필요하다.In order to overcome these physical burdens and limitations of limited tactical training and ensure operational convenience, real-time virtualization of enemy targets is essential.
또한, 드론 전투 시 적군의 전술에 대응하며 치명적 타격을 가하기 위해서는 1인 공격훈련뿐 아니라 소규모 그룹단위의 동시 협업 공격훈련이 요구되며, 훈련 진행 간에 도출되는 다양한 패턴의 전술들을 축적하여 지속적으로 발전시킬 필요가 있다.In addition, in order to respond to the enemy's tactics and inflict fatal blows during drone combat, not only single-person attack training but also simultaneous collaborative attack training in small groups is required, and various patterns of tactics derived during training will be accumulated and continuously developed. There is a need.
한편, 시시각각 변화하는 전투상황에서 지휘관의 신속하고 효과적인 전술 변경 및 진행을 단시간 내에 의사결정하기에는 한계가 존재한다.Meanwhile, in an ever-changing combat situation, there are limits to a commander's ability to quickly and effectively change tactics and make decisions within a short period of time.
기존에 수행된 다양한 훈련 결과를 기반으로 한 인공지능 학습을 통해 전술 수립 시 아군의 손실을 최소화하고 적의 피해를 최대화 할 수 있는 전술을 추천하는 전술 지원 시스템이 필요하다.A tactical support system is needed that recommends tactics that can minimize friendly forces' losses and maximize enemy damage when establishing tactics through artificial intelligence learning based on various existing training results.
사이버 원격드론 전술훈련 시스템에서 현재의 드론 비행 훈련 체계는, 드론 조종병 개개인의 조종 능력향상에만 초점이 맞추어 있기 때문에 다수의 드론 조종병들이 동시에 전투드론으로 전술 운영 능력을 향상시킬 수 있는 고도화된 전술훈련 시스템이 필요하다. 따라서 본 출원인은 전장에서 드론 조종병의 적 노출을 원천 차단하기 위해 드론 조종병이 XR 디바이스를 활용하여 실 드론의 영상정보를 기반으로 원거리 조종을 수행하는 원격드론 전술훈련 시스템을 개발하고자 한다.In the cyber remote drone tactical training system, the current drone flight training system focuses only on improving the control abilities of individual drone operators, so it is possible to provide advanced tactics that allow multiple drone operators to improve their tactical operation skills with combat drones at the same time. A training system is needed. Therefore, the present applicant seeks to develop a remote drone tactical training system in which drone operators use XR devices to perform remote control based on image information of actual drones in order to prevent drone operators from being exposed to enemies on the battlefield.
다른 한편, 전투는 일반적으로 주변의 지형/지물을 활용한 은폐/엄폐 상황에서 이루어지기 때문에 실제 전장 환경과 상호작용하는 가상적군을 생성하여 사실적인 전투 환경을 구축해야 한다.On the other hand, since battles are generally conducted in concealment/cover situations using surrounding terrain/features, a realistic battle environment must be established by creating virtual enemy forces that interact with the actual battlefield environment.
따라서, 본 출원인은 실전적인 전투상황 하에서 전장을 간접적으로 체험하기 위해선 가상의 적군이 있는 훈련이 필수적이라고 판단하는 바, 일반적으론 가상의 공간에서 가상적군으로 훈련할 수 있는 VR(Virtual Reality, 가상현실)기술을 도입하고 있으나, 실제 전장과 가상의 적군이 상호작용할 수 있는 MR기술이 발달함에 따라 현실성이 보다 높은 MR기술을 선호하는 추세이고, 가상적군은 실제훈련 현장의 영상화면 내 객체들과 상호작용하는 동적 디지털 모델이므로임, 실시간으로 변화하는 드론 영상을 기반으로 합성전장환경을 구축하여, 드론 전투훈련 효과를 극대화하기 위해서 현실과 가상의 경계 구분이 최소화되도록 개발하고자 한다.Therefore, the present applicant believes that training with virtual enemy forces is essential in order to indirectly experience the battlefield under actual combat situations. In general, VR (Virtual Reality) allows training with virtual enemy forces in a virtual space. ) technology is being introduced, but with the development of MR technology that allows the actual battlefield and virtual enemy forces to interact, there is a trend of preferring MR technology with higher realism, and the virtual enemy forces interact with objects in the video screen of the actual training site. Since it is a dynamic digital model that works, we plan to develop a synthetic battlefield environment based on drone images that change in real time to minimize the boundary between reality and virtuality in order to maximize the effectiveness of drone combat training.
또한, 실제 전투 환경에서 다수의 전투드론을 활용하여 작전 임무를 수행함에 있어, 적군의 이동 경로, 규모, 화력 및 주변 환경 등 상황에 따라 드론의 다양한 전술 운용이 발생하게 된다. 따라서, 드론 조종 숙련도 향상과 더불어 전술운용 능력을 증진시키기 위한 드론 조종 전술훈련 체계로의 전환이 요구된다.In addition, when performing operational missions using multiple combat drones in an actual combat environment, various tactical operations of drones occur depending on the situation, such as the enemy's movement path, size, firepower, and surrounding environment. Therefore, a transition to a drone piloting tactical training system is required to improve tactical operation capabilities along with improving drone piloting proficiency.
관련된 기술로서, 공개특허공보 제10-2022-0170774호에는 메타버스 기술 기반 드론 전술 훈련 체계 및 이를 이용한 메타버스 공간에서의 드론 훈련 시스템이 기재되어 있다.As a related technology, Publication No. 10-2022-0170774 describes a drone tactical training system based on metaverse technology and a drone training system in the metaverse space using the same.
상기 기술은, 드론 방어 및 드론 공격을 효율적으로 훈련할 수 있는 메타버스 공간에서의 드론 훈련 시스템이 개시된다. 상기 드론 훈련 시스템에 사용되는 컴퓨팅 장치는 적어도 하나의 가상 훈련 시나리오를 관리하는 시나리오부, 훈련자, 교관 또는 시스템에 의해 선택된 가상 훈련 시나리오에 해당하는 영상을 출력시키는 영상부 및 상기 훈련자가 사용하는 3D 구현기, 훈련 기구 또는 조작기로부터의 입력을 수신하고, 상기 수신된 입력에 따른 동작을 상기 영상에 반영하여 출력시키는 훈련자부를 포함한다. 여기서, 상기 가상 훈련 시나리오에는 훈련 상황에 맞는 환경 또는 드론에 대한 정보가 설정되어 있고, 상기 영상은 상기 3D 구현기를 통하여 상기 훈련자에게 3D 영상으로 보여지며, 상기 영상에는 상기 드론 출현시 상기 드론의 방향, 기종 또는 위협도 및 상기 3D 구현기 또는 상기 훈련자를 나타내는 이미지 중 적어도 하나를 포함하는 UI가 표시된다.The above technology discloses a drone training system in the metaverse space that can efficiently train drone defense and drone attack. The computing device used in the drone training system includes a scenario unit that manages at least one virtual training scenario, an imaging unit that outputs an image corresponding to a virtual training scenario selected by a trainer, instructor, or system, and a 3D implementation used by the trainer. It includes a trainer unit that receives input from a machine, training device, or manipulator, and outputs the image by reflecting the motion according to the received input. Here, in the virtual training scenario, information about the environment or drone suitable for the training situation is set, the image is shown to the trainee as a 3D image through the 3D implementer, and the image includes the direction of the drone when the drone appears. , a UI including at least one of the model or threat level and an image representing the 3D implementer or the trainer is displayed.
또한, 등록특허공보 제10-2471842호에는 LVC 기반 드론 전술훈련을 위한 EO/IR 영상 시뮬레이션 방법이 기재되어 있다.Additionally, Registered Patent Publication No. 10-2471842 describes an EO/IR image simulation method for LVC-based drone tactical training.
상기 기술은, LVC 기반 드론 전술훈련을 위한 EO/IR 영상 시뮬레이션 방법에 관한 것으로서, 보다 구체적으로는 LVC(Live Virtual Constructive) 기반 드론 전술훈련을 위한 EO(Electro Optical)/IR(Infrared Ray) 영상 시뮬레이션 방법으로서, (1) 드론 시뮬레이터가 LVC 기반 드론 전술훈련의 가상환경에서 EO/IR 센서의 영상을 묘사하여 제공되는 환경에서, 센서 짐벌의 동작원리를 모의한 카메라 짐벌 시뮬레이션을 수행하는 단계; (2) 드론 시뮬레이터가 센서의 줌배율에 의한 화면 크기 시뮬레이션을 수행하는 단계; (3) 드론 시뮬레이터가 영상모드 전환에 의한 EO 영상, IR 영상의 시뮬레이션을 수행하는 단계; (4) 드론 시뮬레이터가 IR 영상을 통한 가상환경 지형 영상의 열 영상 처리의 배경영상 시뮬레이션을 수행하는 단계; 및 (5) 드론 시뮬레이터가 IR 영상을 통한 표적 객체의 열 영상 시뮬레이션을 수행하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.The above technology relates to an EO/IR image simulation method for LVC-based drone tactical training, and more specifically, EO (Electro Optical)/IR (Infrared Ray) image simulation for LVC (Live Virtual Constructive)-based drone tactical training. As a method, (1) performing a camera gimbal simulation that simulates the operating principle of a sensor gimbal in an environment where a drone simulator is provided by depicting images of an EO/IR sensor in a virtual environment of LVC-based drone tactical training; (2) the drone simulator performs a screen size simulation based on the zoom factor of the sensor; (3) A drone simulator performing simulation of EO images and IR images by switching image modes; (4) a drone simulator performing background image simulation of thermal image processing of a virtual environment terrain image through IR images; And (5) the drone simulator performs thermal image simulation of the target object through IR images.
본 발명의 목적은, 분대급 드론 조종병들이 전술훈련소에서 원거리 훈련장에 위치한 전투드론을 조종하여 가상의 동적표적에 대해 다양한 전술 훈련을 수행할 수 있도록 하는, 원격 드론 전술훈련 시스템으로서,The purpose of the present invention is to provide a remote drone tactical training system that allows squad-level drone operators to conduct various tactical training against virtual dynamic targets by controlling combat drones located at a remote training site at a tactical training center,
드론 조종병이 전투드론을 조종하면 드론에 부착된 카메라를 통해 수신되는 영상정보를 실시간 분석하여 지형/지물에 대한 객체를 인식하고, 시스템관리자는 드론의 영상정보를 모니터링하고 가상적군을 영상정보에 합성하며, 전술지휘관은 전술지원 AI를 활용하여 전술에 대한 의사결정을 하고 드론 조종병에게 임무를 부여하되, 상기 드론 조종병은 XR 디바이스의 전시화면을 통하여 전술훈련을 위한 정보들을 확인하며, 합성된 가상적군을 무력화하기 위해 전투드론을 제어할 수 있도록 하는, 원격 드론 전술훈련 시스템을 제공하는데 있다.When a drone operator controls a combat drone, the image information received through the camera attached to the drone is analyzed in real time to recognize objects related to terrain/objects. The system administrator monitors the drone's image information and detects virtual enemies based on the image information. The tactical commander uses tactical support AI to make decisions about tactics and assigns missions to drone operators. The drone operators check information for tactical training through the display screen of the XR device, and synthesize The goal is to provide a remote drone tactical training system that allows control of combat drones to neutralize virtual enemy forces.
상술된 목적을 달성하기 위하여 안출된 것으로, 본 발명에 따른 원격 드론 전술훈련 시스템은, 훈련이 가능하도록 하는 전술훈련 통합플랫폼과; 상기 전술훈련 통합플랫폼이 다수의 드론과 통신하도록 기능하는 드론통신 서버와; 상기 전술훈련 통합플랫폼을 통해 전술훈련에 대한 모니터링과 드론으로부터 획득된 영상정보를 출력할 수 있도록 하는 모니터링 서버와; 운용자에 의해 규정된 전술정보를 기 저장하고, 상기 전술정보를 전술훈련 통합플랫폼에 공유하는 전술제어 서버;를 포함하되, 상기 모니터링 서버는, 운용자의 단말기에 연동되어 상기 영상정보를 운용자의 단말기로 출력하는 것을 특징으로 한다.Developed to achieve the above-described purpose, the remote drone tactical training system according to the present invention includes a tactical training integrated platform that enables training; A drone communication server that functions to enable the tactical training integrated platform to communicate with multiple drones; a monitoring server that monitors tactical training and outputs video information obtained from drones through the tactical training integrated platform; Includes a tactical control server that stores tactical information defined by the operator and shares the tactical information with the tactical training integrated platform, wherein the monitoring server is linked to the operator's terminal and transmits the video information to the operator's terminal. It is characterized by output.
이때, 상기 전술훈련 통합플랫폼은, 모니터링 서버로부터 수신된 영상정보와 적군정보를 실시간으로 합성하고, 합성된 정보를 실시간으로 가시화하여 가시화정보로 생성하는 가시화모듈과; XR디바이스와 연동되는 연동모듈과; XR디바이스에 의한 확장현실(XR)과 드론의 영상정보 상에서 객체정보를 혼합하는 혼합현실(MR)을 제공하는 MR관리모듈과; 상기 전술제어 서버의 전술정보를 공유받아 전술적 지원을 수행하는 전술지원모듈;을 포함하는 것을 특징으로 한다.At this time, the tactical training integrated platform includes a visualization module that synthesizes image information and enemy information received from a monitoring server in real time, visualizes the synthesized information in real time, and generates visualization information; A linkage module that works with the XR device; An MR management module that provides mixed reality (MR) that mixes extended reality (XR) by an XR device and object information on the image information of the drone; A tactical support module that receives tactical information from the tactical control server and provides tactical support.
또한, 상기 MR관리모듈은, 드론으로부터 획득된 영상정보 상에서 지형 및 지물을 인식하고 분리하여 객체정보로 인식하는 객체인식모듈과; 적군유닛을 관리하고 적군유닛의 구동을 관리하는 가상적군운용모듈과; 상기 가상적군운용모듈의 적군유닛을 기반으로 적군정보를 구축하고, 적군정보가 XR디바이스에 연동되도록 하는 디지털트윈모듈;을 포함하는 것을 특징으로 한다.In addition, the MR management module includes an object recognition module that recognizes and separates terrain and features from image information obtained from a drone and recognizes them as object information; A virtual enemy operation module that manages enemy units and manages the operation of enemy units; It is characterized in that it includes a digital twin module that constructs enemy information based on the enemy unit of the virtual enemy operation module and allows the enemy information to be linked to the XR device.
또한, 상기 전술지원모듈은, 상기 전술제어 서버로부터 전술정보를 공유받고, 공유받은 전술정보와 MR관리모듈로부터 제공받은 적군정보의 GPS 좌표 데이터에 기반하여, 드론의 배치정보를 제공하고 가이드하는 전술지원AI모듈;을 포함하는 것을 특징으로 한다.In addition, the tactical support module receives tactical information from the tactical control server, and provides and guides deployment information of drones based on the shared tactical information and GPS coordinate data of enemy information provided from the MR management module. It is characterized by including a support AI module.
또한, 상기 전술지원모듈은, 상기 전술지원AI모듈과 디지털트윈모듈에 기반하여, 드론이 적군으로부터 피격되어 파손된 정보를 분석하는 위험관리모듈;을 더 포함하는 것을 특징으로 한다.In addition, the tactical support module, based on the tactical support AI module and the digital twin module, further includes a risk management module that analyzes information damaged when the drone is hit by an enemy.
본 발명에 따른 원격 드론 전술훈련 시스템에 의하면, 분대급 드론 조종병들이 전술훈련소에서 원거리 훈련장에 위치한 전투드론을 조종하여 가상의 동적표적에 대해 다양한 전술 훈련을 수행할 수 있도록 하는, 원격 드론 전술훈련 시스템을 제공함으로써,According to the remote drone tactical training system according to the present invention, remote drone tactical training allows squad-level drone operators to perform various tactical training on virtual dynamic targets by controlling combat drones located at a remote training site at the tactical training center. By providing a system,
드론 조종병이 전투드론을 조종하면 드론에 부착된 카메라를 통해 수신되는 영상정보를 실시간 분석하여 지형/지물에 대한 객체를 인식하고, 시스템관리자는 드론의 영상정보를 모니터링하고 가상적군을 영상정보에 합성하며, 전술지휘관은 전술지원 AI를 활용하여 전술에 대한 의사결정을 하고 드론 조종병에게 임무를 부여하되, 상기 드론 조종병은 XR 디바이스의 전시화면을 통하여 전술훈련을 위한 정보들을 확인하며, 합성된 가상적군을 무력화하기 위해 전투드론을 제어할 수 있도록 한다.When a drone operator controls a combat drone, the image information received through the camera attached to the drone is analyzed in real time to recognize objects related to terrain/objects. The system administrator monitors the drone's image information and detects virtual enemies based on the image information. The tactical commander uses tactical support AI to make decisions about tactics and assigns missions to drone operators. The drone operators check information for tactical training through the display screen of the XR device, and synthesize Allows you to control combat drones to neutralize virtual enemy forces.
이에 따라, 적의 상황을 레이더 탐지 및 추적, 공중사격지원, 해군 특수부대의 Head Mount Camera를 활용한 전장 가시화 및 공유를 통해 작전의 성공을 도모할 수 있다.Accordingly, the success of the operation can be promoted through radar detection and tracking of the enemy situation, aerial fire support, and battlefield visualization and sharing using the Head Mount Camera of the Navy Special Forces.
또한, 소규모 작전에서도 전장 가시화 및 공유, 필요시 공격 임무를 수행할 수 있는 드론을 전장에 투입한다면, 보병의 생존성을 보장하고, 상황인식 능력을 극대화하여 적의 전장 능력을 무력화하는데 상당한 기여를 할 것이다.In addition, if drones that can visualize and share the battlefield and perform attack missions when necessary are deployed into the battlefield even in small-scale operations, it will significantly contribute to ensuring the survivability of infantry and maximizing situational awareness to neutralize the enemy's battlefield capabilities. will be.
또한, 현재 미래보병 전투체계에 분대별 무인체계가 도입될 예정인 점 등을 볼 때 사전에 “사이버 원격드론 전술훈련 솔루션”을 활용하여 전술을 개발하고 적정한 드론체계의 성능을 시험하며, 전술을 개발함으로써 최고의 전투 능력 개발에 큰 역할을 할 것으로 기대된다.In addition, considering that a squad-specific unmanned system is scheduled to be introduced in the current future infantry combat system, a “cyber remote drone tactical training solution” will be used in advance to develop tactics, test the performance of the appropriate drone system, and develop tactics. By doing so, it is expected to play a major role in developing the best combat capabilities.
도 1은 본 발명에 따른 원격 드론 전술훈련 시스템을 나타낸 것이다.Figure 1 shows a remote drone tactical training system according to the present invention.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Terms or words used in this specification and claims should not be construed as limited to their usual or dictionary meanings, and the inventor may appropriately define the concept of terms to explain his or her invention in the best way. It must be interpreted as meaning and concept consistent with the technical idea of the present invention based on principles.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention and do not represent the entire technical idea of the present invention, and various equivalents can be substituted for them at the time of filing the present application. It should be understood that there may be variations.
이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.Hereinafter, before explaining with reference to the drawings, matters that are not necessary to reveal the gist of the present invention, that is, known configurations that can be easily added by a person skilled in the art, are not shown or described in detail. Let's keep it clear.
본 발명은 원격 드론 전술훈련 시스템에 관한 것이다.The present invention relates to a remote drone tactical training system.
구체적으로는, 분대급 드론 조종병들이 전술훈련소에서 원거리 훈련장에 위치한 전투드론을 조종하여 가상의 동적표적에 대해 다양한 전술 훈련을 수행할 수 있도록 하는, 원격 드론 전술훈련 시스템으로서,Specifically, it is a remote drone tactical training system that allows squad-level drone operators to conduct various tactical training against virtual dynamic targets by controlling combat drones located at a remote training site in a tactical training center.
부연하면, 드론 조종병이 전투드론을 조종하면 드론에 부착된 카메라를 통해 수신되는 영상정보를 실시간 분석하여 지형/지물에 대한 객체를 인식하고, 시스템관리자는 드론의 영상정보를 모니터링하고 가상적군을 영상정보에 합성하며, 전술지휘관은 전술지원 AI를 활용하여 전술에 대한 의사결정을 하고 드론 조종병에게 임무를 부여하되, 상기 드론 조종병은 XR 디바이스의 전시화면을 통하여 전술훈련을 위한 정보들을 확인하며, 합성된 가상적군을 무력화하기 위해 전투드론을 제어할 수 있도록 하는, 원격 드론 전술훈련 시스템에 관한 것이다.To elaborate, when a drone operator controls a combat drone, the image information received through the camera attached to the drone is analyzed in real time to recognize objects for terrain/objects, and the system administrator monitors the drone's image information and detects virtual enemies. It is synthesized with video information, and the tactical commander uses tactical support AI to make decisions about tactics and assign missions to drone operators, who check information for tactical training through the display screen of the XR device. It is about a remote drone tactical training system that allows control of combat drones to neutralize synthesized virtual enemies.
이러한 본 발명에 따른 원격 드론 전술훈련 시스템을 첨부된 도면의 도 1을 참조하여 설명한다.The remote drone tactical training system according to the present invention will be described with reference to Figure 1 of the attached drawings.
도 1은 본 발명에 따른 원격 드론 전술훈련 시스템을 나타낸 것이다.Figure 1 shows a remote drone tactical training system according to the present invention.
첨부된 도면의 도 1에 따른 원격 드론 전술훈련 시스템은, 훈련이 가능하도록 하는 전술훈련 통합플랫폼과; 상기 전술훈련 통합플랫폼이 다수의 드론과 통신하도록 기능하는 드론통신 서버;를 포함한다.The remote drone tactical training system according to Figure 1 of the attached drawing includes a tactical training integrated platform that enables training; It includes a drone communication server that functions to allow the tactical training integrated platform to communicate with multiple drones.
이때, 드론은 군용으로 납품된 전투드론일 수도 있고, 혹은 일반 드론일 수도 있으며, 이는 특별히 한정되지 않는다. 이러한 드론은 적어도 1개 이상의 다수 개 일 수 있다.At this time, the drone may be a combat drone delivered for military use, or it may be a general drone, and this is not particularly limited. There may be at least one or more such drones.
또한, 본 발명은 전술훈련 통합플랫폼을 통해 전술훈련에 대한 모니터링과 드론으로부터 획득된 영상정보를 출력할 수 있도록 하는 모니터링 서버;를 더 포함하는데, 상기 모니터링 서버는 별도로 구비된 운용자의 단말기와 연동되고, 드론통신 서버와 연동되어 드론의 영상정보를 획득할 수 있도록 한다.In addition, the present invention further includes a monitoring server that monitors tactical training and outputs image information obtained from drones through a tactical training integrated platform. The monitoring server is linked to a separately provided operator's terminal and , It is linked to the drone communication server to obtain video information from the drone.
이러한 모니터링 서버는 드론으로부터 제공받은 영상정보를 플랫폼을 통해 가시화 처리한 후 운용자의 단말기를 통해 출력될 수 있도록 기능한다.This monitoring server functions to visualize the video information provided from the drone through the platform and then output it through the operator's terminal.
또한, 본 발명은 운용자에 의해 규정된 전술정보를 기 저장하고, 이를 플랫폼에 공유하는 전술제어 서버;를 더 포함한다.In addition, the present invention further includes a tactical control server that stores tactical information defined by the operator and shares it on the platform.
이때, 운용자에 의해 규정되는 전술정보는, 운용자의 단말기를 통해 운용자가 직접 설계하여 저장하는 것일 수도 있고, 이러한 전술제어 서버는, 기 저장된 전술정보를 운용자가 수정하거나 삭제 또는 신규추가 하도록 하는 인터페이스를 운용자의 단말기로 제공할 수도 있다.At this time, the tactical information defined by the operator may be designed and stored directly by the operator through the operator's terminal, and this tactical control server provides an interface that allows the operator to modify, delete, or add new tactical information that has already been stored. It can also be provided to the operator's terminal.
상기 전술훈련 통합플랫폼은 모니터링 서버로부터 수신된 영상정보와 적군정보를 실시간으로 합성하고, 이를 실시간으로 가시화하여 가시화정보를 생성하는 가시화 모듈;을 포함한다.The tactical training integrated platform includes a visualization module that synthesizes image information and enemy information received from a monitoring server in real time and visualizes the image information in real time to generate visualization information.
또한, 상기 전술훈련 통합플랫폼은 XR(eXtended Reality, 확장현실)디바이스와 연동되는 연동모듈(도 1의 HLA/RTI모듈 참고);을 더 포함할 수 있으며, 이러한 연동모듈은, 상기 가시화 모듈로부터 가시화정보를 연동받아 XR디바이스 전송함으로써, XR디바이스를 착용한 사용자가 가시화정보를 볼 수 있도록 할 수 있다.In addition, the tactical training integrated platform may further include an interlocking module (refer to the HLA/RTI module in FIG. 1) that is interlocked with an XR (eXtended Reality) device, and this interlocking module is visualized from the visualization module. By linking information and transmitting it to the XR device, users wearing the XR device can view visualization information.
또한, 상기 전술훈련 통합플랫폼은, XR디바이스에 의한 확장현실(XR)과 드론의 영상정보 상에서 객체정보를 혼합하는 혼합현실(MR)을 제공하는 MR관리모듈;을 더 포함할 수 있는데, 상기 MR관리모듈은, 드론으로부터 획득된 영상정보 상에서 실제정보, 예컨대 지형 및 지물을 인식하고 분리하여 이들을 객체로서 인식하는 객체인식모듈;을 포함하고,In addition, the tactical training integrated platform may further include an MR management module that provides mixed reality (MR) that mixes extended reality (XR) by an XR device and object information on the image information of the drone, where the MR The management module includes an object recognition module that recognizes and separates real information, such as terrain and features, from image information acquired from a drone and recognizes them as objects,
또한, MR관리모듈은 가상의 적군정보를 기구축하는 라이브러리 형태의 가상적군운용모듈로부터 적군정보를 구축하고, XR디바이스에 연동시켜 출력하는 디지털트윈모듈;을 포함한다.In addition, the MR management module includes a digital twin module that constructs enemy information from a library-type virtual enemy operation module that constructs virtual enemy information and outputs it by linking it to an XR device.
상기 디지털트윈모듈에 대하여 부연하면, 솔루션 제작에 필요한 모델을 식별하고 설계데이터(2D 도면), 3D 스캔 정보, 이미지 및 사진 자료 등을 활용하여 솔루션에서 활용 가능하도록 보완하고 실제 모습으로 구체화되도록 3D 모델링을 수행하는 것으로서, 다만 3D CAD 모델은 파일의 용량이 크고 VR/AR/MR 구현에 필요치 않은 품목이 존재할 수 있으므로 이들의 삭제, 정리, 단순화 작업을 수행하고, 완성된 3D CAD 모델로부터 솔루션 제작에 적합한 3D 가상 모델을 도출. 데이터 변환과 오류 검증 및 보정 작업 후, 모델의 경량화를 위한 메시(Mesh) 감쇄(Reduction)작업을 수행하는 것이다.To elaborate on the above digital twin module, it identifies the model needed to create a solution, supplements it so that it can be used in the solution by using design data (2D drawings), 3D scan information, images and photo data, etc., and 3D models it to be embodied in the actual form. However, since the 3D CAD model has a large file size and may contain items that are not necessary for VR/AR/MR implementation, these items are deleted, organized, and simplified, and solutions are created from the completed 3D CAD model. Derive an appropriate 3D virtual model. After data conversion and error verification and correction, mesh reduction is performed to lighten the model.
여기서, 실제 현장 모습이 표현되도록 VR 모델의 사실감을 높이기 위해 V-ray 광원과 재질을 사용하여 맵핑, 사진 합성과 리터칭한 텍스처로 기본 모델을 제작한 후, RTT를 통해 고화질 텍스처(Specular, Normal 등)를 출력하여 최종 모델에 적용하고, 폭발 및 파괴되는 현상 묘사를 위해 실사감을 위한 텍스처 매핑 및 컬러링 작업과 함께, 체계적인 오브젝트 트리 구조를 생성하여 3D 모델 라이브러리를 구축하도록 한다.Here, in order to increase the realism of the VR model so that the actual scene is expressed, a basic model is created with mapping, photo synthesis, and retouched textures using V-ray light sources and materials, and then high-definition textures (Specular, Normal, etc.) are created through RTT. ) is output and applied to the final model, and a 3D model library is built by creating a systematic object tree structure along with texture mapping and coloring for a realistic feel to depict explosion and destruction phenomena.
이때, CAD 모델과 달리 VR 모델은 용량을 가볍게 하기 위하여 일반적으로 Mesh 정보만을 추출하여 활용하기 때문에 CAD 시스템으로부터 Mesh 정보만을 갖는 형태로 Export 시키고 VR 모델링 툴에서는 이를 Import하여 활용한다. 이 과정에서 Mesh 자체의 용량이 커질 수 있기 때문에 이를 줄이는 과정을 수행한다.At this time, unlike CAD models, VR models generally extract and utilize only mesh information in order to lighten the capacity, so they are exported from the CAD system in a form with only mesh information and imported and used in VR modeling tools. During this process, the capacity of the mesh itself may increase, so a process of reducing it is performed.
상기 가상적군운용모듈은, 적군정보를 생성, 삭제 및 변경하고, 상기 적군정보에 따른 적군유닛이 운용되는 정보를 관리하는 기능을 수행한다.The virtual enemy operation module performs the function of creating, deleting, and changing enemy information, and managing information on how enemy units are operated according to the enemy information.
이때, 상기 가상적군운용모듈은, 드론정보와 적군정보를 수집하고 분석하는 기능을 수행할 수도 있는데, 예를 들어 적군정보의 운용을 통해 적군의 이동경로를 생성하도록 하고, MR에 기반하여 XR디바이스 상에서 적군유닛이 구동하는 것을 기능하도록 한다.At this time, the virtual enemy operation module may perform the function of collecting and analyzing drone information and enemy information. For example, it generates the enemy's movement path through the operation of enemy information and XR device based on MR. Enables the enemy units to function on the drive.
또한, 드론정보와 적군정보를 수집하고 분석하는 것으로서, XR환경에서 드론정보와 적군정보를 출력하도록 하여, 드론의 파손 등의 정보를 XR환경에서 가시화할 수 있도록 하고, 적군정보의 경우, 적군의 피격, 사망, 부상 등을 분석하도록 한다. 이러한 분석은 가시화모듈을 통해 가시화되는 영상정보의 분석을 기반으로 하되, 미리 저장된 정보와 다른 형태를 취하는 것을 비교 분석함으로써 가능할 수 있다.In addition, by collecting and analyzing drone information and enemy information, the drone information and enemy information are output in the XR environment, allowing information such as damage to the drone to be visualized in the XR environment. In the case of enemy information, the enemy's information is output. Analyze attacks, deaths, injuries, etc. This analysis is based on the analysis of image information visualized through a visualization module, but may be possible by comparing and analyzing information that takes a different form from pre-stored information.
이와 같이 적군정보를 운용함에 있어서, 실시간 동적은닉기술의 적용을 위해, 한 장의 입력영상에서 실제건물을 가상모델의 바운딩 박스로 가정하고 추적한다. 또한, 바운딩 박스를 이용하여 실제 건물을 추적할 때 바라볼 수 있는 건물의 면의 개수 (최대 3면)를 정하고, 이중 하나의 평면상에서는 최소 4개의 특징점을 추적한다.In this way, when operating enemy information, in order to apply real-time dynamic hiding technology, a real building is assumed to be the bounding box of the virtual model in a single input image and tracked. In addition, when tracking an actual building using a bounding box, the number of sides of the building that can be viewed (maximum 3 sides) is determined, and at least 4 feature points are tracked on one of these planes.
그리고 합성을 원하는 바운딩 박스의 길이와 크기가 결정되면 영상위의 실제 건물의 측정된 특징점 들을 사용하여 바운딩 박스의 공간좌표를 결정하고, 바운딩 박스는 실제세계에서는 투명하게 표현하지만, 바운딩 박스를 불투명하게 하고 가상적군과 연산하여 동적은닉기술을 완성하도록 한다.Once the length and size of the bounding box for which you want to composite are determined, the spatial coordinates of the bounding box are determined using the measured feature points of the actual building on the image. Although the bounding box is expressed transparently in the real world, the bounding box is made opaque. and calculates with the virtual enemy group to complete the dynamic hiding technology.
이때, 현실감을 더욱 증가시키기 위해 그림자 효과를 구현할 수 있고, 조명분포를 추정하기 위해 입력 영상에 캐니(Canny) 에지(edge) 연산자를 적용하여 그림자 영역의 에지를 찾고, 그래디언트 분포를 참조하면서 레이를 이용해 그림자 영역을 분할 및 표현할 수 있다.At this time, a shadow effect can be implemented to further increase the sense of realism, and to estimate the lighting distribution, the Canny edge operator is applied to the input image to find the edge of the shadow area, and the ray is calculated while referring to the gradient distribution. You can use this to divide and express shadow areas.
이러한 적군정보는, 드론에 의해 획득된 영상정보 상에 GPS 좌표 데이터를 매핑하고, 연동되어 적용되는 것인데, 이때 GPS 좌표 데이터에 의해 적군정보에 대한 모니터링도 가능할 수 있다.This enemy information is applied by mapping GPS coordinate data on image information acquired by a drone and linking it. At this time, monitoring of enemy information may also be possible using GPS coordinate data.
한편, 상기 전술훈련 통합플랫폼은 상술된 전술제어 서버와 공유하여 전술정보를 지원하는 전술지원모듈;을 더 포함할 수 있는데, 이러한 전술지원모듈은 상기 전술제어 서버로부터 전술정보를 공유받고, 공유받은 전술정보와 MR관리모듈로부터 제공받은 적군정보의 GPS 좌표 데이터에 기반하여, 드론의 최적의 배치정보를 제공하고 가이드하는 전술지원AI모듈;을 포함한다.Meanwhile, the tactical training integrated platform may further include a tactical support module that supports tactical information by sharing it with the tactical control server described above. This tactical support module receives tactical information from the tactical control server and receives the shared tactical information. It includes a tactical support AI module that provides and guides optimal deployment information for drones based on tactical information and GPS coordinate data of enemy information provided from the MR management module.
또한, 상기 전술지원모듈은, 전술제어 서버로부터 공유받은 전술정보에 기반하여 시나리오를 관리하는 전투모의관리모듈;을 더 포함하고, 아울러, 전투모의관리모듈과 전술지원AI모듈에 연동되어 XR기반의 시뮬레이션 중 드론이 적군에게 피격되어 파손된 것을 분석하는 위험관리모듈;을 더 포함한다.In addition, the tactical support module further includes a combat simulation management module that manages scenarios based on tactical information shared from the tactical control server, and is linked to the combat simulation management module and the tactical support AI module to provide XR-based It further includes a risk management module that analyzes damage caused by the drone being hit by an enemy during the simulation.
이러한 전술지원모듈의, 각 전술지원AI모듈, 전투모의관리모듈 및 위험관리모듈에 의한 정보들은 가시화모듈로 연동되어 XR디바이스로 출력되도록 할 수 있다.Information from each tactical support AI module, combat simulation management module, and risk management module of these tactical support modules can be linked to the visualization module and output to the XR device.
또한, 상기 위험관리모듈에 있어서, 예를 들어 상기 전술지원AI모듈과 디지털트윈모듈에 기반하여, 드론이 적군으로부터 피격되어 파손된 정보를 분석하는 것은, 적군정보에 기반하여 적군유닛의 행동과; 전술지원AI모듈에서의 가이드 된 드론의 GPS 좌표 데이터에 기반하여, 드론의 피격을 분석해내고, 피격이 있다면 드론이 파손된 것으로 판단하는 것이다.In addition, in the risk management module, for example, based on the tactical support AI module and the digital twin module, analyzing information on damage to the drone after being hit by the enemy includes: the behavior of the enemy unit based on the enemy information; Based on the guided drone's GPS coordinate data from the tactical support AI module, the drone's hit is analyzed and, if hit, the drone is judged to be damaged.
또한, 상술된 전술지원모듈에 의해 정보가 제공되어 훈련이 진행된 결과를 저장하고 관리하여 전술제어 서버로 전송하는 훈련결과분석모듈;이 전술지원모듈에 더 포함되도록 구성할 수 있다.In addition, a training result analysis module that stores and manages the training results provided by the above-described tactical support module and transmits them to the tactical control server; can be configured to be further included in the tactical support module.
상술된 바와 같이 구성된 본 발명에 따른 원격 드론 전술훈련 시스템에 의하면, 분대급 드론 조종병들이 전술훈련소에서 원거리 훈련장에 위치한 전투드론을 조종하여 가상의 동적표적에 대해 다양한 전술 훈련을 수행할 수 있도록 하는, 원격 드론 전술훈련 시스템을 제공함으로써,According to the remote drone tactical training system according to the present invention configured as described above, squad-level drone operators can perform various tactical training against virtual dynamic targets by controlling combat drones located at a remote training site at the tactical training center. , by providing a remote drone tactical training system,
드론 조종병이 전투드론을 조종하면 드론에 부착된 카메라를 통해 수신되는 영상정보를 실시간 분석하여 지형/지물에 대한 객체를 인식하고, 시스템관리자는 드론의 영상정보를 모니터링하고 가상적군을 영상정보에 합성하며, 전술지휘관은 전술지원 AI를 활용하여 전술에 대한 의사결정을 하고 드론 조종병에게 임무를 부여하되, 상기 드론 조종병은 XR 디바이스의 전시화면을 통하여 전술훈련을 위한 정보들을 확인하며, 합성된 가상적군을 무력화하기 위해 전투드론을 제어할 수 있도록 한다.When a drone operator controls a combat drone, the image information received through the camera attached to the drone is analyzed in real time to recognize objects related to terrain/objects. The system administrator monitors the drone's image information and detects virtual enemies based on the image information. The tactical commander uses tactical support AI to make decisions about tactics and assigns missions to drone operators. The drone operators check information for tactical training through the display screen of the XR device, and synthesize Allows you to control combat drones to neutralize virtual enemy forces.
이에 따라, 적의 상황을 레이더 탐지 및 추적, 공중사격지원, 해군 특수부대의 Head Mount Camera를 활용한 전장 가시화 및 공유를 통해 작전의 성공을 도모할 수 있다.Accordingly, the success of the operation can be promoted through radar detection and tracking of the enemy situation, aerial fire support, and battlefield visualization and sharing using the Head Mount Camera of the Navy Special Forces.
또한, 소규모 작전에서도 전장 가시화 및 공유, 필요시 공격 임무를 수행할 수 있는 드론을 전장에 투입한다면, 보병의 생존성을 보장하고, 상황인식 능력을 극대화하여 적의 전장 능력을 무력화하는데 상당한 기여를 할 것이다.In addition, if drones that can visualize and share the battlefield and perform attack missions when necessary are deployed into the battlefield even in small-scale operations, it will significantly contribute to ensuring the survivability of infantry and maximizing situational awareness to neutralize the enemy's battlefield capabilities. will be.
또한, 현재 미래보병 전투체계에 분대별 무인체계가 도입될 예정인 점 등을 볼 때 사전에 “사이버 원격드론 전술훈련 솔루션”을 활용하여 전술을 개발하고 적정한 드론체계의 성능을 시험하며, 전술을 개발함으로써 최고의 전투 능력 개발에 큰 역할을 할 것으로 기대된다.In addition, considering that a squad-specific unmanned system is scheduled to be introduced in the current future infantry combat system, a “cyber remote drone tactical training solution” will be used in advance to develop tactics, test the performance of the appropriate drone system, and develop tactics. By doing so, it is expected to play a major role in developing the best combat capabilities.
상기에서 도면을 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명이 도면의 구성에 한정되는 것이 아님은 자명하다.The above description using the drawings describes only the main points of the present invention, and as various designs are possible within the technical scope, it is obvious that the present invention is not limited to the configuration of the drawings.
Claims (5)
상기 전술훈련 통합플랫폼이 다수의 드론과 통신하도록 기능하는 드론통신 서버와;
상기 전술훈련 통합플랫폼을 통해 전술훈련에 대한 모니터링과 드론으로부터 획득된 영상정보를 출력할 수 있도록 하는 모니터링 서버와;
운용자에 의해 규정된 전술정보를 기 저장하고, 상기 전술정보를 전술훈련 통합플랫폼에 공유하는 전술제어 서버;를 포함하되,
상기 모니터링 서버는,
운용자의 단말기에 연동되어 상기 영상정보를 운용자의 단말기로 출력하는 원격 드론 전술훈련 시스템에 있어서,
상기 전술훈련 통합플랫폼은,
모니터링 서버로부터 수신된 영상정보와 적군정보를 실시간으로 합성하고, 합성된 정보를 실시간으로 가시화하여 가시화정보로 생성하는 가시화모듈과;
XR디바이스와 연동되는 연동모듈과;
XR디바이스에 의한 확장현실(XR)과 드론의 영상정보 상에서 객체정보를 혼합하는 혼합현실(MR)을 제공하는 MR관리모듈과;
상기 전술제어 서버의 전술정보를 공유받아 전술적 지원을 수행하는 전술지원모듈;을 포함하되,
상기 MR관리모듈은,
드론으로부터 획득된 영상정보 상에서 지형 및 지물을 인식하고 분리하여 객체정보로 인식하는 객체인식모듈과;
적군유닛을 관리하고 적군유닛의 구동을 관리하는 가상적군운용모듈과;
상기 가상적군운용모듈의 적군유닛을 기반으로 적군정보를 구축하고, 적군정보가 XR디바이스에 연동되도록 하는 디지털트윈모듈;을 포함하고,
상기 전술지원모듈은,
상기 전술제어 서버로부터 전술정보를 공유받고, 공유받은 전술정보와 MR관리모듈로부터 제공받은 적군정보의 GPS 좌표 데이터에 기반하여, 드론의 배치정보를 제공하고 가이드하는 전술지원AI모듈과; 상기 전술지원AI모듈과 디지털트윈모듈에 기반하여, 드론이 적군으로부터 피격되어 파손된 정보를 분석하는 위험관리모듈;을 포함함으로써,
전투드론을 조종하여 드론에 부착된 카메라를 통해 수신된 영상정보에 기반하여 지형, 지물에 대한 객체를 인식하고, 상기 모니터링 서버를 통해 모니터링되는 전투드론의 영상정보에 기반하여 가상적군을 영상정보에 합성하며, 전술지원AI모듈에 기반하여 전투드론의 조종병에게 임무를 부여하되, 부여된 임무의 수행을 위해 훈련이 가능하도록 전투드론을 제어할 수 있도록 하고,
상기 가상적군운용모듈은,
드론정보와 적군정보를 수집하고 분석함으로써, 적군정보에 기반한 적군의 이동경로를 생성하고, 이동경로를 따라 적군유닛이 구동하도록 함으로써,
적군의 이동경로에 대한 복수의 가능성에 대해서 이동경로별 전술훈련이 가능하거나, 직접 설정한 적군의 이동경로별 전술훈련이 가능하도록 함에 따라, 경우의 수에 따른 대응이 가능하고,
확장현실(XR) 환경에서 드론정보와 적군정보를 출력하도록 하되, 드론의 파손정보를 확장현실(XR) 환경에서 가시화 할 수 있도록 하고, 적군의 피격, 사망 및 부상을 포함하는 상태정보를 분석하여 확장현실(XR) 환경에서 가시화하는 것을 특징으로 하는, 원격 드론 전술훈련 시스템.A tactical training integrated platform that enables training;
A drone communication server that functions to enable the tactical training integrated platform to communicate with multiple drones;
a monitoring server that monitors tactical training and outputs video information obtained from drones through the tactical training integrated platform;
Includes a tactical control server that stores tactical information defined by the operator and shares the tactical information with the tactical training integrated platform;
The monitoring server is,
In a remote drone tactical training system that is linked to the operator's terminal and outputs the image information to the operator's terminal,
The tactical training integrated platform is,
a visualization module that synthesizes image information and enemy information received from a monitoring server in real time, visualizes the synthesized information in real time, and generates visualization information;
A linkage module that works with the XR device;
An MR management module that provides mixed reality (MR) that mixes extended reality (XR) by an XR device and object information on the image information of the drone;
Includes a tactical support module that receives tactical information from the tactical control server and provides tactical support,
The MR management module is,
An object recognition module that recognizes and separates terrain and features from image information obtained from a drone and recognizes them as object information;
A virtual enemy operation module that manages enemy units and manages the operation of enemy units;
It includes a digital twin module that constructs enemy information based on the enemy unit of the virtual enemy operation module and allows the enemy information to be linked to the XR device,
The tactical support module is,
A tactical support AI module that receives tactical information from the tactical control server, provides deployment information and guides drones based on the shared tactical information and GPS coordinate data of enemy information provided by the MR management module; By including a risk management module that analyzes information damaged when a drone is hit by an enemy, based on the tactical support AI module and digital twin module,
Manipulate a combat drone to recognize objects for terrain and features based on image information received through a camera attached to the drone, and identify virtual enemy forces based on the image information of the combat drone monitored through the monitoring server. It synthesizes and assigns a mission to the operator of the combat drone based on the tactical support AI module, but allows the combat drone to be controlled so that training can be performed to perform the assigned mission.
The virtual enemy operation module is,
By collecting and analyzing drone information and enemy information, the enemy's movement path is created based on the enemy information, and the enemy unit is driven along the movement path,
Tactical training for each movement route is possible for multiple possibilities regarding the enemy's movement routes, or tactical training for each enemy movement route that is set directly is possible, making it possible to respond according to the number of cases.
Drone information and enemy information are output in an extended reality (XR) environment, but damage information of the drone can be visualized in an extended reality (XR) environment, and status information including enemy hits, deaths, and injuries are analyzed. A remote drone tactical training system characterized by visualization in an extended reality (XR) environment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230089968A KR102655962B1 (en) | 2023-07-11 | 2023-07-11 | Remote Drone Tactical Training System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230089968A KR102655962B1 (en) | 2023-07-11 | 2023-07-11 | Remote Drone Tactical Training System |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102655962B1 true KR102655962B1 (en) | 2024-04-19 |
Family
ID=90881863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230089968A KR102655962B1 (en) | 2023-07-11 | 2023-07-11 | Remote Drone Tactical Training System |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102655962B1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101209787B1 (en) * | 2012-04-09 | 2012-12-11 | 삼성탈레스 주식회사 | Apparatus for disarming in combat unmanned aerial vehicles and method for operating the same |
| KR20170091263A (en) | 2016-01-31 | 2017-08-09 | 자이로캠주식회사 | The drone with camera sensor and bomb for suicide bombing, and the remote control and monitoring device |
| KR101797208B1 (en) | 2015-09-07 | 2017-11-13 | 한국항공대학교산학협력단 | Live, virtual and constructive operation system and method for experimentation and training of unmanned aircraft vehicle |
| CN108646589A (en) * | 2018-07-11 | 2018-10-12 | 北京晶品镜像科技有限公司 | A kind of battle simulation training system and method for the formation of attack unmanned plane |
| KR102146264B1 (en) * | 2020-01-08 | 2020-08-20 | 제이에스씨(주) | Platform system for joint training of command and control using augmented reality based on 5G network |
| KR102471842B1 (en) | 2022-03-30 | 2022-11-30 | (주)디투이노베이션 | Electro optical/infrared ray image simulation method for live virtual constructive based drone tactical training |
| KR20220170774A (en) | 2021-06-23 | 2022-12-30 | 주식회사 요요인터렉티브 | Drone tactical training system based on metaverse and drone training system in metaverse space using the same |
-
2023
- 2023-07-11 KR KR1020230089968A patent/KR102655962B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101209787B1 (en) * | 2012-04-09 | 2012-12-11 | 삼성탈레스 주식회사 | Apparatus for disarming in combat unmanned aerial vehicles and method for operating the same |
| KR101797208B1 (en) | 2015-09-07 | 2017-11-13 | 한국항공대학교산학협력단 | Live, virtual and constructive operation system and method for experimentation and training of unmanned aircraft vehicle |
| KR20170091263A (en) | 2016-01-31 | 2017-08-09 | 자이로캠주식회사 | The drone with camera sensor and bomb for suicide bombing, and the remote control and monitoring device |
| CN108646589A (en) * | 2018-07-11 | 2018-10-12 | 北京晶品镜像科技有限公司 | A kind of battle simulation training system and method for the formation of attack unmanned plane |
| KR102146264B1 (en) * | 2020-01-08 | 2020-08-20 | 제이에스씨(주) | Platform system for joint training of command and control using augmented reality based on 5G network |
| KR20220170774A (en) | 2021-06-23 | 2022-12-30 | 주식회사 요요인터렉티브 | Drone tactical training system based on metaverse and drone training system in metaverse space using the same |
| KR102471842B1 (en) | 2022-03-30 | 2022-11-30 | (주)디투이노베이션 | Electro optical/infrared ray image simulation method for live virtual constructive based drone tactical training |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101475436B1 (en) | Combat effect analysis system under V-C interoperability, and operation method of the same | |
| CN111984751B (en) | System and method based on multi-domain combat visual display | |
| CN109740283A (en) | Autonomous multiple agent confronting simulation method and system | |
| CN113559510B (en) | Virtual skill control method, device, equipment and computer readable storage medium | |
| US11868519B2 (en) | Systems and methods for virtual training within three-dimensional adaptive learning environments | |
| Park et al. | Simulation framework for small scale engagement | |
| CN115620579A (en) | Simulation training method, device, computer equipment and storage medium | |
| CN113633964A (en) | Virtual skill control method, device, equipment and computer readable storage medium | |
| Rozman | The synthetic training environment | |
| McKenzie et al. | Integrating crowd-behavior modeling into military simulation using game technology | |
| Karr et al. | Synthetic soldiers [military training simulators] | |
| CN114841068A (en) | Three-dimensional high-simulation war game deduction platform and method | |
| KR102655962B1 (en) | Remote Drone Tactical Training System | |
| KR102655965B1 (en) | VR interaction real-time compose system based on drone video | |
| Loachamín-Valencia et al. | A Virtual Shooting Range, Experimental Study for Military Training | |
| Shi | Design and realization of shooting training system for police force | |
| Urbánek et al. | Technology of computer-aided adaptive camouflage | |
| Newendorp et al. | Configuring virtual reality displays in a mixed-reality environment for lvc training | |
| Campbell | Virtual environments for infantry soldiers: virtual environments for dismounted soldier simulation, training and mission rehearsal | |
| Padilla | Military simulation systems | |
| Papasimeon | Modelling agent-environment interaction in multi-agent simulations with affordances | |
| Bennett et al. | Improving situational awareness training for Patriot radar operators | |
| Brown et al. | Using augmented reality to enhance fire support team training | |
| Bess | Image generation implications for networked tactical training systems | |
| Prachyabrued et al. | Development of Attack Helicopter Simulator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |