CN116738867A - 一种基于机器学习的无人机防御仿真方法及其*** - Google Patents
一种基于机器学习的无人机防御仿真方法及其*** Download PDFInfo
- Publication number
- CN116738867A CN116738867A CN202311018188.8A CN202311018188A CN116738867A CN 116738867 A CN116738867 A CN 116738867A CN 202311018188 A CN202311018188 A CN 202311018188A CN 116738867 A CN116738867 A CN 116738867A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- model
- data
- simulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000007123 defense Effects 0.000 title claims abstract description 73
- 238000004088 simulation Methods 0.000 title claims abstract description 67
- 238000010801 machine learning Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000011156 evaluation Methods 0.000 claims abstract description 17
- 230000002787 reinforcement Effects 0.000 claims abstract description 16
- 238000012876 topography Methods 0.000 claims abstract description 13
- 230000002265 prevention Effects 0.000 claims abstract description 10
- 238000013499 data model Methods 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims abstract description 5
- 230000009471 action Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 8
- 230000009545 invasion Effects 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 28
- 238000012360 testing method Methods 0.000 abstract description 5
- 238000012827 research and development Methods 0.000 abstract description 3
- 238000012795 verification Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 239000003795 chemical substances by application Substances 0.000 description 5
- 238000011835 investigation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种基于机器学习的无人机防御仿真方法及其***，该方法包括如下步骤：基于GIS三维虚拟仿真构建所需的真实三维地形地貌；响应于将物理空间中的实体数字化，并在数据端构建该实体的数据模型以构建物模型；基于构建的所述物模型；利用机器学习及模型训练，实现对无人机防控决策方法进行强化学习和纠偏，实现无人机对抗模拟仿真。本发明对于区域性无人机防御任务的自主决策与协同规划控制的研究和发展具有十分重要的意义，为无人机防御***分布部署的任务决策、安防复杂任务的规划、分布式协同控制、协同任务推演与任务效能评估等提供了一个实时仿真环境，对无人机防御设计方案的实时性、有效性、可行性进行测试和验证。
Description
技术领域
本发明属于无人机技术领域，具体涉及一种基于机器学习的无人机防御仿真方法及其***。
背景技术
无人驾驶飞行器，简称无人机，是一种使用无线遥控设备和自主程序控制的不载人飞机。与载人飞行器相比，无人机由于自身的灵活性、便携性、经济性以及易操作性已经在农业、城管、科研、环保、公安等各个领域都有了广泛的应用。
传统无人机防御解决方案的设计，通常的流程是：了解需求，分析需求，实地考察，结合经验进行无人机防御方案的设计。在这样的模式下，人力、时间的成本极高，设计的方案基于设计者主观的想法以及经验之谈，可能会存在不足之处，并且不易验证，在实际作战过程中可能会存在防御盲区。
有鉴于此，提出一种基于机器学习的无人机防御仿真方法及其***是非常具有意义的。
发明内容
本发明提供一种基于机器学习的无人机防御仿真方法及其***，以解决上述存在的技术缺陷问题。
第一方面，本发明提出了一种基于机器学习的无人机防御仿真方法，该方法包括如下步骤：
基于GIS三维虚拟仿真构建所需的真实三维地形地貌；
响应于将物理空间中的实体数字化，并在数据端构建该实体的数据模型以构建物模型；
基于构建的所述物模型，将无人机防御设备、无人机设备以及无人机防御区域、无人机入侵区域、点位分布直观的在GIS三维地图中进行可视化展示；
利用机器学习及模型训练，实现对无人机防控决策方法进行强化学习和纠偏，实现无人机对抗模拟仿真；
其中，机器学习具体包括：
数据收集，收集无人机设备的攻击范围以及无人机防御设备的防御范围两种物模型的相关数据；
数据处理，将数据的顺序进行随机化，并检查收集的数据集是否偏向某个模型，通过检查和审查的方式对数据进行预清理，进一步将数据按模型训练和模型评估比例为8:2进行分割；
选择模型，选择强化学习的模型作为无人机与无人机防御设备电子对抗的模型，强化学习的过程符合马尔可夫决策过程MDP，选择Value Based分类方式和采用SARSAState-Action-Reward-State-Action算法；
模型评估，根据指标准确率Ac、灵敏度Sn、特异性Sp和马太相关系数MCC进行自动试错学习，并不断优化；
模型超参数调优，根据模型评估的结果对模型进行调参，以进一步提高模型的性能；
模型保存，当模型训练完成后，需要将训练好的模型保存下来，并将其部署到实际应用中，以进行预测任务和分类任务。
指标的计算公式如下：
准确率Ac计算公式;
灵敏度Sn计算公式;
特异性Sp计算公式;
马太相关系数MCC计算公式
;
其中，Ac表示模型准确率；Sn表示模型的灵敏度；Sp表示模型的特异性指标，MCC表示马太相关系数；TP、TN、FP和FN分别表示真阳性、真阴性、假阳性和假阴性。
优选的，基于GIS三维虚拟仿真构建所需的真实三维地形地貌具体包括：
在三维地图模块中下载卫星影像和高程数据；
在所述三维地图模块中处理高程数据并转换坐标系；
在所述三维地图模块中构建SHP面文件建立坐标系；
进一步加载卫星影像数据至所述三维地图模块的地图文件；
并在web模块渲染，构建出三维仿真地形。
进一步优选的，构建物模型还包括：
结合物理现象、安保人员、无人机防御设备以及无人机设备的特性，对构建的所述物模型进行扩展，将特性定义为属性、服务和事件三个要素；
对每种数据类型定义预设的数据规范，包括定义数据范围、精度、步长；
其中所述物理现象包括无人机、无人机防御设备以及无人机与无人机防御设备间的电子对抗。
进一步优选的，可视化展示还包括：
在三维仿真模块中确定无人机防御设备模型的坐标；
根据获取的坐标，结合设备作用范围，在三维仿真模块中获取相关建筑数据、地形数据；
在三维仿真模块中绘制设备工作半径的作用范围球体；
在处理模块中根据电磁规则，将设备作用范围球体与建筑数据、地形数据进行耦合调参，返回相关数据至三维仿真模块；
进一步在web模块中渲染并显示三维实际设备作用范围球体。
进一步优选的，所述超参数主要包括：
训练神经网络的学习速率；
支持向量机的C和sigma超参数；
k邻域中的k；
网络结构，包括神经元之间的连接关系、层数、每层的神经元数量、激活函数的类型；
优化参数，包括优化方法、学习率、小批量的样本数量；
正则化系数；
其中，采用贝叶斯优化方法以及基于梯度的优化方法作为超参数调优方法。
第二方面，本发明实施例还提供一种基于机器学习的无人机防御仿真***，该***包括：
GIS三维虚拟仿真模块，用于构建真实三维地形地貌，管理、整编高程数据与地形数据，结合相关物模型数据进行渲染，便于web模块直观可视化展示；
物模型构建模块，用于将物理空间中的实体数字化，并在数据端构建该实体的数据模型，便于对无人机防御设备和无人机设备的多类型设备的多类型目标数据进行建模、分析、调用，帮助快速构建小型无人机防控指挥决策模型；
可视化展示模块，用于基于构建的所述物模型，将无人机防御设备、无人机设备以及无人机防御区域、无人机入侵区域、点位分布直观的在GIS三维地图中进行可视化展示；
机器学习及模型训练模块，用于实现对小型无人机防控决策方法进行强化学习和纠偏，进一步地帮助实现无人机对抗模拟仿真的能力。
第三方面，本发明实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
与现有技术相比，本发明的有益成果在于：
（1）本发明对于区域性无人机防御任务的自主决策与协同规划控制的研究和发展具有十分重要的意义，为无人机防御***分布部署的任务决策、安防复杂任务的规划、分布式协同控制、协同任务推演与任务效能评估等提供了一个实时仿真环境，对无人机防御设计方案的实时性、有效性、可行性进行测试和验证。
（2）通过基于机器学习的无人机防御仿真***可以自动根据实际需求自动化、智能化设计无人机防御方案，而且基于机器学习和模型训练实现大规模无人机防御作战任务的彼此设备集群之间的协同联合在线仿真，通过仿真***可以有效提高无人机防御方案设计效率，大大节省人力及时间成本的前提下设备集群部署的在线动态调整、实时作用范围展示、协同联合集群的仿真验证效率。
（3）在复杂多变的作战场景下，该基于机器学***台。
（4）***基于GIS三维虚拟仿真技术、物模型构建技术、机器学习及模型训练技术可实现对区域性无人机防御方案的智能化、自动化设计，相比传统人工设计具备更高精度、高智能、高度可视化、智能动态调整、完善优化等诸多优点，在可大大节省人工、时间成本的前提下，为无人机防御设计方案提供了一个实时仿真环境，可对方案的实时性、有效性、可行性进行测试、验证和动态调整。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
图1是本发明的一个实施例可以应用于其中的示例性装置架构图；
图2为本发明的实施例的基于机器学习的无人机防御仿真方法的流程示意图；
图3为本发明的实施例的基于机器学习的无人机防御仿真方法的***架构示意图；
图4为本发明的实施例的基于机器学习的无人机防御仿真方法中GIS三维虚拟仿真构建的流程示意图；
图5为本发明的实施例的基于机器学习的无人机防御仿真方法中物模型构建的示例图；
图6为本发明的实施例的基于机器学习的无人机防御仿真方法中可视化展示的流程示意图；
图7为本发明的实施例的基于机器学习的无人机防御仿真方法中机器学习的流程示意图；
图8为本发明的实施例的基于机器学习的无人机防御仿真***的流程示意图；
图9是适于用来实现本发明实施例的电子设备的计算机装置的结构示意图。
具体实施方式
在以下详细描述中，参考附图，该附图形成详细描述的一部分，并且通过其中可实践本发明的说明性具体实施例来示出。对此，参考描述的图的取向来使用方向术语，例如“顶”、“底”、“左”、“右”、“上”、“下”等。因为实施例的部件可被定位于若干不同取向中，为了图示的目的使用方向术语并且方向术语绝非限制。应当理解的是，可以利用其他实施例或可以做出逻辑改变，而不背离本发明的范围。因此以下详细描述不应当在限制的意义上被采用，并且本发明的范围由所附权利要求来限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图1示出了可以应用本发明实施例的用于处理信息的方法或用于处理信息的装置的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有通信功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103发送的校验请求信息进行处理的后台信息处理服务器。后台信息处理服务器可以对接收到的校验请求信息进行分析等处理，并得到处理结果（例如用于表征校验请求为合法请求的校验成功信息）。
需要说明的是，本发明实施例所提供的用于处理信息的方法一般由服务器105执行，相应地，用于处理信息的装置一般设置于服务器105中。另外，本发明实施例所提供的用于发送信息的方法一般由终端设备101、102、103执行，相应地，用于发送信息的装置一般设置于终端设备101、102、103中。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块（例如用来提供分布式服务），也可以实现成单个软件或多个软件模块，在此不做具体限定。
传统无人机防御解决方案的设计，通常的流程是：了解需求，分析需求，实地考察，结合经验进行无人机防御方案的设计。这样的模式下，人力、时间的成本极高，设计的方案基于设计者主观的想法以及经验之谈，可能会存在不足之处，并且不易验证，在实际作战过程中可能会存在防御盲区。
图2示出了本发明的实施例公开了一种基于机器学习的无人机防御仿真方法，如图2所示，该方法包括如下步骤：
S1、基于GIS三维虚拟仿真构建所需的真实三维地形地貌；
S2、响应于将物理空间中的实体数字化，并在数据端构建该实体的数据模型以构建物模型；
S3、基于构建的所述物模型，将无人机防御设备、无人机设备以及无人机防御区域、无人机入侵区域、点位分布直观的在GIS三维地图中进行可视化展示；
S4、利用机器学习及模型训练，实现对无人机防控决策方法进行强化学习和纠偏，实现无人机对抗模拟仿真；
其中，机器学习包括数据收集、数据处理、选择模型、模型评估及模型超参数调优、模型保存。
具体的，如图3所示，本发明所提供的基于机器学习的无人机防御仿真***，主要具备GIS三维虚拟仿真能力、物模型构建能力、***无人防御能力可视化、机器学习及模型训练能力、三维动态推演、动态调整与决策能力等功能。
基于机器学习的无人机防御仿真***包括GIS三维仿真模块、物模型构建模块、web模块、机器学习及模型训练模块、数据库、网络链路模块、处理模块。
首先，***需要具备GIS三维虚拟仿真能力，能够更好地表达真实地形以供人类实践活动所用。平面地图被广泛应用在更行各业中，这种方式最大的缺点是不直观，缺乏真实感。为了更直观更形象的表达地理信息，***需要构建真实三维地形地貌的能力，即GIS三维虚拟仿真能力，对数字地形模型中的地形数据实时的进行三维逼真显示、模拟仿真、简化和多分辨率表达等内容的一项技术。它涉及到遥感与测绘、现代数学、计算几何、地理信息***、计算机图形学等众多学科领域。
如图4所示，基于GIS三维虚拟仿真构建所需的真实三维地形地貌具体包括：
在三维地图模块中下载卫星影像和高程数据；
在所述三维地图模块中处理高程数据并转换坐标系；
在所述三维地图模块中构建SHP面文件建立坐标系；
进一步加载卫星影像数据至所述三维地图模块的地图文件；
并在web模块渲染，构建出三维仿真地形。
进一步地，***需要构建准确表示各种物理领域的模型，通过对物模型的构建可以使***做出有意义的工程决策，并使用有助于管理模型复杂性的物理语言，可以毫不费力地描述无人机、无人机防御设备以及彼此间电子对抗等物理现象，进一步地帮助我们实现无人机对抗模拟仿真的能力。
具体的，物模型指将物理空间中的实体数字化，并在数据端构建该实体的数据模型。物模型可以用属性和方法来描述物的状态和行为。
进一步地，结合物理现象、安保人员、无人机防御设备以及无人机设备的特性，将物模型进行了一定的扩展，定义为属性、服务(方法)和事件三要素，事件是一类特殊的属性，比如无人机防御设备的故障告警，这类属性严重性高，实时性强，一般需要监控并及时响应。
为了对设备更精确的描述，物模型针对每种数据类型还定义了非常严谨的数据规范，比如在数据类型之外，还需要定义数据范围、精度、步长等规范。如图5所示为构建的物模型示例。
进一步地，基于构建的物模型，我们就能够在***中可视化地展示无人机防御设备、无人机设备以及无人机防御区域、无人机入侵区域、点位分布示意，直观地在GIS三维地图中进行可视化展示。同时，基于物模型以及GIS三维地形数据能够，真实地表达各无人机防御设备在复杂实际环境中（高楼遮挡、性能衰减等因素）的真实防御能力，帮助用户清楚掌握当前设计方案的防御盲区、死角。
具体的，如图6所示，可视化展示还包括：
在三维仿真模块中确定无人机防御设备模型的坐标；
根据获取的坐标，结合设备作用范围，在三维仿真模块中获取相关建筑数据、地形数据；
在三维仿真模块中绘制设备工作半径的作用范围球体；
在处理模块中根据电磁规则，将设备作用范围球体与建筑数据、地形数据进行耦合调参，返回相关数据至三维仿真模块；
进一步在web模块中渲染、显示三维实际设备作用范围球体。
进一步地，在本实施例中，***需要构建机器学习模型训练模块，以具备深度机器学习的能力。***的机器学习模块构建主要包括以下步骤：
步骤一：收集数据
首先，数据集是构建机器学习模型历程中的起点。因此首先需要收集可用于描述这两种物模型的相关数据：第一个特征是无人机设备的攻击范围，攻击范围由无人机飞行范围、数量、起飞位置决定，第二个特征是无人机防御设备的防御范围，防御范围由无人机防御设备的打击范围、数量，部署位置决定。
步骤二：数据处理
收集了数据，下一步就是处理数据以供进一步使用。此阶段的重点是识别并最小化数据集中的任何潜在偏差。首先，我们将随机化数据顺序，不希望数据与模型的选择有任何关系。此外，需检查我们的数据集是否偏向某个模型，有助于识别和纠正潜在的偏见，使得该模型将能够正确地识别两种物模型。因此，对数据需要进行预清理：对数据进行各种检查和审查的过程，以纠正缺失值、拼写错误、使数值正常化/标准化以使其具有可比性、转换数据(如对数转换)等问题。
接下来对数据进行分割，分为两部分。较大的部分（约80％）将用于训练模型，而较小的部分（约20％）用于评估。在培训和评估中使用相同的数据集将无法公平评估模型在实际场景中的性能。除了拆分数据外，还需要采取其他措施来完善数据集，包括删除重复的条目，丢弃不正确的读数等。
步骤三：选择模型
对于我们示例的无人机与无人机防御设备电子对抗的模型，我们选择强化学习的模型进行训练。
其中，***的强化学习模型组成主要包括：
Agent：强化学习训练的主体就是Agent，在这里主要指无人机防御设备；
Environment（环境）：整个电子对抗模型的大背景就是环境，里面各个隔离板块组成了整个环境；
State（状态）：当前Environment和Agent所处的状态；
Action（行动）：基于当前的State，Agent可以采取哪些行动，增加数量，并且上下左右移动，即更改部署位置，以调整防御范围来应对无人机的攻击；
Reward（奖励）：Agent在当前State下，采取了某个特定的action后，会获得环境的一定反馈就是Reward。这里面用Reward进行统称，Reward是代表环境给予的“反馈”；
***强化学习的过程，符合马尔可夫决策过程（MDP），选择Value Based分类方式，采用SARSA（State-Action-Reward-State-Action）算法。
步骤四：模型评估
模型训练过程中，需要对模型进行评估，以确定模型的性能。以下为***采取的指标，***根据指标自动试错学习，并不断优化。
具体的，指标包括准确率（Ac）、灵敏度（Sn）、特异性（Sp）和马太相关系数（MCC）。各指标计算公式如下：
精度计算公式;
灵敏度计算公式;
特异性计算公式;
马太相关系数计算公式
;
确定系数（R2）;
均方误差;
其中，Ac表示模型准确率；Sn表示模型的灵敏度；Sp表示模型的特异性指标，MCC表示马太相关系数；TP、TN、FP和FN分别表示真阳性、真阴性、假阳性和假阴性的实例。特别注意，MCC的范围从-1到1，其中MCC为-1表示最坏的可能预测，而值为1表示最好的可能预测。此外，MCC为0表示随机预测；
R²实质上是1减去残差平方和（SSres）与总平方和（SStot）的比值，它代表了解释方差的相对量度，例如，如果R²=0.6，那么意味着该模型可以解释60%的方差（即60%的数据符合回归模型），而未解释的方差占剩余的40%；
表示均方误差，n表示样本数，代表真实标签，代表预测标签。
（5）步骤五：模型超参数调优
根据模型评估的结果，对模型进行调参，以进一步提高模型的性能。在本***中，超参数主要包括：
训练神经网络的学习速率;
支持向量机的C和sigma超参数;
k邻域中的k;
网络结构，包括神经元之间的连接关系、层数、每层的神经元数量、激活函数的类型;
优化参数，包括优化方法、学习率、小批量的样本数量;
正则化系数；
基于以上，***采用的超参数调优方法主要是贝叶斯优化方法以及基于梯度的优化方法。
贝叶斯优化方法是通过构造一个函数的后验分布（高斯过程）来工作的，该后验分布最好地描述了要优化的函数。随着观测次数的增加，后验分布得到改善，算法更加确定参数空间中哪些区域值得探索，哪些区域不值得探索。
基于梯度的优化方法：改变x以最小化或者最大化某个函数f(x)的过程。
（6）步骤六：模型保存
当模型训练完成后，需要将训练好的模型保存下来，并将其部署到实际应用中，以进行预测和分类等任务。
完成以上步骤后，如图7所示，***具备深度机器学习的能力，可以根据输入的参数（无人机飞行范围、数量、起飞位置、选择无人机防御设备、成本、最大设备数量），自动输出结果（无人机防御设备部署结果，包括设备数量、设备类型、设备部署位置）并以可视化方式在web模块中展示效果（无人机攻击范围、无人机防御设备防御范围，即电子对抗模型）。
综述，基于以上，***能够根据用户需求完成对无人机防御方案的自动化、智能化设计，进而能够实现根据实际需求动态调整方案设计以及决策，并进一步地通过不断的机器学习以及模型训练，以支持***设计的无人机防御方案进行架构调整、优化和任务验证。
该***对于区域性无人机防御任务的自主决策与协同规划控制的研究和发展具有十分重要的意义，为无人机防御***分布部署的任务决策、安防复杂任务的规划、分布式协同控制、协同任务推演与任务效能评估等提供了一个实时仿真环境，对无人机防御设计方案的实时性、有效性、可行性进行测试和验证。通过基于机器学习的无人机防御仿真***可以自动根据实际需求自动化、智能化设计无人机防御方案，而且基于机器学习和模型训练实现大规模无人机防御作战任务的彼此设备集群之间的协同联合在线仿真，通过仿真***可以有效提高无人机防御方案设计效率，大大节省人力及时间成本的前提下设备集群部署的在线动态调整、实时作用范围展示、协同联合集群的仿真验证效率。
在复杂多变的作战场景下，该基于机器学***台。
第二方面，本发明实施例还提供一种基于机器学习的无人机防御仿真***，如图8所示，该***包括：GIS三维虚拟仿真模块81，物模型构建模块82，可视化展示模块83以及机器学习及模型训练模块84。
在一个具体实施例中，GIS三维虚拟仿真模块81，用于构建真实三维地形地貌，管理、整编高程数据与地形数据，结合相关物模型数据进行渲染，便于web模块直观可视化展示；物模型构建模块82，用于将物理空间中的实体数字化，并在数据端构建该实体的数据模型，便于对无人机防御设备、无人机设备等多类型设备的多类型目标数据进行建模、分析、调用，帮助快速构建小型无人机防控指挥决策模型；可视化展示模块83，用于基于构建的所述物模型，将无人机防御设备、无人机设备以及无人机防御区域、无人机入侵区域、点位分布直观的在GIS三维地图中进行可视化展示；机器学习及模型训练模块84，用于实现对小型无人机防控决策方法进行强化学习和纠偏，进一步地帮助实现无人机对抗模拟仿真的能力。
本发明公开的***基于GIS三维虚拟仿真技术、物模型构建技术、机器学习及模型训练技术可实现对区域性无人机防御方案的智能化、自动化设计，相比传统人工设计具备更高精度、高智能、高度可视化、智能动态调整、完善优化等诸多优点，在可大大节省人工、时间成本的前提下，为无人机防御设计方案提供了一个实时仿真环境，可对方案的实时性、有效性、可行性进行测试、验证和动态调整。
下面参考图9，其示出了适于用来实现本发明实施例的电子设备（例如图1所示的服务器或终端设备）的计算机装置900的结构示意图。图9示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算机装置900包括中央处理单元（CPU）901和图形处理器（GPU）902，其可以根据存储在只读存储器（ROM）903中的程序或者从存储部分909加载到随机访问存储器（RAM）904中的程序而执行各种适当的动作和处理。在RAM 904中，还存储有装置900操作所需的各种程序和数据。CPU 901、GPU902、ROM 903以及RAM 904通过总线905彼此相连。输入/输出（I/O）接口906也连接至总线905。
以下部件连接至I/O接口906：包括键盘、鼠标等的输入部分907；包括诸如、液晶显示器（LCD）等以及扬声器等的输出部分908；包括硬盘等的存储部分909；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分910。通信部分910经由诸如因特网的网络执行通信处理。驱动器911也可以根据需要连接至I/O接口906。可拆卸介质912，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器911上，以便于从其上读出的计算机程序根据需要被安装入存储部分909。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分910从网络上被下载和安装，和/或从可拆卸介质912被安装。在该计算机程序被中央处理单元（CPU）901和图形处理器（GPU）902执行时，执行本发明的方法中限定的上述功能。
需要说明的是，本发明所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本发明各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：基于GIS三维虚拟仿真构建所需的真实三维地形地貌；响应于将物理空间中的实体数字化，并在数据端构建该实体的数据模型以构建物模型；基于构建的所述物模型，将无人机防御设备、无人机设备以及无人机防御区域、无人机入侵区域、点位分布直观的在GIS三维地图中进行可视化展示；利用机器学习及模型训练，实现对无人机防控决策方法进行强化学习和纠偏，实现无人机对抗模拟仿真。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种基于机器学习的无人机防御仿真方法，其特征在于，该方法包括如下步骤：
基于GIS三维虚拟仿真构建所需的真实三维地形地貌；
响应于将物理空间中的实体数字化，并在数据端构建该实体的数据模型以构建物模型；
基于构建的所述物模型，将无人机防御设备、无人机设备以及无人机防御区域、无人机入侵区域、点位分布直观的在GIS三维地图中进行可视化展示；
利用机器学习及模型训练，实现对无人机防控决策方法进行强化学习和纠偏，实现无人机对抗模拟仿真；
其中，机器学习具体包括：
数据收集，收集无人机设备的攻击范围以及无人机防御设备的防御范围两种物模型的相关数据；
数据处理，将数据的顺序进行随机化，并检查收集的数据集是否偏向某个模型，通过检查和审查的方式对数据进行预清理，进一步将数据按模型训练和模型评估比例为8:2进行分割；
选择模型，选择强化学习的模型作为无人机与无人机防御设备电子对抗的模型，强化学习的过程符合马尔可夫决策过程MDP，并选择Value Based分类方式和采用SARSA State-Action-Reward-State-Action算法；
模型评估，根据指标准确率Ac、灵敏度Sn、特异性Sp和马太相关系数MCC进行自动试错学习，并不断优化；
模型超参数调优，根据模型评估的结果对模型进行调参，以进一步提高模型的性能；
模型保存，当模型训练完成后，需要将训练好的模型保存下来，并将其部署到实际应用中，以进行预测任务和分类任务；
模型评估中指标的计算公式具体如下：
准确率Ac计算公式；
灵敏度Sn计算公式；
特异性Sp计算公式；
马太相关系数MCC计算公式；
其中，Ac表示模型准确率；Sn表示模型的灵敏度；Sp表示模型的特异性指标，MCC表示马太相关系数；TP、TN、FP和FN分别表示真阳性、真阴性、假阳性和假阴性。
2.根据权利要求1所述的基于机器学习的无人机防御仿真方法，其特征在于，所述超参数主要包括：
训练神经网络的学习速率；
支持向量机的C和sigma超参数；
k邻域中的k；
网络结构，包括神经元之间的连接关系、层数、每层的神经元数量、激活函数的类型；
优化参数，包括优化方法、学习率、小批量的样本数量；
正则化系数；
其中，采用贝叶斯优化方法以及基于梯度的优化方法作为超参数调优方法。
3.根据权利要求1所述的基于机器学习的无人机防御仿真方法，其特征在于，基于GIS三维虚拟仿真构建所需的真实三维地形地貌具体包括：
在三维地图模块中下载卫星影像和高程数据；
在所述三维地图模块中处理高程数据并转换坐标系；
在所述三维地图模块中构建SHP面文件建立坐标系；
进一步加载卫星影像数据至所述三维地图模块的地图文件；
并在web模块渲染，构建出三维仿真地形。
4.根据权利要求3所述的基于机器学习的无人机防御仿真方法，其特征在于，构建物模型还包括：
结合物理现象、安保人员、无人机防御设备以及无人机设备的特性，对构建的所述物模型进行扩展，将特性定义为属性、服务和事件三个要素；
对每种数据类型定义预设的数据规范，包括定义数据范围、精度、步长；
其中所述物理现象包括无人机、无人机防御设备以及无人机与无人机防御设备间的电子对抗。
5.根据权利要求4所述的基于机器学习的无人机防御仿真方法，其特征在于，可视化展示还包括：
在三维仿真模块中确定无人机防御设备模型的坐标；
根据获取的坐标，结合设备作用范围，在三维仿真模块中获取相关建筑数据以及地形数据；
在三维仿真模块中绘制设备工作半径的作用范围球体；
在处理模块中根据电磁规则，将设备作用范围球体与建筑数据、地形数据进行耦合调参，返回相关数据至三维仿真模块；
进一步在web模块中渲染并显示三维实际设备作用范围球体。
6.一种基于机器学习的无人机防御仿真***，其特征在于，该***包括：
GIS三维虚拟仿真模块，用于构建真实三维地形地貌，管理、整编高程数据与地形数据，结合相关物模型数据进行渲染，便于web模块直观可视化展示；
物模型构建模块，用于将物理空间中的实体数字化，并在数据端构建该实体的数据模型，便于对包括无人机防御设备和无人机设备在内的多类型设备的多类型目标数据进行建模、分析、调用，帮助快速构建小型无人机防控指挥决策模型；
可视化展示模块，用于基于构建的所述物模型，将无人机防御设备、无人机设备以及无人机防御区域、无人机入侵区域、点位分布直观的在GIS三维地图中进行可视化展示；
机器学习及模型训练模块，用于实现对无人机防控决策方法进行强化学习和纠偏，实现无人机对抗模拟仿真。
7.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5中任一所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311018188.8A CN116738867B (zh) | 2023-08-14 | 2023-08-14 | 一种基于机器学习的无人机防御仿真方法及其*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311018188.8A CN116738867B (zh) | 2023-08-14 | 2023-08-14 | 一种基于机器学习的无人机防御仿真方法及其*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116738867A true CN116738867A (zh) | 2023-09-12 |
| CN116738867B CN116738867B (zh) | 2023-10-31 |
Family
ID=87911761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311018188.8A Active CN116738867B (zh) | 2023-08-14 | 2023-08-14 | 一种基于机器学习的无人机防御仿真方法及其*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116738867B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117807782A (zh) * | 2023-12-29 | 2024-04-02 | 南京仁高隆软件科技有限公司 | 一种实现三维仿真模型的方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020106908A1 (en) * | 2018-11-21 | 2020-05-28 | Amazon Technologies, Inc. | Reinforcement learning model training through simulation |
| CN113282061A (zh) * | 2021-04-25 | 2021-08-20 | 南京大学 | 一种基于课程学习的无人机空中博弈对抗的解决方法 |
| CN113589842A (zh) * | 2021-07-26 | 2021-11-02 | 中国电子科技集团公司第五十四研究所 | 一种基于多智能体强化学习的无人集群任务协同方法 |
| CN113887134A (zh) * | 2021-09-27 | 2022-01-04 | 南京航空航天大学 | 一种大规模轻量级的无人集群试验仿真平台及工作方法 |
| US20220078210A1 (en) * | 2015-10-28 | 2022-03-10 | Qomplx, Inc. | System and method for collaborative cybersecurity defensive strategy analysis utilizing virtual network spaces |
| CN115017759A (zh) * | 2022-05-25 | 2022-09-06 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种无人机末端自主防御仿真验证平台 |
| CN115114723A (zh) * | 2022-06-07 | 2022-09-27 | 中国船舶集团有限公司***工程研究院 | 一种水面无人艇任务规划学习器设计方法及*** |
| CN116187217A (zh) * | 2023-01-06 | 2023-05-30 | 中国电子科技集团公司第二十八研究所 | 基于平行仿真的无人机智能算法学***台构建方法 |
-
2023
- 2023-08-14 CN CN202311018188.8A patent/CN116738867B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220078210A1 (en) * | 2015-10-28 | 2022-03-10 | Qomplx, Inc. | System and method for collaborative cybersecurity defensive strategy analysis utilizing virtual network spaces |
| WO2020106908A1 (en) * | 2018-11-21 | 2020-05-28 | Amazon Technologies, Inc. | Reinforcement learning model training through simulation |
| CN113282061A (zh) * | 2021-04-25 | 2021-08-20 | 南京大学 | 一种基于课程学习的无人机空中博弈对抗的解决方法 |
| CN113589842A (zh) * | 2021-07-26 | 2021-11-02 | 中国电子科技集团公司第五十四研究所 | 一种基于多智能体强化学习的无人集群任务协同方法 |
| CN113887134A (zh) * | 2021-09-27 | 2022-01-04 | 南京航空航天大学 | 一种大规模轻量级的无人集群试验仿真平台及工作方法 |
| CN115017759A (zh) * | 2022-05-25 | 2022-09-06 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种无人机末端自主防御仿真验证平台 |
| CN115114723A (zh) * | 2022-06-07 | 2022-09-27 | 中国船舶集团有限公司***工程研究院 | 一种水面无人艇任务规划学习器设计方法及*** |
| CN116187217A (zh) * | 2023-01-06 | 2023-05-30 | 中国电子科技集团公司第二十八研究所 | 基于平行仿真的无人机智能算法学***台构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘立辉;赵彦杰;赵小虎;李志飞;李岩;: "一种无人集群***仿真平台设计", 中国电子科学研究院学报, no. 05, pages 68 - 74 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117807782A (zh) * | 2023-12-29 | 2024-04-02 | 南京仁高隆软件科技有限公司 | 一种实现三维仿真模型的方法 |
| CN117807782B (zh) * | 2023-12-29 | 2024-06-07 | 南京仁高隆软件科技有限公司 | 一种实现三维仿真模型的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116738867B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Elghaish et al. | Toward digitalization in the construction industry with immersive and drones technologies: a critical literature review | |
| Han et al. | A BIM-IoT and intelligent compaction integrated framework for advanced road compaction quality monitoring and management | |
| CN116738867B (zh) | 一种基于机器学习的无人机防御仿真方法及其*** | |
| CN111880210A (zh) | 输电线路的地灾监测处理方法和装置、预警***和设备 | |
| CN114187412B (zh) | 高精地图生成方法、装置、电子设备及存储介质 | |
| Futai et al. | Challenges in the application of digital transformation to inspection and maintenance of bridges | |
| Gao et al. | An agent-based simulation system for evaluating gridding urban management strategies | |
| CN112528508A (zh) | 电磁可视化方法和装置 | |
| Kumar et al. | Integrating cellular automata and agent-based modeling for predicting urban growth: A case of Dehradun City | |
| Li et al. | Development of a mixed reality method for underground pipelines in digital mechanics experiments | |
| CN113345095B (zh) | 一种基于数字孪生的革命文物残损监测与预警方法的*** | |
| CN115375855B (zh) | 工程项目的可视化方法、装置、电子设备和可读介质 | |
| Raimbault | Cities as they could be: Artificial life and urban systems | |
| US20220107628A1 (en) | Systems and methods for distributed hierarchical control in multi-agent adversarial environments | |
| CN113538228A (zh) | 基于人工智能的图像处理方法、装置及电子设备 | |
| Liu et al. | RETRACTED: seismic analysis and optimization of building structure based on embedded system | |
| Gao et al. | Introduction to geospatial artificial intelligence (GeoAI) | |
| Zhang et al. | Research on the unmanned intelligent monitoring platform of geographical conditions | |
| Zhang et al. | MOSS: A Large-scale Open Microscopic Traffic Simulation System | |
| CN113486772B (zh) | 人体姿态估计模型训练方法、估计方法、装置和设备 | |
| Mao et al. | Evaluation of Vehicles’ Best Route in Virtual Tactical Teaching Environment Based on Machine-Learning Techniques | |
| Chang et al. | Digital Twins in Transportation Infrastructure: An Investigation of the Key Enabling Technologies, Applications, and Challenges | |
| Vysotska et al. | Information System for Monitoring and Planning Maintenance of Offshore Wind Farms. | |
| CN118013309A (zh) | 楼宇巡检方法、装置、设备及存储介质 | |
| Fayyad et al. | A scientometric analysis of drone-based structural health monitoring and new technologies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |