CN112766329B - 一种多无人艇协同拦截控制方法及*** - Google Patents

一种多无人艇协同拦截控制方法及*** Download PDF

Info

Publication number
CN112766329B
CN112766329B CN202110012035.7A CN202110012035A CN112766329B CN 112766329 B CN112766329 B CN 112766329B CN 202110012035 A CN202110012035 A CN 202110012035A CN 112766329 B CN112766329 B CN 112766329B
Authority
CN
China
Prior art keywords
unmanned ship
moment
unmanned
intrusion target
interception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110012035.7A
Other languages
English (en)
Other versions
CN112766329A (zh
Inventor
蒲华燕
刘源
罗均
谢志江
谢佳佳
李小毛
苏洲
彭艳
李恒宇
谢少荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
University of Shanghai for Science and Technology
Original Assignee
Chongqing University
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University, University of Shanghai for Science and Technology filed Critical Chongqing University
Priority to CN202110012035.7A priority Critical patent/CN112766329B/zh
Publication of CN112766329A publication Critical patent/CN112766329A/zh
Priority to US17/467,916 priority patent/US11887485B2/en
Application granted granted Critical
Publication of CN112766329B publication Critical patent/CN112766329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00—Monitoring properties or operating parameters of vessels in operation
    • B63B79/40—Monitoring properties or operating parameters of vessels in operation for controlling the operation of vessels, e.g. monitoring their speed, routing or maintenance schedules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00—Monitoring properties or operating parameters of vessels in operation
    • B63B79/10—Monitoring properties or operating parameters of vessels in operation using sensors, e.g. pressure sensors, strain gauges or accelerometers
    • B63B79/15—Monitoring properties or operating parameters of vessels in operation using sensors, e.g. pressure sensors, strain gauges or accelerometers for monitoring environmental variables, e.g. wave height or weather data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00—Monitoring properties or operating parameters of vessels in operation
    • B63B79/20—Monitoring properties or operating parameters of vessels in operation using models or simulation, e.g. statistical models or stochastic models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/69—Coordinated control of the position or course of two or more vehicles
    • G05D1/692—Coordinated control of the position or course of two or more vehicles involving a plurality of disparate vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Atmospheric Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种多无人艇协同拦截控制方法及***，涉及海洋智能无人艇协同作业领域，该方法包括获取当前时刻无人艇团队内每个无人艇的任务环境信息；根据当前时刻所有无人艇的任务环境信息，采用卡尔曼滤波器，估计当前时刻入侵目标的拦截点信息；确定当前时刻每个无人艇的过程状态信息；将当前时刻每个无人艇的过程状态信息分别输入至相应的入侵目标拦截策略输出模型以获取下一时刻每个无人艇的执行动作，进而对入侵目标进行拦截。本发明能够对应入侵目标进行精准拦截。

Description

一种多无人艇协同拦截控制方法及***
技术领域
本发明涉及海洋智能无人艇协同作业领域，特别是涉及一种多无人艇协同拦截控制方法及***。
背景技术
由于无人艇具有体积小、机动性强、成本低、安全性高以及对传统船舶无伤亡等优点，所以无人艇在执行各种海上任务方面引起了广泛关注，其中，海上护航已成为无人艇应用场景之一。
虽然，无人艇团队(多个无人艇组成的***)可以大大扩展海上行动的范围，并且可以完成复杂的任务，但是目前在海上护航时，通常仅用单个无人艇进行协作护航。因此，急需一种控制方法以实现无人艇团队进行协作护航。
发明内容
本发明的目的是提供一种多无人艇协同拦截控制方法及***，能够对应入侵目标进行精准拦截。
为实现上述目的，本发明提供了如下方案：
一种多无人艇协同拦截控制方法，包括：
获取当前时刻无人艇团队内每个无人艇的任务环境信息；所述任务环境信息包括无人艇位置信息、无人艇速度信息、无人艇与入侵目标的相对位置信息、以及无人艇与入侵目标的相对速度信息；一个所述无人艇对应一个入侵目标拦截策略输出模型；所述入侵目标拦截策略输出模型是根据训练样本和多主体深度确定性策略梯度网络结构训练得到的；
根据当前时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计当前时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度；
确定当前时刻每个所述无人艇的过程状态信息；所述过程状态信息包括无人艇位置信息、无人艇速度信息以及入侵目标拦截点信息；
将当前时刻每个所述无人艇的过程状态信息分别输入至相应的所述入侵目标拦截策略输出模型以获取下一时刻每个所述无人艇的执行动作，并将所述执行动作发送至相应的所述无人艇的执行结构以对所述入侵目标进行拦截。
可选的，在执行获取当前时刻无人艇团队内每个无人艇的任务环境信息之前，还包括：
判断当前时刻所述无人艇团队对应的航行区域内是否存在入侵目标；
若否，则判断下一时刻所述无人艇团队对应的航行区域内是否存在入侵目标；
若是，则获取当前时刻无人艇团队内每个无人艇的任务环境信息。
可选的，所述根据当前时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计当前时刻所述入侵目标的拦截点信息，具体包括：
根据上一时刻入侵目标的拦截点信息，采用卡尔曼滤波器，确定当前时刻入侵目标的预测拦截点信息；
将所有无人艇抽象为在二维平面上移动的粒子，然后根据当前时刻所有所述无人艇的任务环境信息，确定所述入侵目标在笛卡尔坐标系下的位置测量值和速度测量值；
根据所述位置测量值和所述速度测量值，采用卡尔曼滤波器，对所述当前时刻入侵目标的预测拦截点信息进行修正，以确定当前时刻所述入侵目标的拦截点信息。
可选的，所述入侵目标拦截策略输出模型的构建过程为：
确定第i个无人艇的训练样本；所述训练样本为具有时间连续性的数据集；所述数据集包括多个样本集合；每个所述样本集合包括多个元素，分别为当前时刻过程状态信息，当前时刻执行动作，当前时刻奖励以及下一时刻过程状态信息；
构建多主体深度确定性策略梯度网络结构；
将所述第i个无人艇的训练样本输入到所述多主体深度确定性策略梯度网络结构中以对所述多主体深度确定性策略梯度网络结构进行训练，进而得到第i个无人艇对应的入侵目标拦截策略输出模型，进而得到每个无人艇对应的入侵目标拦截策略输出模型。
可选的，所述确定第i个无人艇的训练样本，具体包括：
获取第t时刻无人艇团队内每个无人艇的任务环境信息；
根据第t时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计第t时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度；
根据第t时刻第i个无人艇的任务环境信息和第t时刻所述入侵目标的拦截点信息，确定第t时刻第i个无人艇的过程状态信息；
获取第t时刻第i个无人艇的执行动作；
根据公式
Figure BDA0002885543470000031
计算第t时刻第i个无人艇的奖励；其中，r1是第t时刻第i个无人艇的奖励，ui是第i个无人艇，bj是第j个入侵目标，
Figure BDA0002885543470000032
是在第t时刻下第j个入侵目标和第i个无人艇的距离，
Figure BDA0002885543470000033
是在第t+1时刻下第j个入侵目标和第i个无人艇的距离；
获取第t+1时刻无人艇团队内每个无人艇的任务环境信息；
根据第t+1时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计第t+1时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度；
根据第t+1时刻第i个无人艇的任务环境信息和第t+1时刻所述入侵目标的拦截点信息，确定第t+1时刻第i个无人艇的过程状态信息；
将所述第t时刻第i个无人艇的过程状态信息、所述第t时刻第i个无人艇的执行动作、所述第t时刻第i个无人艇的奖励和所述第t+1时刻第i个无人艇的过程状态信息合并为第t时刻第i个无人艇的样本集合；
将所述第t时刻样本第i个无人艇的样本集合存储在经验池内；
当存储在所述经验池内数据达到设定数量后停止存储；停止存储后的所述经验池内的数据为第i个无人艇的训练样本。
一种多无人艇协同拦截控制***，包括：
当前时刻任务环境信息获取模块，用于获取当前时刻无人艇团队内每个无人艇的任务环境信息；所述任务环境信息包括无人艇位置信息、无人艇速度信息、无人艇与入侵目标的相对位置信息、以及无人艇与入侵目标的相对速度信息；一个所述无人艇对应一个入侵目标拦截策略输出模型；所述入侵目标拦截策略输出模型是根据训练样本和多主体深度确定性策略梯度网络结构训练得到的；
当前时刻拦截点信息估计模块，用于根据当前时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计当前时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度；
当前时刻过程状态信息确定模块，用于确定当前时刻每个所述无人艇的过程状态信息；所述过程状态信息包括无人艇位置信息、无人艇速度信息以及入侵目标拦截点信息；
入侵目标拦截模块，用于将当前时刻每个所述无人艇的过程状态信息分别输入至相应的所述入侵目标拦截策略输出模型以获取下一时刻每个所述无人艇的执行动作，并将所述执行动作发送至相应的所述无人艇的执行结构以对所述入侵目标进行拦截。
可选的，还包括：
当前时刻判断模块，用于判断当前时刻所述无人艇团队对应的航行区域内是否存在入侵目标；
下一时刻判断模块，用于当当前时刻所述无人艇团队对应的航行区域内不存在入侵目标时，判断下一时刻所述无人艇团队对应的航行区域内是否存在入侵目标；
跳入模块，用于当当前时刻所述无人艇团队对应的航行区域内存在入侵目标时，进入当前时刻任务环境信息获取模块。
可选的，所述当前时刻拦截点信息估计模块，具体包括：
当前时刻预测拦截点信息确定单元，用于根据上一时刻入侵目标的拦截点信息，采用卡尔曼滤波器，确定当前时刻入侵目标的预测拦截点信息；
当前时刻测量值确定单元，用于将所有无人艇抽象为在二维平面上移动的粒子，然后根据当前时刻所有所述无人艇的任务环境信息，确定所述入侵目标在笛卡尔坐标系下的位置测量值和速度测量值；
当前时刻拦截点信息估计单元，用于根据所述位置测量值和所述速度测量值，采用卡尔曼滤波器，对所述当前时刻入侵目标的预测拦截点信息进行修正，以确定当前时刻所述入侵目标的拦截点信息。
可选的，还包括：入侵目标拦截策略输出模型构建模块；所述入侵目标拦截策略输出模型构建模块包括：
训练样本确定单元，用于确定第i个无人艇的训练样本；所述训练样本为具有时间连续性的数据集；所述数据集包括多个样本集合；每个所述样本集合包括多个元素，分别为当前时刻过程状态信息，当前时刻执行动作，当前时刻奖励以及下一时刻过程状态信息；
网络结构构建单元，用于构建多主体深度确定性策略梯度网络结构；
入侵目标拦截策略输出模型构建单元，用于将所述第i个无人艇的训练样本输入到所述多主体深度确定性策略梯度网络结构中以对所述多主体深度确定性策略梯度网络结构进行训练，进而得到第i个无人艇对应的入侵目标拦截策略输出模型，进而得到每个无人艇对应的入侵目标拦截策略输出模型。
可选的，所述训练样本确定单元，具体包括：
第t时刻任务环境信息获取子单元，用于获取第t时刻无人艇团队内每个无人艇的任务环境信息；
第t时刻拦截点信息估计子单元，用于根据第t时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计第t时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度；
第t时刻过程状态信息确定子单元，用于根据第t时刻第i个无人艇的任务环境信息和第t时刻所述入侵目标的拦截点信息，确定第t时刻第i个无人艇的过程状态信息；
第t时刻执行动作获取子单元，用于获取第t时刻第i个无人艇的执行动作；
第t时刻奖励获取子单元，用于根据公式
Figure BDA0002885543470000061
计算第t时刻第i个无人艇的奖励；其中，r1是第t时刻第i个无人艇的奖励，ui是第i个无人艇，bj是第j个入侵目标，
Figure BDA0002885543470000062
是在第t时刻下第j个入侵目标和第i个无人艇的距离，
Figure BDA0002885543470000063
是在第t+1时刻下第j个入侵目标和第i个无人艇的距离；
第t+1时刻任务环境信息获取子单元，用于获取第t+1时刻无人艇团队内每个无人艇的任务环境信息；
第t+1时刻拦截点信息估计子单元，用于根据第t+1时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计第t+1时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度；
第t+1时刻过程状态信息确定子单元，用于根据第t+1时刻第i个无人艇的任务环境信息和第t+1时刻所述入侵目标的拦截点信息，确定第t+1时刻第i个无人艇的过程状态信息；
第t时刻样本集合确定子单元，用于将所述第t时刻第i个无人艇的过程状态信息、所述第t时刻第i个无人艇的执行动作、所述第t时刻第i个无人艇的奖励和所述第t+1时刻第i个无人艇的过程状态信息合并为第t时刻第i个无人艇的样本集合；
存储单元，用于将所述第t时刻样本第i个无人艇的样本集合存储在经验池内；
训练样本确定子单元，用于当存储在所述经验池内数据达到设定数量后停止存储；停止存储后的所述经验池内的数据为第i个无人艇的训练样本。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过卡尔曼滤波器和多主体深度确定性策略梯度算法来实现多无人艇协同精准拦截入侵目标的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明多无人艇协同拦截控制方法的流程示意图；
图2为本发明多无人艇协同拦截控制***的结构示意图；
图3为本发明卡尔曼滤波器工作过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种多无人艇协同拦截控制方法及***，旨在解决现有无人艇拦截任务中，拦截成功率不高、任务分配不明确等问题，本发明充分发挥无人艇团队在海上护航任务中的优势与特点。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提供了一种多无人艇协同拦截控制方法及***，在具有其他船只和障碍物的复杂海上环境中，通对敌对的入侵船只进行拦截，护送一艘高价船(例如母船)航行。
实施例一
本实施例提供了一种多无人艇协同拦截控制方法，可以使无人艇团队内所有无人艇合作并进行任务分配，从而使无人艇团队内的每个无人艇都能最大化的发挥性能。
如图1所示，本实施例提供的一种多无人艇协同拦截控制方法，包括以下步骤。
步骤101：获取当前时刻无人艇团队内每个无人艇的任务环境信息；所述任务环境信息包括无人艇位置信息、无人艇速度信息、无人艇与入侵目标的相对位置信息、以及无人艇与入侵目标的相对速度信息；一个所述无人艇对应一个入侵目标拦截策略输出模型；所述入侵目标拦截策略输出模型是根据训练样本和多主体深度确定性策略梯度网络结构训练得到的。
步骤102：根据当前时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计当前时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度。
步骤103：确定当前时刻每个所述无人艇的过程状态信息；所述过程状态信息包括无人艇位置信息、无人艇速度信息以及入侵目标拦截点信息。
步骤104：将当前时刻每个所述无人艇的过程状态信息分别输入至相应的所述入侵目标拦截策略输出模型以获取下一时刻每个所述无人艇的执行动作，并将所述执行动作发送至相应的所述无人艇的执行结构以对所述入侵目标进行拦截。
作为一种优选的具体实施方式，本实施例在执行步骤101之前还包括：
判断当前时刻所述无人艇团队对应的航行区域内是否存在入侵目标；若否，则判断下一时刻所述无人艇团队对应的航行区域内是否存在入侵目标；若是，则执行步骤101。
作为一种优选的具体实施方式，本实施例所述的步骤102，具体包括：
根据上一时刻入侵目标的拦截点信息，采用卡尔曼滤波器，确定当前时刻入侵目标的预测拦截点信息。
将所有无人艇抽象为在二维平面上移动的粒子，然后根据当前时刻所有所述无人艇的任务环境信息，确定所述入侵目标在笛卡尔坐标系下的位置测量值和速度测量值。
根据所述位置测量值和所述速度测量值，采用卡尔曼滤波器，对所述当前时刻入侵目标的预测拦截点信息进行修正，以确定当前时刻所述入侵目标的拦截点信息。
作为一种优选的具体实施方式，本实施例所述的入侵目标拦截策略输出模型的构建过程为：
确定第i个无人艇的训练样本；所述训练样本为具有时间连续性的数据集；所述数据集包括多个样本集合；每个所述样本集合包括多个元素，分别为当前时刻过程状态信息，当前时刻执行动作，当前时刻奖励以及下一时刻过程状态信息。
构建多主体深度确定性策略梯度网络结构。
将所述第i个无人艇的训练样本输入到所述多主体深度确定性策略梯度网络结构中以对所述多主体深度确定性策略梯度网络结构进行训练，进而得到第i个无人艇对应的入侵目标拦截策略输出模型，进而得到每个无人艇对应的入侵目标拦截策略输出模型。
其中，确定第i个无人艇的训练样本，具体包括：
获取第t时刻无人艇团队内每个无人艇的任务环境信息。
根据第t时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计第t时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度。
根据第t时刻第i个无人艇的任务环境信息和第t时刻所述入侵目标的拦截点信息，确定第t时刻第i个无人艇的过程状态信息。
获取第t时刻第i个无人艇的执行动作。
根据公式
Figure BDA0002885543470000091
计算第t时刻第i个无人艇的奖励；其中，r1是第t时刻第i个无人艇的奖励，ui是第i个无人艇，bj是第j个入侵目标，
Figure BDA0002885543470000092
是在第t时刻下第j个入侵目标和第i个无人艇的距离，
Figure BDA0002885543470000093
是在第t+1时刻下第j个入侵目标和第i个无人艇的距离。
获取第t+1时刻无人艇团队内每个无人艇的任务环境信息。
根据第t+1时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计第t+1时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度。
根据第t+1时刻第i个无人艇的任务环境信息和第t+1时刻所述入侵目标的拦截点信息，确定第t+1时刻第i个无人艇的过程状态信息。
将所述第t时刻第i个无人艇的过程状态信息、所述第t时刻第i个无人艇的执行动作、所述第t时刻第i个无人艇的奖励和所述第t+1时刻第i个无人艇的过程状态信息合并为第t时刻第i个无人艇的样本集合。
将所述第t时刻样本第i个无人艇的样本集合存储在经验池内。
当存储在所述经验池内数据达到设定数量后停止存储；停止存储后的所述经验池内的数据为第i个无人艇的训练样本。
实施例二
如图2所示，本实施例提供的一种多无人艇协同拦截控制***，包括：
当前时刻任务环境信息获取模块201，用于获取当前时刻无人艇团队内每个无人艇的任务环境信息；所述任务环境信息包括无人艇位置信息、无人艇速度信息、无人艇与入侵目标的相对位置信息、以及无人艇与入侵目标的相对速度信息；一个所述无人艇对应一个入侵目标拦截策略输出模型；所述入侵目标拦截策略输出模型是根据训练样本和多主体深度确定性策略梯度网络结构训练得到的。
当前时刻拦截点信息估计模块202，用于根据当前时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计当前时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度。
当前时刻过程状态信息确定模块203，用于确定当前时刻每个所述无人艇的过程状态信息；所述过程状态信息包括无人艇位置信息、无人艇速度信息以及入侵目标拦截点信息。
入侵目标拦截模块204，用于将当前时刻每个所述无人艇的过程状态信息分别输入至相应的所述入侵目标拦截策略输出模型以获取下一时刻每个所述无人艇的执行动作，并将所述执行动作发送至相应的所述无人艇的执行结构以对所述入侵目标进行拦截。
作为一种优选的具体实施方式，本实施例提供的一种多无人艇协同拦截控制***还包括：
当前时刻判断模块，用于判断当前时刻所述无人艇团队对应的航行区域内是否存在入侵目标。
下一时刻判断模块，用于当当前时刻所述无人艇团队对应的航行区域内不存在入侵目标时，判断下一时刻所述无人艇团队对应的航行区域内是否存在入侵目标。
跳入模块，用于当当前时刻所述无人艇团队对应的航行区域内存在入侵目标时，进入当前时刻任务环境信息获取模块。
作为一种优选的具体实施方式，本实施例所述的当前时刻拦截点信息估计模块202，具体包括：
当前时刻预测拦截点信息确定单元，用于根据上一时刻入侵目标的拦截点信息，采用卡尔曼滤波器，确定当前时刻入侵目标的预测拦截点信息。
当前时刻测量值确定单元，用于将所有无人艇抽象为在二维平面上移动的粒子，然后根据当前时刻所有所述无人艇的任务环境信息，确定所述入侵目标在笛卡尔坐标系下的位置测量值和速度测量值。
当前时刻拦截点信息估计单元，用于根据所述位置测量值和所述速度测量值，采用卡尔曼滤波器，对所述当前时刻入侵目标的预测拦截点信息进行修正，以确定当前时刻所述入侵目标的拦截点信息。
作为一种优选的具体实施方式，本实施例提供的一种多无人艇协同拦截控制***还包括：入侵目标拦截策略输出模型构建模块；所述入侵目标拦截策略输出模型构建模块包括：
训练样本确定单元，用于确定第i个无人艇的训练样本；所述训练样本为具有时间连续性的数据集；所述数据集包括多个样本集合；每个所述样本集合包括多个元素，分别为当前时刻过程状态信息，当前时刻执行动作，当前时刻奖励以及下一时刻过程状态信息。
网络结构构建单元，用于构建多主体深度确定性策略梯度网络结构。
入侵目标拦截策略输出模型构建单元，用于将所述第i个无人艇的训练样本输入到所述多主体深度确定性策略梯度网络结构中以对所述多主体深度确定性策略梯度网络结构进行训练，进而得到第i个无人艇对应的入侵目标拦截策略输出模型，进而得到每个无人艇对应的入侵目标拦截策略输出模型。
其中，所述训练样本确定单元，具体包括：
第t时刻任务环境信息获取子单元，用于获取第t时刻无人艇团队内每个无人艇的任务环境信息。
第t时刻拦截点信息估计子单元，用于根据第t时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计第t时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度。
第t时刻过程状态信息确定子单元，用于根据第t时刻第i个无人艇的任务环境信息和第t时刻所述入侵目标的拦截点信息，确定第t时刻第i个无人艇的过程状态信息。
第t时刻执行动作获取子单元，用于获取第t时刻第i个无人艇的执行动作；
第t时刻奖励获取子单元，用于根据公式
Figure BDA0002885543470000121
计算第t时刻第i个无人艇的奖励；其中，r1是第t时刻第i个无人艇的奖励，ui是第i个无人艇，bj是第j个入侵目标，
Figure BDA0002885543470000122
是在第t时刻下第j个入侵目标和第i个无人艇的距离，
Figure BDA0002885543470000123
是在第t+1时刻下第j个入侵目标和第i个无人艇的距离。
第t+1时刻任务环境信息获取子单元，用于获取第t+1时刻无人艇团队内每个无人艇的任务环境信息。
第t+1时刻拦截点信息估计子单元，用于根据第t+1时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计第t+1时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度。
第t+1时刻过程状态信息确定子单元，用于根据第t+1时刻第i个无人艇的任务环境信息和第t+1时刻所述入侵目标的拦截点信息，确定第t+1时刻第i个无人艇的过程状态信息。
第t时刻样本集合确定子单元，用于将所述第t时刻第i个无人艇的过程状态信息、所述第t时刻第i个无人艇的执行动作、所述第t时刻第i个无人艇的奖励和所述第t+1时刻第i个无人艇的过程状态信息合并为第t时刻第i个无人艇的样本集合。
存储单元，用于将所述第t时刻样本第i个无人艇的样本集合存储在经验池内。
训练样本确定子单元，用于当存储在所述经验池内数据达到设定数量后停止存储；停止存储后的所述经验池内的数据为第i个无人艇的训练样本。
实施例三
本实施例提供的多无人艇协同拦截控制方法采用了分布式训练、集中式学习的方式，无人艇团队内的无人艇通过信息共享、信息学习得到拦截入侵目标保护高价值船舶的策略。具体为：首先确定入侵目标拦截点信息，然后根据入侵目标拦截点信息利用强化学习方法学习到相应的拦截策略，以实现入侵目标拦截。
本实施例提供的多无人艇协同拦截控制方法主要包括两部分，一部分是入侵目标拦截点信息的确定，另一部分是拦截策略的学习。
1、入侵目标拦截点信息的确定
将所有无人艇抽象为在二维平面上移动的粒子，根据每个无人艇所搭载的传感器采集到的任务环境信息(各个无人艇的位置信息、速度信息、是否探测到入侵目标以及无人艇与入侵目标的相对速度信息、无人艇与入侵目标的相对位置信息)以及各个无人艇之间通过任务环境信息共享方式，确定入侵目标在笛卡尔坐标系下的位置测量值和速度测量值，然后利用卡尔曼滤波器来预测入侵目标拦截点信息。
入侵目标拦截点信息的预测，主要有时间更新步骤和测量更新步骤。前者作为预测方程，如图3左半部分所示，可以及时预测入侵目标拦截点信息，后者是度量方程，通过当时获得的测量值来对预测的入侵目标拦截点信息进行修正，如图3右半部分所示。
卡尔曼滤波器方程式包括初始状态值
Figure BDA0002885543470000141
过程状态值xk，过程状态预测值
Figure BDA0002885543470000142
卡尔曼增益Kk，转换矩阵A，测量矩阵H，过程噪声协方差Q，测量噪声协方差R，初始误差协方差P0，误差协方差Pk。
本实施例将无人艇抽象为在二维平面上移动的粒子。在此阶段，无人艇通过图3中的卡尔曼滤波器的更新方程式估算每个入侵目标bj的过程状态信息即拦截点信息
Figure BDA0002885543470000143
其中
Figure BDA0002885543470000144
和
Figure BDA0002885543470000145
分别是入侵目标预测位置和入侵目标预测速度。
2.拦截策略的学习
本实施例利用多主体深度确定性策略梯度算法(MADDPG)来训练无人艇团队学习到相应的拦截策略。
以某一个无人艇为例，本实施例将训练过程中的一个训练单元定义为<S，A，R，Snext>，S代表一个无人艇的过程状态值，该过程状态值包含无人艇的速度和位置，以及入侵目标拦截点信息。A代表该无人艇的动作集合，R是该无人艇采取相应的动作后所获得的奖励，Snext代表采取动作后该无人艇的过程更新状态值。
在训练开始阶段，在每个时间步长上，该无人艇使用随机策略来选择一个动作A，并根据相应的奖励函数获得奖励r1，然后获取该无人艇下一个状态Snext，接着将得到的训练单元<S，A，R，Snext>依次存储到经验池中。当经验池中的数据达到一定数量时随机抽取经验池中的数据对MADDPG网络结构进行训练，训练的目标是使该无人艇的奖励最大化，进而得到该无人艇对应的入侵目标拦截策略输出模型。该无人艇对应的入侵目标拦截策略输出模型会根据过程状态值S反馈给该无人艇相应的动作值A，也就是相应的协同拦截策略。
MADDPG算法具有演示和评价架构，可以根据状态值给无人艇输出相应的动作，也能根据输出的动作所获得奖励不断地修正网络参数使训练过程更加精确。
为了得到最优拦截策略，本实施例设计了相应的奖励函数，这些奖励函数可以确保无人艇在与MADDPG网络结构交互时获得合适的奖励，最终学习到能使自身获得最大奖励值的拦截策略，也就是需要的最佳拦截策略，奖励函数如下所示：
在设定的任务背景下，无人艇团队内的所有无人艇都可以将守卫目标(高价值船舶)和入侵目标放在相对的两侧位置，此时奖励函数为：
Figure BDA0002885543470000151
其中，ui是无人艇，bj是入侵目标，
Figure BDA0002885543470000152
是在t时刻下入侵目标和无人艇的距离，
Figure BDA0002885543470000153
是在t+1时刻下入侵目标和无人艇之间的距离。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种多无人艇协同拦截控制方法，其特征在于，包括：
获取当前时刻无人艇团队内每个无人艇的任务环境信息；所述任务环境信息包括无人艇位置信息、无人艇速度信息、无人艇与入侵目标的相对位置信息、以及无人艇与入侵目标的相对速度信息；一个所述无人艇对应一个入侵目标拦截策略输出模型；所述入侵目标拦截策略输出模型是根据训练样本和多主体深度确定性策略梯度网络结构训练得到的；
根据当前时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计当前时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度；
确定当前时刻每个所述无人艇的过程状态信息；所述过程状态信息包括无人艇位置信息、无人艇速度信息以及入侵目标拦截点信息；
将当前时刻每个所述无人艇的过程状态信息分别输入至相应的所述入侵目标拦截策略输出模型以获取下一时刻每个所述无人艇的执行动作，并将所述执行动作发送至相应的所述无人艇的执行结构以对所述入侵目标进行拦截。
2.根据权利要求1所述的一种多无人艇协同拦截控制方法，其特征在于，在执行获取当前时刻无人艇团队内每个无人艇的任务环境信息之前，还包括：
判断当前时刻所述无人艇团队对应的航行区域内是否存在入侵目标；
若否，则判断下一时刻所述无人艇团队对应的航行区域内是否存在入侵目标；
若是，则获取当前时刻无人艇团队内每个无人艇的任务环境信息。
3.根据权利要求1所述的一种多无人艇协同拦截控制方法，其特征在于，所述根据当前时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计当前时刻所述入侵目标的拦截点信息，具体包括：
根据上一时刻入侵目标的拦截点信息，采用卡尔曼滤波器，确定当前时刻入侵目标的预测拦截点信息；
将所有无人艇抽象为在二维平面上移动的粒子，然后根据当前时刻所有所述无人艇的任务环境信息，确定所述入侵目标在笛卡尔坐标系下的位置测量值和速度测量值；
根据所述位置测量值和所述速度测量值，采用卡尔曼滤波器，对所述当前时刻入侵目标的预测拦截点信息进行修正，以确定当前时刻所述入侵目标的拦截点信息。
4.根据权利要求1所述的一种多无人艇协同拦截控制方法，其特征在于，所述入侵目标拦截策略输出模型的构建过程为：
确定第i个无人艇的训练样本；所述训练样本为具有时间连续性的数据集；所述数据集包括多个样本集合；每个所述样本集合包括多个元素，分别为当前时刻过程状态信息，当前时刻执行动作，当前时刻奖励以及下一时刻过程状态信息；
构建多主体深度确定性策略梯度网络结构；
将所述第i个无人艇的训练样本输入到所述多主体深度确定性策略梯度网络结构中以对所述多主体深度确定性策略梯度网络结构进行训练，进而得到第i个无人艇对应的入侵目标拦截策略输出模型，进而得到每个无人艇对应的入侵目标拦截策略输出模型。
5.根据权利要求4所述的一种多无人艇协同拦截控制方法，其特征在于，所述确定第i个无人艇的训练样本，具体包括：
获取第t时刻无人艇团队内每个无人艇的任务环境信息；
根据第t时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计第t时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度；
根据第t时刻第i个无人艇的任务环境信息和第t时刻所述入侵目标的拦截点信息，确定第t时刻第i个无人艇的过程状态信息；
获取第t时刻第i个无人艇的执行动作；
根据公式
Figure FDA0002885543460000021
计算第t时刻第i个无人艇的奖励；其中，r1是第t时刻第i个无人艇的奖励，ui是第i个无人艇，bj是第j个入侵目标，
Figure FDA0002885543460000031
是在第t时刻下第j个入侵目标和第i个无人艇的距离，
Figure FDA0002885543460000032
是在第t+1时刻下第j个入侵目标和第i个无人艇的距离；
获取第t+1时刻无人艇团队内每个无人艇的任务环境信息；
根据第t+1时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计第t+1时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度；
根据第t+1时刻第i个无人艇的任务环境信息和第t+1时刻所述入侵目标的拦截点信息，确定第t+1时刻第i个无人艇的过程状态信息；
将所述第t时刻第i个无人艇的过程状态信息、所述第t时刻第i个无人艇的执行动作、所述第t时刻第i个无人艇的奖励和所述第t+1时刻第i个无人艇的过程状态信息合并为第t时刻第i个无人艇的样本集合；
将所述第t时刻样本第i个无人艇的样本集合存储在经验池内；
当存储在所述经验池内数据达到设定数量后停止存储；停止存储后的所述经验池内的数据为第i个无人艇的训练样本。
6.一种多无人艇协同拦截控制***，其特征在于，包括：
当前时刻任务环境信息获取模块，用于获取当前时刻无人艇团队内每个无人艇的任务环境信息；所述任务环境信息包括无人艇位置信息、无人艇速度信息、无人艇与入侵目标的相对位置信息、以及无人艇与入侵目标的相对速度信息；一个所述无人艇对应一个入侵目标拦截策略输出模型；所述入侵目标拦截策略输出模型是根据训练样本和多主体深度确定性策略梯度网络结构训练得到的；
当前时刻拦截点信息估计模块，用于根据当前时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计当前时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度；
当前时刻过程状态信息确定模块，用于确定当前时刻每个所述无人艇的过程状态信息；所述过程状态信息包括无人艇位置信息、无人艇速度信息以及入侵目标拦截点信息；
入侵目标拦截模块，用于将当前时刻每个所述无人艇的过程状态信息分别输入至相应的所述入侵目标拦截策略输出模型以获取下一时刻每个所述无人艇的执行动作，并将所述执行动作发送至相应的所述无人艇的执行结构以对所述入侵目标进行拦截。
7.根据权利要求6所述的一种多无人艇协同拦截控制***，其特征在于，还包括：
当前时刻判断模块，用于判断当前时刻所述无人艇团队对应的航行区域内是否存在入侵目标；
下一时刻判断模块，用于当当前时刻所述无人艇团队对应的航行区域内不存在入侵目标时，判断下一时刻所述无人艇团队对应的航行区域内是否存在入侵目标；
跳入模块，用于当当前时刻所述无人艇团队对应的航行区域内存在入侵目标时，进入当前时刻任务环境信息获取模块。
8.根据权利要求6所述的一种多无人艇协同拦截控制***，其特征在于，所述当前时刻拦截点信息估计模块，具体包括：
当前时刻预测拦截点信息确定单元，用于根据上一时刻入侵目标的拦截点信息，采用卡尔曼滤波器，确定当前时刻入侵目标的预测拦截点信息；
当前时刻测量值确定单元，用于将所有无人艇抽象为在二维平面上移动的粒子，然后根据当前时刻所有所述无人艇的任务环境信息，确定所述入侵目标在笛卡尔坐标系下的位置测量值和速度测量值；
当前时刻拦截点信息估计单元，用于根据所述位置测量值和所述速度测量值，采用卡尔曼滤波器，对所述当前时刻入侵目标的预测拦截点信息进行修正，以确定当前时刻所述入侵目标的拦截点信息。
9.根据权利要求6所述的一种多无人艇协同拦截控制***，其特征在于，还包括：入侵目标拦截策略输出模型构建模块；所述入侵目标拦截策略输出模型构建模块包括：
训练样本确定单元，用于确定第i个无人艇的训练样本；所述训练样本为具有时间连续性的数据集；所述数据集包括多个样本集合；每个所述样本集合包括多个元素，分别为当前时刻过程状态信息，当前时刻执行动作，当前时刻奖励以及下一时刻过程状态信息；
网络结构构建单元，用于构建多主体深度确定性策略梯度网络结构；
入侵目标拦截策略输出模型构建单元，用于将所述第i个无人艇的训练样本输入到所述多主体深度确定性策略梯度网络结构中以对所述多主体深度确定性策略梯度网络结构进行训练，进而得到第i个无人艇对应的入侵目标拦截策略输出模型，进而得到每个无人艇对应的入侵目标拦截策略输出模型。
10.根据权利要求9所述的一种多无人艇协同拦截控制***，其特征在于，所述训练样本确定单元，具体包括：
第t时刻任务环境信息获取子单元，用于获取第t时刻无人艇团队内每个无人艇的任务环境信息；
第t时刻拦截点信息估计子单元，用于根据第t时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计第t时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度；
第t时刻过程状态信息确定子单元，用于根据第t时刻第i个无人艇的任务环境信息和第t时刻所述入侵目标的拦截点信息，确定第t时刻第i个无人艇的过程状态信息；
第t时刻执行动作获取子单元，用于获取第t时刻第i个无人艇的执行动作；
第t时刻奖励获取子单元，用于根据公式
Figure FDA0002885543460000051
计算第t时刻第i个无人艇的奖励；其中，r1是第t时刻第i个无人艇的奖励，ui是第i个无人艇，bj是第j个入侵目标，
Figure FDA0002885543460000052
是在第t时刻下第j个入侵目标和第i个无人艇的距离，
Figure FDA0002885543460000053
是在第t+1时刻下第j个入侵目标和第i个无人艇的距离；
第t+1时刻任务环境信息获取子单元，用于获取第t+1时刻无人艇团队内每个无人艇的任务环境信息；
第t+1时刻拦截点信息估计子单元，用于根据第t+1时刻所有所述无人艇的任务环境信息，采用卡尔曼滤波器，估计第t+1时刻所述入侵目标的拦截点信息；所述拦截点信息包括入侵目标预测位置和入侵目标预测速度；
第t+1时刻过程状态信息确定子单元，用于根据第t+1时刻第i个无人艇的任务环境信息和第t+1时刻所述入侵目标的拦截点信息，确定第t+1时刻第i个无人艇的过程状态信息；
第t时刻样本集合确定子单元，用于将所述第t时刻第i个无人艇的过程状态信息、所述第t时刻第i个无人艇的执行动作、所述第t时刻第i个无人艇的奖励和所述第t+1时刻第i个无人艇的过程状态信息合并为第t时刻第i个无人艇的样本集合；
存储单元，用于将所述第t时刻样本第i个无人艇的样本集合存储在经验池内；
训练样本确定子单元，用于当存储在所述经验池内数据达到设定数量后停止存储；停止存储后的所述经验池内的数据为第i个无人艇的训练样本。
CN202110012035.7A 2021-01-06 2021-01-06 一种多无人艇协同拦截控制方法及*** Active CN112766329B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110012035.7A CN112766329B (zh) 2021-01-06 2021-01-06 一种多无人艇协同拦截控制方法及***
US17/467,916 US11887485B2 (en) 2021-01-06 2021-09-07 Control method and system for collaborative interception by multiple unmanned surface vessels

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110012035.7A CN112766329B (zh) 2021-01-06 2021-01-06 一种多无人艇协同拦截控制方法及***

Publications (2)

Publication Number Publication Date
CN112766329A CN112766329A (zh) 2021-05-07
CN112766329B true CN112766329B (zh) 2022-03-22

Family

ID=75699966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110012035.7A Active CN112766329B (zh) 2021-01-06 2021-01-06 一种多无人艇协同拦截控制方法及***

Country Status (2)

Country Link
US (1) US11887485B2 (zh)
CN (1) CN112766329B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117141677B (zh) * 2023-09-26 2024-02-27 广州星沅科技有限公司 多功能无人测量船的自控实现方法及多功能无人测量船
CN117313972B (zh) * 2023-09-28 2024-04-12 烟台大学 一种无人艇集群的攻击方法、***、装置及存储介质
CN117111620B (zh) * 2023-10-23 2024-03-29 山东省科学院海洋仪器仪表研究所 一种异构无人***任务分配自主决策方法
CN117271967B (zh) * 2023-11-17 2024-02-13 北京科技大学 一种基于强化学习补偿滤波的救援协同定位方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108873894A (zh) * 2018-06-11 2018-11-23 上海大学 一种基于多无人艇的目标跟踪协同控制***和方法
CN111256694A (zh) * 2019-12-16 2020-06-09 中国船舶工业***工程研究院 一种确定水面无人艇路径的方法
CN111273670A (zh) * 2020-03-03 2020-06-12 大连海事大学 一种针对快速移动障碍物的无人艇避碰方法
CN111880563A (zh) * 2020-07-17 2020-11-03 西北工业大学 一种基于maddpg的多无人机任务决策方法
CN112101747A (zh) * 2020-08-28 2020-12-18 上海交通大学 一种基于禁忌共识拍卖算法的无人艇拦截任务分配方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040030449A1 (en) * 2002-04-22 2004-02-12 Neal Solomon Methods and apparatus for multi robotic system involving coordination of weaponized unmanned underwater vehicles
US7389735B2 (en) * 2005-09-15 2008-06-24 Yamaha Hatsudoki Kubushiki Kaisha Docking supporting apparatus, and marine vessel including the apparatus
US8701718B1 (en) * 2006-08-16 2014-04-22 Rescue Air Systems, Inc. Emergency air system and method of a marine vessel
US7883292B2 (en) * 2008-06-30 2011-02-08 Fairfield Industries Incorporated Node storage, deployment and retrieval system
US8087848B2 (en) * 2008-08-27 2012-01-03 Fairfield Industries Incorporated Powered sheave for node deployment and retrieval
US8442709B2 (en) * 2009-12-11 2013-05-14 Lockheed Martin Corporation Underwater investigation system providing unmanned underwater vehicle (UUV) guidance based upon updated position state estimates and related methods
US8944865B1 (en) * 2013-01-24 2015-02-03 Brunswick Corporation Water sensing interlock systems and methods for hybrid marine vessels
US10019002B2 (en) * 2016-10-13 2018-07-10 Navico Holding As Unmanned vehicle control and operation in a marine environment
US10793245B1 (en) * 2019-06-13 2020-10-06 Daniel Scott Trotter Boat safety system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108873894A (zh) * 2018-06-11 2018-11-23 上海大学 一种基于多无人艇的目标跟踪协同控制***和方法
CN111256694A (zh) * 2019-12-16 2020-06-09 中国船舶工业***工程研究院 一种确定水面无人艇路径的方法
CN111273670A (zh) * 2020-03-03 2020-06-12 大连海事大学 一种针对快速移动障碍物的无人艇避碰方法
CN111880563A (zh) * 2020-07-17 2020-11-03 西北工业大学 一种基于maddpg的多无人机任务决策方法
CN112101747A (zh) * 2020-08-28 2020-12-18 上海交通大学 一种基于禁忌共识拍卖算法的无人艇拦截任务分配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Formation Reconfiguration Method for Multiple Unmanned Surface Vehicles Executing Target Interception Missions;Jiajia Fan等;《Applied Ocean Research》;20200928;全文 *
The Technological Development and Prospect of Unmanned Surface Vessel;Yin Yang等;《2019 IEEE 3rd Advanced Information Management, Communicates, Electronic and Automation Control Conference (IMCEC)》;20200206;全文 *
面向防御任务的复杂海洋环境下无人艇导航避障策略研究;刘远;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20200215;全文 *

Also Published As

Publication number Publication date
CN112766329A (zh) 2021-05-07
US11887485B2 (en) 2024-01-30
US20220215758A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
CN112766329B (zh) 一种多无人艇协同拦截控制方法及***
CN111694365B (zh) 一种基于深度强化学习的无人船艇编队路径跟踪方法
Sun et al. Mapless motion planning system for an autonomous underwater vehicle using policy gradient-based deep reinforcement learning
Chen et al. Tracking control of surface vessels via fault-tolerant adaptive backstepping interval type-2 fuzzy control
CN109765929B (zh) 一种基于改进rnn的uuv实时避障规划方法
CN110956853B (zh) 一种多船碰撞预测方法、***和存储介质
CN112100917A (zh) 一种基于专家对抗***的智能船舶避碰仿真测试***与方法
CN115016496A (zh) 基于深度强化学习的水面无人艇路径跟踪方法
CN109001725B (zh) 一种海上无人艇海上多目标跟踪方法
Yan et al. Reinforcement Learning‐Based Autonomous Navigation and Obstacle Avoidance for USVs under Partially Observable Conditions
CN116166034B (zh) 跨域协同围捕方法、装置及***
Mu et al. Path following for podded propulsion unmanned surface vehicle: Theory, simulation and experiment
CN115775261A (zh) 基于高斯距离匹配的海面多目标跟踪方法及***
EP3420312B1 (de) Routenoptimierung für ein fluidfahrzeug
CN114387822B (zh) 船舶避碰方法
CN117270528A (zh) 一种无人艇追逃博弈控制方法及控制器
Wang et al. Adversarial deep reinforcement learning based robust depth tracking control for underactuated autonomous underwater vehicle
CN112835368A (zh) 一种多无人艇协同编队控制方法及***
CN117058547A (zh) 一种无人艇动态目标跟踪方法
CN110908404A (zh) 一种基于数据驱动的auv智能观测运动方法
Bibuli et al. Adaptive steering control for an azimuth thrusters-based autonomous vessel
CN114384900A (zh) 内河水面自主船舶航行驾驶方法、装置及存储介质
CN115871890B (zh) 一种无人船自主航行能力测试评估***
CN117647981B (zh) 一种无人艇智能航行控制方法、装置及设备
CN116700269A (zh) 考虑环境扰动和多目标约束的无人艇路径规划方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant