CN115657683B - 一种可用于巡检作业任务的无人无缆潜水器实时避障方法 - Google Patents
一种可用于巡检作业任务的无人无缆潜水器实时避障方法 Download PDFInfo
- Publication number
- CN115657683B CN115657683B CN202211418260.1A CN202211418260A CN115657683B CN 115657683 B CN115657683 B CN 115657683B CN 202211418260 A CN202211418260 A CN 202211418260A CN 115657683 B CN115657683 B CN 115657683B
- Authority
- CN
- China
- Prior art keywords
- auv
- inspection
- task
- patrol
- subtask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种可用于巡检作业任务的无人无缆潜水器实时避障方法，涉及无人无缆潜水器避障技术领域，该方法结合无人无缆潜水器在执行水域封锁、水下地图绘制等军事使命任务，或海洋水产养殖管理、海底矿物勘探等民用使命任务，需要定深巡检搜索航行的工程背景，给出了面对巡检作业任务的无人无缆潜水器实时避障方法；本发明对巡检任务场景、多任务、多约束条件下水平面避障原理及策略进行分析，重点设计动作规划端，并基于深度神经网络算法设计子任务自主决策方法，实现基础子任务的自主决策，对PID算法进行改进，设计基础动作规划器，输出动作策略，利用得到的动作策略引导巡检AUV无碰撞且兼顾巡检任务的行驶，直至完成巡检搜索任务。
Description
技术领域
本发明涉及无人无缆潜水器避障技术领域，具体涉及一种可用于巡检作业任务的无人无缆潜水器实时避障方法。
背景技术
本节中的陈述仅提供与本公开相关的背景信息，并且可能不构成现有技术。
近年来，伴随着无人无缆潜水器（autonomouunderwater vehicle，AUV），在海洋开发、海洋军事应用的巨大潜力价值，已逐渐发展成为深入实施国家海洋资源综合探测、国家海军技术装备、展现国家海洋高科技综合实力的关键技术装备；巡检型AUV是目前无人无缆潜水器（autonomou underwater vehicle，AUV）研究中备受关注的一种类型，其搭载特定的传感器后，在军用技术领域可执行水域封锁、水下地图绘制等使命任务，在民用技术领域可从事于海洋水质监测、海洋水产养殖管理、海底矿物勘探等；本发明主要用于解决巡检型AUV在复杂未知水下环境执行巡检任务过程中遭遇的实时避障问题。
巡检AUV在未知水域执行定水深巡检搜索任务时，需要从起始点
P S 沿着已规划的巡检路线（如：梳状路径）安全无碰撞的航行到终点
P E ；巡检路线具备一定的理想性，未考虑巡检型AUV的运动约束以及突发情况等，仅仅对巡检型AUV的航行起简单参考作用；实际情况中巡检AUV在执行巡检任务时，难免会遭遇一些静态或动态障碍物威胁机体安全，若不采取合适策略进行处理，不但难以完成巡检任务，还可能会损坏巡检AUV机体，造成巨大的损失。
目前学者们对于避障方法的研究，大多停留于基础的避障过程研究，很少研究AUV在具体工程应用场景、使命任务约束条件下避障方法，本发明结合巡检型AUV自主作业特点，提出了一种可用于巡检型AUV在执行固定水深巡检搜索任务时的自主避障方法。
发明内容
本发明的目的在于：针对目前巡检型AUV在复杂未知水下环境执行巡检任务过程中遭遇的实时避障问题，提供了一种可用于巡检作业任务的无人无缆潜水器实时避障方法，为保障巡检AUV在未知水域执行定水深巡检搜索任务时，自主规避静态和动态障碍物，顺利完成巡检作业，解决了上述问题。
本发明的技术方案如下：
一种可用于巡检作业任务的无人无缆潜水器实时避障方法，包括：
步骤1：通过巡检AUV搭载的传感器，实时获取巡检AUV状态数据信息和周边环境数据信息，并建立巡检AUV状态模型和环境状态模型；
步骤2：将巡检AUV的巡检任务进行任务分解和行为规划，得到子任务集，并将每个子任务建立为一个马尔可夫决策模型；
步骤3：结合子任务评价函数，以实时周边环境数据信息为输入，通过基于DQN算法的子任务自主决策算法，得到当前子任务决策策略；
步骤4：建立行为动作模型和动态避障模型，依据当前子任务决策策略，结合巡检AUV状态模型和环境状态模型，根据基于PID算法的AUV动作规划器，进行实时动作规划，输出动作策略；
步骤5：将动作策略传输给巡检AUV的底层动作执行端，生成新的目标动作指令，引导巡检AUV避开巡检水域中的静态和动态障碍物，并巡线行驶，直至到达巡检终点，完成巡检任务。
进一步地，所述步骤1中巡检AUV状态模型包括：巡检AUV运动状态模型和巡检AUV任务状态模型；
其中，巡检AUV运动状态模型，包括：
其中：
x为巡检AUV在大地坐标系下的X轴向分量的位移；
y为巡检AUV在大地坐标系下的Y轴向分量的位移；
为巡检AUV的偏航角；
u为巡检AUV在随体坐标系下的水平速度矢量的X轴向分量；
v为巡检AUV在随体坐标系下的水平速度矢量的Y轴向分量；
r为巡检AUV的偏航角速度；
为巡检AUV的横倾角；
其中，建立巡检AUV任务状态模型，包括：
依据巡检路线信息、起点和终点信息，将巡检全局参考路径，离散为有限的有序的虚拟子目标区域；其中：
goal 0为巡线任务起点，
goal n 为巡线任务终点；
当巡检AUV到达第
i个虚拟子目标区域
goal i 时，之前的虚拟子目标区域会随之更新消亡，剩余存活虚拟子目标区域为。
进一步地，所述步骤1中建立环境状态模型，包括：
根据巡检AUV上搭载的避障声呐传感器，获取障碍物相对于巡检AUV水平面的分布方位和距离状态信息；
将水平面不同分布方位的距离状态信息进行合并，根据分布方位、距离状态信息在0和1中取值，从而完成环境状态模型的建立。
进一步地，所述步骤2，包括：
将巡检AUV在执行固定水深巡检搜索任务，视为一个从高层任务到底层动作决策的过程，由巡检AUV使命任务出发，从高到低顺序逐层规划，进行行为分解，整个巡检AUV巡检搜索任务执行过程视为依据时间序列的子任务决策与动作行为选择；
依据巡检AUV巡检搜索任务的分层模型，设定总任务
M，并将总任务
M分解为一系列子任务：
其中：
M t 为当前
t时刻的子任务；
M t+1为
t+1时刻的子任务；
M T 为到达巡检终点时刻
T的子任务；
所述一系列子任务包括：巡线子任务、避障子任务和终点目标子任务；定义为，其中：
m 1为巡线子任务；
m 2为避障子任务，
m 3为终点目标子任务；
每个子任务视为一个马尔可夫决策模型，其中：
S i 为状态空间，
A i 为动作空间，
R i 为伪报酬函数，为状态转移函数。
进一步地，所述步骤3，包括：
对于巡检AUV巡检搜索任务中，任务的优先级为：避障子任务为最高级，巡线子任务优先级大于终点目标子任务，即：；
所述子任务评价函数为：
。
进一步地，所述步骤3的详细步骤为：
步骤31：将时刻
t的周边环境数据信息作为输入，所述周边环境数据信息包括：巡检AUV位置、环境状态模型、子目标区域位置和巡检的终点位置；
步骤32：从一系列子任务中，随机抽取，预选子任务为；
步骤33：通过DQN算法计算当前预选子任务的Q值，结合预选子任务的Q值根据规则推算下一个子任务
M t+1；
步骤34：将子任务
M t+1进行模拟决策，判断是否符合终止任务条件；所述终止任务条件包括：到达巡检任务终点和子任务选择正确；
步骤35：将以四元组的形式存储在记忆库，输出决策时刻
t的决策子任务为
M t ，时间更新，进入下一个决策时刻
t+1。
进一步地，所述步骤34，包括：
步骤341：若符合终止任务条件，则更新奖惩值
r t ，终止当前任务，转步骤35；
步骤342：若不符合终止任务条件，根据子任务评价函数对任务序列的执行效果进行分析，更新奖惩值
r t ，转步骤343；
步骤343：对DQN算法网络进行训练并更新权重，再重新进行决策，转步骤32。
进一步地，所述步骤4，包括：
步骤41：所述巡检AUV为全驱动，有三个推进器、一个尾推、两个侧推，可实现巡检AUV的转艏、前进与后退；
由此艏向角范围为，并且考虑自身机动性的限制，水平速度范围为0~1.5
m/s，巡航速度为1.5
m/s，初始艏向角90°，巡检AUV的基本动作空间定义为偏航角和水平速度，在时刻
t的动作集表达式为：
其中：
表示时刻
t巡检AUV的规划动作集；
为时刻
t巡检AUV的偏航角；
为时刻
t巡检AUV的水平速度；
巡检AUV巡线行为和趋向目标行为视为目标艏向角约束，即：虚拟子目标区域的位置对于巡检AUV是先验已知的，由此可以根据巡检AUV在
t时刻的坐标，求出目标艏向角：
目标艏向角为最优规划，基于改进PID算法进行巡检AUV的动作规划，由此实现对虚拟子目标的跟踪；
步骤42：在依据周围的障碍物环境信息的动态变化，根据避障方法，修正速度大小和偏向角，引导巡检AUV机动规避障碍物；
所述基于PID算法的AUV动作规划器，其具体实施步骤如下：
步骤A：巡检AUV以声呐探测到障碍物反馈回来的距离值
S i (
t)，巡检AUV在搭载声呐传感器探测到与周边障碍物之间前向距离
S 1、左侧距离
S 2以及右侧距离
S 3；
步骤B：巡检AUV由TCM电子罗盘与多普勒测速仪监控到实际运动姿态信息，即当前时刻
t的巡检AUV水平速度大小以及偏航角；
步骤C：首先设定巡检AUV航行过程中与障碍物之间保持的安全距离
S 0，基于PID算法的AUV动作规划器的输出值为时刻
t+1的巡检AUV水平速度大小
V t+1以及偏航角；
步骤D：当时，当前时刻
t的目标艏向角、当前时刻
t的偏航角、偏航角调整量作为PID算法输入，计算输出时刻
t+1偏航角，转步骤F；
步骤E：当或或时，分别以当前声呐探测到与障碍物的前向距离
S 1、左侧距离
S 2以及右侧距离
S 3结合当前
t时刻巡检AUV的水平速度大小和偏航角作为基于PID算法的AUV动作规划器的输入；
步骤F：输出无碰撞且兼顾巡检任务的水平速度大小以及偏航角，传输给到巡检AUV，时间更新，执行动作，进入下一个动作规划流程，重复执行步骤A~步骤F。
进一步地，所述步骤42，包括：
步骤421：巡检AUV运行开始后，当行进方向无障碍物时，按照目标艏向角、巡航速度航行前进，转步骤424，当行进方向存在障碍物时，转步骤422；
步骤422：行进方向存在障碍物，需要重新规划航向与行进速度，执行步骤423；
所述步骤423，包括：
步骤4231：当前、左、右方向都遭遇障碍物时，运行速度先置零，等待动作决策，否则转步骤4232；
步骤4232：当前方遭遇障碍物，左、右侧安全，艏向依据策略调整，否则转步骤4233；
步骤4233：当前方无障碍物，左、右侧面临碰撞威胁时，向前行驶，否则转步骤4234；
步骤4234：当目标航向与当前航向夹角大于0，并且左侧有障碍物；或者左侧和前方都遭遇障碍物时，进行左侧定距运行，否则转步骤4235；
步骤4235：当目标航向与当前航向夹角小于0并且右侧有障碍物；若右侧和前方都遭遇障碍物时，进行右侧定距运行，否则转步骤424；
步骤424：动作空间状态更新，巡检AUV依据规划动作航行前进，若到达巡检终点，转步骤425，若未到达巡检终点，重复步骤421~423；
步骤425：完成巡检任务，等待回收。
进一步地，所述步骤E，包括：
步骤E1：通过三个PID控制环节，生成对应的速度调整量以及偏航角调整量和，和，和，对当前
t时刻的巡检AUV的速度大小和方向进行调整生成对应的修正速度大小和偏航角，即和，和，和；
步骤E2：修正后的速度、、通过避障动作逻辑处理，输出
t+1时刻巡检AUV的水平速度大小和偏航角，转步骤F；
其中，所述避障动作逻辑处理为：
且、的符号与所对应的修正速度和偏航角符号一致。
与现有的技术相比本发明的有益效果是：
1、一种可用于巡检作业任务的无人无缆潜水器实时避障方法，其核心为设计了一个端到端的动作规划***，结合实际工程任务背景，给出了整体的详细解决方案，该方法实现基础动作的自主决策，并引导巡检AUV无碰撞且兼顾巡检任务的行驶，提升了巡检型无人无缆潜水器在未知水域环境中作业时的安全性，具有一定的工程指导意义。
2、一种可用于巡检作业任务的无人无缆潜水器实时避障方法，针对巡检AUV在执行固定水深梳状扫描巡检任务过程中，涉及到多任务多行为自主决策问题，融合新兴人工智能算法深度强化学***和自主性决策能力，该思路对解决类似多子任务和多行为自主决策问题有重大借鉴意义。
附图说明
图1为一种可用于巡检作业任务的无人无缆潜水器实时避障方法的流程图；
图2为一种可用于巡检作业任务的无人无缆潜水器实时避障***的***框架图；
图3为巡检AUV避障声呐水平面模型图；
图4为巡检AUV梳状巡检任务分层模型图；
图5为子任务决策流程图；
图6为巡检AUV动态避障模型图；
图7a-图7f为某巡检AUV使用本发明方法执行梳状巡检搜索任务仿真结果图；
其中：
图7a为巡检AUV处于巡线行驶时的仿真结果图；
图7b为巡检AUV成功规避未知静态障碍物时的仿真结果图；
图7c为巡检AUV成功规避未知动态障碍物1时的仿真结果图；
图7d为巡检AUV成功规避未知动态障碍物2时的仿真结果图；
图7e为巡检AUV成功连续规避动态障碍物时的仿真结果图；
图7f为巡检AUV成功完成巡检综合任务时的仿真结果图。
具体实施方式
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合实施例对本发明的特征和性能作进一步的详细描述。
实施例一
巡检AUV在未知水域执行定水深巡检搜索任务时，需要从起始点沿着已规划的巡检路线（如：梳状路径）安全无碰撞的航行到终点；巡检路线具备一定的理想性，未考虑巡检型AUV的运动约束以及突发情况等，仅仅对巡检型AUV的航行起简单参考作用；实际情况中巡检AUV在执行巡检任务时，难免会遭遇一些静态或动态障碍物威胁机体安全，若不采取合适策略进行处理，不但难以完成巡检任务，还可能会损坏巡检AUV机体，造成巨大的损失。
目前学者们对于避障方法的研究，大多停留于基础的避障过程研究，很少研究AUV在具体工程应用场景、使命任务约束条件下避障方法，本实施例结合巡检型AUV自主作业特点，提出了一种可用于巡检型AUV在执行固定水深巡检搜索任务时的自主避障方法。
图2为可用于巡检型AUV在执行固定水深巡检搜索任务时的自主避障***的***框架图；一种可用于巡检型AUV在执行固定水深巡检搜索任务时的自主避障方法基于图2所示的***，该***主要包括：底层动作执行端、状态输入端和动作规划端，本发明通过端到端的方式解决巡检AUV在执行巡检任务过程中的自主避障问题，其中，方法的核心为动作规划端中的子任务自主决策模块和动作自主决策模块。
请参阅图1-图6，一种可用于巡检作业任务的无人无缆潜水器实时避障方法，本实施例以巡检AUV执行梳状巡检搜索任务为例进行说明，其具体步骤包括：
步骤1：通过巡检AUV搭载的传感器，实时获取巡检AUV状态数据信息和周边环境数据信息，并建立巡检AUV状态模型和环境状态模型；优选地，所述传感器包括：测距声呐、前置多波束声呐、TCM电子罗盘、多普勒测速仪、深度计等，并将建立的巡检AUV状态模型和环境状态模型最为动作规划端的状态输入；其中，所述巡检AUV状态模型包括：巡检AUV运动状态模型和巡检AUV任务状态模型；
步骤2：将巡检AUV的巡检任务进行任务分解和行为规划，得到子任务集，并将每个子任务建立为一个马尔可夫决策模型；
步骤3：结合子任务评价函数，以实时周边环境数据信息为输入，通过基于DQN算法的子任务自主决策算法，得到当前子任务决策策略；
步骤4：建立行为动作模型和动态避障模型，依据当前子任务决策策略，结合巡检AUV状态模型和环境状态模型，根据基于PID算法的AUV动作规划器，进行实时动作规划，输出动作策略；
步骤5：将动作策略传输给巡检AUV的底层动作执行端，生成新的目标动作指令，引导巡检AUV避开巡检水域中的静态和动态障碍物，并巡线行驶，直至到达巡检终点，完成巡检任务；即将动作规划端生成的动作策略，通过数据传输给巡检AUV的底层动作执行端，生成新的目标动作指令，指导导航模块，计算出新的偏向角及速度，然后通过巡检AUV的底层运动控制执行机构，引导巡检AUV避开巡检水域中的静态和动态障碍物，并巡线行驶，直至到达巡检终点，完成巡检任务；最终某巡检AUV使用本实施例的方法执行梳状巡检搜索任务仿真结果图，如图7a-图7f所示，显示了该巡检AUV在大小长与宽分别为的搜索区域，自主切换巡检任务和避障，成功规避多个静态和动态障碍物到达巡检终点，安全完成巡检搜索任务。
在本实施例中，具体的，巡检AUV运动状态模型建立方法如下：巡检AUV在定水深执行巡检搜索任务时，在实际执行任务过程中巡检AUV航行中纵深变化范围一般较小，由此进行合理的简化处理，不需要考虑在垂直面的对AUV运动状态的分析以及AUV纵摇、上潜和下浮等动作，仅考虑AUV前进（后退）、侧移和偏航运动，建立了水平面3自由度无人无缆潜水器的运动学模型（即巡检AUV运动状态模型）如下：
其中：
x为巡检AUV在大地坐标系下的X轴向分量的位移；
y为巡检AUV在大地坐标系下的Y轴向分量的位移；
为巡检AUV的偏航角；
u为巡检AUV在随体坐标系下的水平速度矢量的X轴向分量；
v为巡检AUV在随体坐标系下的水平速度矢量的Y轴向分量；
r为巡检AUV的偏航角速度；
为巡检AUV的横倾角。
在本实施例中，具体的，建立巡检AUV任务状态模型的方法如下：
依据巡检路线信息、起点和终点信息，将巡检全局参考路径，离散为有限的有序的虚拟子目标区域；其中：
goal 0为巡线任务起点，
goal n 为巡线任务终点；
当巡检AUV到达第
i个虚拟子目标区域
goal i 时，之前的虚拟子目标区域会随之更新消亡，剩余存活虚拟子目标区域为；即每个虚拟子目标区域均采用连续触发消亡机制；例如：本次巡检搜索区域大小长与宽分别为，并且仿真环境以地图中心为笛卡尔坐标系原点，巡检AUV从起点
goal 0为(422.5m,-348.5m)处出发，巡检
goal n 为(-425m,-350m)。
在本实施例中，具体的，所述步骤1中建立环境状态模型，包括：
根据巡检AUV上搭载的避障声呐传感器，获取障碍物相对于巡检AUV水平面的分布方位和距离状态信息；
将水平面不同分布方位的距离状态信息进行合并，根据分布方位、距离状态信息在0和1中取值，从而完成环境状态模型的建立；
优选地，在本实施例中所采用的巡检AUV，其搭载5个避障声呐传感器，分布示意图如附图3所示，其中编号为1，2，3，4号声呐均为单波束测距声呐，换能器的锐度角为，量程为，可以用于感知巡检AUV左右的障碍物；编号为5的避障声呐是巡检AUV艏部搭载着前置多波束声呐，该声呐探测区域横向为圆锥角为的锥形区域，最远探测距离为120m，纵向展角为，用于探测巡检AUV前方的障碍物，由此通过这个5个避障声呐传感器可以获取到障碍物相对于AUV水平面位置分布（即水平面的分布方位）、距离状态信息；并以此建立的环境状态模型如表1所示，其中，共8种状态，每种状态对应表1所示；
表1 环境状态模型表
在本实施例中，具体的，所述步骤2，包括：
将巡检AUV在执行固定水深巡检搜索任务，视为一个从高层任务到底层动作决策的过程，由巡检AUV使命任务出发，从高到低顺序逐层规划，进行行为分解，整个巡检AUV巡检搜索任务（如：梳状巡检搜索任务）执行过程视为依据时间序列的子任务决策与动作行为选择；
依据巡检AUV巡检搜索任务的分层模型（如图4所示），设定总任务
M，并将总任务
M分解为一系列子任务：
其中：
M t 为当前
t时刻的子任务；
M t+1为
t+1时刻的子任务；
M T 为到达巡检终点时刻
T的子任务；
所述一系列子任务包括：巡线子任务、避障子任务和终点目标子任务；定义为，其中：
m 1为巡线子任务；
m 2为避障子任务，
m 3为终点目标子任务；
每个子任务视为一个马尔可夫决策模型，其中：
S i 为状态空间，
A i 为动作空间，
R i 为伪报酬函数，为状态转移函数。
在本实施例中，具体的，所述步骤3，包括：
对于巡检AUV巡检搜索任务（如：梳状巡检搜索任务）中，任务的优先级为：避障子任务为最高级，巡线子任务优先级大于终点目标子任务，即：；
所述子任务评价函数为：
。
在本实施例中，具体的，所述步骤S3中的子任务决策流程，如图5所示；其中，所述步骤3的详细步骤为：
步骤31：将时刻
t的周边环境数据信息作为输入，所述周边环境数据信息包括：巡检AUV位置、环境状态模型、子目标区域位置和巡检的终点位置；
步骤32：从一系列子任务中，随机抽取，预选子任务为；
步骤33：通过DQN（即深度神经网络Deep Q Network，DQN）算法计算当前预选子任务的Q值，结合预选子任务的Q值根据规则推算下一个子任务
M t+1；
步骤34：将子任务
M t+1进行模拟决策，判断是否符合终止任务条件；所述终止任务条件包括：到达巡检任务终点和子任务选择正确；
步骤35：将以四元组的形式存储在记忆库，输出决策时刻
t的决策子任务为
M t ，时间更新，进入下一个决策时刻
t+1。
在本实施例中，具体的，所述步骤34，包括：
步骤341：若符合终止任务条件，则更新奖惩值
r t ，终止当前任务，转步骤35；
步骤342：若不符合终止任务条件，根据子任务评价函数对任务序列的执行效果进行分析，更新奖惩值
r t ，转步骤343；
步骤343：对DQN算法网络进行训练并更新权重，再重新进行决策，转步骤32。
在本实施例中，具体的，在步骤4中需要说明的是：巡检AUV在复杂未知的水下环境中执行梳状巡检任务时，存在三个基本行为：巡检AUV巡线行为、避障行为、趋向目标行为，且本实施例中的巡检AUV为全驱动的；
因此，所述步骤4，包括：
步骤41：所述巡检AUV为全驱动，有三个推进器、一个尾推、两个侧推，可实现巡检AUV的转艏、前进与后退；
由此艏向角范围为，并且考虑自身机动性的限制，水平速度范围为0~1.5
m/s，巡航速度为1.5
m/s，初始艏向角90°，巡检AUV的基本动作空间定义为偏航角和水平速度，在时刻
t的动作集表达式为：
其中：
表示时刻
t巡检AUV的规划动作集；
为时刻
t巡检AUV的偏航角；
为时刻
t巡检AUV的水平速度；
巡检AUV巡线行为和趋向目标行为视为目标艏向角约束，即：虚拟子目标区域的位置对于巡检AUV是先验已知的，由此可以根据巡检AUV在
t时刻的坐标，求出目标艏向角：
目标艏向角为最优规划，基于改进PID算法进行巡检AUV的动作规划，由此实现对虚拟子目标的跟踪；
步骤42：在依据周围的障碍物环境信息的动态变化，根据避障方法，修正速度大小和偏向角，引导巡检AUV机动规避障碍物；其中，动态避障模型如图6所示；
其中，所述基于PID算法的AUV动作规划器，其具体实施步骤如下：
步骤A：巡检AUV以声呐探测到障碍物反馈回来的距离值
S i (
t)，巡检AUV在搭载声呐传感器探测到与周边障碍物之间前向距离
S 1、左侧距离
S 2以及右侧距离
S 3；
步骤B：巡检AUV由TCM电子罗盘与多普勒测速仪监控到实际运动姿态信息，即当前时刻
t的巡检AUV水平速度大小以及偏航角；
步骤C：首先设定巡检AUV航行过程中与障碍物之间保持的安全距离
S 0，基于PID算法的AUV动作规划器的输出值为时刻
t+1的巡检AUV水平速度大小
V t+1以及偏航角；优选地，所述；
步骤D：当时，当前时刻
t的目标艏向角、当前时刻
t的偏航角、偏航角调整量作为PID算法输入，计算输出时刻
t+1偏航角，转步骤F；
步骤E：当或或时，分别以当前声呐探测到与障碍物的前向距离
S 1、左侧距离
S 2以及右侧距离
S 3结合当前
t时刻巡检AUV的水平速度大小和偏航角作为基于PID算法的AUV动作规划器的输入；
步骤F：输出无碰撞且兼顾巡检任务的水平速度大小以及偏航角，传输给到巡检AUV，时间更新，执行动作，进入下一个动作规划流程，重复执行步骤A~步骤F。
进一步地，所述步骤42，包括：
步骤421：巡检AUV运行开始后，当行进方向无障碍物时，按照目标艏向角、巡航速度航行前进，转步骤424，当行进方向存在障碍物时，转步骤422；
步骤422：行进方向存在障碍物，需要重新规划航向与行进速度，执行步骤423；
所述步骤423，包括：
步骤4231：当前、左、右方向都遭遇障碍物时，运行速度先置零，等待动作决策，否则转步骤4232；
步骤4232：当前方遭遇障碍物，左、右侧安全，艏向依据策略调整，否则转步骤4233；
步骤4233：当前方无障碍物，左、右侧面临碰撞威胁时，向前行驶，否则转步骤4234；
步骤4234：当目标航向与当前航向夹角大于0（说明被控对象处于左转情况下），并且左侧有障碍物；或者左侧和前方都遭遇障碍物时，进行左侧定距运行（右拐），否则转步骤4235；
步骤4235：当目标航向与当前航向夹角小于0（说明被控对象处于右转情况下），并且右侧有障碍物；若右侧和前方都遭遇障碍物时，进行右侧定距运行（左拐），否则转步骤424；
步骤424：动作空间状态更新，巡检AUV依据规划动作航行前进，若到达巡检终点，转步骤425，若未到达巡检终点，重复步骤421~423。
步骤425：完成巡检任务，等待回收。
在本实施例中，具体的，所述步骤E，包括：
步骤E1：通过三个PID控制环节，生成对应的速度调整量以及偏航角调整量和，和，和，对当前
t时刻的巡检AUV的速度大小和方向进行调整生成对应的修正速度大小和偏航角，即和，和，和；
步骤E2：修正后的速度、、通过避障动作逻辑处理，输出
t+1时刻巡检AUV的水平速度大小和偏航角，转步骤F；
其中，所述避障动作逻辑处理为：
且、的符号与所对应的修正速度和偏航角符号一致。
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。
提供本背景技术部分是为了大体上呈现本发明的上下文，当前所署名的发明人的工作、在本背景技术部分中所描述的程度上的工作以及本部分描述在申请时尚不构成现有技术的方面，既非明示地也非暗示地被承认是本发明的现有技术。
Claims (10)
1.一种可用于巡检作业任务的无人无缆潜水器实时避障方法，其特征在于，包括：
步骤1：通过巡检AUV搭载的传感器，实时获取巡检AUV状态数据信息和周边环境数据信息，并建立巡检AUV状态模型和环境状态模型；
步骤2：将巡检AUV的巡检任务进行任务分解和行为规划，得到子任务集，并将每个子任务建立为一个马尔可夫决策模型；
步骤3：结合子任务评价函数，以实时周边环境数据信息为输入，通过基于DQN算法的子任务自主决策算法，得到当前子任务决策策略；
步骤4：建立行为动作模型和动态避障模型，依据当前子任务决策策略，结合巡检AUV状态模型和环境状态模型，根据基于PID算法的AUV动作规划器，进行实时动作规划，输出动作策略；
步骤5：将动作策略传输给巡检AUV的底层动作执行端，生成新的目标动作指令，引导巡检AUV避开巡检水域中的静态和动态障碍物，并巡线行驶，直至到达巡检终点，完成巡检任务；
所述基于PID算法的AUV动作规划器，其具体实施步骤如下：
步骤A：巡检AUV以声呐探测到障碍物反馈回来的距离值S i (t)，巡检AUV在搭载声呐传感器探测到与周边障碍物之间前向距离S 1、左侧距离S 2以及右侧距离S 3；
步骤B：巡检AUV由TCM电子罗盘与多普勒测速仪监控到实际运动姿态信息，即当前时刻t的巡检AUV水平速度大小以及偏航角；
步骤C：首先设定巡检AUV航行过程中与障碍物之间保持的安全距离S 0，基于PID算法的AUV动作规划器的输出值为时刻t+1的巡检AUV水平速度大小V t+1以及偏航角；
步骤D：当时，当前时刻t的目标艏向角、当前时刻t的偏航角、偏航角调整量作为PID算法输入，计算输出时刻t+1偏航角，转步骤F；
步骤E：当或或时，分别以当前声呐探测到与障碍物的前向距离S 1、左侧距离S 2以及右侧距离S 3结合当前t时刻巡检AUV的水平速度大小和偏航角作为基于PID算法的AUV动作规划器的输入；
步骤F：输出无碰撞且兼顾巡检任务的水平速度大小以及偏航角，传输给到巡检AUV，时间更新，执行动作，进入下一个动作规划流程，重复执行步骤A~步骤F。
2.根据权利要求1所述的一种可用于巡检作业任务的无人无缆潜水器实时避障方法，其特征在于，所述步骤1中巡检AUV状态模型包括：巡检AUV运动状态模型和巡检AUV任务状态模型；
其中，巡检AUV运动状态模型，包括：
其中：
x为巡检AUV在大地坐标系下的X轴向分量的位移；
y为巡检AUV在大地坐标系下的Y轴向分量的位移；
为巡检AUV的偏航角；
u为巡检AUV在随体坐标系下的水平速度矢量的X轴向分量；
v为巡检AUV在随体坐标系下的水平速度矢量的Y轴向分量；
r为巡检AUV的偏航角速度；
为巡检AUV的横倾角；
其中，建立巡检AUV任务状态模型，包括：
依据巡检路线信息、起点和终点信息，将巡检全局参考路径，离散为有限的有序的虚拟子目标区域；其中：goal 0为巡线任务起点，goal n 为巡线任务终点；
当巡检AUV到达第i个虚拟子目标区域goal i 时，之前的虚拟子目标区域会随之更新消亡，剩余存活虚拟子目标区域为。
3.根据权利要求2所述的一种可用于巡检作业任务的无人无缆潜水器实时避障方法，其特征在于，所述步骤1中建立环境状态模型，包括：
根据巡检AUV上搭载的避障声呐传感器，获取障碍物相对于巡检AUV水平面的分布方位和距离状态信息；
将水平面不同分布方位的距离状态信息进行合并，根据分布方位、距离状态信息在0和1中取值，从而完成环境状态模型的建立。
4.根据权利要求3所述的一种可用于巡检作业任务的无人无缆潜水器实时避障方法，其特征在于，所述步骤2，包括：
将巡检AUV在执行固定水深巡检搜索任务，视为一个从高层任务到底层动作决策的过程，由巡检AUV使命任务出发，从高到低顺序逐层规划，进行行为分解，整个巡检AUV巡检搜索任务执行过程视为依据时间序列的子任务决策与动作行为选择；
依据巡检AUV巡检搜索任务的分层模型，设定总任务M，并将总任务M分解为一系列子任务：
其中：
M t 为当前t时刻的子任务；
M t+1为t+1时刻的子任务；
M T 为到达巡检终点时刻T的子任务；
所述一系列子任务包括：巡线子任务、避障子任务和终点目标子任务；定义为，其中：m 1为巡线子任务；m 2为避障子任务，m 3为终点目标子任务；
每个子任务视为一个马尔可夫决策模型，其中：S i 为状态空间，A i 为动作空间，R i 为伪报酬函数，为状态转移函数。
5.根据权利要求4所述的一种可用于巡检作业任务的无人无缆潜水器实时避障方法，其特征在于，所述步骤3，包括：
对于巡检AUV巡检搜索任务中，任务的优先级为：避障子任务为最高级，巡线子任务优先级大于终点目标子任务，即：；
所述子任务评价函数为：
。
6.根据权利要求5所述的一种可用于巡检作业任务的无人无缆潜水器实时避障方法，其特征在于，所述步骤3的详细步骤为：
步骤31：将时刻t的周边环境数据信息作为输入，所述周边环境数据信息包括：巡检AUV位置、环境状态模型、子目标区域位置和巡检的终点位置；
步骤32：从一系列子任务中，随机抽取，预选子任务为；
步骤33：通过DQN算法计算当前预选子任务的Q值，结合预选子任务的Q值根据规则推算下一个子任务M t+1；
步骤34：将子任务M t+1进行模拟决策，判断是否符合终止任务条件；所述终止任务条件包括：到达巡检任务终点和子任务选择正确；
步骤35：将以四元组的形式存储在记忆库，输出决策时刻t的决策子任务为M t ，时间更新，进入下一个决策时刻t+1。
7.根据权利要求6所述的一种可用于巡检作业任务的无人无缆潜水器实时避障方法，其特征在于，所述步骤34，包括：
步骤341：若符合终止任务条件，则更新奖惩值r t ，终止当前任务，转步骤35；
步骤342：若不符合终止任务条件，根据子任务评价函数对任务序列的执行效果进行分析，更新奖惩值r t ，转步骤343；
步骤343：对DQN算法网络进行训练并更新权重，再重新进行决策，转步骤32。
8.根据权利要求7所述的一种可用于巡检作业任务的无人无缆潜水器实时避障方法，其特征在于，所述步骤4，包括：
步骤41：所述巡检AUV为全驱动，有三个推进器、一个尾推、两个侧推，可实现巡检AUV的转艏、前进与后退；
由此艏向角范围为，并且考虑自身机动性的限制，水平速度范围为0~1.5m/s，巡航速度为1.5m/s，初始艏向角90°，巡检AUV的基本动作空间定义为偏航角和水平速度，在时刻t的动作集表达式为：
其中：
表示时刻t巡检AUV的规划动作集；
为时刻t巡检AUV的偏航角；
为时刻t巡检AUV的水平速度；
巡检AUV巡线行为和趋向目标行为视为目标艏向角约束，即：虚拟子目标区域的位置对于巡检AUV是先验已知的，由此可以根据巡检AUV在t时刻的坐标，求出目标艏向角：
目标艏向角为最优规划，基于改进PID算法进行巡检AUV的动作规划，由此实现对虚拟子目标的跟踪；
步骤42：在依据周围的障碍物环境信息的动态变化，根据避障方法，修正速度大小和偏向角，引导巡检AUV机动规避障碍物。
9.根据权利要求8所述的一种可用于巡检作业任务的无人无缆潜水器实时避障方法，其特征在于，所述步骤42，包括：
步骤421：巡检AUV运行开始后，当行进方向无障碍物时，按照目标艏向角、巡航速度航行前进，转步骤424，当行进方向存在障碍物时，转步骤422；
步骤422：行进方向存在障碍物，需要重新规划航向与行进速度，执行步骤423；
所述步骤423，包括：
步骤4231：当前、左、右方向都遭遇障碍物时，运行速度先置零，等待动作决策，否则转步骤4232；
步骤4232：当前方遭遇障碍物，左、右侧安全，艏向依据策略调整，否则转步骤4233；
步骤4233：当前方无障碍物，左、右侧面临碰撞威胁时，向前行驶，否则转步骤4234；
步骤4234：当目标航向与当前航向夹角大于0，并且左侧有障碍物；或者左侧和前方都遭遇障碍物时，进行左侧定距运行，否则转步骤4235；
步骤4235：当目标航向与当前航向夹角小于0并且右侧有障碍物；若右侧和前方都遭遇障碍物时，进行右侧定距运行，否则转步骤424；
步骤424：动作空间状态更新，巡检AUV依据规划动作航行前进，若到达巡检终点，转步骤425，若未到达巡检终点，重复步骤421~423；
步骤425：完成巡检任务，等待回收。
10.根据权利要求9所述的一种可用于巡检作业任务的无人无缆潜水器实时避障方法，其特征在于，所述步骤E，包括：
步骤E1：通过三个PID控制环节，生成对应的速度调整量以及偏航角调整量和，和，和，对当前t时刻的巡检AUV的速度大小和方向进行调整生成对应的修正速度大小和偏航角，即和，和，和；
步骤E2：修正后的速度、、通过避障动作逻辑处理，输出t+1时刻巡检AUV的水平速度大小和偏航角，转步骤F；
其中，所述避障动作逻辑处理为：
且、的符号与所对应的修正速度和偏航角符号一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211418260.1A CN115657683B (zh) | 2022-11-14 | 2022-11-14 | 一种可用于巡检作业任务的无人无缆潜水器实时避障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211418260.1A CN115657683B (zh) | 2022-11-14 | 2022-11-14 | 一种可用于巡检作业任务的无人无缆潜水器实时避障方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115657683A CN115657683A (zh) | 2023-01-31 |
| CN115657683B true CN115657683B (zh) | 2023-05-02 |
Family
ID=85021849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211418260.1A Active CN115657683B (zh) | 2022-11-14 | 2022-11-14 | 一种可用于巡检作业任务的无人无缆潜水器实时避障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115657683B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116954225B (zh) * | 2023-07-28 | 2024-03-05 | 南京安透可智能***有限公司 | 基于多波束声呐的城市管道环境中潜航器避障***与方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209152A (zh) * | 2019-06-14 | 2019-09-06 | 哈尔滨工程大学 | 智能水下机器人垂直面路径跟随的深度强化学习控制方法 |
| CN114564016A (zh) * | 2022-02-24 | 2022-05-31 | 江苏大学 | 一种结合路径规划和强化学习的导航避障控制方法、***及模型 |
| CN114625151A (zh) * | 2022-03-10 | 2022-06-14 | 大连理工大学 | 一种基于强化学习的水下机器人避障路径规划方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10133275B1 (en) * | 2017-03-01 | 2018-11-20 | Zoox, Inc. | Trajectory generation using temporal logic and tree search |
| CN107102644B (zh) * | 2017-06-22 | 2019-12-10 | 华南师范大学 | 基于深度强化学习的水下机器人轨迹控制方法及控制*** |
| CN108803321B (zh) * | 2018-05-30 | 2020-07-10 | 清华大学 | 基于深度强化学习的自主水下航行器轨迹跟踪控制方法 |
| US11537906B2 (en) * | 2018-07-12 | 2022-12-27 | The Regents Of The University Of California | Machine learning based target localization for autonomous unmanned vehicles |
| CN109784201B (zh) * | 2018-12-24 | 2023-07-28 | 中国海洋大学 | 基于四维风险评估的auv动态避障方法 |
| CN112241176B (zh) * | 2020-10-16 | 2022-10-28 | 哈尔滨工程大学 | 一种水下自主航行器在大尺度连续性障碍物环境中路径规划避障控制方法 |
| CN112540614B (zh) * | 2020-11-26 | 2022-10-25 | 江苏科技大学 | 一种基于深度强化学习的无人艇航迹控制方法 |
| CN112925319B (zh) * | 2021-01-25 | 2022-06-07 | 哈尔滨工程大学 | 一种基于深度强化学习的水下自主航行器动态避障方法 |
| CN113359448A (zh) * | 2021-06-03 | 2021-09-07 | 清华大学 | 一种针对时变动力学的自主水下航行器轨迹跟踪控制方法 |
| CN114089762B (zh) * | 2021-11-22 | 2024-06-21 | 江苏科技大学 | 一种基于强化学习的水空两栖无人航行器路径规划方法 |
| CN114859910A (zh) * | 2022-04-28 | 2022-08-05 | 武汉理工大学 | 基于深度强化学习的无人船路径跟随***及方法 |
-
2022
- 2022-11-14 CN CN202211418260.1A patent/CN115657683B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209152A (zh) * | 2019-06-14 | 2019-09-06 | 哈尔滨工程大学 | 智能水下机器人垂直面路径跟随的深度强化学习控制方法 |
| CN114564016A (zh) * | 2022-02-24 | 2022-05-31 | 江苏大学 | 一种结合路径规划和强化学习的导航避障控制方法、***及模型 |
| CN114625151A (zh) * | 2022-03-10 | 2022-06-14 | 大连理工大学 | 一种基于强化学习的水下机器人避障路径规划方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115657683A (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sahoo et al. | Advancements in the field of autonomous underwater vehicle | |
| Song et al. | Smoothed A* algorithm for practical unmanned surface vehicle path planning | |
| CN112241176B (zh) | 一种水下自主航行器在大尺度连续性障碍物环境中路径规划避障控制方法 | |
| CN111399506B (zh) | 一种基于动力学约束的全局-局部混合无人船路径规划方法 | |
| Allotta et al. | An unscented Kalman filter based navigation algorithm for autonomous underwater vehicles | |
| Statheros et al. | Autonomous ship collision avoidance navigation concepts, technologies and techniques | |
| Roberts et al. | Advances in unmanned marine vehicles | |
| Wu | Coordinated path planning for an unmanned aerial-aquatic vehicle (UAAV) and an autonomous underwater vehicle (AUV) in an underwater target strike mission | |
| Budiyono | Advances in unmanned underwater vehicles technologies: Modeling, control and guidance perspectives | |
| CN108319293B (zh) | 一种基于lstm网络的uuv实时避碰规划方法 | |
| CN109765929B (zh) | 一种基于改进rnn的uuv实时避障规划方法 | |
| Carreras et al. | Sparus II, design of a lightweight hovering AUV | |
| CN112925319B (zh) | 一种基于深度强化学习的水下自主航行器动态避障方法 | |
| CN113534668B (zh) | 基于最大熵的演员-评论家框架的auv运动规划方法 | |
| Wang et al. | Cooperative collision avoidance for unmanned surface vehicles based on improved genetic algorithm | |
| Burlutskiy et al. | Power efficient formation configuration for centralized leader–follower AUVs control | |
| CN111930141A (zh) | 一种水下机器人三维路径可视化跟踪方法 | |
| CN115657683B (zh) | 一种可用于巡检作业任务的无人无缆潜水器实时避障方法 | |
| Lan et al. | Improved RRT algorithms to solve path planning of multi-glider in time-varying ocean currents | |
| CN109470248A (zh) | 一种水下航行器导航***及导航方法 | |
| Di Vito et al. | Experimental validation of the modeling and control of a multibody underwater vehicle manipulator system for sea mining exploration | |
| Feng et al. | Automatic tracking method for submarine cables and pipelines of AUV based on side scan sonar | |
| Noguchi et al. | Tracking omnidirectional surfaces using a low-cost autonomous underwater vehicle | |
| Zacchini et al. | Informed expansion for informative path planning via online distribution learning | |
| Mousazadeh et al. | Experimental evaluation of a new developed algorithm for an autonomous surface vehicle and comparison with simulink results |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |