CN108536157A - 一种智能水下机器人及其***、物标跟踪方法 - Google Patents

Abstract

本发明公开一种智能水下机器人，包括：通信模块，接收远程控制终端的控制命令；图像获取模块，获取水下环境图像；物标识别模块，基于第一深度神经网络模型从水下环境图像中识别各水下物标及障碍物；控制模块，根据识别出的水下物标，判断是否存在目的物标，若是，则获取目的物标的像素坐标；空间构造模块，基于第二深度神经网络模型对水下环境图像进行图像处理，构造水下机器人当前位置的水下环境三维空间，确定目的物标的位置信息；控制模块，还根据构建的三维空间，按照预设的跟踪模式规划水下机器人跟踪目的物标的移动路径；执行模块，根据规划的移动路径控制水下机器人进行水下移动，实现对目的物标的跟踪及障碍物的躲避。

Description

一种智能水下机器人及其***、物标跟踪方法

技术领域

本发明涉及机器人领域，尤其涉及一种智能水下机器人及其***、物标跟踪方法。

背景技术

水下机器人也称无人遥控潜水器，水下机器人可在高度危险环境、被污染环境以及零可见度的水域代替人工在水下长时间作业，水下机器人上一般配备声呐***、摄像机、照明灯和机械臂等装置，能提供实时视频、声呐图像等，水下机器人在安全搜救、管道检查、科研教学、水下娱乐、能源产业、考古、渔业等领域得到广泛应用。

由于目前的水下机器人只能够对特定的物标进行图像匹配算法等进行识别，而不能对不同种类的水下物标进行智能的识别。水下环境也不同陆地，所获取的图像中物标的清晰程度小于陆地，基于机器视觉的路径规划和智能避障方面效果也亟待改进。

因此，需要一种新的水下机器人***，基于深度神经网络算法构建适用于水下的深度神经网络模型，从而能够智能的识别出水下不同的物标及生物。基于深度神经网络算法构建的图像景深计算模型，能够更加精确的计算出图像中物标的位置，更加精确的构建出水下三维环境，智能的、实时的规划出最优的运动路径，从而保证水下机器人水下工作的顺利进行。

发明内容

本发明提供一种智能水下机器人及其***、物标跟踪方法，克服了目前的水下机器人不能识别不同种类的水下物标及生物的缺点，优化了图像深度计算的效果，提高了三维重建的速度，使水下机器人能够实时准确的躲避障碍物，更加智能的规划运动路径。具体的，本发明的技术方案如下：

一方面，本发明公开了一种智能水下机器人，包括：通信模块，用于接收远程控制终端的控制命令，与所述远程控制终端进行信息交互；图像获取模块，用于获取水下环境图像；物标识别模块，用于基于第一深度神经网络模型对所述水下环境图像进行图像处理，识别出所述图像中的各水下物标及障碍物；控制模块，用于根据所述物标识别模块识别出的水下物标，判断是否存在远程控制终端下发跟踪的目的物标，若是，则获取所述目的物标在所述图像中的像素坐标；空间构造模块，用于基于第二深度神经网络模型对所述水下环境图像进行图像处理，构造所述水下机器人当前位置的水下环境三维空间，并根据所述控制模块获取的所述目的物标在所述图像中的像素坐标，确定所述目的物标的位置信息；所述控制模块，还用于根据所述空间构造模块构建的三维空间，按照预设的跟踪模式规划所述水下机器人跟踪所述目的物标的移动路径；执行模块，用于根据所述控制模块规划的移动路径控制所述水下机器人进行水下移动，实现对所述目的物标的跟踪及障碍物的躲避。

优选地，所述图像获取模块包括：图像采集子模块，用于采集水下环境的原始图像；图像预处理子模块，用于对所述图像采集模块采集的水下环境的原始图像进行图像预处理，获取水下环境图像；所述图像预处理包括：去噪处理、图像增强、图像补偿。

优选地，所述物标识别模块包括：图像分割子模块，用于对所述水下环境图像进行图像二值分割；特征提取子模块，用于对所述图像分割子模块分割后的图像分别进行特征提取；特征匹配子模块，用于根据预存的特征样本，对所述特征提取子模块提取的特征进行特征匹配，识别所述水下环境图像中的各物标及障碍物。

优选地，所述空间构造模块包括：景深计算子模块，用于基于第二深度神经网络模型对采集到的水下环境图像进行景深计算；三维构造子模块，用于根据所述水下环境图像及所述景深计算子模块计算的景深信息，构造所述水下机器人所处的水下环境的三维空间；位置确定子模块，用于根据所述三维构造子模块构造的三维空间，及所述目标物在所述水下环境图像中的像素坐标，确定所述目的物标的位置信息。

优选地，所述图像获取模块包括至少一组双目摄像头，所述景深计算子模块包括：特征提取单元，用于基于深度神经网络算法对双目摄像头获取的左右两张水下环境图像分别进行2D特征处理提取，获取特征张量；匹配代价创建单元，用于根据获取的特征张量创建两个匹配代价；一个匹配代价用于左向右匹配，另一个匹配代价用于右向左匹配；立体匹配单元，用于通过所述匹配代价创建单元创建的两个匹配代价分别执行立体匹配，获取视差张量图；深度计算单元，用于从所述立体匹配单元获取的视差张量图中提取各像素点的视差，计算出图像中的深度信息。

优选地，所述三维构造子模块包括：物标坐标解算单元，用于根据所述景深计算子模块计算的水下环境图像的景深信息，获取所述水下环境图像中所述物标识别模块识别出的各水下物标及障碍物的三维坐标信息；空间重构单元，用于根据所述物标坐标解算单元获取的各水下物标及障碍物的三维坐标信息，重构所述水下机器人周围环境的三维空间。

优选地，所述跟踪模式包括跟随模式、旁伴模式、引导模式、环绕模式。

优选地，所述控制模块，还用于当所述物标识别模块识别出的物标中不存在目的物标时，选取所述远程控制终端的信号源作为临时目的物标，直至所述物标识别模块识别到所述远程控制终端下发跟踪的目的物标。

第二方面，本发明公开了一种智能水下机器人***，包括：本发明所述的智能水下机器人，及分别与所述智能水下机器人通信连接的远程控制终端、及服务器。

第三方面，本发明还公开了一种智能水下机器人物标跟踪方法，应用于本发明所述的智能水下机器人，所述物标跟踪方法包括：S100接收远程控制终端的控制命令，获取跟踪的目的物标信息；S200获取水下环境图像；S300基于第一深度神经网络模型对所述水下环境图像进行图像处理，识别出所述图像中的各水下物标及障碍物；S400根据识别出的水下物标，判断是否存在远程控制终端下发跟踪的目的物标，若是，则获取所述目的物标在所述图像中的像素坐标；S500基于第二深度神经网络模型对所述水下环境图像进行图像处理，构造所述水下机器人当前位置的水下环境三维空间，并根据所述控制模块获取的所述目的物标在所述图像中的像素坐标，确定所述目的物标的位置信息；S600根据构建的三维空间，按照预设的跟踪模式规划所述水下机器人跟踪所述目的物标的移动路径；S700根据规划的移动路径控制所述水下机器人进行水下移动，实现对所述目的物标的跟踪及障碍物的躲避。

本发明至少具备以下一项技术效果：

(1)本发明采用了深度神经网络(第一深度神经网络模型)来识别水下各物标及障碍物，相对于浅层的神经网络，深度神经网络更为复杂，不限定于识别单一的物标，而可以识别出不同的物标和障碍物，且识别精准度高。

(2)水下环境中所获取的图像信息与陆地上的图像信息不同，水下图像信息中的干扰因素会大于陆地上的干扰因素，因此，本发明还采用了另一深度神经网络(第二深度神经网络模型)来计算景深，优化了图像深度计算的效果，基于深度神经网络算法构建的图像景深计算模型(第二深度神经网络模型)，能够更加精确的计算出图像中物标的位置，从而精确的构建出水下三维环境，提高了三维空间重建的速度，使机器人能够实时准确的躲避障碍物，更加智能的规划运动路径。

(3)本发明采用了若干摄像头获取水下环境图像，尤其是通过若干双目摄像头获取水下环境图像，双目摄像头获取的水下环境图像包含左图和右图，从而有利于后续的景深计算处理，使得匹配计算的景深信息更为准确。

(4)本发明可以对摄像头采集的水下环境图像进行图像预处理，从而提高和改善图像的质量，提高后续图像处理的速度和精准度。

(5)本发明的水下机器人的跟踪模式多种多样，包括跟随模式、旁伴模式、引导模式和环绕模式等，作业人员可以根据实际的需求选择不同的跟踪模式跟踪不同的物标。

(6)本发明的智能水下机器人在物标跟踪丢失或无法获取图像信号时，机器人对远程终端的信号源进行跟踪，当机器人再次获取到图像信息中的跟踪物标后，即切换为对图像中设定物标的跟踪。由此智能水下机器人可以根据实际情况智能切换跟踪机制，智能化程度高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种智能水下机器人实施例的框图；

图2为本发明一种智能水下机器人另一实施例的框图；

图3为本发明中基于第二深度神经网络模型的景深计算原理示意图；

图4为本发明一种智能水下机器人***实施例的框图；

图5为本发明中第一深度神经网络模型的算法原理图；

图6为本发明中第一深度神经网络模型构建流程示意图；

图7为本发明中对采集的物标图像数据进行分类的示意图；

图8为本发明中第二深度神经网络模型的算法架构图；

图9为本发明一种智能水下机器人物标跟踪方法实施例的流程图；

图10为本发明一种智能水下机器人物标跟踪方法另一实施例的流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明公开了一种智能水下机器人，实施例如图1所示，包括：通信模块100，用于接收远程控制终端的控制命令，与所述远程控制终端进行信息交互；图像获取模块200，用于获取水下环境图像；物标识别模块300，用于基于第一深度神经网络模型对所述水下环境图像进行图像处理，识别出所述图像中的各水下物标及障碍物；控制模块400，用于根据所述物标识别模块300识别出的水下物标，判断是否存在远程控制终端下发跟踪的目的物标，若是，则获取所述目的物标在所述图像中的像素坐标；空间构造模块500，用于基于第二深度神经网络模型对所述水下环境图像进行图像处理，构造所述水下机器人当前位置的水下环境三维空间，并根据所述控制模块400获取的所述目的物标在所述图像中的像素坐标，确定所述目的物标的位置信息；所述控制模块400，还用于根据所述空间构造模块500构建的三维空间，按照预设的跟踪模式规划所述水下机器人跟踪所述目的物标的移动路径；执行模块600，用于根据所述控制模块400规划的移动路径控制所述水下机器人进行水下移动，实现对所述目的物标的跟踪及障碍物的躲避。

本实施例中，通信模块100主要用来接收远程控制终端的控制指令，作业人员可以通过远程控制终端来操控水下机器人，水下机器人同样也可以将水下信息反馈给远程控制终端，便于作业人员知晓水下的情况。通信模块100是实现水下机器人与远程控制终端的信息交互桥梁。图像获取模块200主要用来获取水下环境图像，一般的通过摄像装置可以拍摄到水下环境的图像。在获取到水下图像后，物标识别模块300根据训练好的第一深度神经网络模型识别图像获取模块200(比如摄像机)获取的图像信息，从而完成对水下不同物标的智能识别。水下各种生物、水下的人等都是水下的物标，通过学习训练的第一深度神经网络模型可以一一识别出来。而空间构造模块500，则基于第二深度神经网络模型(采用了深度神经网络的景深算法)能够对机器人周围的三维空间进行更加精确的重构，根据摄像机获取的图像信息对水下环境进行三维空间重构，智能的判断出水下跟踪物标和障碍物，控制模块400根据远程人为设定的跟踪模式智能的进行路径规划。

本实施例中，基于深度神经网络算法构建的适用于水下物标识别的第一深度神经网络模型，能够智能的识别出水下不同的物标及障碍物。基于深度神经网络算法构建的用于图像景深计算的第二深度神经网络模型，能够更加精确的计算出图像景深信息，定位物标的位置，更加精确的构建出水下三维环境，智能的、实时的规划出最优的运动路径。

本发明水下机器人的另一实施例，在上述实施例的基础上，如图2所示，所述图像获取模块200包括：图像采集子模块210，用于采集水下环境的原始图像；图像预处理子模块220，用于对所述图像采集模块210采集的水下环境的原始图像进行图像预处理，获取水下环境图像；所述图像预处理包括：去噪处理、图像增强、图像补偿。

在机器人上设置若干摄像头，可以用来拍摄水下环境图像。在图像生成和传输过程中，由于众多因素的影响，不可必避免会存在噪声或其它的干扰和失真，从而影响到图像质量，进而影响到后续的图像处理。因此，在采集到水下图像后，我们可以先对采集到的水下图像进行一系列的预处理，从而改善图像质量。预处理的方式主要包括去噪处理、图像增强、图像补偿等等。具体的，比如进行去噪处理，去噪处理的方式有多种，较为常见的是平滑处理，平滑方法也多种多样，既可以在空间域进行，也可以在频域进行，其中空间域平滑法包括：图像平均法、领域平均法、自适应滤波和中值滤波等算法。通过预处理后，水下环境图像的质量得到很大改善，后续就可以进行图像处理了。

图像处理方面，首先可以通过物标识别模块300进行图像识别处理。所述物标识别模块300包括：图像分割子模块310，用于对所述水下环境图像进行图像二值分割；特征提取子模块320，用于对所述图像分割子模块310分割后的图像分别进行基于第一深度神经网络算法的特征提取；特征匹配子模块330，用于根据预存的特征样本，对所述特征提取子模块320提取的特征进行特征匹配，识别所述水下环境图像中的各物标及障碍物。训练好的第一深度神经网络模型里面预存了各水下物标和障碍物的特征样本，因此，在对水下环境图像进行图像分割及特征提取处理后，便可以根据提取的各特征来与预存的特征样本分别进行匹配，从而智能识别出该水下环境图像中的各水下物标及障碍物。识别出的各水下物标信息也可以通过通信模块100传输给远程控制终端，从而让水上的作业人员了解水下的情况。

其次，除了对水下环境图像进行图像识别处理外，同样的，还会通过深度神经网络景深算法(第二深度神经网络模型)对该水下环境图像进行空间构造，重构出水下机器人当前所处的水下三维环境。具体的，所述空间构造模块500包括：景深计算子模块510，用于基于第二深度神经网络模型对采集到的水下环境图像进行景深计算；三维构造子模块520，用于根据所述水下环境图像及所述景深计算子模块510计算的景深信息，构造所述水下机器人所处的水下环境的三维空间；位置确定子模块530，用于根据所述三维构造子模块520构造的三维空间，及所述目标物在所述水下环境图像中的像素坐标，确定所述目的物标的位置信息。

景深计算子模块510通过训练后的第二深度神经网络模型对水下环境图像进行景深计算，然后三维构造子模块520根据获取的图像信息和景深信息重构出水下机器人所处的三维空间，位置确定子模块530则可以计算出自身在三维空间中的位置信息，目的物标的位置信息等等。从而使得控制模块400可以根据设定的跟随模式，计算出到达目的物标的最优路径，通过执行模块600智能的完成对移动物标的跟踪和障碍物的躲避。通过本实施例所述的智能水下机器人，能够实现对水下不同种类的物标和生物的识别，能够更加精确的计算图像深度，使机器人能够实时准确的躲避障碍物，更加智能的规划运动路径。

较佳的，本发明的图像获取模块200采用了至少一组双目摄像头来拍摄水下环境图像，每组双目摄像头拍摄的环境图像都有左右两张。上述实施例中的景深计算子模块510包括：特征提取单元511，用于基于深度神经网络算法对双目摄像头获取的左右两张水下环境图像分别进行2D特征处理提取，获取特征张量；匹配代价创建单元512，用于根据获取的特征张量创建两个匹配代价；一个匹配代价用于左向右匹配，另一个匹配代价用于右向左匹配；立体匹配单元513，用于通过所述匹配代价创建单元512创建的两个匹配代价分别执行立体匹配，获取视差张量图；深度计算单元514，用于从所述立体匹配单元513获取的视差张量图中提取各像素点的视差，计算出图像中的深度信息。

景深计算子模块对采集到的图像信息基于深度神经网络算法进行景深计算，示意图如图3所示。首先，基于深度神经网络算法对左右图像(大小为HxWxC，其中C＝3是输入通道的数量)进行2D特征处理提取。然后，将生成的特征张量(1/2Hx1/2WxF，其中F＝32是特征数量)创建两个匹配代价(cost-volume)，一个用于左向右匹配，另一个用于右向左匹配。其次，在相应的像素位置，将左右特征连接起来并复制到4D匹配代价结果中(尺寸1/2Dx1/2Hx1/2Wx2F，其中D表示最大视差)。再次，通过比较特征使用之前创建的两个匹配代价执行立体匹配，产生包含左右图像像素的匹配代价的左右张量(尺寸DxHxWx1)。最后，使用从视差张量图中提取视差，计算出图像中的深度信息，从而计算出水下环境图像的景深信息。图8为基于深度神经网络算法的景深计算的算法架构，即第二深度神经网络模型的算法架构图。

上述中匹配代价(cost-volume)计算是整个立体匹配算法的基础，实际是对不同视差下进行灰度相似性测量。常见的方法有灰度差的平方SD(squared intensitydifferences)，灰度差的绝对值AD(absolute intensity differences)等。另外，在求原始匹配代价时可以设定一个上限值，来减弱叠加过程中的误匹配的影响。

立体匹配是根据对所选特征基元的计算，建立两幅图像特征基元间的一一对应关系，并由此得到相应的视差图像。当通过立体匹配得到视差图像后，就可以确定深度图像并重构三维空间了。本发明中的智能水下机器人则是采用了第二深度神经网络模型，也就是说通过深度神经网络算法来计算图像的景深信息，便于后续的三维空间的构建。具体的，如图2所示，用于构建三维空间的三维构造子模块包括：物标坐标解算单元，用于根据所述景深计算子模块计算的水下环境图像的景深信息，获取所述水下环境图像中所述物标识别模块300识别出的各水下物标及障碍物的三维坐标信息；空间重构单元，用于根据所述物标坐标解算单元获取的各水下物标及障碍物的三维坐标信息，重构所述水下机器人周围环境的三维空间。

上述任一实施例中的跟踪模式包括跟随模式、旁伴模式、引导模式、环绕模式。其中跟随模式是指机器人与物标保持在一定的距离，能够对跟踪物标进行拍摄，距离参数等可以通过远程控制终端进行控制。旁伴模式是指机器人不需要对物标进行拍摄，只需要伴随物标运动，保证机器人在跟踪物标的周围运动。引导模式是指机器人能够预测跟踪物标的运动估计，在物标的前方对物标进行拍摄。环绕模式是指机器人能够对跟踪物标进行上下和左右的环绕运动，以拍摄物标不同角度的图像。

上述任一实施例中，所述控制模块，还用于当所述物标识别模块识别出的物标中不存在目的物标时，选取所述远程控制终端的信号源作为临时目的物标，直至所述物标识别模块识别到所述远程控制终端下发跟踪的目的物标。比如当跟踪物标丢失或无法获取图像信号时，机器人对远程控制终端的信号源进行跟踪，当水下机器人再次获取到图像信息中跟踪的目的物标后，即切换为对图像中目的物标的跟踪。

此外，本发明公开了一种智能水下机器人***，包括：本发明所述的智能水下机器人，及分别与所述智能水下机器人通信连接的远程控制终端、及服务器。

较佳的，所述智能水下机器人采用的第一深度神经网络模型及第二深度神经网络模型均由所述服务器学习训练构成。

目前大部分的水下机器人只能识别特定种类的目标，而不能对不同种类的物标和生物进行识别和分类，而本发明则通过服务器训练好的第一深度神经网络模型，深度神经网络相对于浅层神经网络更加复杂，与浅层的神经网络存在较大差别，所依附的***硬件结构也不一样。然后服务器将训练好的第一深度神经网络模型应用在水下机器人上，从而可以实现对水下不同物标和障碍物的识别。同样的，为了使得构造的三维空间更为精准，同样由服务器训练用于景深计算的第二深度神经网络模型，从而获得更为准确的景深信息，实现精准的三维空间重构，便于更好的跟踪目的物标及及时躲避障碍物。

本发明智能水下机器人***的另一实施例，如图4所示，包括服务器1、智能水下机器人2和远程控制终端3，其中智能水下机器2人由若干个摄像机211构成的摄像设备21、图形处理设备22、推进控制设备23、通信设备24等组成。

本实施例中的智能水下机器人***中，服务器基于深度神经网络算法构建适用于水下物标识别的第一深度神经网络模型，从而使得水下机器人能够智能的识别出水下不同的物标及障碍物。该服务器还基于深度神经网络算法构建的用于图像景深计算的第二深度神经网络模型，从而使得水下机器人能够更加精确的计算出图像景深信息，定位物标的位置，更加精确的构建出水下三维环境，智能的、实时的规划出最优的运动路径。

所述的服务器用于构建用于水下物标识别的第一深度神经网络模型，第一深度神经网络模型的算法原理图如图5所示，具体的第一深度神经网络模型构建流程示意图如图6所示，由机器人或者其他图像采集设备采集水下图像数据。然后，对采集到的图像数据进行分类，将分类后的数据传输至服务器。其次，服务器使用分类后的水下图像数据进行深度神经网络模型进行训练，生成适用于水下物标识别深度神经网络模型。最后，机器人应用由服务器训练后的深度神经网络模型，实现对水下不同物标的识别。

所述的水下摄像机用于采集机器人周围的图像信息，所述服务器使用NVIDIADIGITS等平台，首先，对采集的物标图像数据进行分类，具体的，分类示意图如图7所示。然后，构建基于深度神经网络算法的水下深度神经网络模型，对水下特殊物标的图像数据进行训练。最后，生成适用于水下物标和生物的第一深度神经网络模型；

摄像机可以使用单目或者双目等摄像机，获取周围的图像信息，较佳的，使用若干双目摄像机拍摄水下环境图像，然后将图像信息传输至图形处理器；所述图形处理设备使用NVIDIA JETSON等平台，根据服务器训练的深度神经网络模型，对摄像机获取的图像进行处理，从而识别出图像中的物标，所述图像处理器还用于对采集到的图像信息基于深度神经网络算法进行景深计算(如图3所示)：

首先，基于深度神经网络算法对左右图像(大小为HxWxC，其中C＝3是输入通道的数量)进行2D特征处理提取。然后，将生成的特征张量(1/2Hx1/2WxF，其中F＝32是特征数量)创建两个匹配代价，一个用于左向右匹配，另一个用于右向左匹配。其次，在相应的像素位置，将左右特征连接起来并复制到4D匹配代价结果中(尺寸1/2Dx1/2Hx1/2Wx2F，其中D表示最大视差)。再次，通过比较特征使用之前创建的两个匹配代价执行立体匹配，产生包含左右图像像素的匹配代价的左右张量(尺寸

DxHxWx1)。最后，使用从视差张量图中提取视差，计算出图像中的深度信息，从而计算出机器人周围图像的景深信息。图8为基于深度神经网络算法的景深计算的算法架构，即第二深度神经网络模型的算法架构。然后再根据景深信息计算出物标的三维空间位置，从而智能的分辨出跟踪的物标和障碍物，使用ROS等***解算出到达指定位置的三维空间最优路径；

所述推进控制设备使用Pixhawk等平台根据解算的最优路径以及自身的位置和状态，控制推进器的转动，从而能够控制机器人按照预定的路径进行运动；

所述通信设备能够通过有线或者无线的方式跟远程控制终端进行通信，操作人员可以通过远程控制终端对机器人进行设置和控制。

本***使用服务器对水下特殊物标及生物图像数据进行深度神经网络训练，根据训练好的深度神经网络模型识别摄像机获取的图像信息，从而完成对水下不同物标的智能识别。基于深度神经网络的景深算法(第二深度神经网络模型)能够对机器人周围的三维空间进行更加精确的重构，根据摄像机获取的图像信息对水下环境进行三维空间重构，智能的判断出水下跟踪物标和障碍物，并根据远程人为设定的跟踪模式智能的进行路径规划。

最后，本发明还公开了一种智能水下机器人物标跟踪方法，应用于本发明所述的智能水下机器人，如图9所示，所述物标跟踪方法包括：

S100接收远程控制终端的控制命令，获取跟踪的目的物标信息；

S200获取水下环境图像；

S300基于第一深度神经网络模型对所述水下环境图像进行图像处理，识别出所述图像中的各水下物标及障碍物；

S400根据识别出的水下物标，判断是否存在远程控制终端下发跟踪的目的物标，若是，则获取所述目的物标在所述图像中的像素坐标；

S500基于第二深度神经网络模型对所述水下环境图像进行图像处理，构造所述水下机器人当前位置的水下环境三维空间，并根据所述控制模块获取的所述目的物标在所述图像中的像素坐标，确定所述目的物标的位置信息；

S600根据构建的三维空间，按照预设的跟踪模式规划所述水下机器人跟踪所述目的物标的移动路径；

S700根据规划的移动路径控制所述水下机器人进行水下移动，实现对所述目的物标的跟踪及障碍物的躲避。

通过本发明的物标跟踪方法，能够实现对水下不同种类的物标和生物的识别，能够更加精确的进行图像深度计算，使水下机器人能够实时准确的躲避障碍物，更加智能的规划运动路径。

本发明智能水下机器人物标跟踪方法的另一实施例，如图10所示，包括：

S100接收远程控制终端的控制命令，获取跟踪的目的物标信息；

S200获取水下环境图像；

S300基于第一深度神经网络模型对所述水下环境图像进行图像处理，识别出所述图像中的各水下物标及障碍物；

S400根据识别出的水下物标，判断是否存在远程控制终端下发跟踪的目的物标，若是，则获取所述目的物标在所述图像中的像素坐标；

S511基于深度神经网络算法对双目摄像头获取的左右两张水下环境图像分别进行2D特征处理提取，获取特征张量；

S512根据获取的特征张量创建两个匹配代价；一个匹配代价用于左向右匹配，另一个匹配代价用于右向左匹配；

S513通过所述两个匹配代价分别执行立体匹配，获取视差张量图；

S514从所述视差张量图中提取各像素点的视差，计算出图像中的深度信息(即景深信息)；

S520根据所述水下环境图像及所述景深信息，构造所述水下机器人所处的水下环境的三维空间；

S530根据所述三维构造子模块构造的三维空间，及所述目标物在所述水下环境图像中的像素坐标，确定所述目的物标的位置信息；

S600根据构建的三维空间，按照预设的跟踪模式规划所述水下机器人跟踪所述目的物标的移动路径；

S700根据规划的移动路径控制所述水下机器人进行水下移动，实现对所述目的物标的跟踪及障碍物的躲避。

本实施例基于深度神经网络算法构建适用于水下物标识别的第一深度神经网络模型，从而能够智能的识别出水下不同的物标及障碍物。基于深度神经网络算法构建的用于图像景深计算的第二深度神经网络模型，能够更加精确的计算出图像景深信息，定位物标的位置，更加精确的构建出水下三维环境，智能的、实时的规划出最优的运动路径。

本发明的智能水下机器人物标跟踪方法与本发明的智能水下机器人相对于，本发明的智能水下机器人实施例中的技术细节同样也适用于本发明的物标跟踪方法实施例，为减少重复，不再赘述。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种智能水下机器人，其特征在于，包括：

通信模块，用于接收远程控制终端的控制命令，与所述远程控制终端进行信息交互；

图像获取模块，用于获取水下环境图像；

物标识别模块，用于基于第一深度神经网络模型对所述水下环境图像进行图像处理，识别出所述图像中的各水下物标及障碍物；

控制模块，用于根据所述物标识别模块识别出的水下物标，判断是否存在远程控制终端下发跟踪的目的物标，若是，则获取所述目的物标在所述图像中的像素坐标；

空间构造模块，用于基于第二深度神经网络模型对所述水下环境图像进行图像处理，构造所述水下机器人当前位置的水下环境三维空间，并根据所述控制模块获取的所述目的物标在所述图像中的像素坐标，确定所述目的物标的位置信息；

所述控制模块，还用于根据所述空间构造模块构建的三维空间，按照预设的跟踪模式规划所述水下机器人跟踪所述目的物标的移动路径；

执行模块，用于根据所述控制模块规划的移动路径控制所述水下机器人进行水下移动，实现对所述目的物标的跟踪及障碍物的躲避。

2.根据权利要求1所述的一种智能水下机器人，其特征在于，所述图像获取模块包括：

图像采集子模块，用于采集水下环境的原始图像；

图像预处理子模块，用于对所述图像采集模块采集的水下环境的原始图像进行图像预处理，获取水下环境图像；所述图像预处理包括：去噪处理、图像增强、图像补偿。

3.根据权利要求1所述的一种智能水下机器人，其特征在于，所述物标识别模块包括：

图像分割子模块，用于对所述水下环境图像进行图像二值分割；

特征提取子模块，用于对所述图像分割子模块分割后的图像分别进行特征提取；

特征匹配子模块，用于根据预存的特征样本，对所述特征提取子模块提取的特征进行特征匹配，识别所述水下环境图像中的各物标及障碍物。

4.根据权利要求1所述的一种智能水下机器人，其特征在于，所述空间构造模块包括：

景深计算子模块，用于基于第二深度神经网络模型对采集到的水下环境图像进行景深计算；

三维构造子模块，用于根据所述水下环境图像及所述景深计算子模块计算的景深信息，构造所述水下机器人所处的水下环境的三维空间；

位置确定子模块，用于根据所述三维构造子模块构造的三维空间，及所述目标物在所述水下环境图像中的像素坐标，确定所述目的物标的位置信息。

5.根据权利要求4所述的一种智能水下机器人，其特征在于，所述图像获取模块包括至少一组双目摄像头，所述景深计算子模块包括：

特征提取单元，用于基于深度神经网络算法对双目摄像头获取的左右两张水下环境图像分别进行2D特征处理提取，获取特征张量；

匹配代价创建单元，用于根据获取的特征张量创建两个匹配代价，一个匹配代价用于左向右匹配，另一个匹配代价用于右向左匹配；

立体匹配单元，用于通过所述匹配代价创建单元创建的两个匹配代价分别执行立体匹配，获取视差张量图；

深度计算单元，用于从所述立体匹配单元获取的视差张量图中提取各像素点的视差，计算出图像中的深度信息。

6.根据权利要求4所述的一种智能水下机器人，其特征在于，所述三维构造子模块包括：

物标坐标解算单元，用于根据所述景深计算子模块计算的水下环境图像的景深信息，获取所述水下环境图像中所述物标识别模块识别出的各水下物标及障碍物的三维坐标信息；

空间重构单元，用于根据所述物标坐标解算单元获取的各水下物标及障碍物的三维坐标信息，重构所述水下机器人周围环境的三维空间。

7.根据权利要求1所述的一种智能水下机器人，其特征在于，所述跟踪模式包括跟随模式、旁伴模式、引导模式、环绕模式。

8.根据权利要求1-7任一项所述的一种智能水下机器人，其特征在于，所述控制模块，还用于当所述物标识别模块识别出的物标中不存在目的物标时，选取所述远程控制终端的信号源作为临时目的物标，直至所述物标识别模块识别到所述远程控制终端下发跟踪的目的物标。

9.一种智能水下机器人***，其特征在于，包括：权利要求1-8任一项所述的智能水下机器人，分别与所述智能水下机器人通信连接的远程控制终端、及服务器。

10.一种智能水下机器人物标跟踪方法，其特征在于，应用于权利要求1-8任一项所述的智能水下机器人，所述物标跟踪方法包括：

S100接收远程控制终端的控制命令，获取跟踪的目的物标信息；

S200获取水下环境图像；

S300基于第一深度神经网络模型对所述水下环境图像进行图像处理，识别出所述图像中的各水下物标及障碍物；

S400根据识别出的水下物标，判断是否存在远程控制终端下发跟踪的目的物标，若是，则获取所述目的物标在所述图像中的像素坐标；

S500基于第二深度神经网络模型对所述水下环境图像进行图像处理，构造所述水下机器人当前位置的水下环境三维空间，并根据所述控制模块获取的所述目的物标在所述图像中的像素坐标，确定所述目的物标的位置信息；

S600根据构建的三维空间，按照预设的跟踪模式规划所述水下机器人跟踪所述目的物标的移动路径；

S700根据规划的移动路径控制所述水下机器人进行水下移动，实现对所述目的物标的跟踪及障碍物的躲避。