CN111721259B - 基于双目视觉的水下机器人回收定位方法 - Google Patents

Abstract

本发明提供一种基于双目视觉的水下机器人回收定位方法，利用两台水下CCD相机拍摄标定板，获取双目相机的参数，包括内、外参矩阵，畸变系数和相机之间的旋转、平移矩阵；获取水下双目相机拍摄的视觉图像，作为待分析的输入图像；灰度化与二值化处理输入图像，判断图像中的连通域；光源匹配，对水下图像进行形态学上的处理，获取最终光源中心点坐标；解算AUV与对接坞的相对位置。该方法将短距离高精度的双目视觉定位运用到水下AUV回收的自主对接过程中，利用质心检测算法、连通域检测算法替换Hough圆形检测法以提高计算AUV与对接坞的相对位置信息的实时性，提高了定位的实时性与稳定性，保障了AUV对接成功率。

Description

基于双目视觉的水下机器人回收定位方法

技术领域

本发明涉及一种基于双目视觉的水下机器人回收定位方法，属于水下机器人回收技术领域。

背景技术

自主式水下机器人(AUV:Autonomous Underwater Vehicle)无人无缆工作在海洋环境中，对于AUV的回收再利用工作是AUV研究及便捷化的重要研究内容之一。近年来，水下光视觉取得了丰富的研究成果，但由于水中环境的光线较暗、悬浮生物较多等干扰因素，使得采集到的图像噪声严重、颜色失真，这些都对水下景物的描述和目标定位产生很大的影响，从而影响水下机器人作业任务和水下机器人的回收工作。

因此，研究水下光视觉目标检测与定位***，以保证***测量精度、实时性和稳定性为目标，为水下机器人提供姿态信息和位置信息以便AUV的回收利用。所以水下视觉检测与目标定位技术对于短距离内的AUV回收定位具有重要的研究意义和使用价值。

发明内容

本发明的目的是为了提供一种基于双目视觉的水下机器人回收定位方法。本发明专利能为AUV提供精确的位置信息，以便AUV的回收，保障AUV的再次利用。

本发明的目的是这样实现的：这步骤如下：

步骤一：利用两台水下CCD相机拍摄标定板，获取双目相机的参数，包括内、外参矩阵，畸变系数和相机之间的旋转、平移矩阵；

步骤二：获取水下双目相机拍摄的视觉图像，作为待分析的输入图像；

步骤三：灰度化与二值化处理输入图像，判断图像中的连通域；

步骤四：光源匹配，对水下图像进行形态学上的处理，获取最终光源中心点坐标；

步骤五：解算AUV与对接坞的相对位置。

综上，本发明主要用于自主式水下机器人在完成相应的水下任务后，对其进行回收过程中，准确获取对接坞的位置信息。这样的过程包含以下步骤：水下双目相机的标定：计算出双目相机的内外参数；双目图像的矫正：畸变校正与立体矫正；双目图像的特征点匹配：形态学处理获取光源信息，质心检测获取光源中心的图像坐标，中心点匹配，去除误匹配；计算对接坞相对自主式水下机器人的位置信息；信息融合：利用卡尔曼滤波融合视觉定位与航位推算定位数据用以优势互补。

航位推算定位的优点在于数据更新频率高。具有较高的***频带，导航数据输出平稳，短期性较好。能够提供AUV与对接装置的相对位置姿态，这是对接过程一切行为的基础。采用此方法，将很大程度上弥补光视觉定位效率低，稳定性差缺点。

本发明与现有技术相比，具有一下优点：

(1)本发明结合计算机视觉技术与信息融合技术，实现AUV水下对接过程中的实时定位，提高其定位精度，弥补了单一视觉定位的更新周期长，鲁棒性差等缺点。

(2)传统的水下光源检测中运用Hough圆形检测，该方法计算量大，耗时长，本发明改用质心检测算法，计算速度快，实时响应高，提高定位的快速性。

(3)对于水下的特殊环境以及水质对光源的影响，本发明采用形态学上的腐蚀、膨胀处理，消除光源边缘的不规则细小噪声，平滑光源轮廓，提高下一步质心检测的正确率，同时提高计算光源中心坐标的精度。

(4)在水下图像的二值化阶段，采用wallner快速自适应二值化算法，摒除传统水下图像二值化处理亮度不均问题，即减少或不会造成光源的遗漏。

附图说明

图1是本发明一种基于双目视觉的水下机器人回收定位方法的整体流程图；

图2是本发明基于张正友标定法制定的水下双目相机的标定的流程图；

图3是本发明光源中心坐标分类方法；

图4是本发明建立的双目视觉的一般模型；

图5是本发明视觉定位信息与航位推算定位信息融合处理流程图；

图6是本发明步骤三中计算连通域的方法的流程图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

如图1至6所示，本发明一种基于双目视觉的水下机器人回收定位方法，具体包括如下步骤：

步骤一：利用两台水下CCD相机拍摄标定板，获取双目相机的参数，包括内、外参矩阵，畸变系数和相机之间的旋转、平移矩阵；

应用张正友平面标定法对摄像机基本参数进行标定，首先打印一张7*10黑白格相间的标定板并在水下从不同角度拍摄若干张标定板图像；检测出图像中的特征点以求解理想无畸变情况下的摄像机内外参数并用最大似然估计提升精度；应用最小二乘法求出实际的径向畸变系数；之后综合内外参数、畸变系数使用极大似然法，优化估计，提升估计精度；最后得出精确的相机内外参数和畸变系数。

步骤二：获取水下双目相机拍摄的视觉图像，作为待分析的输入图像；

步骤三：灰度化与二值化处理输入图像，判断图像中的连通域；

采用wallner自适应阈值二值化处理图像，得到较为明显的水下光源黑白图像，其中wallner算法具体为：

其中p(n)表示第n个像素点的灰度值，g_s(n)表示二值化后的值，s表示第n个之前的像素数量，取s为图像宽度的八分之一，该算法的优点在于可以解决因光照角度而出现的亮暗不均问题；

利用连通域检测算法判断图像中白色区域的数量，该算法步骤如下：

(1)对图像进行逐像素扫描，若当前的像素值为0则移动到下一个扫描的位置；

(2)若当前像素值为1，则检查该像素左边与上边的两个邻接像素；

(3)考虑这两个像素的组合情况，若它们的像素都为0，则给予该像素新的标记用以表示一个新的连通域的开始；

(4)它们中间只有一个像素为1，则当前的像素标记为它们中为1的像素标记值；

(5)它们的像素值都为1且标记相同，则当前像素的标记为该标记；

(6)它们的像素值都为1但是标记不同，则将较小的值赋给当前像素；

(7)以上述为循环，找出所有的连通域，得到连通域的数量；

步骤四：光源匹配，在得到连通域的基础上，对二值化的光源图像进行平滑处理，获取最终光源中心点坐标；具体包括如下步骤：

(1)利用形态学的腐蚀算法消除光源附近的噪声，将光源的连通域完全凸显出来；

(2)利用形态学的膨胀算法，平滑光源连通域的边缘；

(3)使用质心检测算法用以获取光源的中心坐标；

其中，I_ij为图像上每个像素点所接收的光强，x_c,y_c为中心点坐标；

(4)标记光源坐标，将横坐标最大、最小分别标记为左与右，将纵坐标最小、最大分别标记为上与下；

(5)最后将双目相机中相同标记的光源坐标配对，即双目相机中获取的两幅图中的光源坐标进行配对；

步骤五：解算AUV与对接坞的相对位置；

假设摄像机的所在坐标系与世界坐标系重合，O₁-X₁Y₁构成左摄像机的图像坐标系，焦距为f₁。坐标系O_C2-X_C2Y_C2构成右摄像机的坐标系，其成像平面对应的坐标系为O₂-X₂Y₂,焦距为f_r，其在左右成像平面上的投影点P_l(X_l,Y_l)和P_r(X_r,Y_r)，则左右摄像机的投影模型分别是：

两个摄像机间存在对应关系，即右摄像机经过平移矩阵T＝[T_X T_Y Y_Z]^T和旋转矩阵

可以和左摄像机完全重合，其对应关系可以表示为：

将上式联立可以得到点P(x,y,z)与P_l(x,y,z)和P_r(x,y,z)的数学表达式：

将标定所得的左右摄像机的内外参数和匹配后的P_l(X_l,Y_l)和P_r(X_r,Y_r)就可以求得AUV的三维位置信息；

步骤六：将双目视觉得到的位置数据与航位推算得到位置数据融合；具体包括如下步骤：

(1)选择对接过程中的位姿信息作为卡尔曼滤波的状态变量：X＝[ξ η ζ ψ]^T

(2)离散化状态方程为：

状态转移矩阵φ(k+1,k)＝diag{φ_ξ,φ_η,φ_ξ,φ_ψ}，其中：

φ_η、φ_ζ、φ_ψ与φ_ξ相同，只是相对应的替换即可；

控制矩阵U(k)＝diag{U_ξ,U_η,U_ζ,U_ψ},其中：

U_η、U_ζ、U_ψ与U_ξ相同，只是将相对应的替换即可。上两式中，T为采样时间，τ_aξ、τ_aξ、τ_aζ、τ_aψ分别是四个自由度加速度变化率相关事件常数；a＝[a_ξ a_η a_ζ a_ψ]为各自由度加速度；

(3)建立观测方程：将视觉导航给出的信息看作对***的观测量，包含位置信息和姿态信息，得到***的观测方程：Z(k)＝HX(k)+V(k)

其中，Z＝[ξ_obs η_obs ζ_obs ψ_obs]^T，

上面结合附图对本发明的实施方式做了详细说明，但是本发明并不限于上述实施方式，在所属领域的技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下可以做出各种变化。

Claims (5)

1.一种基于双目视觉的水下机器人回收定位方法，其特征在于，包括以下步骤：

步骤一：利用两台水下CCD相机拍摄标定板，获取双目相机的参数，包括内、外参矩阵，畸变系数和相机之间的旋转、平移矩阵；

步骤二：获取水下双目相机拍摄的视觉图像，作为待分析的输入图像；

步骤三：灰度化与二值化处理输入图像，判断图像中的连通域；

采用wallner自适应阈值二值化处理图像，得到水下光源黑白图像，其中wallner算法具体为：

其中p(n)表示第n个像素点的灰度值，g_s(n)表示二值化后的值，s表示第n个之前的像素数量，取s为图像宽度的八分之一；

步骤四：光源匹配，对水下图像进行形态学上的处理，获取最终光源中心点坐标；

应用质心检测算法，其核心在于统计连通域中所有的横坐标、纵坐标之和，并计数连通域中像素的数目，求取平均获得连通域中心坐标；然后依次标记每个光源的中心坐标，标记方法为分别以横坐标最大、最小依据，标记左右光源，同理以纵坐标最大最小为依据，标记为上下光源，

其中，I_ij为图像上每个像素点所接收的光强，x_ij指代像素点，其中i、j分别为该像素点的横纵坐标，x_c,y_c为中心点坐标；

最后将双目相机中相同标记的光源坐标配对；

步骤五：解算AUV与对接坞的相对位置；

步骤六：将双目视觉得到的位置数据与航位推算得到位置数据融合。

2.根据权利要求1所述的基于双目视觉的水下机器人回收定位方法，其中，步骤一中使用张正友标定法获取相机的各项参数，具体步骤为：

打印一张7*10黑白格相间的标定板并在水下从不同角度拍摄若干张标定板图像；

检测出图像中的特征点以求解理想无畸变情况下的摄像机内外参数并用最大似然估计提升精度；

应用最小二乘法求出实际的径向畸变系数；

综合内外参数、畸变系数使用极大似然法，优化估计，提升估计精度，最后得出精确的相机内外参数和畸变系数。

3.根据权利要求1所述的基于双目视觉的水下机器人回收定位方法，其中，步骤三中使用连通域判断算法获取图像中连通域的数量即光源数量，该算法步骤如下：

对图像进行逐像素扫描，若当前的像素值为0则移动到下一个扫描的位置；

若当前像素值为1，则检查该像素左边与上边的两个邻接像素；

考虑这两个像素的组合情况，若它们的像素都为0，则给予该像素新的标记用以表示一个新的连通域的开始；

它们中间只有一个像素为1，则当前的像素标记为它们中为1的像素标记值；

它们的像素值都为1且标记相同，则当前像素的标记为该标记；

它们的像素值都为1但是标记不同，则将较小的值赋给当前像素；

以上述为循环，找出所有的连通域，得到连通域的数量。

4.根据权利要求1所述的基于双目视觉的水下机器人回收定位方法，其中，步骤四中在得到连通域的基础上，对二值化的光源图像进行平滑处理，利用图像处理中形态学上的腐蚀、膨胀操作，消除光源所在的连通域周围的像素噪声，凸显光源所在连通域并平滑光源边缘。

5.根据权利要求1所述的基于双目视觉的水下机器人回收定位方法，其中，步骤五中，假设摄像机所在坐标系与世界坐标系重合，O₁-X₁Y₁构成左摄像机成像平面对应的坐标系，左摄像机焦距为f₁；坐标系O_C2-X_C2Y_C2构成右摄像机的坐标系，其成像平面对应的坐标系为O₂-X₂Y₂,右摄像机焦距为f_r，其在左右成像平面上的投影点P_l(X_l,Y_l)和P_r(X_r,Y_r)，则左右摄像机的投影模型分别是：

两个摄像机间存在某种对应关系，即右摄像机经过平移矩阵T＝[t_x t_y t_z]^T和旋转矩阵

可以和左摄像机完全重合，其对应关系可以表示为：

将上式联立可以得到点P(X,Y,Z)与P_l(X_l,Y_l)和P_r(X_r,Y_r)的数学表达式：

将标定所得的左右摄像机的内外参数和匹配后的P_l(X_l,Y_l)和P_r(X_r,Y_r)就可以求得AUV的三维位置信息。

Images