CN115439349A

CN115439349A - 一种基于图像增强的水下slam优化方法

Info

Publication number: CN115439349A
Application number: CN202210965506.0A
Authority: CN
Inventors: 陈凯锐; 黄沛昇; 赖冠宇; 杨嘉俊; 蔡培周; 周晓阳
Original assignee: Guangzhou University
Current assignee: Guangzhou University
Priority date: 2022-08-12
Filing date: 2022-08-12
Publication date: 2022-12-06

Abstract

本发明公开了一种基于图像增强的水下SLAM优化方法，包括以下步骤：S1、根据光线的折射原理，得到修正后的特征点坐标；S2、在空域方面通过线性变换对水下机器人所获取的原始图像的每个像素点的灰度值进行处理；S3、在频域方面使用高通滤波器，设置适当的截止频率，只允许截止频率以上的信号通过；S4、引入陆上的暗原色去雾算法，控制去雾程度、最小透射率以及分块窗口区域的大小；S5、对S4处理后的图像进行传统视觉SALM中的特征提取，得到全局地图。本发明提高了水下获取的图像的清晰度，有利于提取更优的特征点，进而得到更加清晰的水下三维模型。

Description

一种基于图像增强的水下SLAM优化方法

技术领域

本发明涉及视觉图像领域，具体涉及一种基于图像增强的水下SLAM优化方法。

背景技术

目前，视觉SLAM技术主要用于描述机器人在未知环境的未知地点中同步地进行地图构建和自身定位。机器人通过传感器获取的环境数据对未知环境进行地图的建立，然后根据在运动中观测到的环境特征与地图中的特征进行匹配从而进行自身的定位以及地图的建立。视觉SLAM技术为机器人定位与导航提供了巨大的帮助，且具有成本低廉、场景信息丰富等优点。

现有的视觉SLAM技术受环境的影响较大，因此大多数应用于晴朗天气的陆地和空中。其在水下环境的使用相对较少，主要原因是由于水下环境的特殊性，机器人的视觉传感器获取的图像信息受光线折射、散射，还有水质、亮度等环境因素影响，造成图像信息昏暗模糊，不利于后续的特征提取与匹配，导致水下机器人的定位精度和最终三维地图重建效果不佳。

因此，如何设计出一种机器人的视觉传感器能够在水下环境实现获取高清晰度的图像获取方法是本领域技术人员亟需解决的问题。

发明内容

本发明采用改进的前端图像处理算法，提出一种基于图像增强的水下SLAM优化方法，以解决上述问题。

本发明提供如下的技术方案：

一种基于图像增强的水下SLAM优化方法，包括以下步骤：

S1、根据光线的折射原理，得到修正后的特征点坐标；

S2、在空域方面通过线性变换对水下机器人所获取的原始图像的每个像素点的灰度值进行处理；

S3、在频域方面使用高通滤波器，设置适当的截止频率，只允许截止频率以上的信号通过；

S4、引入陆上的暗原色去雾算法，控制去雾程度、最小透射率以及分块窗口区域的大小；

S5、对S4处理后的图像进行传统视觉SALM中的特征提取，得到全局地图。

优选的，所述S1中，通过特征点坐标方程得到修正后的特征点坐标，其中特征点坐标方程得到如下：

其中，A点为水下折射后的投影点，B点为没有经过水下折射的投影点，ɑ和β分别表示入射光和折射光在y轴方向的入射角，θ和λ分别表示入射光和折射光在x轴方向的入射角，d为保护层玻璃到镜头间的距离，通过特征点坐标方程能够算出修正后特征点的坐标(x_B，y_B)。

优选的，所述S2中，对水下机器人所获取的原始图像的每个像素点的灰度值进行处理表示为：

g(x,y)＝E_H[f(x,y)]

其中g(x,y)为增强后的图像，f(x,y)为原始图像，E_H为增强函数。

优选的，所述S3中，将原始图像的时域变换域转换为傅里叶变换域，设置一个截止频率，使用高通滤波器将截止频率以上的信号通过，滤除截止频率以下信号。

优选的，所述S4中，对水下光学成像进行建模，所述水下光学成像模型包括反射模型和光照模型，其中反射模型S和光照模型E的表达式如下：

S＝L(x，y)R(x，y)

E(L(x，y)R(x，y))e^-βd+E∞(1-e^-βd)

其中L为入射光的光照强度，经过传播过程的衰减到达目标物体表面的坐标位置(x，y)处为L(x，y)；R(x，y)表示目标物体上坐标位置为(x，y)的点的反射函数；β为水介质的衰减参数；d是光线传播长度；E_∞和E分别为远处的光强度和到达水下机器人摄像机的光强度，其中E_∞为常数。

更优的，基于所述水下光学成像模型，综合陆上去雾算法、水下环境和大雾天气的相似性，得出基于暗原色原理图像的水下去雾函数，所述暗原色原理图像J^dark定义如下：

式中，J^c为J的某一颜色通道，r、g、b分别表示三种颜色通道；Ω(x)为以x为中心的区域，J^dark的值很低且趋近于0，J为先验获取的图像，J^dark为J的暗原色。

更优的，其特征在于，假定光因子在某个小区域中是恒定的，得出：

t(x)＝e^-βd

其中，

表示大气的光因子参数，E^c(y)和S^c(y)分别表示光照模型和反射模型的某一颜色通道。

更优的，通过引入一个常数λ(0<λ<1)，通过调整λ的值来保留一部分场景中的雾：

其中，Ω(x)为固定的矩阵，t(x)表示透射因子；为透射因子t(x)设定一个下限t₀，计算出经过去雾处理后的图像S(x)：

其中，E(x)为大气光成分，E_∞(x)表示光成分中的最大密度像素。

优选的，所述S5中，传统视觉SALM中的特征提取步骤包括提取ORB描述子、特征匹配、局部建图、回环检测和全局建图。

本发明的有益效果在于：

本发明区别于传统陆上视觉SLAM对图像的处理方法，创新性地在原有算法上进行改进，它的最大优点在于解决了部分由于水下环境的特殊性造成的问题，如光的折射、光的散射、水质浑浊等造成的图像昏暗模糊，提高了水下获取的图像的清晰度，有利于提取更优的特征点，进而得到更加清晰的水下三维模型。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明实施例基于图像增强的水下SLAM优化方法流程图；

图2是本发明实施例水下镜头光线折射原理图；

图3是本发明实施例水下光学成像模型示意图；

图4是本发明实施例暗原色水下图像处理算法流程图。

具体实施方式

以下结合具体实施例对一种基于图像增强的水下SLAM优化方法作进一步的详细描述，这些实施例只用于比较和解释的目的，本发明不限定于这些实施例中。

实施例

参见图1，本发明实施例的基于图像增强的水下SLAM优化方法，包括以下步骤：

S1、根据光线的折射原理，建立修正前与修正后的特征点坐标方程；

如图2所示为水下镜头光线折射原理图，A点为折射后的投影点，B点为没有经过折射的投影点，根据真实场景测出入射光和折射光在y轴方向的入射角ɑ和β，入射光和折射光在x轴方向的入射角θ和λ，建立新坐标方程：

其中d为保护层玻璃到镜头间的距离，可以算出修正后特征点的坐标(x_B，y_B)。

采用空域图像增强，直接对像素点的灰度值进行处理，处理方法可以表示为：

g(x,y)＝E_H[f(x,y)]

其中g(x,y)为增强后的图像，f(x,y)为原始图像，E_H为增强函数，通常为线性变换，采用直方图均衡化和直方图规定化。先通过原始图像的直方图均衡化，使原始图像中分布较集中的灰度值更加均衡；再通过直方图规定化，算出规定直方图的变化函数，对均衡化后的图像直方图再进行线性变换，变换成对应的规定直方图，可以明显增强图像的对比度；

采用频域图像增强，将原始图像的时域变换域转换为傅里叶变换域，设置一个合适的截止频率，使用高通滤波器，将让截止频率以上的信号通过，滤除截止频率以下信号，达到增强图像边缘信息的效果，使图像信息轮廓分明，提高图像的辨识度。

如图3为水下光学成像模型，L为入射光的光照强度，经过传播过程的衰减到达目标物体表面的坐标位置(x,y)处为L(x,y)；R(x,y)表示目标物体上坐标位置为(x,y)的点的反射函数，该函数仅与目标物自身的颜色特征有关；β为水介质的衰减参数；d是光线传播长度；E_∞和E分别为远处的光强度和到达摄像机的光强度，其中E_∞取常数。反射模型和光照模型的表达式如下:

S＝L(x,y)R(x,y)

E(L(x,y)R(x,y))e^-βd+E∞(1-e^-βd)

根据上述模型，结合陆上去雾算法，再根据水下环境和大雾天气的相似性，可得出水下去雾函数。其中暗原色原理图像定义为：

式中，J^c为J的某一颜色通道；Ω(x)为以x为中心的区域。实验证明，J^dark的值很低且趋近于0。令J为先验获取的图像，则J^dark为J的暗原色，并把通过观察实验得到的经验性规律称作暗原色先验规律。通过本方法进行图像增强时，需要推算透射率。这里

表示大气的光因子参数，假定光因子在某个小区域中是恒定的，进而可以得:

t(X)＝e^-βd

由暗原色先验规律知，

趋于0，于是可得：

E^c(y)和S^c(y)分别表示光照模型和反射模型的某一颜色通道。

在实际情况中，即使是清澈见底的水中也会含有一些杂质粒子，看远处的景象还是会感觉到有薄雾。如果图像中的雾去除的过于彻底，会造成深度信息的丢失。因此,在去雾处理时,基于上式引入一个常数λ(0<λ<1)，通过调整λ的值来保留一部分场景中的“雾”：

上式中，Ω(x)取的是固定的矩阵，因此，经过去雾处理得到的t(x)会出现块状效应，块状效应的去除会使透射率更为精确。另外，当t(x)趋于零的时候，式中的t(x)J(x)也会趋于零。因此，我们要为透射因子t(x)设定一个下限t₀，由此可计算出经过去雾处理后的图像：

暗原色水下图像处理算法流程如图4所示。

S5、对S4处理后的图像进行传统视觉SALM中的特征提取，得到全局地图；

对处理后的图像再进行传统视觉SALM中的特征提取，提取ORB描述子，接着进行特征匹配，利用PNP优化匹配对，剔除不满足图优化的点。根据匹配的特征点对当前帧与前一关键帧的相对运动进行估计，计算位姿关系，跟踪丢失时，进行重定位，当有足够的匹配对时，跟踪局部地图，进行局部优化。

随后进行局部建图，将关键帧***地图，更新共视图，剔除不符合要求的地图点，三角化新的地图点，接着在领域关键帧中查找更多匹配对，执行局部BA，然后检查并剔除冗余的局部关键帧。

回环检测环节，检查队列中是否有关键帧，在一实施例中，若距离上次回环不到10个关键帧则不需要回环检测，回环检测主要对关键帧进行外观验证和对相对运动关系进行几何验证。

最后进行全局建图，对上述环节得到的地图点进行处理，启动全局BA，更新所有关键帧的位姿，更新所有地图点，拼接成最终全局地图。

本发明上述实施例重点解决部分由于水下环境的特殊性造成的问题，从而使水下机器人在运动过程当中，能够好地进行特征提取，进而构建出更加清晰的水下三维模型。本发明区别于传统陆上视觉SLAM对图像的处理方法，创新性地在原有算法上进行改进，它的最大优点在于解决了部分由于水下环境的特殊性造成的问题，如光的折射、光的散射、水质浑浊等造成的图像昏暗模糊，提高了水下获取的图像的清晰度，有利于提取更优的特征点，进而得到更加清晰的水下三维模型。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims

1.一种基于图像增强的水下SLAM优化方法，其特征在于，包括以下步骤：

S1、根据光线的折射原理，得到修正后的特征点坐标；

2.根据权利要求1所述的基于图像增强的水下SLAM优化方法，其特征在于，所述S1中，通过特征点坐标方程得到修正后的特征点坐标，其中特征点坐标方程得到如下：

3.根据权利要求1所述的基于图像增强的水下SLAM优化方法，其特征在于，所述S2中，对水下机器人所获取的原始图像的每个像素点的灰度值进行处理表示为：

g(x,y)＝E_H[f(x,y)]

4.根据权利要求1所述的基于图像增强的水下SLAM优化方法，其特征在于，所述S3中，将原始图像的时域变换域转换为傅里叶变换域，设置一个截止频率，使用高通滤波器将截止频率以上的信号通过，滤除截止频率以下信号。

5.根据权利要求1所述的基于图像增强的水下SLAM优化方法，其特征在于，所述S4中，对水下光学成像进行建模，所述水下光学成像模型包括反射模型和光照模型，其中反射模型S和光照模型E的表达式如下:

S＝L(x,y)R(x,y)

E＝(L(x,y)R(x,y))e^-βd+E_∞(1-e^-βd)

其中L为入射光的光照强度，经过传播过程的衰减到达目标物体表面的坐标位置(x,y)处为L(x,y)；R(x,y)表示目标物体上坐标位置为(x,y)的点的反射函数；β为水介质的衰减参数；d是光线传播长度；E_∞和E分别为远处的光强度和到达水下机器人摄像机的光强度，其中E_∞为常数。

6.根据权利要求5所述的基于图像增强的水下SLAM优化方法，其特征在于，基于所述水下光学成像模型，综合陆上去雾算法、水下环境和大雾天气的相似性，得出基于暗原色原理图像的水下去雾函数，所述暗原色原理图像J^dark定义如下：

7.根据权利要求6所述的基于图像增强的水下SLAM优化方法，其特征在于，假定光因子在某个小区域中是恒定的，得出:

t(x)＝e^-βd

其中，

8.根据权利要求7所述的基于图像增强的水下SLAM优化方法，其特征在于，通过引入一个常数λ(0<λ<1)，通过调整λ的值来保留一部分场景中的雾：

9.根据权利要求1所述的基于图像增强的水下SLAM优化方法，其特征在于，所述S5中，传统视觉SALM中的特征提取步骤包括提取ORB描述子、特征匹配、局部建图、回环检测和全局建图。