CN110675449B - 一种基于双目相机的离岸流检测方法 - Google Patents

Abstract

本发明公开了一种基于双目相机的离岸流检测方法，属于计算机视觉领域和安全保障技术领域，本发明方法包括如下步骤：首先，对离岸流进行识别的卷积神经网络算法进行训练；其次，在实际检测过程中对双目相机采集到的海浪图像利用训练好的卷积神经网络进行识别是否存在离岸流；最后，对于所识别到的离岸流进行定位；本发明方法可以基于双目立体视觉获取离岸流的三维信息；可以及时的获取较为准确的离岸流位置信息，方法简单，可操作性强，相关工作人员便可以基于离岸流的三维信息对沙滩位置进行标记，提醒游客，减少由于离岸流造成的溺水事件的发生。

Description

一种基于双目相机的离岸流检测方法

技术领域

本发明属于计算机视觉领域和安全保障技术领域，具体涉及一种基于双目相机的离岸流检测方法。

背景技术

离岸流流速大多在每秒0.3-1米，最快可达到每秒3米，其长度可达30-100米甚至更长，流向几乎和岸线垂直，可将强壮的游泳者迅速拽入深水，引起溺水。离岸流已成为继风暴潮，海浪之后，给人们滨海旅游造成危害的另一海洋灾害。约90％的海边溺亡是因为离岸流引起的。离岸流给滨海旅游的吸引力维护，海滩管理，事故纠纷处理带来了大量的问题，严重影响了沿海旅游经济的健康发展。目前我国对离岸流灾害的技术评估和安全管理等才刚刚起步，相关调查评估，危险性评价，精细化预报，安全管理和公众科普警示等极为缺乏；公众对离岸流的认识也存在盲区和误区，认知错误和警惕性的缺乏造成了很多热点旅游区出现大量溺水事件，增加了救援工作量，滨海旅游安全管理难度。因此十分需要一种高效简单的离岸流检测方法。目前，对于离岸流的传统检测方法，是在近岸放置浮标或海流计。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种基于双目相机的离岸流检测方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种基于双目相机的离岸流检测方法，包括如下步骤：

步骤1：收集训练卷积神经网络的图像集，训练卷积神经网络；

步骤2：利用训练好的卷积神经网络的图像识别算法，对采集到的图像进行离岸流的识别；判断离岸流是否存在；

若：判断结果是离岸流存在，则找到离岸流的特征点，对离岸流的特征点进行提取；特征点包括离岸流的中点和左右边缘点；

或判断结果是离岸流不存在，则重新采集图像进行处理；

步骤3：利用双目定位算法，对识别到的离岸流的特征点进行定位，利用离岸流特征点的位置来标识离岸流的位置；

基于双目立体视觉技术获取离岸流的三维坐标；

步骤4：基于离岸流的特征点的位置信息，划分危险区域并反馈给相关工作人员，工作人员通过标记方式提醒游客。

优选地，在步骤2中，双目相机包括左、右相机，由于左右相机采集的数据基本一致，因此采用单侧相机图像进行离岸流识别。

优选地，对步骤1中的卷积神经网络进行训练的具体步骤如下：

步骤1.1：图像数据预处理；具体包括如下步骤：

步骤1.1.1：将步骤1所采集的训练数据进行处理；将采集的训练数据转换成TensorFlow能识别的数据格式；

步骤1.1.2：根据图像添加label，将image和label放到数组中，将数组转化为Tensorflow能识别的格式；

步骤1.1.3：将图像进行包括裁剪和补充在内的标准化处理；

步骤1.2：基于Tensorflow框架，搭建卷积神经网络模型；

采用经典卷积神经网络LeNet-5模型；该模型分为7层结构：卷积层-池化层-卷积层-池化层-全连接层-全连接层-全连接输出层；其中，卷积层提取初步离岸流特征，池化层提取离岸流的主要特征，全连接层将各个部分特征汇总；

步骤1.3：利用搭建好的卷积神经网络模型，对识别离岸流的神经网络进行训练。

优选地，在步骤3中，具体包括如下步骤：

步骤3.1：对左右相机进行标定；

采用张正友标定法对相机进行标定，获得左右相机的内外参数；

步骤3.2：对左右相机图像进行校正；

利用标定好的左右相机所获得的内外参数，对图像进行畸变校正和立体校正；

步骤3.3：对图像进行立体匹配；

利用SGBM算法对图像进行立体匹配，最终获得视差图；

步骤3.4：获得离岸流的三维坐标信息；

利用视差图和左右相机的内参数，获得深度图像，根据相机模型和标定相机获得的参数，获得离岸流特征点的三维坐标；

步骤3.5：将离岸流中点的位置信息当作离岸流的位置，在所获得离岸流左右边缘点划分危险区域，即根据离岸流的性质在离岸流的区域，根据实际情况进行扩大，得到危险区域。

优选地，在步骤3.3中，SGBM是一种半全局块匹配算法，SGBM算法具体包括如下步骤：

S1：图像预处理；

利用水平Sobel算子对图像进行处理，将像素点进行映射得到新的图像，预处理得到的原图像的梯度信息；

S2：代价计算；

代价计算分为两步：一是经过预处理得到的图像的梯度信息经过基于采样的方法得到的梯度代价计算；二是原图像经过基于采样的方法得到的SAD代价计算；

S3：动态规划；

在每个方向上按照动态规划的思想进行能量积累，然后将每个方向上的匹配代价相加得到总的匹配代价；

S4：后处理；

后处理部分需要进行唯一性检测、亚像素插值和左右一致性检测。

本发明所带来的有益技术效果：

本发明通过双目相机对图像采集，利用基于卷积神经网络的图像识别算法对离岸流进行识别，利用双目定位原理对离岸流进行定位，对离岸流检测提供了新的方法；基于双目相机对离岸流进行检测的方法，可以及时的获取较为准确的离岸流位置信息，方法简单，人工代价低，操作性强，相关工作人员便可以利用该方法对获得的离岸流的位置信息对沙滩位置进行标记，提醒游客，减少由于离岸流造成的溺水事件的发生，为沿海旅游管理提供了切实可行的办法。

附图说明

图1是一种基于双目相机的离岸流检测方法实现的流程图；

图2是双目定位算法的流程图；

图3是识别图像算法的流程图；

图4是离岸流模型示意图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

如图1所示，一种基于双目相机的离岸流检测方法，包括如下步骤：

步骤1：收集训练卷积神经网络的图像集，训练卷积神经网络。

其中，训练数据是为了后续进行图像识别提供基础，可以是利用双目相机采集的近岸海浪的，该图像既可以存在离岸流也可以不存在离岸流近岸海浪图像；也可以是在网络上存在的包含离岸流和不包含离岸流的近岸海浪图像数据；也可以是电脑生成的离岸流理想模型近岸海浪图像数据。

对步骤1中的卷积神经网络进行训练的具体步骤如下：

步骤1.1：图像数据预处理；具体包括如下步骤：

步骤1.1.1：将步骤1所采集的训练数据进行处理，将采集的训练数据转换成TensorFlow能识别的数据格式；

步骤1.1.2：根据图像添加label，将image和label放到数组中，将数组转化为Tensorflow能识别的格式；

步骤1.1.3：将图像进行包括裁剪和补充在内的标准化处理；

步骤1.2：基于Tensorflow框架，搭建卷积神经网络模型；

采用经典卷积神经网络LeNet-5模型；该模型分为7层结构：卷积层-池化层-卷积层-池化层-全连接层-全连接层-全连接输出层；其中，卷积层提取初步离岸流特征，池化层提取离岸流的主要特征，全连接层将各个部分特征汇总；

步骤1.3：利用搭建好的卷积神经网络模型，对识别离岸流的神经网络进行训练。

步骤2：训练完成之后，进行实验操作，对实际海浪进行采集称为实际数据，实际数据也就是在实际进行离岸流观测的时候对海浪采集的图像。利用训练好的CNN卷积神经网络的图像识别算法(其流程如图2所示)，对采集到的图像进行离岸流的识别；并判断离岸流是否存在；

若：判断结果是离岸流存在，则找到离岸流的特征点；特征点包括离岸流的中点和左右边缘点；

或判断结果是离岸流不存在，则重新采集图像进行处理；

双目相机包括左、右相机，由于左右相机采集的数据基本一致，因此采用单侧相机图像进行离岸流识别。

步骤3：利用双目定位算法(其流程如图3所示)，对识别到的离岸流的特征点进行定位，利用离岸流特征点的位置来标识离岸流的位置；

基于双目立体视觉技术获取离岸流的三维坐标；

具体包括如下步骤：

步骤3.1：对左右相机进行标定；

采用张正友标定法对相机进行标定，获得左右相机的内外参数；张正友标定法是一种基于移动平面模板的相机标定方法，此方法是基于传统相机标定法和相机自标定法之间的一种方法。克服了两者的缺点又结合了两者的优点。具体步骤包括计算单应性矩阵，计算内参矩阵，计算外参矩阵，计算畸变参数。

步骤3.2：对左右相机图像进行校正；

利用标定好的左右相机所获得的内外参数，对图像进行畸变校正和立体校正；

步骤3.3：对图像进行立体匹配；

利用SGBM算法对图像进行立体匹配获得视差图，最终获得图片中点实际的三维坐标信息。SGBM是一种半全局块匹配算法，具有视差效果好速度快的特点；SGBM算法的步骤如下：

S1：图像预处理；

利用水平Sobel算子对图像进行处理，将像素点进行映射得到新的图像，预处理得到的原图像的梯度信息；

S2：代价计算；

代价计算分为两步：一是经过预处理得到的图像的梯度信息经过基于采样的方法得到的梯度代价计算；二是原图像经过基于采样的方法得到的SAD代价计算；

S3：动态规划；

在每个方向上按照动态规划的思想进行能量积累，然后将每个方向上的匹配代价相加得到总的匹配代价；

S4：后处理；

后处理部分需要进行唯一性检测、亚像素插值和左右一致性检测。

步骤3.4：获得离岸流的三维坐标；

利用视差图和左右相机的内参数，获得深度图像，根据相机模型和标定相机获得的参数，获得离岸流特征点的三维坐标；

步骤3.5：将离岸流中点的位置信息当作离岸流的位置，在所获得离岸流左右边缘点划分危险区域，即根据离岸流的性质在离岸流的区域适当扩大，得到危险区域，比如：在左边缘点的左方向上增加5m，在右边缘点往右增加5m。

步骤4：基于离岸流的特征点的位置信息，划分危险区域并反馈给相关工作人员，工作人员通过标记方式提醒游客。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (3)

1.一种基于双目相机的离岸流检测方法，其特征在于：包括如下步骤：

步骤1：收集训练卷积神经网络的图像集，训练卷积神经网络；

对步骤1中的卷积神经网络进行训练的具体步骤如下：

步骤1.1：图像数据预处理；具体包括如下步骤：

步骤1.1.1：将步骤1所采集的训练数据进行处理，利用一组单侧相机采集的图像进行处理；将采集的训练数据转换成TensorFlow能识别的数据格式；

步骤1.1.2：根据图像添加label，将image和label放到数组中，将数组转化为Tensorflow能识别的格式；

步骤1.1.3：将图像进行包括裁剪和补充在内的标准化处理；

步骤1.2：基于Tensorflow框架，搭建卷积神经网络模型；

采用经典卷积神经网络LeNet-5模型；该模型分为7层结构：卷积层-池化层-卷积层-池化层-全连接层-全连接层-全连接输出层；其中，卷积层提取初步离岸流特征，池化层提取离岸流的主要特征，全连接层将各个部分特征汇总；

步骤1.3：利用搭建好的卷积神经网络模型，对识别离岸流的神经网络进行训练；

步骤2：利用卷积神经网络的图像识别算法，对采集到的图像进行离岸流的识别；判断离岸流是否存在；

若：判断结果是离岸流存在，则找到离岸流的特征点，对离岸流的特征点进行提取；特征点包括离岸流的中点和左右边缘点；

或判断结果是离岸流不存在，则重新采集图像进行处理；

步骤3：利用双目定位算法，对识别到的离岸流的特征点进行定位，利用离岸流特征点的位置来标识离岸流的位置；

基于双目立体视觉技术获取离岸流的三维坐标；

具体包括如下步骤：

步骤3.1：对左右相机进行标定；

采用张正友标定法对相机进行标定，获得左右相机的内外参数；

步骤3.2：对左右相机图像进行校正；

利用标定好的左右相机所获得的内外参数，对图像进行畸变校正和立体校正；

步骤3.3：对图像进行立体匹配；

利用SGBM算法对图像进行立体匹配，最终获得视差图；

步骤3.4：获得离岸流的三维坐标信息；

利用视差图和左右相机的内参数，获得深度图像，根据相机模型和标定相机获得的参数，获得离岸流特征点的三维坐标；

步骤3.5：将离岸流中点的位置信息当作离岸流的位置，在所获得离岸流左右边缘点划分危险区域，即根据离岸流的性质在离岸流的区域，根据实际情况进行扩大，得到危险区域；

步骤4：基于离岸流的特征点的位置信息，划分危险区域并反馈给相关工作人员，工作人员通过标记方式提醒游客。

2.根据权利要求1所述的基于双目相机的离岸流检测方法，其特征在于：在步骤2中，双目相机包括左、右相机，由于左右相机采集的数据基本一致，因此采用单侧相机图像进行离岸流识别。

3.根据权利要求1所述的基于双目相机的离岸流检测方法，其特征在于：在步骤3.3中，SGBM是一种半全局块匹配算法，SGBM算法具体包括如下步骤：

S1：图像预处理；

利用水平Sobel算子对图像进行处理，将像素点进行映射得到新的图像，预处理得到的原图像的梯度信息；

S2：代价计算；

代价计算分为两步：一是经过预处理得到的图像的梯度信息经过基于采样的方法得到的梯度代价计算；二是原图像经过基于采样的方法得到的SAD代价计算；

S3：动态规划；

在每个方向上按照动态规划的思想进行能量积累，然后将每个方向上的匹配代价相加得到总的匹配代价；

S4：后处理；

后处理部分需要进行唯一性检测、亚像素插值和左右一致性检测。

Images