CN110060299A - 基于双目视觉技术的输电通道内危险源识别和定位方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉技术的输电通道内危险源识别和定位方法，包括下列步骤：a、收集输电线路危险源图片，手工标注出危险源在图片中的位置坐标和危险源类型；b、通过数据增强算法增加样本数量；c、采用深度卷积神经网络训练危险源目标检测模型；d、标定双目摄像头，得到双目相机参数；e、利用c得到的目标检测模型，检测双目图像中的目标位置；f、将双目图像中的检测到的危险源目标进行立体匹配，得到深度信息，从而得到危险源目标距离，实现对危险源的检测与定位。本发明实现对危险源位置、速度等信息的连续监测。实现对输电线路下方危险源目标进行快速分类检测和有效识别，实现对目标的距离定位。

Description

基于双目视觉技术的输电通道内危险源识别和定位方法

技术领域

本发明涉及一种计算机视觉领域，具体涉及一种基于双目视觉技术的输电通道内危险源识别和定位方法。

背景技术

建设坚强智能电网、打造安全可控的新一代电力***是国网公司发展的固本之要，通过研究双目视觉技术和深度学***。

发明内容

本发明的目的在于提供一种方法简便、效果好的基于双目视觉技术的输电通道内危险源识别和定位方法。

本发明的技术解决方案是：

一种基于双目视觉技术的输电通道内危险源识别和定位方法，其特征是：包括下列步骤：

a、收集输电线路危险源图片，手工标注出危险源在图片中的位置坐标和危险源类型；

b、通过数据增强算法增加样本数量；

c、采用深度卷积神经网络训练危险源目标检测模型；

d、标定双目摄像头，得到双目相机参数；

e、利用c得到的目标检测模型，检测双目图像中的目标位置；

f、将双目图像中的检测到的危险源目标进行立体匹配，得到深度信息，从而得到危险源目标距离，实现对危险源的检测与定位。

步骤b包括以下步骤：

步骤b1：对输电线路危险源样本图片进行按比例缩放，得到不同大小的样本图像；

步骤b2：将输电线路危险源样本图片分别进行顺时针方向和逆时针方向30°以内的角度旋转，得到不同旋转角度下的样本图像；

步骤b3：将输电线路危险源样本图片输入对抗生成网络，将网络输出图片加入样本。

步骤c包括以下步骤：

c1：构建基础网络层，分别由6层卷积层、池化层和ReLU激活函数构成，将图像送入基础网络，得到输出o1；

c2：构建区域生成网络，用于区分前景和背景；在c1的输出o1上应用滑动窗口，每个滑动窗口生成9个候选区域，候选区域比例按照[1:2,1:1,2:1]三种模式选择；将所有候选区域连接到区域生成网络，采用softmax回归出所有候选区域，选择前500个区域作为输出o2；

c3：将c2输出o2接入已训练的ResNet101网络进行迁移学习，得到危险源检测模型。

步骤d包括以下步骤：

d1：标定相机内参；

d2：在双目图像中提取尺度不变特征，根据该特征，采用随机采样一致性的办法随机地每次随机选取5对匹配点，并通过5点算法得到相机的初始姿态；

d3：根据初始相机姿态，滤除尺度不变特征匹配对中绝大部分的错误匹配点；

d4：使用全局光束平差法来同时优化相机内参以及相机外参，同时减小所有匹配点以及对应的三维空间点之间的最小的反投影误差和；全局光束平差优化之后的相机参数即为最终的相机参数，得到相机焦距F、双目摄像头之间的距离B和双目摄像头的视差D。

步骤f包括以下步骤：

f1：分别计算双目图像中危险源目标的各自重心坐标为P和P′；

f2：得到P和P′之间的距离为：B-D；

f3：根据成像原理：

则目标距离为：

得到最终输出：目标的位置的距离。

本发明实现对危险源位置、速度等信息的连续监测。通过传感器采集实时视频，传输到后端处理***。后端处理***利用深度学习和模式识别方法通过样本采集建立学习模型，实现对输电线路下方的吊车、水泥泵车、挖掘车等危险源目标进行快速分类检测和有效识别。然后利用杆塔上的双目相机进行立体匹配技术获取三维信息，形成了密集点云，实现对目标的距离定位。

下面结合实施例对本发明作进一步说明。

具体实施方式

一种基于双目视觉技术的输电通道内危险源识别和定位方法，包括下列步骤：

a、收集输电线路危险源图片，手工标注出危险源在图片中的位置坐标和危险源类型；

b、通过数据增强算法增加样本数量；

c、采用深度卷积神经网络训练危险源目标检测模型；

d、标定双目摄像头，得到双目相机参数；

e、利用c得到的目标检测模型，检测双目图像中的目标位置；

f、将双目图像中的检测到的危险源目标进行立体匹配，得到深度信息，从而得到危险源目标距离，实现对危险源的检测与定位。

步骤b包括以下步骤：

步骤b1：对输电线路危险源样本图片进行按比例缩放，得到不同大小的样本图像；

步骤b2：将输电线路危险源样本图片分别进行顺时针方向和逆时针方向30°以内的角度旋转，得到不同旋转角度下的样本图像；

步骤b3：将输电线路危险源样本图片输入对抗生成网络，将网络输出图片加入样本。

步骤c包括以下步骤：

c1：构建基础网络层，分别由6层卷积层、池化层和ReLU激活函数构成，将图像送入基础网络，得到输出o1；

c2：构建区域生成网络，用于区分前景和背景；在c1的输出o1上应用滑动窗口，每个滑动窗口生成9个候选区域，候选区域比例按照[1:2,1:1,2:1]三种模式选择；将所有候选区域连接到区域生成网络，采用softmax回归出所有候选区域，选择前500个区域作为输出o2；

c3：将c2输出o2接入已训练的ResNet101网络进行迁移学习，得到危险源检测模型。

步骤d包括以下步骤：

d1：标定相机内参；

d2：在双目图像中提取尺度不变特征，根据该特征，采用随机采样一致性的办法随机地每次随机选取5对匹配点，并通过5点算法得到相机的初始姿态；

d3：根据初始相机姿态，滤除尺度不变特征匹配对中绝大部分的错误匹配点；

d4：使用全局光束平差法来同时优化相机内参以及相机外参，同时减小所有匹配点以及对应的三维空间点之间的最小的反投影误差和；全局光束平差优化之后的相机参数即为最终的相机参数，得到相机焦距F、双目摄像头之间的距离B和双目摄像头的视差D。

步骤f包括以下步骤：

f1：分别计算双目图像中危险源目标的各自重心坐标为P和P′；

f2：得到P和P′之间的距离为：B-D；

f3：根据成像原理：

则目标距离为：

得到最终输出：目标的位置的距离。

Claims (5)

1.一种基于双目视觉技术的输电通道内危险源识别和定位方法，其特征是：包括下列步骤：

a、收集输电线路危险源图片，手工标注出危险源在图片中的位置坐标和危险源类型；

b、通过数据增强算法增加样本数量；

c、采用深度卷积神经网络训练危险源目标检测模型；

d、标定双目摄像头，得到双目相机参数；

e、利用c得到的目标检测模型，检测双目图像中的目标位置；

f、将双目图像中的检测到的危险源目标进行立体匹配，得到深度信息，从而得到危险源目标距离，实现对危险源的检测与定位。

2.根据权利要求1所述的基于双目视觉技术的输电通道内危险源识别和定位方法，其特征是：步骤b包括以下步骤：

步骤b1：对输电线路危险源样本图片进行按比例缩放，得到不同大小的样本图像；

步骤b2：将输电线路危险源样本图片分别进行顺时针方向和逆时针方向30°以内的角度旋转，得到不同旋转角度下的样本图像；

步骤b3：将输电线路危险源样本图片输入对抗生成网络，将网络输出图片加入样本。

3.根据权利要求1所述的基于双目视觉技术的输电通道内危险源识别和定位方法，其特征是：步骤c包括以下步骤：

c1：构建基础网络层，分别由6层卷积层、池化层和ReLU激活函数构成，将图像送入基础网络，得到输出o1；

c2：构建区域生成网络，用于区分前景和背景；在c1的输出o1上应用滑动窗口，每个滑动窗口生成9个候选区域，候选区域比例按照[1:2,1:1,2:1]三种模式选择；将所有候选区域连接到区域生成网络，采用softmax回归出所有候选区域，选择前500个区域作为输出o2；

c3：将c2输出o2接入已训练的ResNet101网络进行迁移学习，得到危险源检测模型。

4.根据权利要求1所述的基于双目视觉技术的输电通道内危险源识别和定位方法，其特征是：步骤d包括以下步骤：

d1：标定相机内参；

d2：在双目图像中提取尺度不变特征，根据该特征，采用随机采样一致性的办法随机地每次随机选取5对匹配点，并通过5点算法得到相机的初始姿态；

d3：根据初始相机姿态，滤除尺度不变特征匹配对中绝大部分的错误匹配点；

d4：使用全局光束平差法来同时优化相机内参以及相机外参，同时减小所有匹配点以及对应的三维空间点之间的最小的反投影误差和；全局光束平差优化之后的相机参数即为最终的相机参数，得到相机焦距F、双目摄像头之间的距离B和双目摄像头的视差D。

5.根据权利要求1所述的基于双目视觉技术的输电通道内危险源识别和定位方法，其特征是：步骤f包括以下步骤：

f1：分别计算双目图像中危险源目标的各自重心坐标为P和P′；

f2：得到P和P′之间的距离为：B-D；

f3：根据成像原理：

则目标距离为：

得到最终输出：目标的位置的距离。