CN116259067B

CN116259067B - 一种高精度识别pid图纸符号的方法

Info

Publication number: CN116259067B
Application number: CN202310538334.3A
Authority: CN
Inventors: 李忠涛; 李雅其; 赵帅; 侯毅; 玄文凯; 张玉璘
Original assignee: Jinan Urbanization And Rural Construction Service Center; University of Jinan
Current assignee: Jinan Urbanization And Rural Construction Service Center; University of Jinan
Priority date: 2023-05-15
Filing date: 2023-05-15
Publication date: 2023-09-12
Anticipated expiration: 2043-05-15
Also published as: CN116259067A

Abstract

本发明提出了一种高精度识别PID图纸符号的方法，涉及PID图纸符号识别领域。本发明提出PCSC_CBAM注意力机制，将该机制引入到YOLOv5中Neck里去，提高YOLOv5网络对符号识别的准确率。对高分辨率PID图纸进行数据增强，然后使用滑动窗口对高分辨率PID图纸进行分割，得到N张小图片。使用改进的YOLOv5网络用于对N张图片符号识别，实现符号的精准分类以及模糊定位；之后将N张图片拼接回高分辨率图像进行非极大值抑制。遍历拼接后的高分辨率图像符号识别的结果，从高分辨率图像中裁切仅包含当前符号的图像，对其使用Canny边缘检测和形态学处理得到符号的精确位置，提高PID图纸符号识别的准确率。

Description

一种高精度识别PID图纸符号的方法

技术领域

本发明属于PID图纸识别领域，涉及一种图纸信息识别定位的方法，具体为一种高精度识别PID图纸符号的方法。

背景技术

新一代信息技术如大数据、云计算和人工智能，近年来已经深度融合到石油石化行业中，实现了降低成本、提高效率的效果，并为行业的高质量发展提供了重要的支撑。PID是Piping and Instrument Diagram的缩写，即管道及仪表流程图，是工厂进行详细工程设计的依据。

图纸符号识别是指在PID图纸中检测出符号的位置，并对其进行分类。PID图纸中的符号种类多，包括仪表、泵、阀门、容器、连接符、设备等等，符号的识别具有较高的难度。工程师人工识别PID符号容易出错，且应用在符号识别数据集上的传统目标检测算法识别性能较差，在一定程度上影响设计质量和工程工期。

发明内容

本发明提供一种高精度识别PID图纸符号的方法，为实现上述目的，本发明提供如下技术方案：高精度识别PID图纸符号的方法，包括以下步骤：

S1、准备高分辨率PID图纸符号数据集，对数据集进行数据增强，使用滑动窗口分割图像，得到N张小图；

S2、设计高效的注意力机制模块PCSC_CBAM，将其引入到目标检测算法里去，使其更加注重符号之间相互区别的特征；

S3、应用改进的目标检测网络对预处理后的N张图片进行符号识别，实现符号的精准分类以及模糊定位；

S4、经过识别后，将N张图片拼接回高分辨率图像，对高分辨率图像进行非极大值抑制，去除冗余预测框并记录符号识别的结果；

S5、遍历符号识别的结果，从高分辨率图像中裁剪包括单一符号的图像，并对其使用Canny边缘检测和形态学处理得到符号的精确位置。

优选的，步骤S1中准备高分辨率PID图纸符号数据集，对数据集进行数据增强，使用滑动窗口分割图像，得到N张小图，其特征在于，包括：对数据集样本使用SamplePairing数据增强方法，数据集随机抽取两幅图像叠加合成一个新的样本（像素取平均值），可以使数据集规模从n扩增到 n×n，增加样本数量。使用滑动窗口分割图像，窗口滑动步长由图纸符号中最大符号的尺寸决定。假设原始图像大小为M×M，使用滑动窗口将其切割成大小为mxm的小图像，滑动步长为t，共切割出N个小图像，对于每个小图像，记录其左上角坐标(x,y)和小图像尺寸，以便后续重建。

优选的，步骤S2中设计高效的注意力机制模块PCSC_CBAM，将其引入到目标检测算法里去，其特征在于，包括：

S21、使用一维卷积代替通道注意力模块中的全连接层，使用两个3×3的空洞卷积代替空间注意力模块中的7×7卷积；

S22、将CBAM注意力机制的“串联”结构改成“并联”结构，使通道注意力机制和空间注意力机制都作用在输入特征图上；

S23、将通道注意力机制产生的特征图和空间注意力机制产生的特征图按通道数进行拼接；

S24、对拼接后的特征图进行通道混洗操作，实现通道特征图和空间特征图之间的信息融合；

S25、使用1×1卷积进行降维得到最终输出特征图。

优选的，步骤S4中将N张图片拼接回高分辨率图像，对高分辨率图像进行非极大值抑制，去除冗余预测框并记录符号识别的结果，其特征在于，包括：

S41、N张小图像的位置信息存储在列表中，根据位置信息将小图像拼接成原始图像，并对重叠区域进行处理，然后按正确的位置和顺序将所有N张小图像拼接成原始图像；

S42、对高分辨率图像进行非极大值抑制，在一组重叠的预测框中，保留具有最高置信度得分的预测框，而抑制其它重叠的预测框。

优选的，步骤S5遍历符号识别的结果，从高分辨率图像中裁剪包括单一符号的图像，使用Canny边缘检测和形态学处理得到符号的精确位置，其特征在于，包括：

S51、使用Canny边缘检测PID符号的边缘信息，生成边缘二值图像；

S52、上述检测PID符号边缘检测的计算梯度和方向的公式为：

,,和分别表示图像在x和y方向的梯度，根据梯度等信息来检测图像中的边缘；

S53、对边缘二值图像进行处理，以去除小的不连通区域和孤立的点，同时将边缘连接起来，再对边缘图像进行轮廓检测，以获得符号的轮廓；

S54、对符号的轮廓进行形态学处理的膨胀、腐蚀操作，以去除边缘上的毛刺和噪点，并得到符号的精确位置。

与现有技术相比，本发明的有益效果如下：

一种高精度识别PID图纸符号的方法，本方法提出PCSC_CBAM注意力机制，将该机制引入到YOLOv5中Neck里去，提高YOLOv5网络对符号识别的准确率。本方法将原始高分辨率图像使用滑动窗口进行分割，对分割后的小图片使用改进后的YOLOv5进行识别，最后再将小图片拼接会高分辨率图像。本方法使用改进后的YOLOv5网络识别PID符号来代替人工识别符号，相比人工识别符号受限于熟练度影响，算法识别可以达到较高的准确度，并将符号识别时间进行缩短。

附图说明

图1为本发明实施例提供的一种高精度识别PID图纸符号的方法流程图；

图2为本发明实施例提供的图纸符号识别的种类；

图3为本发明实施例提供的注意力机制模块PCSC_CBAM的结构图；

图4为为本发明实施例提供的YOLOv5+PCSC_CBAM网络结构图；

图5为图4左侧PID图纸部分区域。

具体实施方式

下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1至图4，本发明提供一种高精度识别PID图纸符号的方法方案：一种高精度识别PID图纸符号的方法，流程如图1所示，包括以下步骤：

S11、对数据集样本使用SamplePairing数据增强方法，数据集随机抽取两幅图像叠加合成一个新的样本（像素取平均值），可以使数据集规模从n扩增到 n×n，增加样本数量；

S12、使用滑动窗口分割图像，滑动窗口大小设为1024×1024，窗口滑动步长由图纸符号中最大符号的尺寸决定，若最大符号尺寸为500×500，那么可将窗口滑动步长设为512，避免符号在小图像中的出现不完整的现象，对于每个小图像，记录其左上角坐标(x,y)和尺寸512×512，以便后续重建；

S2、设计高效的注意力机制模块PCSC_CBAM，将其引入到YOLOv5网络里去，使其更加注重符号之间相互区别的特征，其特征在于，包括：使用一维卷积代替通道注意力模块中的全连接层，使用两个3×3的空洞卷积代替空间注意力模块中的7×7卷积。将CBAM注意力机制的“串联”结构改成“并联”结构，使通道注意力机制和空间注意力机制都作用在输入特征图上；将通道注意力机制产生的特征图和空间注意力机制产生的特征图按通道数进行拼接；对拼接后的特征图进行通道混洗操作，实现通道特征图和空间特征图之间的信息融合；最后使用1×1卷积进行降维得到最终输出特征图。重构后的特征图更加注重不同符号之间的区别；

S3、应用改进的YOLOv5网络对预处理后的N张图片进行符号识别，实现符号的精准分类以及模糊定位。YOLOv5中Backbone提取的是图纸符号的浅层特征，可以描述符号的边缘、形状等通用性特征，而Neck采用FPN+PAN和CSP2_X的结构加强特征之间的融合，从而提取图纸符号的深层特征。本发明将PCSC_CBAM注意力机制引入到Neck中的CSP2_X之后，使网络更加注重符号之间相互区别的特征，显著提高YOLOv5网络识别符号的性能；

S4、经过识别后，将N张图片拼接回高分辨率图像，对高分辨率图像进行非极大值抑制，去除冗余预测框并记录符号识别的结果，其特征在于，包括：

S41、构建原始高分辨率大小的新图像，将每个小图像按照其位置信息填入对应位置，对于每个小图像，将其左上角坐标(x,y)作为起始点，将该小图像中的像素值填入新图像的(x,y)起始点对应的区域内，当小图像存在重叠部分时，需要进行像素值的融合，以避免出现明显的接缝或瑕疵；

S42、对高分辨率图像进行非极大值抑制，在一组重叠的预测框中，保留具有最高置信度得分的预测框，而抑制其它重叠的预测框；

S5、使用Canny边缘检测得到PID符号的边缘信息，生成边缘二值图像，对边缘二值图像进行处理，以去除小的不连通区域和孤立的点，同时将边缘连接起来，再对边缘图像进行轮廓检测，以获得符号的轮廓；对符号的轮廓进行形态学处理的膨胀、腐蚀操作，以去除边缘上的毛刺和噪点，并得到符号在小图像中的精确位置。若符号几何中心在小图像中的坐标为，那么该符号对应到高分率图像中的坐标为，便可得到该符号在高分辨率原始图像中的精确位置。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种高精度识别PID图纸符号的方法，应用于PID图纸识别领域，其特征在于，包括：S1、准备高分辨率PID图纸符号数据集，对数据集进行数据增强，使用滑动窗口分割图像，得到N张小图；S2、设计高效的注意力机制模块PCSC_CBAM，将其引入到目标检测算法里去，使其更加注重符号之间相互区别的特征；S3、应用改进的目标检测网络对预处理后的N张图片进行符号识别，实现符号的精准分类以及模糊定位；S4、经过识别后，将N张图片拼接回高分辨率图像，对高分辨率图像进行非极大值抑制，去除冗余预测框并记录符号识别的结果；S5、遍历符号识别的结果，从高分辨率图像中裁剪包括单一符号的图像，并对其使用Canny边缘检测和形态学处理得到符号的精确位置；步骤S1所述准备高分辨率PID图纸符号数据集，对数据集进行数据增强，使用滑动窗口分割图像，得到N张小图，包括对数据集样本使用SamplePairing数据增强方法，使数据集规模从n扩增到 n×n，增加样本数量；使用滑动窗口分割图像，窗口滑动步长由图纸符号中最大符号的尺寸决定；假设原始图像大小为M×M，使用滑动窗口将其切割成大小为mxm的小图像，滑动步长为t，共切割出N个小图像，对于每个小图像，记录其左上角坐标(x,y)和大小，以便后续重建；步骤S2中所述高效的注意力机制模块PCSC_CBAM，使用一维卷积代替原CBAM注意力机制通道注意力模块中的全连接层，使用两个3×3的空洞卷积代替空间注意力模块中的7×7卷积；将CBAM注意力机制的“串联”结构改成“并联”结构，使通道注意力机制和空间注意力机制都作用在输入特征图上；将通道注意力机制产生的特征图和空间注意力机制产生的特征图按通道数进行拼接；对拼接后的特征图进行通道混洗操作，实现通道特征图和空间特征图之间的信息融合；最后使用1×1卷积进行降维得到最终输出特征图，重构后的特征图更加注重不同符号之间的区别；步骤S4所述经过识别后，将N张图片拼接回高分辨率图像，包括构建原始高分辨率大小的新图像，将每个小图像按照其位置信息填入对应位置，对于每个小图像，将其左上角坐标(x,y)作为起始点，将该小图像中的像素值填入新图像的(x,y)起始点对应的区域内，当小图像存在重叠部分时，需要进行像素值的融合，以避免出现明显的接缝或瑕疵。

2.根据权利要求1所述的一种高精度识别PID图纸符号的方法，步骤S5中所述，根据使用改进YOLOv5网络识别的小图像的符号模糊定位坐标，裁剪出包含单一符号的图像区域，对该符号使用Canny边缘检测和形态学处理；PID符号图像为二值图像，无需进行灰度化，PID符号边缘是灰度变化明显的区域，通过计算梯度得到所有可能是边缘的集合，根据PID图像生成边缘二值图像；对边缘二值图像进行处理，以去除小的不连通区域和孤立的点，同时将边缘连接起来，再对边缘图像进行轮廓检测，以获得符号的轮廓；对符号的轮廓进行形态学处理的膨胀、腐蚀操作，以去除边缘上的毛刺和噪点，并得到符号在小图像中的精确位置。