CN112633343A - 一种电力设备端子排接线校核方法及装置 - Google Patents

Abstract

本发明公开了一种电力设备端子排接线校核方法及装置。方法包括：监听现场工程人员上传的端子排实物接线图；对现场传回的实物图进行预处理；在预处理后的实物图中定位端子排图块；识别图块中的端子编号及外接线标签；对端子口和外接线进行对位；整理识别和对位结果并生成结构化信息；检索原理图信息并与实际接线信息比对，生成诊断结果；收集诊断信息生成最终报表。本发明利用图像处理技术，基于自然场景下的文本检测最新理论及相关方法，实现了一种有效的接线端子智能校对方案，解决了传统自动化校对方案中误识率高，操作复杂，场景受限的问题，大幅降低了运维成本，真正做到了解放生产力。

Description

一种电力设备端子排接线校核方法及装置

技术领域

本发明涉及一种通用电力设备端子接线校核方法及装置，尤其涉及一种基于自然场景文字检测的电力设备端子排接线校核方法及装置，属于电力设备接线校核技术领域。

背景技术

在电力行业的工程验收中，需要对电气柜的接线情况进行校核。传统模式下，验收人员必须根据提供的图纸与实物进行比对，来验证接线是否正确，由于端子排相对密集，在核对过程中，需要注意力高度集中，极易出错。考虑到接线校对同时需要处理原理设计图信息和现场实际接线信息，原理图受到的干扰少，图纸电子化技术也相对成熟，现有技术已经可以从接线原理图提取出结构化的接线信息，因此自动化核校技术的重点难点集中在实际接线信息的自动提取上。一些接线自动检查***利用基于规则的图像识别技术对接线端口和外接线进行对位和识别，此类方法依赖于人工设计的特征，不能准确地识别各类端子排和接线标识，造成误检、漏检，降低校核的可靠性，不能有效解放校验人员生产力。

发明内容

本发明的目的在于提供一种电力设备端子排接线校核方法及装置，以解决现有技术中存在的传统自动化校对方案依赖于人工设计的特征，自动检查的可靠性低、不能有效解放校验人员生产力的技术问题。

为实现上述目的，本发明采用如下技术方案：

一方面，本发明提供一种电力设备端子排接线校核方法，包括以下步骤：

接收电力设备的端子排接线实物图；

对所述实物图进行预处理；

将预处理后的实物图输入预先训练好的目标检测神经网络模型，目标检测神经网络模型输出端子排位置信息；

根据端子排位置信息裁剪出端子排图块；

将所述端子排图块输入文本检测与识别模型，文本检测与识别模型输出文本块的位置信息和字符串；

根据文本块的位置信息和字符串，使用对位策略将外接线标签与端子口编号进行对位，形成结构化信息；

将所述结构化信息与预先存储的该端子排对应的接线设计原理图信息进行比对，生成校核结果。

进一步地，所述端子排接线实物图包括属于同一端子排的相互有重叠的多张图片。

进一步地，所述端子排接线实物图以端子排段编号命名；对于属于同一端子排的相互有重叠的多张图片，在命名后面增加额外后缀以示区分。

进一步地，所述预处理包括图像拼接和融合。

进一步地，所述预处理包括：

利用图像的surf特征，计算变换矩阵，将属于同一端子排的多张图片映射到相同坐标系下实现图像配准；

利用加权融合法将配准图像的重叠区域进行平滑，去掉缝合线，得到端子排的全景图像。

进一步地，所述文本检测与识别模型包括文本检测器和图文识别模块，所述将所述端子排图块输入文本检测与识别模型，文本检测与识别模型输出文本块的位置信息和字符串，包括：

将所述端子排图块输入文本检测器，文本检测器输出文本块的位置信息，同时将该位置处的视觉特征送入后级的图文识别模块，图文识别模块输出完整的字符串信息。

进一步地，每一个文本块的位置信息和字符串相结合构成一个文本描述向量，所述对位策略包括：根据端子编号以及外接线标签的文本描述向量，计算出两两之间的空间相对位置，根据计算出的空间相对位置，将外接线标签与端子口编号进行对位。

进一步地，所述空间相对位置包括文本中线的相交关系，所述对位策略包括：当外接线标签框与端子口编号框满足以下条件时，认为对位配对正确：两框中线相交所成夹角为钝角，交点与两个框的中心点构成钝角三角形，且两个框的中心点所成边为三边最长。

进一步地，所述空间相对位置还包括文本中心间的街区距离，所述对外策略包括：计算每个外接线标签框与所有端子口编号框中心的街区距离，当街区距离取得最小值时，认为匹配成功。

另一方面，本发明提供一种电力设备端子排接线校核装置，包括：

接收模块，用于接收电力设备的端子排接线实物图；

预处理模块，用于对所述实物图进行预处理；

目标检测模块：用于将预处理后的实物图输入预先训练好的目标检测神经网络模型，目标检测神经网络模型输出端子排位置信息；

裁剪模块：用于根据端子排位置信息裁剪出端子排图块；

文本检测与识别模块，用于将所述端子排图块输入文本检测与识别模型，文本检测与识别模型输出文本块的位置信息和字符串；

对位模块，用于根据文本块的位置信息和字符串，使用对位策略将外接线标签与端子口编号进行对位，形成结构化信息；

比对模块：用于将所述结构化信息与预先存储的该端子排对应的接线设计原理图信息进行比对，判断每个端子口接线是否正常。

与现有技术相比，本发明所达到的有益技术效果：本发明利用图像处理技术，基于自然场景下的文本检测最新理论及相关方法，实现了一种有效的接线端子智能校对方案，解决了传统自动化校对方案中误识率高，操作复杂，场景受限的问题，提高了端子排接线自动检查的可靠性，降低了维护工作人员的负担，实现了电力设备接线校核的智能化，大幅降低了运维成本。

附图说明

图1为执行本发明方法的***示意图；

图2为本发明实施例的一种电力设备端子排接线校核方法流程图；

图3为本发明实施例中接收的端子排的多张实物图；

图4为图3中实物图预处理后得到的端子排全景图；

图5为图4中端子排全景图进行目标检测后得到的端子排图块；

图6为图5端子排图块经文本检测与识别得到的文本块的文本描述向量；

图7为图6中对端子口编号与外接线标签对位的结果图。

具体实施方式

下面结合具体实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

随着近些年人工智能和卷积神经网络技术取得重大突破以来，图像识别、目标检测、自然语言处理等等技术迅速走出实验室，得到广泛的应用。其中自然场景下的文字检测与识别技术，同时涉及图像处理和自然语言分析，也随之取得长足的发展，目前已经可以做到对复杂图像中任意方向的文字进行高效的识别和提取。因此，本发明在此工程实际和理论技术背景下，基于自然场景文字识别技术提出一种电力设备端子排接线智能化校核方法。

在本发明一实施例中，提供一种电力设备端子排接线校核方法，包括以下步骤：

接收电力设备的端子排接线实物图；

对所述实物图进行预处理；

将预处理后的实物图输入预先训练好的目标检测神经网络模型，目标检测神经网络模型输出端子排位置信息；

根据端子排位置信息裁剪出端子排图块；

将所述端子排图块输入文本检测与识别模型，文本检测与识别模型输出文本块的位置信息和字符串；

根据文本块的位置信息和字符串，使用对位策略将外接线标签与端子口编号进行对位，形成结构化信息；

将所述结构化信息与预先存储的该端子排对应的接线设计原理图信息进行比对，生成校核结果。

在本发明另一实施例中，提供一种电力设备端子排接线校核方法，该方法是基于客户端(手持终端)和可移动的后台服务器实现的，如图1所示。

其中，客户端可以是一种专用的终端，可以拍照，具有简单的文件操作功能，并能够通过网络访问到服务器；也可以是安装在移动设备上的应用程序，如手机上的一个专用App等。

具体的，如图2所示，所述电力设备端子排接线校核方法，包括以下步骤：

步骤1，监听客户端的TCP连接请求，当与客户端建立连接成功后，接收现场工作人员通过客户端上传的端子排接线实物图；

工作人员通过对端子排进行拍摄获取端子排接线图像。每拍摄一个端子排，以端子排段编号为其命名；对于一次性无法拍全的端子排，则分多次、有重叠地拍摄多张图片，并相应的在命名后面增加额外后缀以示区分。

步骤2，对接收的端子排接线实物图进行预处理；

当端子排接线实物图接收完成后，服务器开始对接收到的图片进行预处理。预处理主要包括图像拼接和融合。

客户端一次连接请求，可能上传多张图片，服务器等待所有图片上传成功后，根据图像命名分组，并按组执行图像预处理操作。

在一具体实施方式中，按组执行图像预处理，包括：利用图像的surf特征，计算变换矩阵，将多张图像映射到相同坐标系下实现图像配准，最后利用加权融合法将重叠区域进行平滑，去掉缝合线，得到端子排的全景图像。

步骤3，对预处理后的实物图进行检测，定位端子排图块；

该步骤具体包括：

步骤31，将预处理后的实物图输入目标检测神经网络模型，目标检测神经网络模型输出端子排位置信息(x,y,w,h)；

目标检测神经网络模型使用预先训练好的神经网络模型。在使用之前需要对该神经网络模型进行训练。具体为：收集端子排图像样本，为图像样本加标签，将加标签的样本输入神经网络模型中对模型进行训练，直至模型精度满足一定的阈值要求，达到实际应用标准。

步骤32，根据模型输出的端子排位置信息(x,y,w,h)裁剪出对应的端子排图块。

步骤4，对步骤3得到的端子排图块进行文本检测与识别，得到文本块的位置信息和字符串；

在该步骤中，利用文本检测与识别模型对步骤3得到的端子排图块进行文本检测与识别。具体的，将端子排图块输入文本检测与识别模型，文本检测与识别模型输出文本块的位置信息和字符串。

文本检测与识别模型包括文本检测器和图文识别模块，其中利用卷积神经网络构建鲁棒的文本检测器。将端子排图块输入文本检测器，文本检测器输出文本块的位置信息，同时，将文本块的视觉特征输入图文识别模块，图文识别模块输出完整的字符串。

更具体的，将端子排图块送入文本检测器中，文本检测器提取图块中字符串的视觉特征，预测出文本块出现的位置和倾斜角。同时，将文本块的视觉特征输入图文识别模块，利用图文识别模型识别其中的文本内容。其中图文识别模型，首先通过卷积提取字符视觉特征，然后利用循环神经网络提取序列特征，最后合成输出完整的字符串。将文本块的字符串与文本位置信息相结合，每一个文本块即可构成文本描述向量("str",x,y,w,h,θ)。

步骤5，根据文本块的位置信息和字符串，使用对位策略将外接线标签与端子口编号进行对位，形成结构化信息；

每一个文本块的位置信息和字符串相结合可以构成一个文本描述向量。因此，对外策略包括：根据端子编号以及外接线标签的文本描述向量，计算出两两之间的空间相对位置，根据计算出的空间相对位置，将外接线标签与端子口编号进行对位。

进一步地，空间相对位置可以包括文本中线的相交关系以及文本中心间的街区距离，通过文本中线的相交关系和文本中心间的街区距离来确保对位的准确性。

具体来说，当外接线标签框与端子口编号框配对正确时，其中线相交所成夹角为钝角，交点与两个框的中心点构成钝角三角形，且两个框的中心点所成边为三边最长，以此作为配对依据，将外接线标签与端子口编号进行对位。为了进一步提高配对的可靠性，计算每个外接线标签框与所有端子口编号框中心的街区距离，当街区距离取得最小值时，认为匹配成功。

外接线标签与端子口编号的对位结果为形成一个结构化的信息表，包括端子编号列和外接线标识列。对于没有外接线的端子，其外接线标识以"×"填充。

步骤6，根据电力设备(屏柜)编号、端子排编号，从电子图纸服务器中检索出对应端子排的原理图信息；

这些原理图可以是前期人工录入，也可以采用已有的图纸电子化技术从原理图中提取得到。

步骤7，将所述结构化信息与检索到的该端子排对应的接线设计原理图信息进行比对，逐项校核，判断每个端子口接线是否正常。

步骤8，收集此次上传图片的全部校核结果，分析解释异常原因，比如漏接、误接、多接，并给出正确接线方式及线头标识。

步骤9，将步骤8的诊断信息生成最终校核报表并下发至客户端，完成本次服务。

其中，校核报表的格式如下：

校核报表格式

下面以某一屏柜的端子排为例说明图像数据处理过程，如图3至7所示。

服务器接收现场工作人员通过客户端上传的端子排接线实物图，包括相互有重叠的多张实物图，如图3所示；

当所述多张实物图接收完成后，对其执行图像拼接、融合，得到端子排全景图，如图4所示；

将图4的端子排全景图输入预先训练好的目标检测神经网络模型，目标检测神经网络模型输出端子排位置信息；根据端子排位置信息裁剪出如图5所示的端子排图块；

将所述端子排图块输入文本检测与识别模型，文本检测与识别模型输出文本块的位置信息和字符串，将文本块的位置信息和字符串相结合，得到每个文本块的文本描述向量，如图6所示，其中包含16个端子口编号和2个外接线标签；

根据端子编号以及外接线标签的文本描述向量，计算各个文本块的空间相对位置，将端子口编号与外接线标签对应起来，如图7所示。

在本发明另一实施例中，提供一种电力设备端子排接线校核装置，包括：

接收模块，用于接收电力设备的端子排接线实物图；

预处理模块，用于对所述实物图进行预处理；

目标检测模块：用于将预处理后的实物图输入预先训练好的目标检测神经网络模型，目标检测神经网络模型输出端子排位置信息；

裁剪模块：用于根据端子排位置信息裁剪出端子排图块；

文本检测与识别模块，用于将所述端子排图块输入文本检测与识别模型，文本检测与识别模型输出文本块的位置信息和字符串；

对位模块，用于根据文本块的位置信息和字符串，使用对位策略将外接线标签与端子口编号进行对位，形成结构化信息；

比对模块：用于将所述结构化信息与预先存储的该端子排对应的接线设计原理图信息进行比对，判断每个端子口接线是否正常。

由以上实施例可以看出，本发明利用图像处理技术，基于自然场景下的文本检测最新理论及相关方法，实现了一种有效的接线端子智能校对方案，解决了传统自动化校对方案中误识率高，操作复杂，场景受限的问题，提高了端子排接线自动检查的可靠性，降低了维护工作人员的负担，实现了电力设备接线校核的智能化，大幅降低了运维成本。

以上已以较佳实施例公布了本发明，然其并非用以限制本发明，凡采取等同替换或等效变换的方案所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种电力设备端子排接线校核方法，其特征在于，包括以下步骤：

接收电力设备的端子排接线实物图；

对所述实物图进行预处理；

将预处理后的实物图输入预先训练好的目标检测神经网络模型，目标检测神经网络模型输出端子排位置信息；

根据端子排位置信息裁剪出端子排图块；

将所述端子排图块输入文本检测与识别模型，文本检测与识别模型输出文本块的位置信息和字符串；

根据文本块的位置信息和字符串，使用对位策略将外接线标签与端子口编号进行对位，形成结构化信息；

将所述结构化信息与预先存储的该端子排对应的接线设计原理图信息进行比对，生成校核结果。

2.根据权利要求1所述的一种电力设备端子排接线校核方法，其特征在于，所述端子排接线实物图包括属于同一端子排的相互有重叠的多张图片。

3.根据权利要求1所述的一种电力设备端子排接线校核方法，其特征在于，所述端子排接线实物图以端子排段编号命名；对于属于同一端子排的相互有重叠的多张图片，在命名后面增加额外后缀以示区分。

4.根据权利要求1所述的一种电力设备端子排接线校核方法，其特征在于，所述预处理包括图像拼接和融合。

5.根据权利要求2或3所述的一种电力设备端子排接线校核方法，其特征在于，所述预处理包括：

利用图像的surf特征，计算变换矩阵，将属于同一端子排的多张图片映射到相同坐标系下实现图像配准；

利用加权融合法将配准图像的重叠区域进行平滑，去掉缝合线，得到端子排的全景图像。

6.根据权利要求1所述的一种电力设备端子排接线校核方法，其特征在于，所述文本检测与识别模型包括文本检测器和图文识别模块，所述将所述端子排图块输入文本检测与识别模型，文本检测与识别模型输出文本块的位置信息和字符串，包括：

将所述端子排图块输入文本检测器，文本检测器输出文本块的位置信息，同时将该位置处的视觉特征送入后级的图文识别模块，图文识别模块输出完整的字符串信息。

7.根据权利要求1所述的一种电力设备端子排接线校核方法，其特征在于，每一个文本块的位置信息和字符串相结合构成一个文本描述向量，所述对位策略包括：根据端子编号以及外接线标签的文本描述向量，计算出两两之间的空间相对位置，根据计算出的空间相对位置，将外接线标签与端子口编号进行对位。

8.根据权利要求7所述的一种电力设备端子排接线校核方法，其特征在于，所述空间相对位置包括文本中线的相交关系，所述对位策略包括：当外接线标签框与端子口编号框满足以下条件时，认为对位配对正确：两框中线相交所成夹角为钝角，交点与两个框的中心点构成钝角三角形，且两个框的中心点所成边为三边最长。

9.根据权利要求8所述的一种电力设备端子排接线校核方法，其特征在于，所述空间相对位置还包括文本中心间的街区距离，所述对外策略包括：计算每个外接线标签框与所有端子口编号框中心的街区距离，当街区距离取得最小值时，认为匹配成功。

10.一种电力设备端子排接线校核装置，其特征在于，包括：

接收模块，用于接收电力设备的端子排接线实物图；

预处理模块，用于对所述实物图进行预处理；

目标检测模块：用于将预处理后的实物图输入预先训练好的目标检测神经网络模型，目标检测神经网络模型输出端子排位置信息；

裁剪模块：用于根据端子排位置信息裁剪出端子排图块；

文本检测与识别模块，用于将所述端子排图块输入文本检测与识别模型，文本检测与识别模型输出文本块的位置信息和字符串；

对位模块，用于根据文本块的位置信息和字符串，使用对位策略将外接线标签与端子口编号进行对位，形成结构化信息；

比对模块：用于将所述结构化信息与预先存储的该端子排对应的接线设计原理图信息进行比对，判断每个端子口接线是否正常。

Images