CN111259210A - 用于从管道和仪表图中自动化提取信息的***和方法 - Google Patents

Abstract

本文提供了用于从管道和仪表图中自动化提取信息的***和方法。传统的***和方法不提供从管道和仪表图的端到端和自动数据提取。所公开的方法通过经由一个或多个硬件处理器，通过实施一种或多种图像处理和深度学习技术来从一个或多个管道和仪表图检测多个组成部分，从管道和仪表图自动生成端到端信息；经由关联模块，通过实施欧几里德距离技术，将检测到的多个组成部分中的每个相关联；通过实施结构化技术，基于所述相关联的多个组成部分中的每个，生成多个树形数据结构，其中所述多个树形数据结构中的每个捕获与所述一个或多个管道和仪表图相对应的管线示意图的处理流程。

Description

用于从管道和仪表图中自动化提取信息的***和方法

相关申请和优先权的交叉引用

本专利申请要求2018年11月30日提交的印度专利申请201821045399的优先权。

技术领域

本文的公开内容一般性地涉及工程示意图，并且更具体地，涉及用于从管道和仪表图中自动化信息提取的***和方法。

背景技术

管道和仪表图包括表示工程示意图的最常见模式之一。这些图描述了工程处理流程的布局以及互连的处理设备。多年来，管道和仪表图纸一直手动生成、扫描并存储为图像文件。这些文件需要进行数字化以便进行库存管理和更新，并且可以轻松参考原理图的不同组成部分。存在与数字化现实世界的管道和仪表图相关联的几个具有挑战性的视觉问题。例如，现实世界的管道和仪表图有几种不同的分辨率，通常包含嘈杂的文本信息。从这些图中提取仪表信息涉及准确检测通常在这些图之间具有微小视觉差异的符号。识别可能在图像中的不同点处会聚和发散的管线是引起关注的另一个原因。

管道和仪表图能够表示复杂的工程工作流程，描绘了通过管线、容器、致动器和控制阀的过程流程的示意图。通用表示包括流体输入点、诸如管线的路径、表示控制和测量仪表的符号以及汇点。大多数行业以硬拷贝或扫描图像的形式维护这些复杂的管道和仪表图纸，并且没有任何自动机制来提取信息和分析管道和仪表。因此，对过程改进的日后分析和审计涉及手动参与，鉴于所需的领域专业知识，这种参与很昂贵。因此，实现手动技术的传统***和方法无法数字化且不能从管道和仪表图中提取端到端信息。

发明内容

本公开的实施例呈现技术改进作为本发明人在传统***中认识到的一个或多个上述技术问题的解决方案。例如，在一个实施例中，一种用于从管道和仪表图中自动化提取信息的方法，所述方法包括：经由一个或多个硬件处理器，通过实现一种或多种图像处理和深度学习技术，从一个或多个管道和仪表图检测多个组成部分，其中多个组成部分包括管道、管线代码、入口和出口、符号和文本中的至少一个；经由关联模块，通过实施欧几里德距离技术，将检测到的多个组成部分中的每个相关联，其中所述关联包括将检测到的多个组成部分中的每个与适当的管线中的至少一个映射；通过实施结构化技术，基于相关联的多个组成部分中的每个，生成多个树形数据结构，其中所述多个树形数据结构中的每个捕获与所述一个或多个管道和仪表图相对应的管线示意图的处理流程；通过实施连接文本提议网络(CTPN)技术，从一个或多个管道和仪表图中过滤包括多个假阳性管线代码的一个或多个管线代码；通过实施完全卷积神经网络(FCN)技术，从符号中提取上下文信息的集合，并且学习符号中一个或多个对象的空间位置；通过过滤技术修剪多个树形数据结构中的每个，用于从一个或多个管道和仪表图中过滤假阳性管线的集合；通过过滤技术从一个或多个管道和仪表图中去除一个或多个管道，并且其中一个或多个管道在多个树形数据结构的每个中表示为叶节点；并且从根节点开始遍历多个树形数据结构中的每个，并移除不通向任何入口的所有节点。

在另一方面，提供了一种用于从管道和仪表图中自动化提取信息的***，所述***包括存储指令的存储器；一个或多个通信接口；以及经由所述一个或多个通信接口耦合到所述存储器的一个或多个硬件处理器，其中所述一个或多个硬件处理器由所述指令配置为：通过实施一种或多种图像处理和深度学习技术来从一个或多个管道和仪表图检测多个组成部分，其中多个组成部分包括管道、管线代码、入口和出口、符号和文本中的至少一个；经由关联模块，通过实施欧几里德距离技术，将检测到的多个组成部分中的每个相关联，其中所述关联包括将检测到的多个组成部分中的每个与适当的管线中的至少一个映射；通过实施结构化技术，基于相关联的多个组成部分中的每个，生成多个树形数据结构，其中所述多个树形数据结构中的每个捕获与所述一个或多个管道和仪表图相对应的管线示意图的处理流程；通过实施连接文本提议网络(CTPN)技术，通过从一个或多个管道和仪表图中过滤包括多个假阳性管线代码的一个或多个管线代码来检测管线代码；通过实施完全卷积神经网络(FCN)技术从符号中提取上下文信息的集合并学习符号中的一个或多个对象的空间位置；捕获管道示意图的过程流程是通过过滤技术修剪多个树形数据结构中的每个，用于从一个或多个管道和仪表图中过滤一组假阳性管道；通过实施过滤技术，从一个或多个管道和仪表图中去除一个或多个管道，其中一个或多个管道在多个树形数据结构的每个中表示为叶节点；并且从根节点开始遍历多个树形数据结构中的每个，并移除不通向任何入口的所有节点。

在又一方面，提供了一种或多种非暂时性机器可读信息存储介质，其包括一个或多个指令，当由一个或多个硬件处理器执行时，使得一个或多个硬件处理器执行一种用于从管道和仪表图中自动化提取信息的方法，所述方法包括：通过实施一种或多种图像处理和深度学习技术从一个或多个管道和仪表图中检测多个组成部分，其中多个组成部分包括管道、管线代码、入口和出口、符号和文本中的至少一个；经由关联模块，通过实施欧几里德距离技术，将检测到的多个组成部分中的每个相关联，其中所述关联包括将所检测的多个组成部分中的每个与适当的管线中的至少一个映射；通过实施结构化技术，基于相关联的多个组成部分中的每个，生成多个树形数据结构，其中所述多个树形数据结构中的每个捕获与所述一个或多个管道和仪表图相对应的管线示意图的处理流程；通过实施连接文本提议网络(CTPN)技术，从一个或多个管道和仪表图中过滤包括多个假阳性管线代码的一个或多个管线代码；通过实施完全卷积神经网络(FCN)技术，从符号中提取上下文信息的集合，并学习符号中一个或多个对象的空间位置；通过过滤技术修剪多个树形数据结构中的每个，用于从一个或多个管道和仪表图中过滤假阳性管线的集合；通过过滤技术从一个或多个管道和仪表图中去除一个或多个管道，并且其中一个或多个管道在多个树形数据结构的每个中表示为叶节点；并且从根节点开始遍历多个树形数据结构中的每个，并移除不通向任何入口的所有节点。

应当理解，前面的一般性描述和下面的详细描述都只是示例性和说明性的，并不是对要求保护的本发明的限制。

附图说明

包含在本公开中并构成本公开的一部分的附图示出了示例性实施例，并且与说明书一起用于说明所公开的原理。

图1示出了根据本公开的一些实施例的用于从管道和仪表图中自动化提取信息的***的框图。

图2是描绘根据本公开的一些实施例的用于从管道和仪表图中自动化提取信息的***的组成部分和流程的架构图。

图3是示出了根据本公开的一些实施例的从管道和仪表图中自动化提取信息的过程中涉及的步骤的流程图。

图4示出了根据本公开的一些实施例的管道和仪表图纸的示例。

图5示出了根据本公开的一些实施例的来自管道和仪表图纸的入口或出口的示例。

图6示出了根据本公开的一些实施例的管道和仪表图纸中的管线的示例。

图7示出了根据本公开的一些实施例的管道和仪表图纸中的符号的示例。

图8示出了根据本公开的一些实施例的通过实施所公开的方法的检测符号的示例。

图9示出了根据本公开的一些实施例的通过实施所公开的方法执行的标签到管线的关联的示例。

图10示出了根据本公开的一些实施例的通过实施所公开的方法执行的管线代码到管线的关联的示例。

图11示出了根据本公开的一些实施例的通过实施所公开的方法执行的符号到管线的关联的示例。

图12示出了根据本公开的一些实施例的通过关联检测到的管道和仪表图组成部分而生成的树形数据结构的示例。

图13示出了根据本公开的一些实施例的来自样本管道和仪表图纸的对文本检测的连接文本提议网络(CTPN)技术的视觉输出的示例。

图14以图形方式示出了根据本公开的一些实施例的在用于检测符号的完全卷积网络(FCN)的训练期间显示列车和验证集的交叉熵损失的图。

具体实施方式

参考附图描述示例性实施例。在附图中，附图标记的最左边的数字标识首次出现附图标记的图。在任何方便的地方，在整个附图中使用相同的附图标记来表示相同或相似的部分。虽然本文描述了所公开原理的示例和特征，但是在不脱离所公开实施例的精神和范围的情况下，修改、改编和其他实现是可能的。旨在将以下详细描述视为仅是示例性的，其真实范围和精神由所附权利要求指示。

本公开的实施例提供用于从管道和仪表图中自动化提取信息的***和方法。管道和仪表图的数字化过程包括管线代码、管线、入口、出口和符号的识别和定位，随后是各个组成部分与管线的映射。管道和仪表图表示复杂的工程工作流程，描述了通过管线、容器、致动器和控制阀的工艺流程示意图。

一些传统***和技术引用包括文本和图形元素两者的复杂工程文档(例如复杂收据、检查表和工程图)的数字化。例如，传统技术之一通过将DXF文件转换为可缩放矢量图形(SVG)格式并开发生成的SVG文件的标记算法，来自动化对自动计算机辅助设计(CAD)绘图交换格式(DXF)的评估。

类似地，另一种传统技术提供了使用基于案例的方法来用于工程图纸识别的框架，其中用户以交互方式提供工程图中的一种图形对象的示例，然后***尝试从该示例中学习此类图形对象的图形知识，稍后使用此学习到的知识识别或搜索工程图中的类似图形对象。然而，传统的***和方法都没有提供从管道和仪表图的自动端到端数据提取。

所公开的方法试图克服传统***和技术所面临的限制。例如，所公开的方法通过深度学习技术从管道和仪表图纸中提供对每个组成部分的鲁棒检测，并且将每个检测到的组成部分相关联，从而促进从管道和仪表图的端到端数据提取和信息提取自动化。

现在参考附图，并且更具体地参考图1至图14，其中类似的附图标记在整个附图中始终表示相应的特征，示出了优选实施例，并且这些实施例在以下示例性***和/或方法的背景下描述。

图1示出了根据本公开的实施例的用于从管道和仪表图中自动化提取信息的***100的示例性框图。在一个实施例中，***100包括一个或多个处理器104、通信接口设备或输入/输出(I/O)接口106，以及可操作地耦合到一个或多个处理器104的一个或多个数据存储设备或存储器102。作为硬件处理器的一个或多个处理器104可以实现为一个或多个微处理器、微计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令操纵信号的任何设备。在其他功能中，处理器被配置为获取并执行存储在存储器102中的计算机可读指令。在一个实施例中，***100可以在各种计算***(例如膝上型计算机、笔记本、手持式设备、工作站、大型计算机、服务器、网络云等)中实现。

I/O接口设备106可以包括各种软件和硬件接口，例如，web接口、图形用户接口等，并且可以促进各种网络N/W和协议类型(包括有线网络，例如LAN、电缆等，以及无线网络，例如WLAN、蜂窝或卫星)内的多种通信。在一个实施例中，I/O接口设备可以包括一个或多个端口，用于将多个设备彼此连接或连接到另一个服务器。

存储器102可以包括本领域中已知的任何计算机可读介质，包括例如易失性存储器，诸如静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)，和/或非易失性存储器，例如只读存储器(ROM)、可擦除可编程ROM、闪存、硬盘、光盘和磁带。在一个实施例中，存储器102可以被配置为存储与从管道和仪表图中自动化提取信息相关联的任何数据。在一个实施例中，有关管道和仪表图中组件的检测、关联、树生成等的信息存储在存储器102中。此外，与从管道和仪表图中自动化提取信息有关的所有信息(输入、输出等)也可以作为历史数据存储在数据库中，以供参考。

根据本公开的实施例，可以详细考虑用于从管道和仪表图中自动化提取信息的***100的架构和流程。通过参考图2，可以注意到该架构包括管道和仪表图纸201、检测和识别引擎202和关联模块203。管道和仪表图纸201包括通过实施所提出的方法从中提取数据或信息的工程原理图或管道和仪表图。

最初，管道和仪表图纸201被馈送到检测和识别引擎202，并且检测和识别引擎202使用图像处理和深度学习模型的结合来识别和隔离处理流程的不同组成部分，例如管线、管线代码、入口、出口和符号。随后，将提取的组成部分发送到关联模块203，以便与适当的管线进行映射。最后，创建树状数据结构，以确定从入口到出口的流程。

图3，参考图1和图2，示出了根据本公开的一些实施例的用于从管道和仪表图中自动化提取信息的方法的示例性流程图。在一个实施例中，***100包括存储器102的一个或多个数据存储设备，其可操作地耦合到一个或多个硬件处理器104，并且被配置为存储用于由一个或多个处理器104执行所述方法的步骤的指令。现在将参考图1所示的***100的组成部分和流程图来说明本公开的方法。在本公开的实施例中，硬件处理器104在被配置指令时执行本文描述的一种或多种方法。

根据本公开的实施例，在步骤301中，一个或多个硬件处理器104被配置为通过实施一种或多种图像处理和深度学习技术从一个或多个管道和仪表图检测多个组成部分。通过参考图4，可以参考包括文本段和非文本段的管道和仪表图纸的样本(或示例)。再次参考图4，可以注意到管道和仪表图纸通常由文本组成，其中文本表示管线代码、一个或多个旁注等。因此，文本段通常包括多个管线代码。

一个或多个管道和仪表图中的非文本段通常包括多个管道、多个符号、多个入口和出口等。因此，非文本片段通常是图形对象。一个或多个管道和仪表图中的每个文本段和非文本段组成部分可以统称为多个组成部分。现在可以详细考虑从一个或多个管道和仪表图检测多个组成部分中的每个组成部分的过程。

检测管线代码-在一个实施例中，最初从多个组成部分检测管线代码，因为管线代码清楚地表征每个管线。所公开的方法实现用于管线代码检测的连接文本提议网络(CTPN)技术。在传统的***和方法中通常实现连接由组成部分所遵循的阈值化以提取管线代码，与传统的***和方法相比，CTPN技术在场景测试数据集上利用预训练的CTPN网络来检测来自一个或多个管道和仪表图的管线代码。CTPN对一个或多个管道和仪表图中的噪声和颜色更加鲁棒。

在一个实施例中，CTPN技术实现卷积网络，该卷积网络最初接受任意大小的图像，并通过在卷积特征图中密集地滑动窗口来检测图像中的文本行，并产生一系列文本提议。然后，该序列通过递归神经网络，该网络允许检测器探测文本行的有意义的上下文信息，因此使得能够可靠地检测极具挑战性的文本。因此，CTPN技术生成一组具有100％召回率的潜在管线代码组成部分，但还包括多个假阳性管线代码。

在生成该组潜在管线代码组成部分时，可以实施Tesseract^TM技术以读取在先前步骤中检测到的每个管线代码组成部分。由于管线代码具有固定的长度和结构，因此可以对管道和仪表图中的每个管线代码执行过滤，以使用正则表达式来移除或过滤多个假阳性管线代码中的每个。

考虑示例场景，管线代码具有格式N”-AANNNNNNN-NNNNNA-AA，其中N表示数字，并且A表示字母表。因此，CTPN技术最终生成包括一个或多个管道和仪表图的图纸中存在的管线代码，从而提供了与传统***和方法相比对管线代码的鲁棒检测。

入口和出口的检测-如本领域所知，入口或出口标记管线的起点或终点。通常，存在表示包括形状特性的入口或出口的标准符号，即具有五个顶点的多边形，并且边界框的宽度是其高度的至少三倍。与传统***和方法相比，所公开的方法使用形状特性通过启发法鲁棒地检测入口和出口。

在一个实施例中，为了检测入口和出口，一个或多个硬件处理器104最初从二值化输入图像中减去被检测为管线代码的文本块，以进行进一步处理。一个或多个硬件处理器104结合已知的相对边长度实施Ramer-Douglas算法，以识别一个或多个多边形。如本领域所公知的，Ramer-Douglas算法(也称为“Ramer-Douglas-Peucker算法”)是用于减少由一系列点近似的曲线中的点数的算法。

在识别出一个或多个多边形时，将一个或多个多边形识别为入口或出口。再次参考图4，可以注意到，存在四种可能的多边形情况，因为在一个或多个管道和仪表图中存在两种类型的标签，即，左指向和右指向。每个右指向或左指向标签可以是入口或出口。

然后，一个或多个硬件处理器104了解右指向标签或左指向标签在一侧有三个点而在另一侧有两个点的事实，就可以根据Ramer-Douglas给出的点来识别标签的取向，如图5所示。为了进一步分类候选者是入口还是出口，一个或多个硬件处理器104在组成部分图像的任一侧上获得小内核K并找出单个线穿过哪个边缘。

管线的检测-在一个实施例中，最初，可以从图像中移除检测到的文本以及入口和出口标签以检测管线。然后，可以通过在每个图像的框架版本上实施概率霍夫变换技术，来检测来自一个或多个图形和仪表图中的每个图像的管线，从而生成所有线(包括一个或多个管道和仪表图中不对应于管线的线)的集合。如本领域所公知的，如果形状可以以数学形式表示，则霍夫变换是检测任何形状的常用技术。它可以检测到形状，即使形状有少许被断开或失真。概率霍夫变换技术是对传统霍夫变换技术的优化，因为概率霍夫变换技术不考虑所有点，而是仅考虑点的随机子集并且足以用于线检测。

管线交叉点的检测-通过参考图6，可以注意到，来自概率霍夫变换技术的实施的输出(在检测管线的同时)导致不考虑交叉点处间隙的线的集合。交叉点可以是有效交叉点或无效交叉点。所公开的方法通过求解线性方程组的***来确定任何两个线段之间的每个交叉点，来识别每个有效交叉点。方程的解是应该位于两个有限管线上的点。该假设确保解是前景(foreground)的一部分。

再次参考图6，交叉中涉及的多条线之一中的间隙表示其作为无效交叉点。无效交叉点是这样一个交点，其中线的两个线性方程的解给了我们交叉点，但在图像中没有这样的交叉点。为了丢弃无效的交叉点，一个或多个硬件处理器104绘制尺寸为21的正方形内核，其中心位于交叉点处并检查与正方形边缘相交的线。

为了检测管线交叉点，可能存在两种可能性。第一种可能性可能是交叉点位于正方形的相对边缘上，并且在正方形的其他两个边缘上没有交叉点。第二种可能性可能是正方形的三个和/或所有四个边缘的交叉点的可能性。第二种可能性是有效交叉点的情况，从而导致检测到管线交叉点。

符号的检测-通常，管道和仪表图纸包括多个符号，其中多个符号中的每个代表某些仪表，其负责控制通过管线的油的流动并执行各种任务。所公开的方法有助于检测和自动化对十类符号的检测，这十类符号是ball_valve、check_valve、chemical_seal、circle_valve、concentric(同心)、flood_connection、globe_valve、gate_valve_nc、insulation(绝缘)和globe_valve_nc。

通过参考图7，可以注意到，由于符号在视觉外观上具有非常低的类间差异，因此用于分类的传统深度学习技术不提供对这些符号的鲁棒检测。所公开的方法实现了用于检测多个符号中的每个的完全卷积网络(FCN)技术。FCN是卷积网络，其中最后一个完全连接的层由具有大感受野的卷积层代替。

FCN技术的实现有助于对多个符号的鲁棒检测，因为FCN包括两个路径。第一路径包括下采样路径，其由卷积、最大池化操作组成并从图像中提取上下文信息的集合，而第二路径是由转置卷积、去池化操作组成的上采样路径，以产生大小与输入图像大小相似的输出，并得知图像中一个或多个对象的精确空间位置。通过参考图8，可以参考检测到的符号、提取的上下文信息的集合和获得的一个或多个对象的空间位置的示例。

在一个实施例中，为了使用FCN技术检测符号，所公开的方法注释了来自石油公司的现实世界管道和仪表图的数据集。由于原始管道和仪表图纸通常具有非常大的尺寸，因此最初，管道和仪表图纸可以被分成尺寸为400×400的多个小块，每个用于注释符号。多个小块中的每个包括不同类别的符号，还可以包括单个块中存在的一个或多个符号(在多个符号中)。

在一个实施例中，可以通过完全掩蔽它们的像素值(从而为每个符号生成多个掩模)，并且随后，通过FCN技术获得多个掩模中的每个掩模的一个或多个轮廓(或边界)，来注释多个符号中的每个符号。然后，根据一个或多个轮廓，可以表示符号的形状以用于检测符号。所公开的方法还通过在包含掩模形状的区域上应用滤波器，即使用按位AND运算，有助于自动化获得符号掩模的一个或多个轮廓的过程。

此外，一个或多个硬件处理器104对多个小块中的每个执行阈值处理以获得边界/轮廓，然后用尺寸为3×3的滤波器进行扩张。由于训练数据集是有限的，所以所公开的方法通过在每个图像上执行一些变换(例如，变换和/或旋转)来增广图像。使用并实现基于VGG-19^TM的FCN用于训练符号检测器，其中将大小为400×400的输入图像馈送到网络，并且使用具有0.0004的学习速率和8的批量大小的Adam优化器来对其进行训练。

根据本公开的实施例，在步骤302中，一个或多个硬件处理器104被配置为通过实施欧几里德距离技术经由关联模块203关联检测到的多个组成部分中的每个。可以执行检测到的多个组成部分中的每个的关联，以还形成管线示意图的结构。现在可以详细考虑将多个组成部分与适当的管线(在本文中也称为最近的管线)相关联以及确定适当的管线的过程。

在一个实施例中，可以由一个或多个硬件处理器104通过将检测到的多个组成部分中的每个传送并传递到关联模块203来执行关联。然后，关联模块203利用适当的管线或最近的管线执行多个组成部分的映射。该关联实现如下：

(i)标签到管线的关联-一个或多个硬件处理器104识别从检测到的入口和出口的取向出射的线，然后通过关联模块203将与管线方向上的线出射点最近的管线关联到标签。可以通过实施欧几里德距离技术来确定最近的管线。如本领域所公知的，欧几里德距离技术测量或检查一对物体的坐标之间的方差的根。考虑示例场景，通过参考图9，可以参考标签到管线的关联的示例，其中基于欧几里德距离技术“标签1”与“管线6”相关联，并且“标签2”与“管线7”相关联。

(ii)管线代码到管线的关联-一个或多个硬件处理器104基于线上最接近最近点的边界框的任何顶点的最小欧几里德距离技术，将每个检测到的管线代码分配给最接近或最近的管线。考虑示例场景，通过参考图10，可以参考管线代码到管线的关联的示例，检测到的管线代码“2”BH6209108-11500X-EP'由于与“管线2”之间的最小距离而与“管线2”相关联。

(i)符号到管线的关联-使用最小欧几里德距离技术将每个检测到的符号与最近的管线相关联，前提是它不与管线分离。考虑示例场景，通过参考图11，可以参考符号到管线的关联的示例，其中用虚线矩形标记的检测到的符号“绝缘体”基于与“管线4”之间的最小距离与“管线4”相关联，其中最小距离是使用最小欧氏距离技术确定的。

根据本公开的实施例，在步骤303中，一个或多个硬件处理器104被配置为通过实施结构化技术，基于相关联的多个组成部分中的每个，生成多个树形数据结构，其中多个树形数据结构中的每个捕获对应于一个或多个管道和仪表图的管线示意图的处理流程。因此，通过将多个检测到的组成部分中的每个与适当的管线相关联，生成包括多个树形数据结构的森林。考虑示例场景，通过参考图12，可以参考根据检测到的多个组成部分的关联生成的树形数据结构的示例。

再次参考图12，可以注意到，多个树形数据结构中的每个树包括用于捕获管线示意图的处理流程的中间节点、叶节点和根节点。此外，检测到的出口被视为根节点，被检测的入口被视为叶节点，并且检测到的管线对应于中间节点。再次参考图12，可以注意到，多个树形数据结构中的每个树表示入口和出口之间的一对多关系。

在一个实施例中，每棵树具有最小高度2，根节点具有单个子节点。树可以具有公共节点，也就是说，它可以具有公共管线和入口标签，但是根节点在森林中是唯一的。在任何时候，单个流动路径由入口和出口之间的独特路径表示。因此，可以从每个生成的树形数据结构捕获管线示意图的处理流程，因为可以从多个树形数据结构中的每个捕获油的流动。因此，通过执行步骤301至303，可以从管道和仪表图中自动化提取信息的整个过程。

在一个实施例中，捕获管线示意图的处理流程的步骤之前是通过过滤技术修剪(prune)多个树形数据结构中的每个，用于从一个或多个管道和仪表图中过滤假阳性管线的集合。假阳性管线是在树中表示为叶节点并且不链接到任何入口的管线。过滤技术包括从根节点开始修剪或遍历每个树(在多个树形数据结构中)并移除不通向任何入口的所有节点。

根据本公开的实施例，可以详细评估和讨论所公开的方法的性能。为了实施所公开的方法，使用现实世界管道和仪表图纸的数据集进行定量评估，其中数据集包括四个表格，还包括672个流程图。通过参考下面的表1，可以参考检测的准确性和多个组成部分的关联。通过参考表1的第1行，通过CTPN技术检测管线代码的准确性，然后使用标准代码格式的领域知识过滤假阳性。

表1

通过再次参考表1，可以注意到，通过实施所公开的方法成功地检测到71个代码中的64个代码，在检测过程中给出90.1％的准确度。此外，通过参考图13，可以参考样本管道和仪表图纸上的文本检测的CTPN技术的视觉输出。再次参考表1，可以注意到，由于连同管线存在诸如线标记和覆盖图的一些随机噪声，因此检测到管线的准确度为65.2％。

通过参考表1的第3行和第4行，可以注意到通过实施所公开的用于检测入口和出口的方法导致100％的准确度。在将管线代码和出口与适当的管线相关联期间，所公开的方法能够成功地将64个管线代码中的41个与21个出口中的14个相关联，只是，有时有很少的管线未被正确检测或管线不与出口相交(如表1第2行所示)。然而，通过实施所公开的方法，入口可以非常成功地与适当的管线相关联，从而导致96.8％的关联准确度。

根据本公开的实施例，通过参考下面的表2，可以详细讨论通过实施所公开的方法执行的以混淆矩阵形式的符号检测的结果(即，混淆矩阵)。FCN经过约730次迭代训练，通过观察训练和验证集的交叉熵损失来保存7000次迭代的网络，以防止网络过度拟合。如上所述，使用FCN技术检测到十种不同类别的符号。然而，一类额外的符号，在本文中称为“其他”也用于评估所公开方法的性能。通过参考图14，可以参考在训练FCN用于检测符号期间显示训练和验证集的交叉熵损失的图。

表2

通过再次参考表2，可以注意到，与传统***和方法相比，通过实施FCN技术所公开的方法导致鲁棒的符号检测。再次参照图7，可以注意到，(待检测的)符号，诸如ball_value、globe_valve_nc、gate_valve_nc等符号在外观上具有非常低的类间变化。例如，79个ball valve中的5个被识别为globe_valve，68个globe_valve中的4个被检测为ball_valve，57个globe_valve_nc中的3个被识别为gate_valve_nc。通过实施所公开的方法成功地检测诸如gate_valve_nc和同心的符号。

如上所述，再次参考图8，可以参考通过实施所公开的方法来检测到的符号。最后，通过计算每类符号的精度、召回率和F1分数，如下表3所示，观察到所公开的方法即使在外观上具有非常低的视觉差异时也检测符号，每类具有超过0.86令人印象深刻的F1-分数值。对于化学密封、圆形阀、同心、绝缘和globe_valve_nc等符号，精度为100％。

表3

根据本公开的实施例，可以详细考虑所公开的方法的一些技术优点。所公开的方法有助于从管道和仪表图中自动的和端到端的数据提取。传统的***和方法都没有引用管道和仪表图中的完整自动化和端到端数据提取。因此，所公开的方法提供了对与工厂组成部分的连接性、工艺设备之间的互连类型和冗余路径的存在相关的重要查询的自动生成答案。最后，如上所述，通过实施所公开的用于检测多个组成部分的方法所实现的准确性远高于传统的***和方法。

书面描述描述了本文的主题，以使本领域技术人员能够制造和使用这些实施例。主题实施例的范围由权利要求限定，并且可以包括本领域技术人员想到的其他修改。如果这些其他修改具有与权利要求的字面语言相同的相似元素，或者如果它们包括与权利要求的字面语言无实质差别的等效元素，则这些其他修改旨在落入权利要求的范围内。

本公开的实施例在此解决了从管道和仪表图中自动化提取信息的未解决的问题。因此，该实施例通过实施一种或多种图像处理和深度学习技术来提供检测一个或多个管道和仪表图中的多个组成部分，关联检测到的多个组成部分中的每个，并通过实施结构化技术，基于相关联的多个组成部分中的每个，生成多个树形数据结构。此外，本文的实施例还提供了从管道和仪表图的端到端数据提取。

应当理解，保护范围扩展到这样的程序，并且除了其中具有消息的计算机可读装置之外；当程序在服务器或移动设备或任何合适的可编程设备上运行时，这种计算机可读存储装置包含用于实施所述方法的一个或多个步骤的程序代码装置。硬件设备可以是任何类型的可以编程的设备，包括例如任何类型的计算机，如服务器或个人计算机等，或其任何组合。该设备还可以包括可以是例如硬件装置的装置，如例如专用集成电路(ASIC)，现场可编程门阵列(FPGA)，或硬件和软件装置的组合，例如，ASIC和FPGA，或至少一个微处理器和至少一个存储器，其中具有位于其中的软件模块。因此，该装置可以包括硬件装置和软件装置。本文描述的方法实施例可以用硬件和软件实现。该设备还可以包括软件装置。或者，实施例可以在不同的硬件设备上实现，例如，使用多个CPU。

本文的实施例可包括硬件和软件元素。以软件实现的实施例包括但不限于固件、驻留软件、微代码等。由本文描述的各种模块执行的功能可以在其他模块或其他模块的组合中实现。出于本说明书的目的，计算机可用或计算机可读介质可以是能够包括，存储、通信、传播或传输程序以供指令执行***、装置或设备使用或与之结合使用的任何装置。

所阐述的步骤被阐述以说明所示的示例性实施例，并且应该预期正在进行的技术开发将改变执行特定功能的方式。出于说明而非限制的目的，本文提供了这些实施例。此外，为了便于描述，本文任意地定义了功能构建块的边界。可以定义替代边界，只要适当地执行指定的功能及其关系即可。基于本文包含的教导，相关领域的技术人员将清楚替代方案(包括本文描述的那些的等同物、扩展、变化、偏差等)。这些替代方案落入所公开实施例的范围和精神内。此外，词语“包含”，“具有”，“含有”和“包括”以及其他类似形式在意义上是等同的并且是开放式的，因为在这些词中的任何一个之后的一个或多个项目不是意味着是这些物品的详尽清单，或仅限于列出的物品。还必须注意，如本文和所附权利要求中所使用的，单数形式“一”，“一个”和“该”包括复数指代，除非上下文另有明确说明。

此外，一个或多个计算机可读存储介质可以用于实现与本公开一致的实施例。计算机可读存储介质指的是可以存储处理器可读的信息或数据的任何类型的物理存储器。因此，计算机可读存储介质可以存储用于由一个或多个处理器执行的指令，包括用于使处理器执行与本文描述的实施例一致的步骤或阶段的指令。术语“计算机可读介质”应该被理解为包括有形物体并且不包括载波和瞬态信号，即，是非暂时的。示例包括随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、CD ROM、DVD、闪存驱动器、磁盘和任何其他已知的物理存储介质。

本公开和示例旨在被认为仅是示例性的，所公开的实施例的真实范围和精神由所附权利要求书指示。

Claims (21)

1.一种用于从管道和仪表图中自动化提取信息的处理器方法，所述方法包括：

经由一个或多个硬件处理器，通过实施一种或多种图像处理和深度学习技术，从一个或多个管道和仪表图检测多个组成部分，其中所述多个组成部分包括管线、管线代码、入口和出口、符号和文字中的至少一个(301)；

经由关联模块，通过实施欧几里德距离技术，将检测到的多个组成部分中的每个相关联，其中所述关联包括将检测到的多个组成部分中的每个与适当的管线中的至少一个映射(302)；以及

通过实施结构化技术，基于相关联的多个组成部分中的每个，生成多个树形数据结构，其中所述多个树形数据结构中的每个捕获与所述一个或多个管道和仪表图相对应的管线示意图的处理流程(303)。

2.根据权利要求1所述的方法，其中在检测管线代码的步骤之前，通过实施连接文本提议网络技术从所述一个或多个管道和仪表图中过滤包括多个假阳性管线代码的一个或多个管线代码。

3.根据权利要求1所述的方法，其中检测所述符号的步骤包括通过实施完全卷积神经网络技术从符号中提取上下文信息的集合并且学习符号中的一个或多个对象的空间位置。

4.根据权利要求3所述的方法，其中提取上下文信息的集合的步骤包括：

(i)经由完全卷积神经网络技术生成用于符号的多个掩模，用于获得多个掩模中的每个掩模的一个或多个轮廓；以及

(ii)根据所生成的一个或多个轮廓表示用于检测符号的符号的形状。

5.根据权利要求1所述的方法，其中经由欧几里德距离技术从所述一个或多个管道和仪表图确定所述适当的管线。

6.根据权利要求1所述的方法，其中所述多个树形数据结构中的每个树包括用于捕获管线示意图的处理流程的中间节点、叶节点和根节点，其中检测到的出口被视为根节点，检测到的入口被视为叶节点，并且检测到的管线对应于中间节点。

7.根据权利要求6所述的方法，其中所述多个树形数据结构中的每个树表示入口和出口之间的一对多关系。

8.根据权利要求1所述的方法，其中在捕获管线示意图的处理流程的步骤之前，经由滤波技术修剪所述多个树形数据结构中的每个，用于从一个或多个管道和仪表图中过滤假阳性管线的集合。

9.根据权利要求8所述的方法，其中过滤假阳性管线的集合的步骤包括经由过滤技术从所述一个或多个管道和仪表图中移除一个或多个管线，并且其中所述一个或多个管线在多个树形数据结构的每个中被表示为叶节点。

10.根据权利要求8所述的方法，其中所述过滤技术包括从根节点开始遍历所述多个树形数据结构中的每个，并且移除不通向任何入口的所有节点。

11.一种用于从管道和仪表图中自动化提取信息的***(100)，所述***(100)包括：

存储器(102)，用于存储指令；

一个或多个通信接口(106)；以及

一个或多个硬件处理器(104)，经由一个或多个通信接口(106)耦合到存储器(102)，其中一个或多个硬件处理器(104)由指令配置为：

通过实施一种或多种图像处理和深度学习技术从一个或多个管道和仪表图中检测多个组成部分，其中所述多个组成部分包括管线、管线代码、入口和出口、符号和文字中的至少一个；

经由关联模块(203)，通过实施欧几里德距离技术，将检测到的多个组成部分中的每个相关联，其中所述关联包括将检测到的多个组成部分中的每个与适当的管线中的至少一个映射；以及

通过实施结构化技术，基于相关联的多个组成部分中的每个，生成多个树形数据结构，其中所述多个树形数据结构中的每个捕获与所述一个或多个管道和仪表图相对应的管线示意图的处理流程。

12.根据权利要求11所述的***(100)，其中所述一个或多个硬件处理器(104)被配置为通过实施连接文本提议网络技术，从所述一个或多个管道和仪表图中过滤包括多个假阳性管线代码的一个或多个管线代码，来检测所述管线代码。

13.根据权利要求11所述的***(100)，其中所述一个或多个硬件处理器(104)被配置为通过实施完全卷积神经网络技术从符号中提取上下文信息的集合并且学习符号中的一个或多个对象的空间位置，来检测所述符号。

14.根据权利要求13所述的***(100)，其中所述一个或多个硬件处理器(104)被配置为通过以下方式提取上下文信息的集合：

(i)通过完全卷积神经网络技术生成用于符号的多个掩模，用于获得多个掩模中的每个掩模的一个或多个轮廓；以及

(ii)根据所生成的一个或多个轮廓表示用于检测符号的符号的形状。

15.根据权利要求11所述的***(100)，其中所述一个或多个硬件处理器(104)被配置为通过欧几里德距离技术从所述一个或多个管道和仪表图中确定所述适当的管线。

16.根据权利要求11所述的***(100)，其中所述多个树形数据结构中的每个树包括用于捕获管线示意图的处理流程的中间节点、叶节点和根节点，其中检测到的出口被视为根节点，检测到的入口被视为叶节点，并且检测到的管线对应于中间节点。

17.根据权利要求16所述的***(100)，所述多个树形数据结构中的每个树表示所述入口和所述出口之间的一对多关系。

18.根据权利要求11所述的***(100)，其中所述一个或多个硬件处理器(104)被配置为通过经由滤波技术修剪所述多个树形数据结构中的每个，用于从一个或多个管道和仪表图中过滤假阳性管线的集合，来捕获管线示意图的处理流程。

19.根据权利要求18所述的***(100)，其中所述一个或多个硬件处理器(104)被配置为通过经由所述过滤技术从所述一个或多个管道和仪表图中移除一个或多个管线来过滤假阳性管线的集合，并且其中一个或多个管线在多个树形数据结构的每个中表示为叶节点。

20.根据权利要求19所述的***，其中所述过滤技术包括从根节点开始遍历所述多个树形数据结构中的每个，并移除不通向任何入口的所有节点。

21.一种或多种非暂时性机器可读信息存储介质，包括一个或多个指令，当所述一个或多个指令由一个或多个硬件处理器执行时，导致：

经由一个或多个硬件处理器，通过实施一种或多种图像处理和深度学习技术从一个或多个管道和仪表图检测多个组成部分，其中所述多个组成部分包括管线、管线代码、入口和出口、符号和文字中的至少一个(301)；

经由关联模块，通过实施欧几里德距离技术将检测到的多个组成部分中的每个相关联，其中所述关联包括将检测到的多个组成部分中的每个与适当的管线中的至少一个映射(302)；以及

通过实施结构化技术，基于相关联的多个组成部分中的每个，生成多个树形数据结构，其中所述多个树形数据结构中的每个捕获与所述一个或多个管道和仪表图相对应的管线示意图的处理流程(303)。

Images