CN107316338B - 石化企业智能巡检中装置三维空间快速构建方法 - Google Patents

石化企业智能巡检中装置三维空间快速构建方法 Download PDF

Info

Publication number
CN107316338B
CN107316338B CN201610411510.7A CN201610411510A CN107316338B CN 107316338 B CN107316338 B CN 107316338B CN 201610411510 A CN201610411510 A CN 201610411510A CN 107316338 B CN107316338 B CN 107316338B
Authority
CN
China
Prior art keywords
dimensional
petrochemical
equipment
space
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610411510.7A
Other languages
English (en)
Other versions
CN107316338A (zh
Inventor
王春
李磊
刘刚
李智临
张嘉亮
史承伟
毛文锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Petroleum and Chemical Corp
Sinopec Qingdao Safety Engineering Institute
Original Assignee
China Petroleum and Chemical Corp
Sinopec Qingdao Safety Engineering Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Petroleum and Chemical Corp, Sinopec Qingdao Safety Engineering Institute filed Critical China Petroleum and Chemical Corp
Priority to CN201610411510.7A priority Critical patent/CN107316338B/zh
Publication of CN107316338A publication Critical patent/CN107316338A/zh
Application granted granted Critical
Publication of CN107316338B publication Critical patent/CN107316338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种石化企业智能巡检中装置三维空间快速构建方法，主要解决现有技术中人员定位不准确、工作量大的问题。本发明通过采用一种石化企业智能巡检中装置三维空间快速构建方法，结合石化设备三维模型库，提取关键帧中局部特征显著的设备信息，实现基准部件识别及位置匹配，学习石化装置的设计语法，训练生成部件空间关系语法约束库，提取复杂管道的空间布局信息，最终利用阀门的识别信息及约束关系来校正已重建的三维模型，最终实现石化装置的快速重建的技术方案较好地解决了上述问题，可用于石化企业智能巡检中。

Description

石化企业智能巡检中装置三维空间快速构建方法
技术领域
本发明涉及一种石化企业智能巡检中装置三维空间快速构建方法。
背景技术
石化产业在中国国民经济的发展中具有重要作用，是中国的支柱产业部门之一。随着石化企业综合自动化程度的提高和计算机信息技术的飞速发展，利用三维技术进行石化企业多层次业务流程的信息呈现与人机交互成为石化“智能工厂”的建设目标之一。石化企业智能巡检***是“智能工厂”建设的核心模块之一，智能巡检能够有效的保证石化行业安全生产。三维技术的应用为智能巡检提供了新的方式和方法，能够为员工在巡检过程中提供真实的场景，更好的实现对设备运行状态的感知。
目前基于三维技术的石化企业应用，综合考虑三维场景的实时性、渲染效果及交互友好性等多方面需求，企业更倾向于选择人工交互式几何建模重建的方法，但该方法在三维工厂数字化建模过程中工作量庞大。王宇等人在《石化企业设备设备三维建模技术初探》中提出构建化工装置设备模型，若要建立精度较高的真三维模型，采用几何精细建模方法，将会导致建模周期长，效率低等问题。另外，虽然激光扫描仪能够快速获取设备的三维点云数据，但存在点云数据量大，数据处理难度大，易丢失数据等问题。
本发明提出了一种利用装置三维空间快速构建方法，实现对装置空间的快速识别和感知，实现装置三维场景的快速构建，从而能够为反算巡检人员的空间位置信息提供支持，实现巡检人员的到位监督，并自动生成巡检路线，为企业的巡检路线的智能规划提供支撑。
发明内容
本发明所要解决的技术问题是现有技术中人员定位不准确、工作量大的问题，提供一种新的石化企业智能巡检中装置三维空间快速构建方法。该方法具有人员定位准确、工作量小的优点。
为解决上述问题，本发明采用的技术方案如下：一种石化企业智能巡检中装置三维空间快速构建方法，结合石化设备三维模型库，提取关键帧中局部特征显著的设备信息，实现基准部件识别及位置匹配，学习石化装置的设计语法，训练生成部件空间关系语法约束库，提取复杂管道的空间布局信息，最终利用阀门的识别信息及约束关系来校正已重建的三维模型，最终实现石化装置的快速重建。主要技术方案包括：
(1)利用移动防爆终端的摄像设备按照装置巡检路线拍摄装置现场视频；
(2)对视频序列帧进行特征提取，在为每一帧独立抽取特征点后，逐帧匹配这些特征点，并利用随机采样一致性算法(RANSAC)消除噪声匹配点，根据特征点反算移动终端摄像头的位置和方向信息，计算出点云信息及连续的相机定标信息；
(3)选择最佳的三个关键帧进行场景三维初始化；
(4)设计设备与管道、管道与阀门、阀门与阀门及其他设备之间多对多的空间位置约束关系，通过这些语法构建三维阀门空间定位约束语法库，进一步匹配校准建立的三维场景，提高场景构建的准确性与精度；
(5)采用图像的底层视觉特征，结合形状语法来进行管道三维建模；
(6)基于特征点匹配识别的结果，实现设备和管道的快速构建，完成装置的三维建模；
(7)根据匹配过程中相机的定标分析，完成巡检人员的空间定位和巡检路线的自动记录。
上述技术方案中，优选地，基于语义识别、语法建模方法实现巡检过程中石化装置的快速建模，生成装置三维场景。
上述技术方案中，优选地，利用装置三维场景实现智能巡检过程中的人员空间定位识别。
上述技术方案中，优选地，基于三维场景和人员定位实现巡检路线自动记录及规划。
针对石化企业装置建模，现有的几何建模方式存在工作量大，需要消耗大量人力物力等问题；激光扫描仪三维建模方式存在数据量大，数据处理难度大，易丢失数据，与现场不一致等问题。本发明专利提出的装置三维快速构建方法操作简便，面向布局复杂、安全性要求极高的石化企业运行环境实行性较强，既能提升装置的自动化建模效率，又能提高建模精度，能够弥补现有三维建模方式效率低下等问题。现有石化企业智能巡检***中，针对人员定位主要采用全球定位***(Global Positioning System，GPS)或无线射频识别(Radio Frequency Identification，RFID)方法来确定人员位置，由于石化装置本身的复杂性，导致GPS定位不准确，RFID需要在装置上安装新的电子设备，为装置安全带来了隐患。本发明专利提出的利用三维空间实现人员的定位方法即准确又方便，在保障企业安全运行的基础上能够实现人员的准确定位，取得了较好的技术效果。
附图说明
图1智能巡检中装置三维空间快速构建方法流程图。
图2关键帧匹配及管道三维建模方法流程图。
下面通过实施例对本发明作进一步的阐述，但不仅限于本实施例。
具体实施方式
【实施例1】
一种石化企业智能巡检中装置三维空间快速构建方法，如图1所示。
1、整体技术方法。
(1)从预处理视频序列中恢复石化装置场景的稀疏三维点云及相机定标；
(2)融合多源数据提取装置部件的空间关系语法约束库；
(3)在设备模型库中，集成真实感光照渲染算法，着重提取与分析预设的石化设备组建模型或图像的特征点信息及分布规律，实现基准设备的图像语义匹配；
(4)基于底层视觉特征分析复杂装置管架、管廊、管道等非设备模型的上下文形状语法，剔除噪声并提取管道的矢量信息；
(5)最终实现三维点云的语义理解，结合空间关系语法实现石化装置的快速构建。
2、利用移动防爆终端的摄像设备对巡检过程中的装置进行视频采集，形成装置空间视频影像资料。
3、装置场景三维特征点提取及关键帧相机定标。
(1)利用尺度不变特征转换算法(SIFT)对序列帧图片进行特征提取，在为视频序列上的每一帧图像独立抽取特征点后，逐帧匹配这些特征点；
(2)利用随机采样一致性算法消除匹配点中的噪声和误匹配点；
(3)利用定标理论算法获取摄像机的位置和方向信息；
(4)进一步自动选择在多帧图像中稳定出现的特征点，并确定关键帧，选择最佳的三个关键帧进行场景三维的初始化，渐进式地求解所有关键帧，最终对整个序列的结构和相机参数进一步优化。
4、构建石化装置基准设备、管道、阀门的空间关系语法库。
(1)采用机器学习的方法，自动化学习矢量、文本信息，在与模型库相同尺度空间中重点提取基准设备、管道、阀门的空间关系语法；
(2)将约束语法训练为设备与管道、管道与阀门、阀门与阀门及其他部件之间多对多的空间位置约束关系。
5、关键帧图像基准设备映射及管道提取，如图2所示。
(1)采用图像局部特征描述算法提取设备图像中的关键结构信息，与虚拟设备库中的设备图像进行匹配，从而识别该设备；
(2)对于匹配不准的模型，采用中间图像标注的方式实现三维模型与实体模型的自动连接。
6、基于特征点匹配识别的结果，实现设备和管道的快速重建，完成装置的三维建模。
(1)对于基准设备，需首先建立关键帧设备与三维设备图像间相机标定转换矩阵，然后建立二维与三维点云之间的转换矩阵，由此可根据特征显著的特征点信息计算虚拟基准设备的模型变换矩阵，从而实现点云语义的嵌入及局部点云的模型匹配，实现基准设备的重建；
(2)根据关键帧图像中管道二三维的匹配结果，提取该矢量所在三维空间中具有管道约束的三维特征点云，以噪声较少的局部点云为训练样本，提取管道的三维矢量及管径信息，实现管道的三维建模。
7、根据匹配过程中相机的定标分析，完成巡检人员的空间定位和巡检路线的自动记录。

Claims (4)

1.一种石化企业智能巡检中装置三维空间快速构建方法，结合石化设备三维模型库，提取关键帧中局部特征显著的设备信息，实现基准部件识别及位置匹配，学习石化装置的设计语法，训练生成部件空间关系语法约束库，提取复杂管道的空间布局信息，最终利用阀门的识别信息及约束关系来校正已重建的三维模型，最终实现石化装置的快速重建，具体技术方案包括：
(1)利用移动防爆终端的摄像设备按照装置巡检路线拍摄装置现场视频；
(2)对视频序列帧进行特征提取，在为每一帧独立抽取特征点后，逐帧匹配这些特征点，并利用随机采样一致性算法消除噪声匹配点，根据特征点反算移动终端摄像头的位置和方向信息，计算出点云信息及连续的相机定标信息；
(3)选择最佳的三个关键帧进行场景三维初始化；
(4)设计设备与管道、管道与阀门、阀门与阀门之间多对多的空间位置约束关系，通过这些语法构建三维阀门空间定位约束语法库，进一步匹配校准建立的三维场景，提高场景构建的准确性与精度；
(5)采用图像的底层视觉特征，结合形状语法来进行管道三维建模；
(6)基于特征点匹配识别的结果，实现设备和管道的快速构建，完成装置的三维建模；
(7)根据匹配过程中相机的定标分析，完成巡检人员的空间定位和巡检路线的自动记录。
2.根据权利要求1所述石化企业智能巡检中装置三维空间快速构建方法，其特征在于基于语义识别、语法建模方法实现巡检过程中石化装置的快速建模，生成装置三维场景。
3.根据权利要求1所述石化企业智能巡检中装置三维空间快速构建方法，其特征在于利用装置三维场景实现智能巡检过程中的人员空间定位识别。
4.根据权利要求1所述石化企业智能巡检中装置三维空间快速构建方法，其特征在于基于三维场景和人员定位实现巡检路线自动记录及规划。
CN201610411510.7A 2016-06-12 2016-06-12 石化企业智能巡检中装置三维空间快速构建方法 Active CN107316338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610411510.7A CN107316338B (zh) 2016-06-12 2016-06-12 石化企业智能巡检中装置三维空间快速构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610411510.7A CN107316338B (zh) 2016-06-12 2016-06-12 石化企业智能巡检中装置三维空间快速构建方法

Publications (2)

Publication Number Publication Date
CN107316338A CN107316338A (zh) 2017-11-03
CN107316338B true CN107316338B (zh) 2020-05-19

Family

ID=60185697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610411510.7A Active CN107316338B (zh) 2016-06-12 2016-06-12 石化企业智能巡检中装置三维空间快速构建方法

Country Status (1)

Country Link
CN (1) CN107316338B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271749A (zh) * 2018-11-14 2019-01-25 山东汇丰石化集团有限公司 基于三维数字化平台管廊巡阀检漏***及其实现方法
CN111931561A (zh) * 2020-06-24 2020-11-13 深圳市法本信息技术股份有限公司 异构rpa机器人的管理方法、***及代理设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703064B1 (ko) * 2004-08-13 2007-04-05 코렐테크놀로지(주) 정유 및 석유 화학 플랜트 설비의 유지보수 장치 및 방법
CN101951502A (zh) * 2010-10-19 2011-01-19 北京硅盾安全技术有限公司 一种三维智能视频监控方法
CN102176252A (zh) * 2011-01-26 2011-09-07 新疆中钜电子科技有限公司 设备、设施安检智能巡检操作***及其应用方法
CN102324072A (zh) * 2011-09-14 2012-01-18 西安易博软件有限责任公司 全三维数字化知识库***和知识库的应用方法
CN102510011A (zh) * 2011-10-24 2012-06-20 华北电力大学 基于微型多旋翼无人直升机的电力杆塔智能巡检方法
CN102968915A (zh) * 2012-10-23 2013-03-13 中国石油化工股份有限公司 化工设备培训管理装置、设备知识库及培训管理***
CN103779808A (zh) * 2013-12-30 2014-05-07 国家电网公司 基于LiDAR的输电线路智能巡检***
CN104157021A (zh) * 2014-08-12 2014-11-19 广州中国科学院沈阳自动化研究所分所 智能巡检***及智能巡检方法
CN104794560A (zh) * 2015-03-24 2015-07-22 南京太亚科技有限责任公司 智能化管线管理***
CN104794160A (zh) * 2015-03-24 2015-07-22 南京太亚科技有限责任公司 石化企业数字化工厂平台***
CN104992441A (zh) * 2015-07-08 2015-10-21 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
CN106017465A (zh) * 2016-06-30 2016-10-12 北京海顿中科技术有限公司 巡检移动终端基于微惯导的定位***以及定位方法
CN106200667A (zh) * 2016-09-05 2016-12-07 南京理工大学 石化生产现场智能巡检***

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703064B1 (ko) * 2004-08-13 2007-04-05 코렐테크놀로지(주) 정유 및 석유 화학 플랜트 설비의 유지보수 장치 및 방법
CN101951502A (zh) * 2010-10-19 2011-01-19 北京硅盾安全技术有限公司 一种三维智能视频监控方法
CN102176252A (zh) * 2011-01-26 2011-09-07 新疆中钜电子科技有限公司 设备、设施安检智能巡检操作***及其应用方法
CN102324072A (zh) * 2011-09-14 2012-01-18 西安易博软件有限责任公司 全三维数字化知识库***和知识库的应用方法
CN102510011A (zh) * 2011-10-24 2012-06-20 华北电力大学 基于微型多旋翼无人直升机的电力杆塔智能巡检方法
CN102968915A (zh) * 2012-10-23 2013-03-13 中国石油化工股份有限公司 化工设备培训管理装置、设备知识库及培训管理***
CN103779808A (zh) * 2013-12-30 2014-05-07 国家电网公司 基于LiDAR的输电线路智能巡检***
CN104157021A (zh) * 2014-08-12 2014-11-19 广州中国科学院沈阳自动化研究所分所 智能巡检***及智能巡检方法
CN104794560A (zh) * 2015-03-24 2015-07-22 南京太亚科技有限责任公司 智能化管线管理***
CN104794160A (zh) * 2015-03-24 2015-07-22 南京太亚科技有限责任公司 石化企业数字化工厂平台***
CN104992441A (zh) * 2015-07-08 2015-10-21 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
CN106017465A (zh) * 2016-06-30 2016-10-12 北京海顿中科技术有限公司 巡检移动终端基于微惯导的定位***以及定位方法
CN106200667A (zh) * 2016-09-05 2016-12-07 南京理工大学 石化生产现场智能巡检***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Interactive modeling by procedural high － level primitives;L． Krecklau，L． Kobbelt;《Computers ＆ Graphics》;20121231;376 － 386 *
基于几何约束的单幅图像三维重建方法;钱晶晶 等;《计算机技术与应用进展》;20090313;734-738 *
石化企业设备三维建模技术初探;王宇 等;《甘肃科技纵横》;20130925;32-34 *

Also Published As

Publication number Publication date
CN107316338A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
CN111985161B (zh) 一种变电站三维模型重构方法
CN110322564B (zh) 一种适用于vr/ar的变电站运行环境的三维模型构建方法
KR20160116051A (ko) 단일 이미지로부터 깊이를 추정하기
US11989848B2 (en) Browser optimized interactive electronic model based determination of attributes of a structure
CN111598942A (zh) 一种用于对电力设施仪表进行自动定位的方法及***
CN111125585A (zh) 一种面向Web端三维模型的可视化方法及***
CN115330947A (zh) 三维人脸重建方法及其装置、设备、介质、产品
CN110781920A (zh) 一种室内场景点云部件语义信息的识别方法
CN107316338B (zh) 石化企业智能巡检中装置三维空间快速构建方法
CN112580428A (zh) 一种配电网设计方法及装置
CN114782530A (zh) 室内场景下的三维语义地图构建方法、装置、设备及介质
Van Nguyen et al. Reconstruction of 3D digital heritage objects for VR and AR applications
CN116384020A (zh) 一种融合多维语义信息的数字孪生变电站空间布局方法
CN114972323A (zh) 一种用于模型训练的缺陷图片生成方法及***
Kulhavy et al. Measuring Building Height Using Point Cloud Data Derived from Unmanned Aerial System Imagery in an Undergraduate Geospatial Science Course.
Van Leusen et al. 3D spatial analysis: The road ahead
Wei et al. [Retracted] Adoption of Convolutional Neural Network Algorithm Combined with Augmented Reality in Building Data Visualization and Intelligent Detection
CN116721104A (zh) 实景三维模型缺陷检测方法、装置、电子设备及存储介质
Carreaud et al. Automating the underground cadastral survey: a processing chain proposal
CN112785633A (zh) 文物修复策略的获取方法、装置、电子设备及存储介质
CN111210508A (zh) 一种基于三维建模的目标识别装置
Radanovic et al. A platform for multilayered documentation of cultural heritage
CN117389539B (zh) 工业软件的开发方法、装置、可读存储介质及电子设备
Sun et al. Bridging semantics with physical objects using augmented reality
Zuo et al. An Automatic Building Models' Parametrer Reconstruction Method from Point Clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant