CN101939765B - 用于远程检查工业过程的由计算机实施的方法和*** - Google Patents
用于远程检查工业过程的由计算机实施的方法和*** Download PDFInfo
- Publication number
- CN101939765B CN101939765B CN200880126444.2A CN200880126444A CN101939765B CN 101939765 B CN101939765 B CN 101939765B CN 200880126444 A CN200880126444 A CN 200880126444A CN 101939765 B CN101939765 B CN 101939765B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- orientation
- real
- infrastructure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种由计算机实施的方法,用于对用于提取、加工和/或生产材料的装备(1)中的工业过程的基础设施进行远程检查。该过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置(10)的控制***来监控。至少一个计算机布置有过程基础设施的图形计算机模型(4)(3D模型),其中3D模型中的过程基础设施中的方位被布置成可选择,其中根据模型中的视点来标识所选方位。来自模型的视点信息用来对实际装备中的一个或者多个摄像机进行定位,并且以不同方式组合来自实际装备的图像与3D模型。还描述一种远程检查***和一种计算机程序。
Description
技术领域
本发明涉及一种用于对工业装备中的过程远程检查的、由计算机实施的方法。具体而言,该方法被布置用于检查借助分布式控制***或者工业控制***来监视和控制的过程,该过程通常是位于用于工业中(比如石油和汽油、纸浆和造纸、化学加工和制造领域中)的材料和对象提取、生产、加工和/或运输的设施中。
背景技术
在工业车间中的过程控制领域中,一直需要关于加工设备和加工对象的信息。传统上,使用过程监视设备、温度传感器、压力传感器、流量计等用来监视和控制比如造纸厂、石油提取装备中或者加工原材料或者半加工材料的工厂中的过程。视频成像以及传统传感器和仪器可以用来提供对象或者过程的实时图像。控制室或者操作者工作站可以布置有如下显示屏,这些显示屏示出工业车间的一个或者多个部分的CCTV图像(闭路电视)。可以显示示出了过程流水线或者加工设备的部分的CCTV图像。传统CCTV摄像机向操作者提供来自预先确定的一个或者多个固定点的有限过程视图。
代表过程拓扑的传统管线和仪表图P&ID用于操作该过程。然而为了监视、检查和/或控制远离操作者所在位置的过程,P&ID图是不够的。为了实现远程监视或者检查过程,操作者也需要能够检查实际加工设备。例如在大型装备中,如用于石油和汽油提取、生产的离岸平台中,广大区域或者甚至整个装备常常是无人化的。这要求操作者将从远程位置监视、检查和/或操作该过程,也就是说,操作者已经从实际过程的邻近处撤离。在如今传统有人管理装备中,现场操作者利用所有他们的感知以获得关于过程状态的信息并且甚至观测控制***可能尚未标识的任何改变。在远程装备或者其部分中,由于操作者已经从实际过程的邻近处撤离,所以他们将需要能 够以恰当方式处理‘观看和感觉’过程。在这些远程设施或者远程部分过程中,操作者需要支持***来利用通常由亲临现场的人员收集的过程认知信息来补充过程测量。常常使用就在现场的现场操作者与控制室中的远程操作者之间的无线电联络以便补充关于过程状况的可为远程操作者所用的信息。
装备和过程或者加工设备的模型传统上已经用来辅助操作者理解过程、过程的布局和与其它与过程关联的过程的关系。如今可以通过使用由计算机生成的3D过程模型或者基于CAD表示的模型或者通过对过程的由计算机实施的仿真来表示工业过程或者其部分的物理布局。
Bleser Gabrielle等人的论文“Real-time 3D camera tracking for industrial Augmented Reality applications”,会议论文集,2005年1月31日,47-54页,描述了使用有待跟踪的CAD模型的摄像机跟踪及其校准参考图像。
在如今的加工车间中,在并未集成的大量不同***中呈现信息。在这些***内并且甚至在单个***内,信息的呈现常常不同。远程操作者必须知道在何处发现关于过程状况的信息以及如何发现该信息。获得与远程操作的过程的状况有关的信息这一行动可能是耗时的并且可能易错。在时间紧急或者其它意外事件期间,为了获取关于过程状况的信息而需要的时间可能至为关键。
发明内容
根据本发明的一个方面,描述了对一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制***来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型,所述方法包括以下步骤:在3D模型中选择部分所述过程基础设施的表示以供检查,其中所述方法还包括:基于3D模型上对所述表示的选择来标识实际所述过程基础设施的所选所述部分,使3D模型上的所选所述表示匹配于所述装备中的已知方位,在来自所述3D模型的所述表示的图像上面叠加所述实际 过程的一个或者多个图像,以及图形地形成或者组合显示图像,该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像。
根据本发明的一个实施例,提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制***来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型,所述方法包括以下步骤:在3D模型中选择部分所述过程基础设施的表示以供检查,且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像,图形地形成或者组合显示图像,该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像,其中所述方法还包括接收部分实际图像并且在模型图像的对应部分上叠加这样接收的实际部分图像,因此图形地融合和显示叠加在模型图像的部分上的实际图像部分和组合于显示图像中的整体部分。
根据本发明的一个实施例,提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制***来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型,所述方法包括以下步骤:在3D模型中选择部分所述过程基础设施的表示以供检查,并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像,图形地形成或者组合显示图像,该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像,其中所述方法还包括从存储的图像提供图形数据,该图形数据形成过程基础设施或者装置的实际部分的一个或者多个图像中的至少一个图像的部分。取而代之或者除此之外,所述方法还可以包括从实时产生的图像提供过程基础设 施或者装置的实际部分的一个或者多个图像中的至少一个图像。
根据本发明的一个实施例,提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制***来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型,所述方法包括以下步骤:在3D模型中选择部分所述过程基础设施的表示以供检查,并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像,图形地形成或者组合显示图像,该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像,其中所述方法还包括通过基于3D模型上对所述表示的选择在3D模型中的视点计算已计算或者变换的方位,来使3D模型上对所述表示的选择匹配于已知方位。
根据本发明的一个实施例,提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制***来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型,所述方法包括以下步骤:在3D模型中选择部分所述过程基础设施的表示以供检查,并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像,图形地形成或者组合显示图像,该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像,其中所述方法还包括基于来自以下组中的任何信息来计算3D模型图像上对所述表示的选择的已计算或者变换的方位:在三维空间中的方位、定向、摄像机的视线、结构在三维空间中的方位、在摄像机与过程对象之间或者其上布置有摄像机的机器人操纵器的距离。
根据本发明的一个实施例,提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程 检查的方法,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制***来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型,所述方法包括以下步骤:在3D模型中选择部分所述过程基础设施的表示以供检查,并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像,图形地形成或者组合显示图像,该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像,其中所述方法还包括使基于对3D模型的操纵或者选择的所选所述部分过程基础设施或者装置匹配于与过程或者装置的实际部分的方位或者位置的信息以匹配于由所述控制***保持的方位信息。取而代之或者除此之外,所述方法还可以包括借助由所述控制***实施的部分过程或者装置的软件过程对象保持的信息,来使所选的所述部分匹配于与过程或者装置的实际部分的方位或者位置。
根据本发明的一个实施例,提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制***来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型,所述方法包括以下步骤:在3D模型中选择部分所述过程基础设施的表示以供检查,并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像,图形地形成或者组合显示图像,该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像,其中所述方法还包括控制工业过程的一个或者多个摄像机以聚焦于所在位置与由所述控制***中的软件过程对象保持的信息匹配的所述部分过程基础设施或者装置。
根据本发明的一个实施例,提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程 检查的方法,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制***来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型,所述方法包括以下步骤:在3D模型中选择部分所述过程基础设施的表示以供检查,并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像,图形地形成或者组合显示图像,该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像,其中所述方法还包括根据所述3D模型中的方位或者视线或者视点来计算用于一个或者多个摄像机的视线或者方位或者位置,以便聚焦于过程基础设施装置的实际部分。
根据本发明的一个实施例,提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制***来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型,所述方法包括以下步骤:在3D模型中选择部分所述过程基础设施的表示以供检查,并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像,图形地形成或者组合显示图像,该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像,其中所述方法还包括:根据所述3D模型中的方位或者视线或者视点和对3D模型的操纵或者选择,来计算用于一个或者多个摄像机的视线或者方位或者位置,以便聚焦于过程基础设施或者装置的实际部分的方位或者位置。有利地,所述方法还可以包括生成用于控制一个或者多个摄像机指向过程基础设施或者装置的实际部分的方位或者位置并产生图像的信号。取而代之或者除此之外,所述方法还可以包括借助发现实际图像中的特征并且计算实际图像为3D模型图像中哪个部分的图片,来使实际图像数据匹配于3D图像,这些特征是线、边、点、角中的任 意的特征。
根据本发明的一个实施例,提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制***来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型,所述方法包括以下步骤:在3D模型中选择部分所述过程基础设施的表示以供检查,并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像,图形地形成或者组合显示图像,该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像,其中所述方法还包括至少部分地基于与在摄像机与过程或者装置的实际部分之间的视线有关的信息,来计算实际图像数据点在何处,即在3维空间中的方位。有利地,所述方法还可以包括显示图形地叠加或者覆盖于3D图像上或者与3D图像组合的历史或者归档的实际图像,其中在图形地处理的视觉模式中呈现非实时实际图像,以与照片般逼真的正常实际图像形成对比,该处理可以是来自以下组中的任一项的改变:色调、对比度、亮度、颜色数目。
本发明扩展成包括具有导航、图像融合和上下文相关交互的完整过程的3D模型。在3D模型视图中的装备过程视图与来自过程的实际视频或者摄像机图像、记录或者记录的图像融合。操作者利用3D过程模型以移动摄像机或者其它传感器。当摄像机在实际装备中在与3D模型中的视点处于相同的位置时,3D模型视图随着实际过程的实际视频图像完全地或者部分地淡出。
本发明也将CCTV或者类似摄像机引入作为3D世界的自然逻辑接口中。当摄像机可移动时,操作者可以(几乎)无约束地控制摄像机。操作者利用3D模型以确定摄像机的具体视点。该***包括物理过程的3D模型/CAD模型。这一3D模型可以是与在装备的设计和工程阶段期间生成的3D模型相同的3D模型。3D模型连接到 DCS(分布式控制***),从而3D模型中的对象链接到DCS中的相同对象。此外还使用来自车间的实际图像和/或视频记录。捕获这样的图像的摄像机位于车间中的固定位置并有可能摇摄、倾斜和变焦(通常为CCTV摄像机),或者它们装配于将在车间中到处移动它们的机器人操纵器上。3D模型和实际图像集成到一个***中以组成‘用于关键基础设施的远程检查***’。操作者使用3D过程模型以导航到过程中的他想要检查、监视、收集与之有关或者以别的方式与之交互的信息。为了这样做,操作者可以基于与DCS的集成来取回与该对象有关的上下文相关菜单或者任务列表,操作者可以从该菜单或者列表选择预定任务,比如检查和数据收集,例如,其形式为来自该同一对象的实际车间的图像/视频记录,和/或用于取回该图像/视频记录。取而代之或者除此之外,操作者可以在3D模型中手动控制摄像机视图并且从实际车间取回图像或者视频记录。该3D模型的视点将与用于如下摄像机的视点相同,该摄像机返回来自与3D模型中的视点对应的实际过程中视线的图像或者实况视频记录。操作者利用这一***作为用于检查基础设施的‘现场操作者的眼睛’。
根据本发明的一个方面,描述的改进为一种用于提取、加工和/或生产材料的装备中的远程检查***,该装备包括工业过程的基础设施,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制***来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型,所述计算机被布置用于选择部分所述过程基础设施的表示,其中所述***还包括:编程用于基于3D模型上对所述表示的选择来标识实际所述过程基础设施的所选所述部分的计算机或者数据处理装置,编程用于使3D模型上的所选所述表示匹配于所述装备中的已知方位的计算机或者数据处理装置,以及编程用于图形地组合所述实际过程的叠加在来自所述3D模型的所述表示的图像上面的一个或者多个图像并且形成显示图像的计算机或者数据处理装置,该显示图像包括实际过程或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图 像。
这一集成***可以包括以下要素:(远程定位的)操作者利用3D过程模型以在虚拟世界中在过程的3D模型中到处移动,即导航。随着操作者在3D模型中到处移动,他改变他在模型中的视点。实际过程的摄像机视图的位置和定向根据3D模型中的视点类似地加以改变,以便使实际装备中的摄像机的视线与3D模型中的视点匹配。3D模型是实际过程的表示,并且操作者可以容易地决定相关视点,实际装备的摄像机图像应当从该相关视点产生。在车间以外,选择和/或操纵固定摄像机(如果选择了预定义视点)或者手动限定的视点,以便返回来自实际过程的图像或者视频记录。
在来自DCS***的信息连接到3D模型中的相关对象这一意义上来讲,3D过程模型为交互式的。3D模型借助于来自工业控制***或者DCS的实况车间数据的连接而被布置成上下文相关性。操作者可以使用任何计算机输入手段来选择3D模型中的对象并且获得可以包括选项的上下文相关的菜单或者任务列表,这些选项比如示出来自过程的实况数据、示出来自先前检查的数据、示出来自预定义检查(和/或灯维护)的数据、示出任务和趋势。当呈现实际过程的图像或者视频记录而不是3D模型时,这一图像(或者视频)被布置用于与用于取回和显示上下文相关的信息的由相同计算机实施的选项一起显示,这些选项通过如来自3D模型的在显示屏上的选择或者其它计算机输入方法或者设备来激活。这之所以变得可能是因为叠加的实际图像比如集成于3D模型中,并且在显示屏上的选择或者其它计算机输入以某一方式匹配和关联于所示过程设备。摄像机视点的方位以及车间的布局是已知的(例如根据3D模型)。选择实际图像中的对象如罐,将产生如来自3D模型的类似的上下文相关的菜单。操作者可以从3D模型启动相同任务和图像/视频记录。
另外本发明将允许操作者具有由如下单个接口构成的集成操作者控制,他可以从该接口以直观和自然方式完成他的所有检查任务。操作者移向3D模型中的某一物理位置处的对象并且针对链接到 整个车间模型的这一具体对象启动检查任务。如果需要,则他也将获得这一对象的实际图像或者视频记录作为检查的一部分。本发明有助于通过减少对工程师和技术人员出访现场的需要来增加人员安全性。
除了使用CCTV摄像机和视频摄像机之外,本发明也提供用于使用从适合于除了用于正常可见光谱内的波长以外的光源的摄像机或者传感器输入的图像。这样的摄像机或者传感器可以适合于提供例如通过热成像或者夜视成像来提供的装置图像。
在本发明方法的一个优选实施例中,一种或者多种方法可以由包括一个或者多个微处理器单元或者计算机的计算设备实现。一个或者多个控制单元包括用于存储一个或者多个计算机程序或者如下软件列表的存储器装置或者存储器存储设备,该软件列表包括用于实现改进的方法的操作指令集。优选地,这样的计算机程序包含用于供处理器执行这里所述的方法的指令。
附图说明
现在将参照以下附图仅通过例子描述本发明的实施例:
图1a-图1f是根据独立方法权利要求1所述的本发明的示意图,其中根据本发明的一个实施例组合实际过程的图像与3D模型的图像;并且其中图1a仅示出3D模型,图1b示出实际装备的图像,图1c示出叠加在实际过程的部分图像之上的3D模型图像;图1d示出了叠加有来自3D模型的部分图像的实际装备的图像;图1e示出包括叠加在3D模型上的实际装备部分图像的第一帧;图1f示出包括叠加在3D模型上的实际装备另一部分图像的第二帧;
图2是根据权利要求1的本发明的示意框图,其中根据本发明的一个实施例更具体地描述产生实际装备中的图像并且组合所得实际图像与3D模型的图像的***;
图3是示出了根据权利要求1的本发明的使用的流程图,其中 根据本发明的一个实施例描述用于组合部分实际图像与3D模型的方法的步骤;
图4是示出了根据权利要求1的本发明的使用的流程图,其中根据本发明的一个实施例描述用于组合部分实际图像与3D模型的方法的步骤,其中具体地描述了关于从组合实际图像与3D模型图像的显示器激活任务列表的方法;
图5是示出了根据权利要求1的本发明的使用的流程图,其中根据本发明的一个实施例描述用于组合部分实际图像与3D模型的方法的步骤,其中具体地描述了关于基于保持的与3D模型中的视点和/或方位有关的数据来计算实际装备中的方位的该方法;
图6是根据权利要求1的本发明的部分图的示意细节,其中根据本发明的一个实施例更具体地描述产生实际装备中的图像并且组合实际图像与3D模型的图像的***。
具体实施方式
本发明描述一种用于远程检查基础设施并且具体为过程中的关键基础设施(比如过程或者部分过程中的设备、仪表和公用***)的方法和***。该***利用物理过程的3D模型/CAD模型,该模型优选地与在设计和工程阶段期间生成的3D模型相同或者由该3D模型导出。3D模型也连接到工业控制***或DCS(分布式控制***),从而3D模型中的个别图形对象链接到或者以某一方式关联于DCS中的软件控制对象,这些软件控制对象表示并且连接到实际装备中的个别实际对象、阀、传感器、罐、柱、管等。除了3D模型之外还使用来自车间的实际图形和/或视频记录。摄像机可以位于车间中的固定方位从而有可能摇摇摄、倾斜和变焦(通常为CCTV摄像机)。摄像机也可以装配于在车间或者装备中到处移动它们的机器人操纵器上。可以高准确度地移动装配于机器人或者操纵器手臂上的摄像机,并且也可以基于机器人的移动和/或操纵器手臂的各种关节的移动来准确地发现摄像机在任何时间的方位。
图2在示意图中示出了根据本发明的***。它示出了在方块1中的实际车间或者装备,其具有实际过程对象2、3,以及数据网络5和控制***或者DCS7。它示出了四个摄像机11-14,其中一个摄像机14布置于可移动装置上,如例如机器人(未示出)的操纵器上。一个或者多个摄像机可以布置有麦克风9或者其它声音收集设备。摄像机优选地连接到摄像机控制子***17并且由该子***控制,该子***也可以连接到DCS 7。该***也包括工作站或者控制室,该工作站或者控制室具有在其上显示过程的3D模型4的视图的至少一个图像显示器10。3D模型4在某一计算机上运行。实际装备1中的实际过程对象2、3的图像由摄像机11-14产生并且向摄像机控制***输入。摄像机控制***控制摄像机11-14的移动、聚焦、摇摄和倾斜等,并且也处置由摄像机返回的光学或者视频信号。经由数据网络向3D模型4发送图像输入。可以经由摄像机控制***7直接发送从3D模型输出的信号,以操纵摄像机11-14;可选地,信号可以由DCS的模块处理,并且来自3D模型的数据,如模型上的视点、方位和选择然后匹配于控制***中的软件控制对象和DCS7中保持的与那些对象关联的数据。
例如,查看图像显示器10的操作者利用3D过程模型4以导航到他想要检查或者与之交互的某个对象。图3示出了一般方法中的步骤流程图,其中步骤如下:
30操作者在图像显示器10上选择如3D模型4所示过程中的感兴趣的过程部分,
323D模型计算与3D模型中这样选择的过程部分关联或者限定该过程部分的视点数据,
33选择一个或者多个摄像机,并且其沿着视线L指向在实际装备1中的实际对象2、3,该视线依赖于由3D模型生成的视点数据,或者根据该视点数据来计算,或者由该视点数据变换而成。
34生成和记录图1b中所示实际对象2、3在图1a中所示一个或者多个摄像机或者视频图像92、93。
36将一个或者多个图像与过程的3D模型图像进行配准
38在某一程度上在3D模型图像上叠加一个或者多个视频或者摄像机图像,并且组合的图像包括如图1c-1f所示显示的实际和3D模型图形。
39按照需要重复该方法的步骤。
显示的组合图像由叠加于3D模型的视图之上的部分实际图像构成。3D模型和实际图像组成‘用于关键基础设施的远程检查***’。
用于检查过程的这一方法和***具有的优点在于易于导航并且还形成用于信息收集的单个***。接口是易于使用、易于理解的相对自然接口,并且显示以上下文相关的方式布置的实际或者建模的对象。另一优点在于模型和所得图像的移动被记载并且提供审查踪迹。
图6示意地示出了实际装备1中的摄像机视点。实际装备1中的摄像机11聚焦于部分实际过程对象2。在摄像机与所聚焦的部分过程对象之间有视线,其由交替点划线组成的线L示意地示出。在摄像机与所聚焦的部分过程对象之间的距离在示意图中表示为R。从3D模型到3D模型中的所选方位的视点用来提供实际装备中的方位信息,从而摄像机11可以移向实际装备中的沿着视线L的点,该点与3D模型中的视点对应。可以基于计算、变换、基于由控制***保持的与实际过程中的方位和在该方位的对象有关的实际车间信息来从3D模型中的方位数据计算方位信息,或者通过这些方法的组合来计算方位信息。
操作者也可以从对象的实际车间/从与模型中的相同视点对应的视线取回与该同一对象有关的上下文相关的菜单/任务列表(基于与DCS的集成)或者图像/视频记录。在一个列表中,选项可以是:示出来自过程的实况数据、示出来自先前检查的数据、示出来自预定义检查的数据、示出来自测试的数据、示出来自小型维护或者小修工序的数据、示出任务和趋势。3D模型的图像显示器中的视点根据本发明布置为实际过程或者装置中的如下视点,摄像机将从该视 点返回来自实际过程的图像或者实况视频记录。操作者利用这一***作为用于检查基础设施的‘现场操作者的眼睛’。图4示出了用于方法步骤的流程图,其中例如可以针对3D模型中的所选过程对象生成任务列表或者一项或者多项上下文信息。
在步骤46示出了可以如何针对所选过程对象选择和取回实际过程对象的实况实时或者存储的图像46a用于组合到图像显示器中;和/或可以选择、获得和显示与过程对象相关的实况数据46b或者历史数据。针对过程对象或者针对包含过程对象的过程段,显示具有现存报警和/或取消警报或事件的警报列表46c。
一旦已经使用3D模型对在实际装备中感兴趣的过程部分进行定位,就可使用CCTV或者其它摄像机来获得许多不同类型的信息。感兴趣的部分实际过程由操作者远程检查,并且观测和记录过程基础设施的状况。也可以使用该状况作为用于进一步检查或者测试的基础。还可以使用该状况作为用于实现小修、维护或者校正行为(比如闭合阀、改变电池、更换小零件等)的基础。通过检查来收集的信息可以包括来自如下实际图像的视觉信息,这些实际图像例如是气体或者流体预计释放、意外释放(比如气体或者流体泄漏、固体或者流体材料溢出)、表面污染(如例如归因于来自海洋的盐水或者生命机体)检查、表面或者结构物理损坏迹象或者指示的实际图像。物理损坏可以是如下损坏中的任一种:风暴损坏,由于管道或者容器中的意外水平面改变或者压力改变所致的损坏,腐蚀损坏由于温度无计划上升所致的损坏,或者火灾损坏。
操作者在其中导航的3D模型的视图是过程的基本视图并且呈现于相对大的窗口中。包含实际图像、图像/视频成帧(framing)的窗口可以产生图像/视频的如下帧,该帧可以采用相对于3D模型视图的尺寸而言的任何尺寸(1-100%)并且呈现于3D模型视图内。在图像/视频帧为100%的情况下,图像将完全地取代3D模型视图并且是3D模型视点的‘准确’副本。在图像/视频帧为在1-99%之间的任何尺寸的情况下,它将以3D模型视图作为‘背景’呈现于3D模型视 图内的帧中。无论操作者何时开始导航,帧本身都将保持于最后方位而3D模型视图将改变。当操作者对新视点满意时,***可以在某一时间延迟之后用过程的实际图像/视频自动地更新帧,或者操作者将必须例如从上下文相关的菜单/任务列表启动更新。尺寸减少的帧将‘悬置’于3D模型世界中直至发现和确认新视点(自动地或者基于手动确认/输入)。操作者可以随时改变图像/视频帧的尺寸。图1e示出了如下视图,其中部分过程(部分过程对象3)的实际图像叠加于3D过程模型上的正确方位上,并且3D模型的其余部分保持于可见。图1f示意地示出了比如从图1e中所示第一方位F 1移动3D模型中的视点如何使得获得如图1e中所示沿着第二视线拍摄的来自第二方位帧F2的实际图像。随后也可以在视图上叠加来自其它摄像机的图像数据。例如在其中已经移动第二摄像机(例如已经对CCTV摄像机摇摄或者倾斜或者变焦或者使操纵器上的第二摄像机就位)的时间间隔之后,除了来自第一或者第二方位的实际图像之外,也可以在显示图像中逐渐增强与当前视图(基于模型中的视点确定的场景)相关的实际图像。这一特征也可以扩展成包括过程的预定义视点以及来自历史图像/视频库的图像/视频。这一方式也可以描述为一种移动或者操作摄像机的方式。在3D模型中获得和选择视点。然后对一个或者多个摄像机进行移动、摇摄、倾斜等,从而使它们然后沿着所需视线指向并且聚焦于过程对象。在摄像机由操纵器手臂或者机器人移动或者保持的情况下,可以通过操纵3D模型来驱动机器人,以确定机器人应当将摄像机指向何处。
显示图像在它包括实际图像/视频时可以被示出为在3D模型与‘实际’图像之间具有可变的融合程度。在比值为100%的情况下,仅示出3D过程模型。类似地,比值0%为照片般逼真的质量,并且仅示出图像/视频而不是3D模型。见图1a,该图示意地示出了100%的视图,即仅3D模型。图1b示意地示出了0%的视图、即仅示出实际图像(摄像机图像)。在图1c、图1d中示出了数量减少(分别可能为60%和10%)的3D模型图像。
可以用不同方式实现在3D模型与图像之间的过渡。可以选择过渡方法使得操作者可观测的视觉改变应当或多或少地显而易见。当例如使用两个媒体之间的‘淡入’或者‘淡出’时,至少有本发明可以呈现该过渡的两种不同方式:
1)小步进/改变将在视频模式内发生,而大步进将在3D模型的计算机图形世界中发生。3D模型的图像将在固定或者可操纵的摄像机就位时或者在装配于机器人上的摄像机就位于新方位并且准备就绪时淡出,然后视频记录淡入。
2)导航将总是在3D计算机图形中发生,并且具有实际装备图像的图像/视频模式将在准备就绪时淡入。
当源的融合或者混合在1-99%之间时,将根据比值通过图像/视频将或多或少地看见3D模型。使用3D模型高百分比(~50-99%)可能有不同原因,比如图像/视频的质量差,因此需要支持对图像的理解。按照这一方式以3D过程模型的高程度融合两种媒体允许操作者比较两个世界,并且很容易地检测实际世界中的腐蚀、火灾损坏、诸如灭火器、安全护栏等遗失设备。
以3D模型的低程度(1-49%)混合两种媒体允许***示出来自3D模型(诸如管线布局、电布线、安全***等)的具体信息。也可以使用来自3D模型的信息和画面(visuals)来可视化不同信息层,比如不同公用***、具体流体或者警报,以作为计算机图像模型(3D)与实际图像/视频之间的融合。其它例子是:
流动流体,或者具有某一流速、温度等的流体。
闪烁警报和/或者告警
仅一种具体流体(例如石油或者天然气)
优选地,该模型布置有图形呈现调节控制装置,从而检验图像显示器10的操作者可以手动选择改变:在图像显示器中的3D模型图像融合的更高/更低对比度;将3D模型图像的一种或者多种颜色更换成其它颜色;等等
维护注释、观测结果可以由操作者记录或者做成注释或者粘贴 注释的图形版本。后者表示更智能层或者扩充型现实(AR),覆盖着由来自实际过程的图像/视频记录表示的实际世界。
位于现场的现场操作者或者技术人员在他们检查过程时利用所有他们的感知。图像或者视频记录表示现场操作者的眼睛。此外,所描述的远程检查***也可以扩展成包括固定就位或者由移动设备14(具体为机器人操纵器)在实际过程内到处携带的麦克风9。因此,远程定位的操作者也可以从过程获得形式为声音的信息以作为关于过程状况的反馈,并且将此信息与其它检查数据一起用来检查过程并且可能诊断过程的状况。
在一个有利实施例中,3D过程模型可以包括多个预定义视点(与固定摄像机有关,或者与操纵器手臂上装配于的摄像机的机器人所移向的沿途点有关)。包含历史图像/视频库的数据库可以捕获和存储示出正常情形和异常情形的图像或者视频剪辑。这一历史库或者档案库作为操作者可以选择使用并且可与当前情形的图像做比较的诊断工具。在一种有利发展中,可以用标识图像为非实时的这样的方式,来呈现、显示和示出非实时图像、档案图像/视频剪辑。例如,存储或者归档的图像数据可以呈现为黑白(B/W)图像、被模糊、涂深褐色(sepia),或者使用其它手段以表明这些是历史图像/视频剪辑。在3D模型中可以有可视化预定义视点、历史图像帧等这一选项。可以改变或者变化实际图像或者存储的图像在3D模型上方的实时叠加,从而使3D模型生成的图像叠加于实时图像或者存储的实际图像上。如上所述,3D模型具有用于以叠加彼此顶部的层的形式示出来自3D模型的图形的装置。实际图像可以叠加在3D模型图像的层上,并且可选地3D模型或者其层可以叠加在实际图像或者存储的实际过程图像上。因此,可以使用来自3D模型的信息和画面来可视化关于过程的不同信息层,比如不同公用***、流、空气、具体流体等或者警报,以作为计算机图像模型(3D)和实际图像/视频的融合。本发明这一方面的优点在于,可以使操作者简单地比较实时图像和历史图像,并且易于让操作者区分经图形处理的历史图 像和实时图像。
在另一实施例中,使用来自控制***的与过程对象或者过程中的设备或者靠近该过程的设备的位置有关的信息,来计算实际装备中的方位或者位置。当选择部分3D模型图像时,3D模型使该选择匹配于ID或者软件对象标识符或者其它标识符,以匹配于实际装备中的过程对象。换而言之,部分地使用存储于控制***中或者可由它存取的与实际过程对象有关的信息或者位置信息,来发现实际过程对象的方位。
图5示出了主要方法中的步骤流程图,其中步骤如下:
50操作者在图像显示器10上选择如3D模型4所示过程中的感兴趣的过程部分,
51计算机使3D模型中的所选过程对象匹配于表示实际过程对象的数据,该数据由控制***保持,
523D模型基于由控制***保持或者可由控制***存取的用于实际过程对象的数据或者位置数据,来为实际过程对象计算视线或者空间数据的方位和定向,
53基于根据由控制***保持的用于实际过程的数据或者位置数据计算的3D模型视线或者位置,来选择一个或者多个摄像机并且使其指向实际过程对象,
54生成和记录实际对象2、3的一个或者多个摄像机或者视频图像,
56将一个或者多个图像与过程的3D模型图像配准,
58在某一程度上在3D模型图像上叠加一个或者多个视频或者摄像机图像,并且显示包括实际和3D模型图像的组合图像,
59按照需要重复该方法。
在另一实施例中,可以数字处理来自实际图像的信息,以匹配于实际装备中靠近该过程的设备、或者该过程中的设备、或者过程对象、方位的位置。数字处理包括借助发现实际图像中的特征并且计算实际图像为3D模型图像中哪部分的图片来使实际图像数据匹 配于3D图像,其中特征是包括线、边、点、角的组中的任意特征。这一方法可以与用于发现过程对象的方位的其它方法组合。
本发明的方法可以由一个或者多个计算机程序监控、控制或者实现。一个或者多个微处理器(或者处理器或者计算机)包括连接到或者包括在上述摄像机控制***和/或DCS中的一个或者多个的中央处理单元,这些处理器或者计算机执行根据本发明一个或者多个方面的方法步骤。
计算机程序包括如下计算机程序代码单元或者软件代码部分,其使计算机或者处理器使用用于前述方法的式子、算法、数据、存储值、计算、同步等以及例如结合图3-图5的流程图和/或图2的显示器10上所示的图形用户接口来实现方法。部分程序可以存储于上述处理器中,而且可以存储于ROM、RAM、PROM、EPROM或者EEPROM芯片或者类似存储器装置中。程序或者部分程序也可以部分地或者完全地本地(或者集中)存储于控制***的存储器存储设备上或者中。也可以部分地从包括公共网络如因特网的数据网络来提供或者更新程序。
应当注意,尽管上文描述了本发明的示例实施例,但是有可以对公开的解决方案进行的若干变化和修改而不脱离如所附权利要求书中限定的本发明范围。
Claims (38)
1.一种由计算机实施的方法,用于对用于提取、加工和/或生产材料的装备(1)中的工业过程的基础设施进行远程检查,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置(1.0)的分布式控制***(7)来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型(4),所述方法包括以下步骤:在所述3D模型中选择(30,40,50)所述过程基础设施的实际部分(2,3)的表示以供检查,其特征在于:
基于所述3D模型上对所述表示的选择,来标识实际所述过程基础设施的所选所述部分;
使所述3D模型上的所选所述表示匹配于(51)与所述分布式控制***中的软件控制对象以及由所述分布式控制***维护的与这些对象相关联的数据相匹配的所述装备中的已知方位;以及
将实际所述过程的一个或者多个图像叠加在来自所述3D模型的、所述表示的图像(92,93)上,并且图形地形成或者组合显示图像,所述显示图像包括实际过程基础设施或者过程设备的、叠加在来自所述3D模型的所述图像上及与所述图像组合的一个或者多个图像,
所述方法还包括借助于由所述分布式控制***实现的过程或者装置的所述部分的软件过程对象所保持的信息,使基于对所述3D模型的操纵或者选择的所述过程基础设施或者装置的所选所述部分匹配于所述过程或者装置的实际部分的方位或者位置。
2.根据权利要求1所述的由计算机实施的方法,其特征在于,接收部分实际图像以及在所述模型图像的对应部分上叠加这样接收的实际部分图像,因此图形地融合和显示叠加在模型图像的部分上的所述实际图像的部分以及组合于所述显示图像中的整体部分。
3.根据权利要求1所述的由计算机实施的方法,其特征在于,从存储的图像提供图形数据,所述图形数据形成所述过程基础设施或者装置的实际部分的所述一个或者多个图像中的至少一个图像的部分。
4.根据权利要求1所述的由计算机实施的方法,其特征在于,从实时产生的图像提供所述过程基础设施或者装置的实际部分的所述一个或者多个图像中的至少一个图像。
5.根据权利要求1所述的由计算机实施的方法,其特征在于,通过基于所述3D模型上对所述表示的选择在所述3D模型中的视点计算已计算或者变换的方位,来使所述3D模型上对所述表示的选择匹配于所述已知方位。
6.根据权利要求5所述的由计算机实施的方法,其特征在于,基于来自以下组中的任何信息来计算所述3D模型图像上对所述表示的选择的已计算或者变换的方位:在三维空间中的方位、定向、摄像机的视线(L)、结构在三维空间中的方位、在摄像机(11-14)与过程对象之间或者其上布置有所述摄像机的机器人操纵器的距离(R)。
7.根据权利要求1所述的由计算机实施的方法,其特征在于,控制所述工业过程的一个或者多个摄像机(11-14),以聚焦于所处方位与由所述分布式控制***中的软件过程对象保持的信息匹配的过程基础设施或者装置的所述实际部分。
8.根据权利要求1所述的由计算机实施的方法,其特征在于,从所述3D模型中的方位或者视线或者视点,来计算用于一个或者多个摄像机的视线或者方位或者位置,以便聚焦于所述过程基础设施装置的实际部分。
9.根据权利要求8所述的由计算机实施的方法,其特征在于,根据所述3D模型中的方位或者视线或者视点和对所述3D模型的操纵或者选择,来计算用于一个或者多个摄像机的视线或者方位或者位置,以便聚焦于所述过程基础设施或者装置的实际部分的方位或者位置。
10.根据权利要求1所述的由计算机实施的方法,其特征在于,生成用于控制一个或者多个摄像机指向所述过程基础设施或者装置的实际部分的方位或者位置并产生图像的信号。
11.根据权利要求1所述的由计算机实施的方法,其特征在于,借助发现实际图像中的特征并且计算所述实际图像为所述3D模型图像中哪个部分的图片,来使实际图像数据匹配于3D图像,所述特征是包括线、边、点、角的组中的任意特征。
12.根据权利要求1所述的由计算机实施的方法,其特征在于,部分地基于与在摄像机与所述过程或者装置的实际部分之间的视线有关的信息,来计算实际图像数据点在何处,即在3维空间中的方位。
13.根据权利要求1所述的由计算机实施的方法,其特征在于,以在实际图像或者部分图像上以透明或者半透明方式叠加布置的、在视觉上分离的图形层的形式,提供来自所述3D模型的所述表示的一个或者多个图像或者部分图像。
14.根据权利要求1所述的由计算机实施的方法,其特征在于,显示图形地叠加或者覆盖于3D图像上或者与所述3D图像组合的历史或者归档的实际图像,其中在图形地处理的视觉模式中呈现非实时实际图像,以与照片般逼真的正常实际图像形成对比,所述处理可以是来自以下组中的任一项的改变:色调、对比度、亮度、颜色数目。
15.根据权利要求14所述的由计算机实施的方法,其特征在于,将图形地处理的模式中的历史实际图像提供为单色或者与照片般逼真的正常实际图像相比包括数目减少的颜色或单色图像。
16.根据权利要求1所述的由计算机实施的方法,其特征在于,提供所述过程基础设施或者装置的实际部分的、由从摄像机或者传感器输入的图像形成的所述一个或者多个图像中的至少一个图像,所述摄像机或者传感器适合于来自以下组的任一项:可见光、热成像、夜视。
17.根据前述权利要求1至16中任一权利要求所述的由计算机实施的方法,其特征在于,在放置于所述显示图像上的分离窗口中或者在与示出所述显示图像的显示器分离的显示器上,显示所述过程基础设施或者装置的实际部分的实际图像或者实际视频图像。
18.一种用于提取、加工和/或生产材料的装备(1)中的远程检查***,所述装备包括工业过程的基础设施,所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置(10)的分布式控制***(7)来监控,其中所述计算机布置有所述过程基础设施的图形计算机3D模型(4),所述计算机被布置用于选择所述过程基础设施的实际部分的表示,其特征在于:
编程用于基于所述3D模型上对所述表示的选择(30,40,50)来标识实际所述过程基础设施的所选所述部分的计算机或者数据处理装置;
编程用于使所述3D模型上的所选所述表示匹配于(51)与所述分布式控制***中的软件控制对象以及由所述分布式控制***维护的与这些对象相关联的数据相匹配的所述装备中的已知方位的计算机或者数据处理装置;以及
编程用于图形地组合实际所述过程的、叠加在来自所述3D模型的所述表示的图像上面的一个或者多个图像并且形成显示图像的计算机或者数据处理装置,所述显示图像包括实际过程或者过程设备的叠加在来自所述3D模型的所述图像上并且与所述图像组合的一个或者多个图像,
所述远程检查***还包括编程用于借助于由所述分布式控制***实现的过程或者装置的所述部分的软件过程对象所保持的信息,使基于对所述3D模型的操纵或者选择的所述过程基础设施或者装置的所选所述部分匹配于所述过程或者装置的所述实际部分的方位或者位置的计算机或者数据处理装置。
19.根据权利要求18所述的远程检查***,其特征在于,包括编程用于接收部分实际图像并且在所述模型图像的对应部分上叠加这样接收的实际部分图像、因此图形地融合和显示叠加在模型图像的部分上的所述实际图像的部分以及组合于所述显示图像中的整体部分的计算机或者数据处理装置。
20.根据权利要求18所述的远程检查***,其特征在于,包括配置为存储或者归档所述过程基础设施或者装置的实际部分的一个或者多个图像的数据库或者数据处理装置。
21.根据权利要求18所述的远程检查***,其特征在于,包括编程用于从存储的图像提供图形数据的计算机或者数据处理装置,所述图形数据形成所述过程基础设施或者装置的实际部分的所述一个或者多个图像中的至少一个图像的部分。
22.根据权利要求18所述的远程检查***,其特征在于,包括编程用于从实时产生的图像提供所述过程基础设施或者装置的实际部分的所述一个或者多个图像中的至少一个图像的计算机或者数据处理装置。
23.根据权利要求18所述的远程检查***,其特征在于,包括编程用于通过基于所述3D模型上对所述表示的选择在所述3D模型中的视点计算已计算或者变换的方位来使所述3D模型上对所述表示的选择匹配于所述已知方位的计算机或者数据处理装置。
24.根据权利要求18所述的远程检查***,其特征在于,包括编程用于基于来自以下组中的任何信息来提供所述3D模型图像上对所述表示的选择的已计算或者变换的方位的计算机或者数据处理装置:在三维空间中的方位、定向、摄像机的视线(L)、在摄像机与过程对象之间的距离(R)、结构或者其上布置有所述摄像机的机器人操纵器在三维空间中的方位。
25.根据权利要求18所述的远程检查***,其特征在于,包括一个或者多个控制器(17),用于控制所述工业过程的一个或者多个摄像机,以聚焦于所处方位与由所述分布式控制***中的软件过程对象保持的信息匹配的过程基础设施或者装置的所述实际部分。
26.根据权利要求18所述的远程检查***,其特征在于,包括编程用于根据所述3D模型中的方位或者视线(L)或者视点来计算用于一个或者多个摄像机的视线或者方位或者位置以便聚焦于所述过程基础设施装置的所述实际部分的计算机或者数据处理装置。
27.根据权利要求18所述的远程检查***,其特征在于,包括编程用于根据所述3D模型中的方位或者视线或者视点和对所述3D模型的操纵或者选择来计算用于一个或者多个摄像机的视线或者方位或者位置以便聚焦于所述过程基础设施或者装置的实际部分的方位或者位置的计算机或者数据处理装置。
28.根据权利要求18所述的远程检查***,其特征在于包括编程用于生成用于控制一个或者多个摄像机指向所述过程基础设施或者装置的实际部分的方位或者位置并产生图像的信号的计算机或者数据处理装置。
29.根据权利要求18所述的远程检查***,其特征在于包括编程用于借助发现所述实际图像中的视觉特征并且计算实际图像为所述3D模型图像中哪个部分的图片来使实际图像数据匹配于3D图像的计算机或者数据处理装置,所述视觉特征是包括线、边、点、角组中的任意特征。
30.根据权利要求18所述的远程检查***,其特征在于,包括编程用于部分地基于与在摄像机与所述过程或者装置的实际部分之间的视线有关的信息来计算实际图像数据点在何处的计算机或者数据处理装置。
31.根据权利要求18所述的远程检查***,其特征在于,包括编程用于以在实际图像或者部分图像上以透明或者半透明方式叠加布置的在视觉上分离的图形层的形式提供来自所述3D模型的所述表示的一个或者多个部分的计算机或者数据处理装置。
32.根据权利要求18所述的远程检查***,其特征在于,包括编程用于显示图形地叠加或者覆盖于3D图像上或者与所述3D图像组合的历史或者归档的实际图像的计算机或者数据处理装置,其中图形地处理的视觉模式中呈现非实时实际图像,以与照片般逼真的正常实际图像形成对比,所述处理产生来自以下组中的任一项的改变:色调、对比度、亮度、颜色数目。
33.根据权利要求18所述的远程检查***,其特征在于,包括编程用于将图形地处理的模式中的历史实际图像提供成单色或者与照片般逼真的正常实际图像相比包括数目减少的颜色或者单色图像的计算机或者数据处理装置。
34.根据权利要求18-33中的任一权利要求所述的远程检查***,其特征在于,包括至少一个摄像机或者传感器,用于提供所述过程基础设施或者装置的实际部分的图像,所述摄像机或者传感器适合于基于来自以下组的任一项提供图像:可见光、热成像、夜视。
35.根据权利要求19-33中的任一权利要求所述的远程检查***,其特征在于,包括编程用于在放置于所述显示图像上的分离窗口中或者在与示出所述显示图像的显示器(10)分离的显示器上显示所述过程基础设施或者装置的实际部分的实际图像或者实际视频图像的计算机或者数据处理装置。
36.根据权利要求18-35中的任一权利要求所述的远程检查***在用于在包括石油和汽油、纸浆和造纸、化学加工和制造领域的工业中对材料和对象进行提取、生产、加工和/或运输的设施中执行远程检查中的用途。
37.根据权利要求18-35中的任一权利要求所述的远程检查***在执行维护任务、执行包括闭合阀、替换电池以及更换小零件的小修、维护或者校正动作中的用途。
38.一种在用于提取、加工和/或生产材料的装备(1)中的远程检查***,所述装备包括过程基础设施,所述过程基础设施借助布置有一个或者多个计算机和一个或者多个计算机显示装置(10)的分布式控制***(7)来监控,其中所述计算机布置有所述过程的图形计算机3D模型(4),所述计算机被布置用于选择所述过程的实际部分的表示,所述远程检查***还包括:
-用于基于所述3D模型上对所述表示的选择来标识实际所述过程的所选所述部分的计算机装置;
-用于使所述3D模型上的所选所述表示匹配于(51)与所述分布式控制***中的软件控制对象以及由所述分布式控制***维护的与这些对象相关联的数据相匹配的所述装备中的已知对象的计算机装置;以及
-用于图形地组合实际所述过程的叠加在来自所述3D模型的所述表示的图像上面的一个或者多个图像并且形成显示图像的计算机装置,所述显示图像包括实际过程或者过程设备的叠加在来自所述3D模型的所述图像上的并且与所述图像组合的一个或者多个图像,
所述远程检查***还包括用于借助于由所述分布式控制***实现的过程或者装置的所述部分的软件过程对象所保持的信息,使基于对所述3D模型的操纵或者选择的所述过程基础设施或者装置的所选所述部分匹配于所述过程或者装置的所述实际部分的方位或者位置的计算机装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US99688707P | 2007-12-10 | 2007-12-10 | |
US60/996,887 | 2007-12-10 | ||
PCT/EP2008/067188 WO2009074600A1 (en) | 2007-12-10 | 2008-12-10 | A computer implemented method and system for remote inspection of an industrial process |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101939765A CN101939765A (zh) | 2011-01-05 |
CN101939765B true CN101939765B (zh) | 2014-01-29 |
Family
ID=40469818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200880126444.2A Active CN101939765B (zh) | 2007-12-10 | 2008-12-10 | 用于远程检查工业过程的由计算机实施的方法和*** |
Country Status (5)
Country | Link |
---|---|
US (1) | US20100315416A1 (zh) |
EP (1) | EP2232437B1 (zh) |
CN (1) | CN101939765B (zh) |
RU (1) | RU2498408C2 (zh) |
WO (1) | WO2009074600A1 (zh) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100914848B1 (ko) * | 2007-12-15 | 2009-09-02 | 한국전자통신연구원 | 혼합현실 시스템 및 그 구현 방법 |
FR2945630B1 (fr) * | 2009-05-14 | 2011-12-30 | Airbus France | Procede et systeme d'inspection a distance d'une structure |
US20110010624A1 (en) * | 2009-07-10 | 2011-01-13 | Vanslette Paul J | Synchronizing audio-visual data with event data |
TW201108045A (en) * | 2009-08-28 | 2011-03-01 | Primax Electronics Ltd | Testing system of input device model |
US8935129B1 (en) * | 2010-06-04 | 2015-01-13 | Bentley Systems, Incorporated | System and method for simplifying a graph'S topology and persevering the graph'S semantics |
JP2012124653A (ja) * | 2010-12-07 | 2012-06-28 | Canon Inc | 符号化装置、符号化方法およびプログラム |
US9292963B2 (en) * | 2011-09-28 | 2016-03-22 | Qualcomm Incorporated | Three-dimensional object model determination using a beacon |
DE102011085003A1 (de) * | 2011-10-21 | 2013-04-25 | Siemens Aktiengesellschaft | Verfahren zur Visualisierung der räumlichen Verhältnisse einer Fertigungsstätte |
CN102546262B (zh) * | 2012-02-09 | 2015-09-30 | 长春市天空标通信有限公司 | 一种调控*** |
WO2013178248A1 (en) * | 2012-05-29 | 2013-12-05 | Abb Research Ltd | Object inspection in an industrial plant |
US10163261B2 (en) | 2014-03-19 | 2018-12-25 | Matterport, Inc. | Selecting two-dimensional imagery data for display within a three-dimensional model |
US10139985B2 (en) | 2012-06-22 | 2018-11-27 | Matterport, Inc. | Defining, displaying and interacting with tags in a three-dimensional model |
US9786097B2 (en) | 2012-06-22 | 2017-10-10 | Matterport, Inc. | Multi-modal method for interacting with 3D models |
DE112012007224T5 (de) * | 2012-12-13 | 2015-10-22 | Abb Technology Ag | System und Verfahren zur Betriebsablauf-Überwachung und/oder -Diagnose einer Fertigungsstraße einer Industrieanlage |
EP2757472A1 (en) * | 2013-01-18 | 2014-07-23 | Dassault Systèmes | A computer-implemented method for launching an installed application |
US20140278718A1 (en) * | 2013-03-15 | 2014-09-18 | International Business Machines Corporation | Enhanced time-management and recommendation system |
US20140320529A1 (en) * | 2013-04-26 | 2014-10-30 | Palo Alto Research Center Incorporated | View steering in a combined virtual augmented reality system |
KR101912795B1 (ko) * | 2013-04-29 | 2018-10-29 | 한화테크윈 주식회사 | 3차원 정보제공장치 |
WO2014206473A1 (en) | 2013-06-27 | 2014-12-31 | Abb Technology Ltd | Method and video communication device for transmitting video to a remote user |
WO2015051816A1 (en) * | 2013-10-07 | 2015-04-16 | Abb Technology Ltd | Control of a communication session between a local and remote user of a process control system |
US10078712B2 (en) * | 2014-01-14 | 2018-09-18 | Energid Technologies Corporation | Digital proxy simulation of robotic hardware |
CN107077132B (zh) * | 2014-10-16 | 2019-04-19 | Abb瑞士股份有限公司 | 使用分布式控制***来管理加工厂的子***的方法 |
EP3029535A3 (en) * | 2014-12-03 | 2016-07-13 | Rockwell Automation Technologies, Inc. | P&ID and control system synchronization |
CN107430788A (zh) * | 2015-03-30 | 2017-12-01 | 喀普康有限公司 | 虚拟三维空间生成方法、影像***、其控制方法以及计算机装置中能读取的记录介质 |
JP6586824B2 (ja) | 2015-08-27 | 2019-10-09 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US10957102B2 (en) * | 2017-01-16 | 2021-03-23 | Ncr Corporation | Virtual reality maintenance and repair |
FR3062229A1 (fr) * | 2017-01-26 | 2018-07-27 | Parrot Air Support | Procede d'affichage sur un ecran d'au moins une representation d'un objet, programme d'ordinateur, dispositif et appareil electroniques d'affichage associes |
WO2018222835A1 (en) * | 2017-05-31 | 2018-12-06 | Abb Schweiz Ag | Robot system for real-time inspection of switchgear |
CN110019431B (zh) * | 2017-12-11 | 2022-04-12 | 北京京东尚科信息技术有限公司 | 数据可视化的处理方法、***及终端设备 |
US10861220B2 (en) * | 2017-12-14 | 2020-12-08 | The Boeing Company | Data acquisition and encoding process for manufacturing, inspection, maintenance and repair of a structural product |
EP3579127A1 (en) * | 2018-06-07 | 2019-12-11 | Hexagon Technology Center GmbH | Method of generation of an enhanced plant model |
US11442438B2 (en) * | 2018-08-14 | 2022-09-13 | The Boeing Company | Automated supervision and inspection of assembly process |
US20200242280A1 (en) * | 2019-01-30 | 2020-07-30 | Augmntr, Inc. | System and methods of visualizing an environment |
CA3057655A1 (en) * | 2019-10-04 | 2021-04-04 | Wave9 Technology Inc. | Remote montoring method using image processing intelligence |
CN111123030A (zh) * | 2019-12-18 | 2020-05-08 | 淮北工科检测检验有限公司 | 一种基于NBIoT的电缆故障在线温度监控*** |
RU2746652C1 (ru) * | 2020-06-22 | 2021-04-19 | Общество с ограниченной ответственностью "Норд Вижен Интелледженс Солюшенс" | Модульный комплекс контроля производственной безопасности и технологических процессов |
CN111726589B (zh) * | 2020-07-07 | 2022-01-28 | 山东天原管业股份有限公司 | 一种阀体的生产加工方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1321285A (zh) * | 1999-09-17 | 2001-11-07 | 汤姆森多媒体公司 | 通过分析图像序列构建三维景物模型的方法 |
US20030020718A1 (en) * | 2001-02-28 | 2003-01-30 | Marshall Carl S. | Approximating motion using a three-dimensional model |
CN1619593A (zh) * | 2004-12-09 | 2005-05-25 | 上海交通大学 | 基于多特征信息融合的视频运动目标自适应跟踪方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1992017875A1 (en) * | 1991-04-08 | 1992-10-15 | Hitachi, Ltd. | Method and apparatus for image or data processing, and monitoring method and apparatus using the same |
DE19715503A1 (de) * | 1997-04-14 | 1998-10-15 | Siemens Ag | Integriertes Rechner- und Kommunikationssystem für den Anlagenbereich |
US6738073B2 (en) * | 1999-05-12 | 2004-05-18 | Imove, Inc. | Camera system with both a wide angle view and a high resolution view |
US7522186B2 (en) * | 2000-03-07 | 2009-04-21 | L-3 Communications Corporation | Method and apparatus for providing immersive surveillance |
US6690960B2 (en) * | 2000-12-21 | 2004-02-10 | David T. Chen | Video-based surgical targeting system |
US6947593B2 (en) * | 2001-10-05 | 2005-09-20 | Hewlett-Packard Development Company, Lp. | Digital image processing |
JP4185052B2 (ja) * | 2002-10-15 | 2008-11-19 | ユニバーシティ オブ サザン カリフォルニア | 拡張仮想環境 |
AU2004250976B2 (en) * | 2003-06-19 | 2010-02-18 | L-3 Communications Corporation | Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system |
SE526119C2 (sv) * | 2003-11-24 | 2005-07-05 | Abb Research Ltd | Metod och system för programmering av en industrirobot |
SE527441C2 (sv) * | 2003-12-23 | 2006-03-07 | Abb Research Ltd | Förfarande vid ett säkerhetssystem för styrning av en process eller utrustning |
DE102005061211B4 (de) * | 2004-12-22 | 2023-04-06 | Abb Schweiz Ag | Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche |
US20060238617A1 (en) * | 2005-01-03 | 2006-10-26 | Michael Tamir | Systems and methods for night time surveillance |
DE102006014634B4 (de) * | 2005-04-01 | 2014-01-30 | Abb Research Ltd. | Mensch-Maschine-Schnittstelle für ein Kontroll- bzw. Steuerungs-System |
DE102006052321A1 (de) * | 2005-11-24 | 2007-06-06 | Danfoss A/S | Verfahren zum Analysieren einer Kühlanlage und Verfahren zur Regelung einer Kühlanlage |
US9123159B2 (en) * | 2007-11-30 | 2015-09-01 | Microsoft Technology Licensing, Llc | Interactive geo-positioning of imagery |
-
2008
- 2008-12-10 EP EP08859230.8A patent/EP2232437B1/en active Active
- 2008-12-10 US US12/747,340 patent/US20100315416A1/en not_active Abandoned
- 2008-12-10 RU RU2010128609/08A patent/RU2498408C2/ru not_active IP Right Cessation
- 2008-12-10 CN CN200880126444.2A patent/CN101939765B/zh active Active
- 2008-12-10 WO PCT/EP2008/067188 patent/WO2009074600A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1321285A (zh) * | 1999-09-17 | 2001-11-07 | 汤姆森多媒体公司 | 通过分析图像序列构建三维景物模型的方法 |
US20030020718A1 (en) * | 2001-02-28 | 2003-01-30 | Marshall Carl S. | Approximating motion using a three-dimensional model |
CN1619593A (zh) * | 2004-12-09 | 2005-05-25 | 上海交通大学 | 基于多特征信息融合的视频运动目标自适应跟踪方法 |
Non-Patent Citations (1)
Title |
---|
G. Bleser等.Real-time 3D Camera Tracking for Industrial Augmented Reality Application.《INTERNATIONAL CONFERENCE IN CENTRAL EUROPE ON COMPUTERGRAPHICS, VISUALIZATION,31 January 2005》.2005,1-7. * |
Also Published As
Publication number | Publication date |
---|---|
RU2010128609A (ru) | 2012-01-20 |
EP2232437A1 (en) | 2010-09-29 |
EP2232437B1 (en) | 2013-09-18 |
CN101939765A (zh) | 2011-01-05 |
RU2498408C2 (ru) | 2013-11-10 |
WO2009074600A1 (en) | 2009-06-18 |
US20100315416A1 (en) | 2010-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101939765B (zh) | 用于远程检查工业过程的由计算机实施的方法和*** | |
US11935288B2 (en) | Systems and methods for generating of 3D information on a user display from processing of sensor data for objects, components or features of interest in a scene and user navigation thereon | |
US11216663B1 (en) | Systems and methods for generating of 3D information on a user display from processing of sensor data for objects, components or features of interest in a scene and user navigation thereon | |
JP7442278B2 (ja) | 工業用拡張現実アプリケーションのためのドリフト補正 | |
US10482659B2 (en) | System and method for superimposing spatially correlated data over live real-world images | |
US20180253900A1 (en) | System and method for authoring and sharing content in augmented reality | |
CN101681159B (zh) | 在工业过程中操作遥控相机的方法 | |
Kim et al. | Improvement of realism of 4D objects using augmented reality objects and actual images of a construction site | |
KR101894471B1 (ko) | 플랜트의 가상 현실 서비스 제공 방법 및 이를 위한 장치 | |
US9274519B2 (en) | Methods and apparatus for monitoring operation of a system asset | |
WO2021113268A1 (en) | Systems and methods for generating of 3d information on a user display from processing of sensor data | |
AU2018436495B2 (en) | System and method of operation for remotely operated vehicles for automatic detection of structure integrity threats | |
US11341716B1 (en) | Augmented-reality system and method | |
JP2010009479A (ja) | 遠隔目視検査支援システムおよび遠隔目視検査支援コンピュータプログラム | |
US8786399B2 (en) | Computer implemented method to display technical data for monitoring an industrial installation | |
Boxall | Using Digital Twin technology to improve inspection methods of high risk assets | |
Wang | Improving human-machine interfaces for construction equipment operations with mixed and augmented reality | |
JP5665608B2 (ja) | 画像表示装置 | |
DK201800123A1 (en) | Augmented Reality Maintenance System | |
JP7260839B2 (ja) | プラント管理方法、プラント管理装置およびプラント管理プログラム | |
Sivanthan et al. | Onsite Proactive Construction Defect Management Using Augmented Reality Integrated With 5D Building Information Modeling | |
CN117934729B (zh) | 一种油气田视频监控实时三维投影融合方法 | |
EP4102468A1 (en) | Augmented-reality system and method | |
CN115511113A (zh) | 一种管线管理***及管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20191122 Address after: Baden, Switzerland Patentee after: ABB Switzerland Co., Ltd. Address before: Zurich Patentee before: ABB Research Co., Ltd. |
|
TR01 | Transfer of patent right |