CN104508576B - 工业工厂中的对象检验 - Google Patents

Abstract

本发明涉及用于使工业工厂的用户能够检验工厂的对象(24)的方法、检验装置和计算机程序产品。检验装置设置在配备有取景器(VF)的移动终端中，并且配置成将用户引导至工厂中的对象(24)的位置，以及当已经到达对象的位置时在取景器中呈现对象的参考图像(52)，以便允许用户捕获对象的图像(54)。

Description

工业工厂中的对象检验

技术领域

一般来说，本发明涉及工业工厂。更具体来说，本发明涉及用于使工业工厂的用户能够检验工厂的对象的方法、检验装置和计算机程序产品。

背景技术

在工业工厂的设施中，可发生维护工程师需要查看在对象、例如工厂设备处发生的活动。

当例如在工厂进行日常晨检巡回时，工厂维护工程师可能需要检查工厂设备的状态。用户研究表明，在进行这些巡回的同时，工程师使用纸张和笔写下关于可能的疑难问题区域的注释以及所需修复。此后，当工厂维护工程师返回到其办公位置时，他们通过使用台式计算机将这些笔记添加到计算机***。

在许多工厂中，近来引入了移动装置和数码相机，以协助工厂维护工程师进行其日常工作任务。工程师现在使用照相装置来拍摄疑难问题区域或问题的照片。这些照片连同进行的笔记稍后可与同事共享或者提供文件证明。

如果工厂维护工程师想要跟踪设备的进展以断定是否存在将来发生的潜在疑难问题，则照片也可在以后与设备的先前拍摄照片进行比较。在用户研究中，一种这样的情形是通过在数天期间拍摄该区域的照片，来跟踪工厂处的漏水。

但是，在定位供比较的正确对象中存在疑难问题。例如在工厂的不同位置可能存在大量相同类型的对象。

即使定位正确对象，也不确定能够进行良好比较，因为对象可能从不可简单比较的不同角度来捕获。

在消费者装置领域中已经发展了一些有用思路。

US 2011/0128395例如描述了移动终端的用户能够如何选择查看参考图像与预览图像之间的差异，然后将参考图像与预览图像进行比较，并且显示比较结果。该文献还提出，预览图像可覆盖于参考图像上。该文献还描述了预览图像如何在显示器上显示，并且然后被捕获以生成比较图像。所给出的使用示例全部与肖像图像相关。

WO 2011/071861描述了使用位置信息将所捕获图像与参考图像进行匹配。在这个文献中，首先捕获图像，并且然后取出参考图像供进行比较。该文献描述了相对感兴趣对象、例如大楼或纪念碑来执行这些类型的活动。因此，看起来手边的功能是为游客开发的。

因此，当比较工业工厂中的对象的图像时仍然需要改进。

本发明解决上述疑难问题的一个或多个。

发明内容

本发明针对这种状况。因此，本发明针对解决提供工业工厂中的对象的图像的比较的改进的疑难问题。

按照本发明的第一方面，这个目的通过一种使工业工厂中的用户能够检验工厂的对象的方法得到解决，其中该用户配备有移动终端，该方法由检验装置来执行，并且包括下列步骤：

- 将用户引导至工厂中的对象的位置，以及

- 当已经到达对象的位置时在与检验装置关联的取景器中呈现对象的参考图像，以便允许用户捕获对象的图像(54)。

按照本发明的第二方面，这个目的通过一种使工厂中的用户能够检验工厂的对象的检验装置得到解决，该检验装置设置在配备有取景器的移动终端中，并且配置成

将用户引导至工厂中的对象的位置，以及

当已经到达对象的位置时在移动终端的取景器中呈现对象的参考图像，以便允许用户捕获对象的图像。

按照本发明的第三方面，这个目的通过一种计算机程序产品得到解决，计算机程序产品使工业工厂中的用户能够检验工厂的对象，其中工厂用户配备有移动终端，计算机程序产品在包含计算机程序代码的数据载体上提供，配置成在计算机程序代码被加载到检验装置中时使设置在配备有取景器的移动终端中的检验装置

- 将用户引导至工厂中的对象的位置，以及

- 当已经到达对象的位置时在移动终端的取景器中呈现对象的参考图像，以便允许用户捕获对象的图像。

本发明具有多个优点。它允许定位正确对象以供图像的比较。这在不同工程师涉及到对象的检验中时是特别重要的。通过在取景器中提供参考图像，确保用于参考图像的角度对于新捕获的图像也易于得到，由此确保良好比较。工厂维护工程师也能够通过更有效地跟踪对象的状态以找出可能的疑难问题，来执行预防性维护。图像能够用于在工程师之间共享信息，以及可能问题的进展能够由许多用户、而不只是一个用户来跟踪。

附图说明

下面将参照附图来描述本发明，附图包括：

图1示意示出工业工厂，其中具有连同与工厂维护工程师关联的多个移动终端一起来操作工业过程的过程控制***，

图2示意示出第一移动终端的正视图，

图3示意示出第一移动终端的示意框图，

图4示出具有多个房间、对象和第一移动终端的工业工厂的厂房，

图5示意示出第一移动终端的取景器中显示的视图，

图6示出在使工业工厂中的用户能够检验工厂中的对象的方法中执行的多个方法步骤的流程图，以及

图7示意示出具有用于执行方法步骤的计算机程序代码的数据载体。

具体实施方式

下面将给出使工业工厂中的用户能够检验工厂中的对象的方法、检验装置和计算机程序产品的优选实施例的详细描述。

图1示意示出工业工厂10，其中提供过程控制***。过程控制***是用于控制工业过程的计算机化过程控制***。该过程能够是任何类型的工业过程，例如发电、输电和配电过程以及水净化和分配、石油及天然气生产和分配过程、石油化学、化学、制药和食品过程以及纸浆和纸生产过程。这些只是该***能够适用的过程的一些示例。存在无数其他工业过程。该过程也可以是其他类型的工业过程，例如商品的制造。该过程可经过一个或多个过程监测计算机来监测，其中过程监测计算机与操控过程的监测和控制的服务器进行通信。

图1中，过程控制***因此包括多个过程监测计算机12和14。这些计算机在这里也可被理解为形成操作员终端，并且连接到第一数据总线B1。还存在连接到这个第一数据总线的网关16，网关16连接到至少一个无线网络WN。与无线网络WN连接的有第一、第二、第三和第四移动终端32、34、36和38。无线网络WN可以是局域网、例如无线局域网(WLAN)。它也可以是蓝牙网络，即，具有多个互连蓝牙节点的网络。在本发明的一些变化中，移动终端是双模终端，其能够与蓝牙或WLAN网络以及与移动通信网络、例如公共陆地移动通信网络(PLMN)进行通信。在这里应当知道，在本发明的一些变化中，没有使用通信网络。

还存在第二数据总线B2，以及在第一与第二数据总线B1、B2之间连接了提供过程的控制和保护的服务器18以及存储与过程的控制和保护相关的数据的数据库20。与控制和保护相关的这种数据在这里可包括过程控制数据、例如测量和控制命令，而与保护相关的数据可包括告警和事件数据以及对其能够生成告警和事件的数据、例如过程中进行的测量。还存在连接于两个总线B1与B2之间的引导服务器22。在本发明的一个变化中，这个引导服务器22可提供用来引导移动终端的引导指令。在本发明的一些变化中，服务器也可向移动终端传递参考图像。这可如何进行将在稍后更详细描述。在本发明的其他变化中，不需要引导服务器。因此可将它省略。

与第二数据总线B2连接的还有多个又一装置24、26、28和30。这些又一装置常常称作形成到过程的接口的现场装置。因此，现场装置是一种接口，经由其进行过程的测量，并且对其给予控制命令。这些现场装置的一个或多个还可以能够生成告警。作为示例，第一现场装置24是需要监控的对象，并且在这里通过箱体来例示。下面将相对这个对象来描述本发明。在这里还应当知道，需要监控的这种对象不一定是现场装置、即直接涉及到过程的控制中的装置。因此，它可以是工厂中需要监控的另一种类型对象、例如只与过程关联的装置。

图2示意示出第一移动终端32的正视图。它只包括显示器34。在本发明的一些变化、包括稍后将要描述的第一实施例中，显示器34是触摸屏，经由其能够为移动终端32的用户呈现数据，以经由其能够由用户输入数据、例如应用中的各种特征的选择。应当知道，在本发明的其他变化中，显示器可以只是显示器，以及输入经过小键盘或键盘、轨迹球、操纵杆或者某些其他按钮来提供。第一移动终端32还可配备有照相装置镜头，以及在这种情况下，显示器可提供用于捕获图像、例如数字图像的取景器。

图3示出第一移动终端32的示意框图。第一移动终端32包括总线36，以及与这个总线连接的有显示器34、处理器38、程序存储器40以及无线电通信电路42。无线电通信电路42还连接到天线44，以用于与无线网络的无线通信。在这里应当知道，第一移动终端还可包括第二无线电电路和第二天线，以用于与移动通信网络的通信。还应当知道，在一些变化中，移动终端32可包括全球定位***(GPS)单元，以用于与GPS卫星进行通信。如果存在GPS单元，则有可能可省略无线电通信单元。移动终端32也可提供有加速计和/或陀螺仪。在程序存储器中提供软件代码，其在由处理器运行时形成检验装置41。

图4示意示出按照一个变化、工业工厂的设施45。设施45在这里采取具有多个房间的大楼的形式。在这里存在第一房间，其中存在无线网络的第一无线接入点46。在这个第一房间中还提供上述对象，在这里为第一现场装置24。在这个图中，第一移动终端32还示为位于第一房间中，其指示对应用户也处于这个第一房间中。挨着第一房间，存在具有第二无线接入点48的第二房间。第二房间又通向具有第三无线接入点50的第三较大房间。在第三房间中，存在直通厂房45的门。所有接入点46、48和50在这里还定位成接近通向或来自房间的门。因此，第一无线接入点46设置成接近互连第一和第二房间的门，第二无线接入点48定位成接近互连第二和第三房间的门，以及第三无线接入点50设置成接近直通大楼45的门。以上所述接近门的接入点位置是有利的，因为它们只给出引导指令。但是，本发明绝不是局限于这些位置。因此可使用其他位置。

此外，无线接入点46、48和50的位置通常是已知的，因此第一移动终端并且因而这个终端的用户的位置也可以是已知的。

现在还将参照图5和图6来描述本发明的第一实施例，其中图5示意示出移动终端的取景器中显示的视图，以及图6示出在使工业工厂的厂房中的用户能够检验工厂的对象的方法中执行的多个方法步骤的流程图。

移动终端32、34、36和38的用户通常会是在厂房中执行某种活动、例如检验工厂设备的工厂维护工程师。

第一移动终端32的用户可以是这种维护工程师。

在工厂进行日常晨检巡回时，工作维护工程师可检查工厂设备、例如本例中作为第一现场装置24的对象的状态。用户研究表明，在进行这些巡回的同时，工程师按传统使用纸张和笔写下关于可能的疑难问题区域的注释以及所需修复。此后，当工厂维护工程师返回到其办公位置时，他们通过使用台式计算机、例如操作员终端12和14将这些笔记添加到***。

但是，在许多工厂中，近来引入了移动终端和数码相机，以协助工厂维护工程师进行其日常工作任务。工程师现在使用照相装置来拍摄疑难问题区域或问题的照片。这些照片连同进行的笔记稍后与其同事共享或者提供文件证明。

当工厂维护工程师想要跟踪设备的进展以断定是否存在将来发生的潜在疑难问题时，照片则可在以后与设备的先前拍摄照片进行比较。

作为一个示例，会感兴趣的是通过在数天期间拍摄该区域的照片来跟踪在节节胜利的对象24处的漏水的进展，其中对象在本例中是箱体。

存在与操控这种情形的传统方式关联的多个疑难问题：

•纸张和笔是记录和描述工厂处的潜在问题的进展的费力工具。

•采用移动终端或数码相机来拍摄场景的照片是跟踪可能问题的进展的有效方式。但是，难以从工厂的正好同一地点来拍摄照片、以便能够准确跟踪可能问题的进展。

•难以知道用于比较的照片是否从同一方向来拍摄。另外，如果可能疑难问题的进展由不同的人来提供文件证明，则甚至更难以确信其他人是否以及如何拍摄同一场景的照片。如果照片不是表示正好相同的场景，则比较的值降低。

本发明提供帮助工厂维护工程师通过使用其移动终端来重复捕获制造厂中的同一场景的图像的工具，旨在跟踪可能问题的进展。

简言之，按照本发明，移动终端将用来将拍摄照片的工程师引导至同一地点，并且在取景器中呈现对象的参考图像，以便确保能够正确地执行可能问题的自动或手动跟踪。

因此，本发明的第一实施例的方法开始于第一移动终端32的检验装置41接收参考图像RI 52(步骤58)。这个参考图像52可经由无线网络WN从引导服务器22来接收。因此，参考图像52可经由第一移动终端32中的无线电电路42和天线44来接收，并且从无线电电路42转发到检验装置41。还可存在与这个参考图像52关联的位置，其是捕获参考图像52的位置。另外，与这个位置有关的数据则可连同参考图像52一起接收。在本例中，参考图像52是对象24的图像。在这里应当知道，参考图像52可从另一个实体、例如从另一个工程师的另一个移动终端来接收。参考图像52还可经由第一移动终端32来捕获，在这种情况下，参考图像52可在第一移动终端32中已经提供。因此，应当理解，这个接收步骤是可选的。

因此，在参考图像52使用第一移动终端32来捕获的情况下，工厂维护工程师则可捕获了参考图像52，其可以是相对于对象24的工厂的可能问题的图像。还有可能的是，参考图像52先前由另一个工程师使用第一移动终端32来捕获。

但是，为了能够使用参考图像52，第一移动终端32的当前用户需要被引导至对象24的位置。因此，第一移动终端32的检验装置14将用户引导至对象的位置。

存在可以这样做的多种方式。

引导服务器22例如可持续跟踪移动终端32、34、36和38的用户以及他们在工厂10中的位置。位置可经由无线网络WN来得到。移动终端32、34、36和38的位置更具体来说可经过关于他们与哪些无线接入点46、48和50进行联络的知识来得到。例如可假定移动终端具有与其连接的接入点的位置。移动终端与接入点之间的通信的信号强度也可用来确定移动台离接入点的距离，其给出可定位移动终端的围绕接入点的半径。这连同关于厂房的布局的知识(例如设置墙壁、地板和天花板的位置)一起可用于估计位置。此外，如果移动终端与更多接入点进行联络，则可使用三角测量。在这里，两个或更多接入点的半径的相交点可用于确定位置。另外，这可与关于厂房45的布局的知识相结合，以便确定移动台的位置。

检验装置41在这种情况下可从引导服务器22接收用于到达对象24的位置的指令。作为一个备选方案，它本身可确定将要给出哪些指令。

因此，引导服务器22可提供用于将用户引导至对象24的位置的引导指令。对第一移动终端32的用户的引导指令例如可基于这个第一移动终端32的当前位置，并且包括将用户从这个当前位置引导至对象24的位置的多个指令。

引导服务器可22借助于无线网络WN以及更具体来说使用无线网络WN的各种接入点(第一移动终端32与其进行通信)来传送所有这个数据。

因此，第一移动终端32可使用无线电电路42和天线44来接收引导指令。指令然后从无线电电路42转发到处理器38，其实现检验装置41。作为一个备选方案，在这里有可能的是，检验装置41本身具有用于将用户引导至对象的位置的指令集，并且然后它本身确定当前位置以及将要用于引导至对象的位置的指令。在当前位置和对象均位于任何厂房外部的情况下，第一移动终端32可改为将GPS用于引导。如果第一移动终端32提供有加速计和/或陀螺仪，则这些备选地也可用来提供第一移动台32的位置。

这样，能够看到，检验装置41使用所接收或自身生成的引导指令将用户引导至对象24的位置(步骤60)。引导指令可提供指导，并且还可基于第一移动终端32的位置动态更新。

因此，捕获参考图像52的位置可通过使用GPS或者室内定位***、例如Wi-Fi或蓝牙来跟踪。另外，移动终端32的位置能够使用加速计和陀螺仪来跟踪。

当到达对象24的位置时，以及在这个示例中当第一移动终端32已经到达包括对象24的第一房间时，检验装置41在经过触摸屏34的显示器所提供的取景器中显示参考图像52(步骤62)。参考图像52还与经过取景器可观察的视图共同显示。因此，参考图像52与可由工程师捕获的视图共同呈现。由于这个原因，参考图像可在取景器中半透明地显示。作为半透明呈现的备选方案，有可能的是，在取景器中仅呈现参考图像中的对象的轮廓。

这样，对象24的参考图像52可用于调查对象24的先前所述问题的进展，在这里通过漏水来例示。

因此，为了在以后跟踪问题的进展，当拍摄同一场景的新照片时，问题的场景的参考图像52能够用作参考。因此，移动终端照相装置的取景器VF将显示参考图像52连同可观察视图，使得工程师能够按照相似方式来拍摄新照片54。通过在取景器VF中显示参考图像52，用户将能够将取景器与对象对齐，使得新图像54能够在与用于捕获参考图像52相同的距离和角度来捕获。跟踪照片54也能够由另一人来拍摄，因为他知道如何使用包含参考照片的照相装置取景器来拍摄图片。

在已经呈现参考图像52之后，检验装置41因此等待第一移动终端32的用户捕获图像。用户例如可选择通过触摸触摸屏34上的按钮来捕获图像。

如果接收到图像捕获指令(其是图像的捕获的用户选择)(步骤64)，则图像CI 54由检验装置41所提供的照相装置功能来捕获(步骤66)。

图像54然后能够与参考图像52进行比较，以便确定问题的严重程度。

设想下列情形：

1. 工厂维护工程师在工厂进行其日常巡回。

2. 他注意到，在一个装置24周围存在漏水。

3. 他决定跟踪泄漏的进展，并且拍摄场景的照片52。

4. 下一周，当他再次进行同样的巡回时，他被引导至上一周他注意到漏水的装置24。

5. 当他希望拍摄照片以将泄漏与上一周所拍摄的照片进行比较时，他开启照相装置应用，其在照相装置取景器中透明地显示先前照片。

6. 工厂工程师这时能够通过经过先前拍摄的照片52(其在取景器中透明地显示)聚焦图片54，从同一地点拍摄场景的照片。

7. 通过比较和检查参考与所报警图像，或者在捕获一个以上图像时通过比较和检查一系列图片，工程师能够断定漏水实际上变差，因此他具有足够信息将它指示为高优先级维护任务。

在第一实施例中，有可能的是，检验装置41本身能够确定问题的严重性。在第一实施例中，这通过检验装置41分析参考图像52与所捕获图像54之间的差异进行(步骤68)。这可涉及通过分析逐个像素的差异来确定差异。在已经确定这个差异之后，检验装置41可诊断问题。因此，检验装置41基于分析来诊断对象的状况，即，它基于图像的差异的分析来诊断问题。差异例如可指示泄漏增加或降低，这用于诊断泄漏的严重程度。

可选地，也许有可能的是，将结果传送给另一个装置，例如传送给另一个移动终端或者引导服务器。

因此，检验装置41可经由触摸屏等待用户将结果传递给另一个装置的决定。

如果接收到这种决定(步骤72)，则检验装置41继续进行，并且传送结果。在这里，它可传送所捕获图像54和参考图像52(步骤74)。它还可传送诊断(步骤76)。传送通常可通过使用无线电电路42和天线44进行。在这里应当知道，在一个变化中，传送的唯一事物是所捕获图像54。

在已经传送结果之后，该方法结束(步骤78)，这也是在用户不会选择捕获图像(步骤64)或者不选择传递结果(步骤72)时的情况。

上述本发明具有多个优点。它允许定位正确对象以供图像的比较。这在不同工程师涉及到对象的检验中时是特别重要的。通过在取景器中提供参考图像，确保用于参考图像的角度对于新捕获的图像也易于得到，由此确保良好比较。

存在与本发明关联的若干其它有益效果：

•工厂维护工程师能够通过更有效跟踪设备的状态以找出可能的疑难问题，来执行预防性维护。

•图像能够用于在工程师之间共享信息，以及可能问题的进展能够由许多用户、而不只是一个用户来跟踪。

如先前所述，调查装置采取一个或多个处理器连同包括用于执行其功能的计算机程序代码的计算机程序存储器的形式来提供。作为一个备选方案，它可采取专用集成电路(ASIC)或现场可编程门阵列(FPGA)的形式来提供。这个计算机程序代码还可在一个或多个数据载体上提供，数据载体当其上的程序代码被加载到移动终端时执行本发明的功能性。采取CD ROM光盘形式、具有计算机程序代码82的一种这样的数据载体80在图7中示意示出。作为一个备选方案，这种计算机程序可在另一个服务器上提供，并且从其中下载到移动终端中。

Claims (14)

1.一种使工业工厂(10)中的用户能够检验所述工厂的对象(24)的方法，其中所述用户配备有移动终端(32)，所述方法由设置在配备有取景器(VF)的所述移动终端(32)中的检验装置(41)来执行，并且包括下列步骤：

- 将所述用户引导(60)至所述工厂中的所述对象的位置，

- 当已经到达所述对象的位置时，在所述取景器(VF)中呈现(62)所述对象的参考图像(52)，以便允许所述用户捕获所述对象的图像(54)，

- 接收用户选择以捕获图像，并且基于(64)所述用户选择来捕获(66)所述对象的图像，

- 分析(68)所述参考图像与所捕获的图像之间的差异，以及

- 基于所述分析来诊断(70)所述对象的状况。

2.如权利要求1所述的方法，其中，所述参考图像连同可捕获的视图一起呈现。

3.如权利要求2所述的方法，其中，所述参考图像半透明地呈现。

4.如权利要求1-3中的任一项所述的方法，其中，所述引导包括引导至捕获所述参考图像(52)的所述位置的同一地点。

5.如权利要求1-3中的任一项所述的方法，还包括从另一个装置接收(58)所述参考图像。

6.如权利要求1-3中的任一项所述的方法，还包括向另一个装置传送(74)所述所捕获图像。

7.如权利要求6所述的方法，其中，所述传送包括还传送所述参考图像。

8.一种使工厂中的用户能够检验所述工厂中的对象(24)的检验装置(41)，所述检验装置设置在配备有取景器(VF)的移动终端(32)中，并且配置成

- 将所述用户引导至所述工厂中的所述对象的位置，

- 当已经到达所述对象的位置时在所述移动终端的取景器中呈现所述对象的参考图像(52)，以便允许所述用户捕获所述对象的图像，

- 接收用户选择以捕获图像，

- 基于所述用户选择来捕获所述对象的图像(54)，以及

- 分析所述参考图像与所捕获的图像之间的差异，并且基于所述分析来诊断所述对象的状况。

9.如权利要求8所述的检验装置，其中，所述检验装置配置成呈现所述参考图像连同可捕获的视图。

10.如权利要求8或9所述的检验装置， 其中，所述引导包括引导至捕获所述参考图像(52)的所述位置的同一地点。

11.如权利要求8或9所述的检验装置，还配置成从另一个装置接收所述参考图像。

12.如权利要求8或9所述的检验装置，还配置成向另一个装置传送所述所捕获图像。

13.如权利要求12所述的检验装置，在配置成传送所述所捕获图像时还配置成传送所述参考图像。

14.一种用于使工业工厂(10)中的用户能够检验所述工厂中的对象(24)的***，所述***由设置在配备有取景器(VF)的移动终端(32)中的检验装置(41)来操作，所述***包括：

- 用于将所述用户引导至所述工厂中的所述对象的位置的部件，

- 用于当已经到达所述对象的位置时在所述移动终端的取景器中呈现所述对象的参考图像以便允许所述用户捕获所述对象的图像的部件，

- 用于接收用户选择以捕获图像的部件，

- 用于基于所述用户选择来捕获所述对象的图像(54)的部件，以及

- 用于分析所述参考图像与所捕获的图像之间的差异，并且基于所述分析来诊断所述对象的状况的部件。