CN115701297A - 热成像资产检查***和方法 - Google Patents

热成像资产检查***和方法 Download PDF

Info

Publication number
CN115701297A
CN115701297A CN202180042833.2A CN202180042833A CN115701297A CN 115701297 A CN115701297 A CN 115701297A CN 202180042833 A CN202180042833 A CN 202180042833A CN 115701297 A CN115701297 A CN 115701297A
Authority
CN
China
Prior art keywords
asset
portable device
thermal
thermal image
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180042833.2A
Other languages
English (en)
Inventor
L·赛格马克
A·洛夫
E·A·乌尔克林斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taili Danfilier Co ltd
Flir Systems AB
Original Assignee
Taili Danfilier Co ltd
Flir Systems AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taili Danfilier Co ltd, Flir Systems AB filed Critical Taili Danfilier Co ltd
Publication of CN115701297A publication Critical patent/CN115701297A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G01J5/485—Temperature profile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Radiation Pyrometers (AREA)

Abstract

提供了执行诸如温度敏感工业设备的资产的温度检查的各种技术。在一个示例中，一种方法包括：在便携式装置处接收与处于环境中的位置处的资产相关联的检查指令。方法还包括：在便携式装置处以增强现实格式显示资产，以将便携式装置的用户引导到该位置。方法还包括：当与便携式装置相关联的热成像器与资产对准时，通过热成像器捕获资产的热图像。方法还包括：从热图像提取与资产相关联的至少一个温度测量。还提供了另外的方法和***。

Description

热成像资产检查***和方法
相关申请的交叉引用
本申请要求2020年3月31日提交且标题为“THERMAL IMAGING ASSET INSPECTIONSYSTEMS AND METHODS,”的美国临时专利申请号63/003,111的优先权和权益，据此通过引用将该申请全文并入。
技术领域
本发明总体涉及温度测量，更具体地涉及使用热成像的资产检查。
背景技术
在诸如制造设施或其它位置的工业环境中，经常需要检查诸如机器、电子器件或其它装置的各种资产。在许多情况下，资产可能是温度敏感的，因此需要在预期容限内的温度下操作，以促进进行中的可靠功能。例如，如果资产展现过高或过低的温度，那么这可指示需要修理的故障。
存在用于监测资产的各种常规技术。在一些情况下，可以在整个设施中安装大量传感器或固定相机***。然而，这种实施方案可能需要对基础设施的大量投资并且可能是成本过高的。而且，这种实施方式的固定性质可能限制它们在给定环境中监测所有相关资产的能力。
在其它情况下，可能需要用户手动检查资产。然而，这种方法可能遭受人为错误，因为其将责任推卸到用户身上来记住检查哪些资产并且适当地记录所得温度数据。因此，需要一种改进的资产温度监测方法。
发明内容
公开了提供通过便携式成像***进行的对资产的改进的温度监测的各种技术，该便携式成像***可以用于在环境内的一致位置处捕获资产的热图像。在一些实施方式中，成像***可以配备有位置感测特征，这些特征检测成像***相对于受监测资产的绝对和/或相对位置(例如，通过使用三维地图、相对于对象的相对位置和/或其他技术)。
因此，可以以可重复的方式在一致的位置处捕获热图像，使得可以可靠地确定历史温度测量并将其彼此进行比较，以确定温度趋势、潜在故障状况和/或其它状况。
在一些实施方式中，成像***可以包括指令，这些指令将用户引导到资产的位置并且向用户提供关于在捕获热图像时要使用的成像***的正确位置的实时反馈(例如，利用触觉、视觉和/或听觉指示或指令)。
在一些实施方式中，成像***可以标识虚拟热点和/或测量区域，以使得成像***在成像***到达特定位置时自动捕获资产的图像。
在一个实施方式中，一种方法包括：在便携式装置处接收与处于环境中的位置处的资产相关联的检查指令；在便携式装置处以增强现实格式显示资产以将便携式装置的用户引导到该位置；当与便携式装置相关联的热成像器与资产对准时，通过热成像器捕获资产的热图像；以及从热图像提取与资产相关联的至少一个温度测量。
在另一实施方式中，一种***包括便携式装置，该便携式装置包括：热成像器；显示器；以及逻辑装置，该逻辑装置被配置为：接收与处于环境中的位置处的资产相关联的检查指令，在显示器上以增强现实格式呈现资产以将便携式装置的用户引导到该位置，操作热成像器以在热成像器与资产对准时捕获资产的热图像，并且从热图像提取与资产相关联的至少一个温度测量。
本发明的范围由权利要求限定，通过引用将权利要求并入该章节中。将通过考虑一个或多个实施方式的以下详细描述，来给予本领域技术人员本发明的实施方式的更完全理解、以及本发明另外优点的实现。将参照首先将简要描述的附图。
附图说明
图1例示了根据本公开的实施方式的成像***和远程***的框图。
图2例示了根据本公开的实施方式的监测资产的过程。
图3A例示了根据本公开的实施方式的提供给用户的资产检查指令。
图3B例示了根据本公开的实施方式的成像***，其中以增强现实格式标识资产。
图3C例示了根据本公开的实施方式的成像***，其中在特写视图中以增强现实格式标识资产。
图3D例示了根据本公开的实施方式的成像***，其中以增强现实格式标识的资产被对准以便捕获热图像。
图3E例示了根据本公开的实施方式的显示资产的捕获的热图像的成像***。
图3F例示了根据本公开的实施方式的显示资产的历史温度读数的成像***。
图4例示了根据本公开的实施方式的对于针对一个或多个资产存储的信息执行附加分析的过程。
图5例示了根据本公开的实施方式的存储在资产的数据库中的信息。
通过参考下面的详细描述，最佳地理解本发明的实施方式及其优点。应当理解，同样的附图标记用于标识在一个或多个附图中例示的同样的元件。
具体实施方式
图1例示了根据本公开的实施方式的包括便携式装置101和远程***198的检查***100的框图。在一些实施方式中，便携式装置101可以被实施为例如手持相机***、被提供为诸如智能电话的个人电子装置的一部分和/或附件的小尺寸(small form factor)相机***、或者被实施为另一装置。
便携式装置101可以被定位为从环境102(例如，工作场所、仓库、工业场地、制造设施或其他环境)中的场景190(例如，对应于便携式装置101的视场)接收红外辐射194A和可见光辐射194B。在各种实施方式中，场景190可以包括可以由便携式装置101在热图像和/或可见光图像中捕获的感兴趣的一个或多个实物资产192(例如，温度敏感机器、电子器件或其他装置)。虽然图1中例示了单个示例资产192，但是根据本公开的技术可以检查任何期望数量的资产。
如图所示，便携式装置101包括壳体103(例如，可由用户抓握的相机主体)、热成像子***110A、可见光成像子***110B、逻辑装置168、用户控件170、存储器172、通信接口174、机器可读介质176、显示器178、位置传感器179、其他传感器180和其他部件182。
热成像子***110A和可见光成像子***110B可以用于分别响应于从场景190接收的红外辐射194A和可见光辐射194B来捕获热图像和可见光图像。
热成像子***110A可包括光圈158A、滤波器160A、光学部件162A、热成像器164A和热成像器接口166A。在这点上，通过光圈158A的红外辐射194A可以由选择性地通过红外辐射194A的特定热波长范围(例如，波段)的滤波器160A接收。光学部件162A(例如，包括一个或多个透镜、附加滤波器、透射窗和/或其它光学部件的光学组件)使经滤波的红外辐射194A通过，以便由热成像器164A捕获。
热成像器164A可响应于经滤波的红外辐射194A捕获场景190的热图像。热成像器164A可包括用于捕获场景190的热图像(例如，热图像帧)的传感器阵列(例如，微测辐射热计)。在一些实施方式中，热成像器164A还可包括一个或多个模数转换器，这些模数转换器用于将传感器捕获的模拟信号转换成数字数据(例如，像素值)，以提供捕获的图像。热成像器接口166A将所捕获的图像提供到逻辑装置168，该逻辑装置可用于处理图像，将原始和/或经处理的图像存储在存储器172中，和/或从存储器172检索所存储的图像。
可见光成像子***110B可包括光圈158B、滤波器160B、光学部件162B、可见光成像器164B和可见光成像器接口166A。应当理解，可见光成像子***110B的各个部件可以以与热成像子***110A的对应部件类似的方式利用用于捕获可见光图像的适当技术来操作。
而且，尽管针对热成像子***110A和可见光成像子***110B中的每一个例示了特定部件，但是应当理解，所例示的部件是出于示例的目的而提供的。由此可见，在各个子***中可以针对特定实施方案适当地使用更多或更少数量的部件。
逻辑装置168可以包括例如微处理器、单核处理器、多核处理器、微控制器、被配置成执行处理操作的可编程逻辑装置、数字信号处理(DSP)装置、用于存储可执行指令(例如，软件、固件或其他指令)的一个或多个存储器、和/或执行本文所述的各种操作中的任一个的装置和/或存储器的任何其他适当组合。逻辑装置168被配置为与便携式装置101的各种部件接口连接并通信，以执行本文所述的各种方法和处理步骤。在各种实施方式中，处理指令可以作为逻辑装置168的一部分被集成在软件和/或硬件中，或者可以被集成在可以被存储在存储器172和/或机器可读介质176中的代码(例如，软件和/或配置数据)中。在各种实施方式中，存储在存储器172和/或机器可读介质176中的指令允许逻辑装置168执行本文讨论的各种操作和/或控制便携式装置101的各种部件，以便进行这样的操作。
存储器172可以包括存储数据和信息的一个或多个存储装置(例如，一个或多个存储器)。一个或多个存储装置可以包括各种类型的存储器，包括易失性和非易失性存储装置，诸如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦只读存储器)、闪存、固定存储器、可移动存储器、和/或其他类型的存储器。
机器可读介质176(例如，存储器、硬盘驱动器、光盘、数字视频光盘或闪存)可以是存储用于由逻辑装置168执行的指令的非暂时性机器可读介质。在各种实施方式中，机器可读介质176可以被包括作为便携式装置101的一部分和/或与便携式装置101分离，其中所存储指令通过将机器可读介质176联接到便携式装置101和/或通过便携式装置101从机器可读介质(例如，包含非暂时性信息)下载(例如，经由有线或无线链路)指令来提供给便携式装置101。
逻辑装置168可以被配置为处理所捕获的图像并将它们提供给显示器178，以便呈现给用户并由用户查看。显示器178可以包括显示装置，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器和/或适于向便携式装置101的用户显示图像和/或信息的其它类型的显示器。逻辑装置168可以被配置为在显示器178上显示图像和信息。例如，逻辑装置168可以被配置为从存储器172检索图像和信息，并且向显示器178提供图像和信息，以便呈现给便携式装置101的用户。显示器178可以包括显示电子器件，该电子器件可以由逻辑装置168用于显示这种图像和信息。
用户控件170可以包括任何期望类型的用户输入和/或接口装置，该用户输入和/或接口装置具有一个或多个用户致动部件，诸如一个或多个按钮、滑杆、旋钮、键盘、操纵杆和/或被配置为生成一个或多个用户致动的输入控制信号的其他类型的控制装置。在一些实施方式中，用户控件170可以与显示器178集成为触摸屏，以操作为用户控件170和显示器178两者。逻辑装置168可以被配置为感测来自用户控件170的控制输入信号，并且响应从其接收的感测到的控制输入信号。在一些实施方式中，显示器178和/或用户控件170的多个部分可以由平板电脑、膝上型计算机、台式计算机和/或其他类型的装置的适当部分来实施。
在各种实施方式中，用户控件170可以被配置为包括一个或多个其他用户启动的机构，以提供便携式装置101的各种其他控制操作，诸如自动聚焦、菜单启用和选择、视场(FoV)、亮度、对比度、增益、偏移、空间、时间和/或各种其他特征和/或参数。
位置传感器179可以被实施为用于确定环境102中(例如，包含要被监测的资产192的工业设施中)的便携式装置101的位置(例如，地点)的任何适当类型的装置。例如，在各种实施方式中，如所期望的，位置传感器179可被实施为全球定位***(GPS)装置、运动传感器(例如，加速计、振动传感器、陀螺仪、和/或其他)、深度感测***(例如，飞行时间相机、LiDAR扫描仪、热感相机、可见光相机、和/或其他)、天线、其他装置、和/或其任何组合。在一些实施方式中，位置传感器179可以向逻辑装置168发送适当的信号以用于处理，从而确定环境102中的便携式装置101的绝对和/或相对位置。
便携式装置101可以包括各种类型的其他传感器180，包括例如温度传感器和/或其他适当的传感器。
逻辑装置168可以被配置为接收来自热成像器接口166A和可见光成像器接口166B的图像、来自位置传感器179和传感器180的附加数据、以及来自用户控件170的控制信号信息，并通过通信接口174(例如，通过有线和/或无线通信)将这些图像、附加数据和控制信号信息传递到一个或多个外部装置，诸如远程***198。在这点上，通信接口174可以被实施为通过电缆提供有线通信和/或通过天线提供无线通信。例如，通信接口174可以包括一个或多个有线或无线通信部件，诸如以太网连接、基于IEEE802.11标准的无线局域网(WLAN)部件、无线宽带部件、移动蜂窝部件、无线卫星部件或被配置为与网络通信的各种其他类型的无线通信部件，包括射频(RF)、微波频率(MWF)和/或红外频率(IRF)部件。由此可见，通信接口174可以包括天线，该天线为了无线通信目的而耦合到通信部件。在其他实施方式中，通信接口174可以被配置为与DSL(例如，数字用户线路)调制解调器、PSTN(公共交换电话网络)调制解调器、以太网装置和/或被配置为与网络通信的各种其他类型的有线和/或无线网络通信装置接口连接。
在一些实施方式中，网络可以被实施为单个网络或多个网络的组合。例如，在各种实施方式中，网络可以包括因特网和/或一个或多个内联网、陆线网络、无线网络和/或其他适当类型的通信网络。在另一个示例中，网络可以包括被配置为与诸如因特网的其他通信网络进行通信的无线电信网络(例如，蜂窝电话网络)。由此可见，在各种实施方式中，便携式装置101和/或其单独的关联部件可以与特定的网络链路关联，诸如例如URL(统一资源定位符)、IP(互联网协议)地址和/或移动电话号码。
便携式装置101可以包括各种其他部件182，诸如扬声器、显示器、视觉指示器(例如，记录指示器)、振动致动器、电池或其他电源(例如，可再充电的或其他的)、和/或适合于特定实施方案的附加部件。
尽管图1中一起例示了便携式装置101的各种特征，但是各种所例示部件和子部件中的任何一个可以以分布式方式实施并且可以适当地彼此远离地使用。例如，远程***198可以用便携式装置101的各种部件中的任何一个来实施。远程***198可以与便携式装置101通信以与其发送和接收数据、执行便携式装置101的远程处理和/或其他任务(例如，通过便携式装置101和/或远程***198的适当通信接口174)。例如，在一些实施方式中，由便携式装置101获得的热图像、可见光图像、位置数据和/或附加信息可以被传送到远程***198，以便进一步处理和/或存储。在这点上，远程***198可以包括用于存储和调用各种图像和/或其他信息以监测资产192的历史温度的数据库199(例如，维持在远程***198的适当存储器172中)。
图2例示了根据本公开的实施方式的监测资产192的过程。例如，在一些实施方式中，图2的过程可以由用户(例如，操作员)结合便携式装置101和/或远程***198来执行，以获得环境102中的各种资产192的热图像和/或可见光图像。尽管图2的各种操作将被讨论为由便携式装置101执行，但是这种操作可以另选地由远程***198和/或便携式装置101和远程***198两者适当地使用热图像、可见光图像和/或其间的附加信息的传送来执行。
在方框205中，用户开始操作便携式装置101。例如，在便携式相机***实施方案的情况下，用户可以打开便携式装置101进行操作。
在方框210中，便携式装置101检测其当前位置。例如，在一些实施方式中，位置传感器179可以检测当前位置并且向逻辑装置168提供适当的信号，以标识当前位置并且在显示器178上向用户呈现当前位置。在一些实施方式中，便携式装置101可以基于对当用户在环境102内移动便携式装置101时实时捕获的热图像和/或可见光图像的分析来检测当前位置。
尽管方框210被例示为单个方框，但是在一些实施方式中，便携式装置101可以在图2的整个过程中重复地(例如，连续地)检测其当前位置。因此，当用户在整个环境102中移动便携式装置101时，便携式装置101可以持续地确定当前位置。
在方框215中，便携式装置101获得资产检查指令并在显示器178上向用户呈现资产检查指令。例如，在一些实施方式中，便携式装置101可以用地图、三维模型、清单和/或标识环境102中要测量的一个或多个资产192的另一格式的信息来编程(或从远程***198接收)。
例如，图3A例示了根据本公开的实施方式的提供给用户的资产检查指令310。如图3A所示，指令310包括提供环境102(例如，在该实施方式中为工业设施)的俯视图的地图311。地图311标识用户可以穿过环境102以便捕获各种资产192的热图像的路线312。特别地，路线312包括起点313、终点314和与特定资产192A、192B、192C(分别标识为机器#1、机器#2和机器#3)对应的路点(例如，虚拟检查点)。尽管在指令310中仅标识三个资产192A-C，但在各种实施方式中考虑更多或更少数量的资产192。在一些实施方式中，指令310还可以是用户可搜索的，以根据期望快速确定特定信息。
如关于方框210讨论的，便携式装置101已经检测到其在环境内的位置。因此，便携式装置101可以进一步将其当前位置318叠加在如图3A所示的指令310上。另外，便携式装置101还可存储与路线312和资产192A-C相关联的位置数据，因此可以确定其相对于路线和资产的相对位置。
在方框220中，用户根据指令310开始(例如，发起)检查。例如，用户可以选择适当的用户控件170，来应答指令310并开始遵循它们。
在方框225中，便携式装置101向用户提供待检查的第一资产192A的位置。例如，在一些实施方式中，便携式装置101可以操作成像子***110A-B中的一个或两个，以捕获环境102的图像。因此，便携式装置101可将位置信息(例如，图形、文本和/或其他信息)叠加在与一个或多个资产192A-C的位置相对应的所捕获的图像上，以便以增强现实格式显示资产192A-C。在各种实施方式中，便携式装置101可以适当地显示与资产192A-C相关联的附加信息。在这点上，便携式装置101可以在本地维持这种信息和/或可以从远程***198接收这种信息。
图3B例示了根据本公开的实施方式的便携式装置101，其中以增强现实格式标识特定资产192A和192B。在一些实施方式中，图3B至图3F中的资产192A-C的表示可对应于虚拟检查点(例如，环境102中的位置，便携式装置101可定位在这些位置以使用热图像来捕获温度测量)。例如，这样的虚拟检查点可对应于要被检查的设备的特定部分(例如，可为单件设备提供多个虚拟检查点)。由此，应当理解，在一些实施方式中，资产192A-C的物理位置可以不同于虚拟检查点(例如，便携式装置101的有利点)。
如图3B所示，便携式装置101定位于环境102(例如，在该实施方式中为工业设施)中。还如图所示，便携式装置101的显示器178实时呈现环境102中的场景190的所捕获的可见光图像。在这种情况下，便携式装置101接近资产192A和192B，这些资产通过以增强现实格式叠加在可见光图像上的图形“1”和“2”来标识。因此，当用户根据指令310穿过路线312时，用户可容易地确定资产192A和192B的位置。
因此，在方框230中，用户沿着路线312朝向第一资产192A的位置移动，从而使便携式装置101(例如，在该实施方式中为便携式相机***)与用户一起平移通过环境102，以便使便携式装置101的视场与资产192A对准。方便地，用户可以得到如关于图3B所示和讨论的资产192A的增强现实呈现的帮助。而且，当用户朝向资产192A的位置移动时，增强现实呈现可在捕获附加图像且更新便携式装置101的位置时更新。例如，在一些实施方式中，便携式装置101可以维持环境102的三维模型，并且可以在用户在环境102内移动便携式装置101时跟踪便携式装置101在三维模型内的位置。
例如，图3C例示了根据本公开的实施方式的便携式装置101，其中在特写视图中以增强现实格式标识资产192A。在这种情况下，便携式装置101在资产192A附近，但尚未与虚拟检查点对准以便捕获其热图像。例如，如图3C所示，资产192A仅部分地在便携式装置101的视场(例如，场景190)内。
因此，在方框235中，用户对准便携式装置101，使得便携式装置101的位置与资产192A的位置对准(例如，红外成像子***110A的视场对应于资产192A的位置的虚拟检查点)。在这点上，用户可利用资产192A的实时扩增真实呈现来调节便携式装置101的位置，直到资产192A完全示出于显示器178上为止。在一些实施方式中，便携式装置101可以在方框235中执行MSX处理，以辅助用户将便携式装置101相对于一个或多个资产192对准(例如，以提供覆盖在可见光图像上的引导轮廓)，从而辅助用户对准。关于方框420进一步讨论了这种处理的示例。在一些实施方式中，便携式装置101可以提供触觉、听觉和/或视觉反馈，以引导用户对准便携式装置101。
例如，图3D例示了根据本公开的实施方式的成像***110，其中以增强现实格式标识的资产192A被对准以便捕获热图像。如图3D所示，资产192A的增强现实呈现被完全包含在显示器178的边界内。另外，在显示器178上进一步标识资产192A在增强现实图形“1”内的精确物理位置(例如，标记为GR.FS120)。由此，应当理解，便携式装置101现在充分对准以出于温度监测目的而捕获资产192A的一个或多个热图像。在一些实施方式中，便携式装置101可通过捕获和分析适当的热或可见光图像来验证与资产192A的对准。例如，便携式装置101可以捕获资产192A的一个或多个热或可见光图像，并且向用户指示何时已经收集了足够的数据。
在一些实施方式中，可以基于检测到的热便携式装置101的位置针对热或可见光图像捕获自动设置便携式装置101的各种设置(例如，积分时间、快门速度和/或其他设置)。在一些实施方式中，可针对热图像的不同部分设置特定热设置(例如，针对不同位置的不同发射率设置)，并且可设置各种热测量操作(例如，热图像中的点、框和线测量)。在各种实施方式中，这些设置中的任何一个可以是预定义的和/或可以使用先前测量作为模板来设置。因此，可有效地以高精度捕获所捕获的资产192A的图像。
在方框240中，在执行对准之后，便携式装置101使用热成像子***110A捕获资产192A的热图像。在方框245中，便携式装置101捕获标识便携式装置101在热图像捕获时的位置的位置数据。在一些实施方式中，方框245可以在方框240期间(例如，同时或时间上紧邻)执行。在方框245中，也可以根据期望捕获诸如时间和/或其它信息的附加信息。因此，便携式装置101和/或远程***198可以存储所捕获的热图像、从热图像提取的一个或多个温度信息(例如，测量)和/或与热图像捕获相关联的附加信息(例如，位置、时间和/或其它信息)，以提供资产192A的检查记录。
在一些实施方式中，方框245可以包括记录与所捕获的热图像中的各个像素相关联的位置(例如，x、y、z坐标或其他形式的空间位置)和时间。因此，如本文进一步讨论的，与各个像素相关联的温度可以被映射在环境102的多维表示中。
在一些实施方式中，在逻辑装置168例如基于检测到的便携式装置101的位置、对所捕获的资产192A的一个或多个实时热或可见光图像的分析和/或以其它方式检测到热成像器164A与资产192A对准之后，便携式装置101可自动执行方框240和/或245(例如，由逻辑装置168触发)。在一些实施方式中，方框240和/或245可以由便携式装置101响应于用户对一个或多个用户控件170的操作来执行。
在方框250中，便携式装置101在显示器178上呈现所捕获的热图像，以便用户查看。例如，图3E例示了根据本公开的实施方式的显示资产192A的捕获的热图像320的便携式装置101。
在方框255中，便携式装置101分析所捕获的热图像320。这种分析可以包括例如从热图像320提取温度信息(例如，与热图像320的一个或多个像素相关联的温度)并且将这种信息与预期温度范围和/或历史温度数据进行比较。例如，在各种实施方式中，可以处理热图像320，使得空间中的不同点可以用图表表示或预测趋势，图像可以在视觉上与基线进行比较，并且可以由适当的机器学习过程来处理。
在一些实施方式中，方框255的分析可包括将所捕获的热图像320与资产192A的先前捕获的热图像和/或可见光图像进行比较，以确定资产192A是否被准确地捕获。
在方框260中，便携式装置101在显示器178上向用户提供分析结果。例如，在一些实施方式中，便携式装置101可以显示从热图像320提取的与资产192A相关联的温度信息。
在一些实施方式中，便携式装置101还可显示与资产192A相关联的历史温度数据，以允许用户快速确定当前温度是否在正常或预期历史温度范围内(例如，当便携式装置101定位在资产192A的位置处时)。例如，图3F例示了根据本公开的实施方式的在显示器178上呈现与资产192A相关联的历史温度读数330和当前温度读数332的便携式装置101。同样在方框260中，如果与资产192A相关联的温度在预期范围之外，则便携式装置101可适当地显示一个或多个通知(例如，警告、警报和/或其它信息)以将其通知给用户。在一些实施方式中，这种信息可以以增强现实格式呈现给用户。
在方框265中，便携式装置101将所捕获的热图像320、位置数据、时间和/或其它信息上传到远程***198，以便存储和进一步处理。
在方框270中，便携式装置101确定是否还有任何另外资产192要检查。例如，在上文讨论的场景中，资产192A已经检查，但资产192B及192C仍待检查。在这种情况下，过程返回到方框230，其中，用户沿着路线312移动到下一个资产(例如，资产192B)的位置。在检查了所有资产之后，过程继续到方框275，其中，可以如本文进一步讨论的执行附加分析。
虽然主要关于由红外成像子***110A捕获热图像讨论了图2的过程，但是该过程还可以包括由可见光成像子***110B捕获资产192的可见光图像。例如，在一些实施方式中，在方框240中，在热图像的捕获期间(例如，同时或时间上紧邻)，也可以捕获可见光图像。在这点上，便携式装置101可同时(或接近同时)捕获同一资产192的热图像和可见光图像两者。在适当的情况下，可以以与关于热图像所讨论的类似的方式类似地显示、分析和/或上传可见光图像。因此，在一些实施方式中，远程***198可被提供有对应于同一资产192的热图像和可见光图像两者，以用于附加分析，如本文进一步讨论的。
图4例示了根据本公开的实施方式的对于针对一个或多个资产存储在远程***198的数据库199中的信息执行附加分析的过程。例如，图4的过程可以在图2的方框275中执行。
在方框405中，远程***198维护热图像、可见光图像和/或与所讨论的一个或多个资产192相关联的其他信息的数据库199。例如，图5例示了根据本公开的实施方式的针对资产192A存储在远程***198的数据库199中的信息。如图5所示，数据库199可以包括资产192A的各种信息，包括：与资产192A相关联的设备的描述性和状态信息510、历史温度读数330和当前温度读数332、最近热图像320、先前热图像530、用户评论540和具有其相关联的警报条件560的附加先前热图像550。附加信息(例如，位置信息、时间、可见光图像和/或其他信息)也可以被适当地存储。
方框410到425标识可以例如响应于提供给远程***198的用户查询而对数据库199中的信息执行的各种处理。尽管以顺序方式例示了特定处理，但是这仅是为了示例的目的，并且可以以任何期望的顺序执行任何期望的处理。而且，尽管这种处理主要讨论为由远程***198执行，但是图4中讨论的任何或所有操作都可以由便携式装置101、远程***198执行，和/或分布在它们之间。
在方框410中，如关于图3F讨论的，处理热图像520/530/550以提取温度测量并确定历史温度趋势。
在方框415中，相对于一个或多个先前热图像530/550处理最近热图像320，以识别一个或多个先前热图像530/550上的一个或多个温度差。因此，可以方便地查看最近热图像320的处理版本，以容易地确定与资产192A相关联的最近温度变化。
在方框420中，相对于一个或多个可见光图像(例如，如先前所讨论的捕获的)处理一个或多个热图像320/530/550，以生成包括热图像内容和可见光图像内容的组合图像。在一些实施方式中，在方框420中执行的处理可以包括在美国专利号8,520,970、美国专利号8,565,547、美国专利号8,749,635、美国专利号9,171,361、美国专利号9,635,285和/或美国专利号10,091,439中阐述的各种技术中的任何一种，据此通过引用将所有专利全文并入。在一些实施方式中，这种处理可以包括例如对比度增强处理(例如，也称为MSX处理、高对比度处理和/或融合处理)、真彩色处理、三重融合处理、阿尔法混合和/或其他适当的处理。
如所讨论的，方框245可以包括记录与所捕获的热图像的每个像素相关联的位置和时间。因此，在方框425中，处理一个或多个热图像320/530/550以提供与资产192A-C中的任何一个相关联的温度的四维(三维空间和时间)矩阵表示。因此，与各个像素相关联的温度可以在四维环境中映射和查看。
在方框430中，由便携式装置101和/或远程***198显示方框410至425的处理结果。
鉴于本公开，应当理解，本文提供的各种技术允许低成本便携式装置101的用户方便地执行温度测量，而不需要大量的硬件传感器或相关设备。另外，这种技术不需要用户的大量训练。例如，可以在便携式装置101和/或远程***198中实施适当的处理和人工智能，以提供针对独特使用情况的目标应用，这些目标应用降低了使用热成像所需的指导和教育的门槛。
在一些实施方式中，提供给用户的增强现实格式可以针对特定使用情况来定制。另外，提供给用户的指令310可以与高精度室内导航技术(例如，由位置传感器179提供)和用于用户通过环境102的自然导航的适当导航过程交互。
在适用情况下，可以使用硬件、软件或硬件和软件的组合来实施由本公开提供的各种实施方式。而且，在适用情况下，在不脱离本公开的精神的情况下，可以将本文阐述的各种硬件部件和/或软件部件组合成包括软件、硬件和/或这两者的复合部件。在适用情况下，在不脱离本公开的精神的情况下，可以将本文阐述的各种硬件部件和/或软件部件分成包括软件、硬件或这两者的子部件。另外，在适用情况下，设想软件部件可以被实施为硬件部件，反之亦然。
根据本公开的软件，诸如程序代码和/或数据，可以存储在一个或多个计算机可读介质上。还设想本文识别的软件可以使用联网和/或处于其他方式的一个或多个通用或专用计算机和/或计算机***来实施。在适用情况下，本文描述的各种步骤的顺序可以更改、组合成复合步骤和/或分成子步骤，以提供本文描述的特征。
上述实施方式例示但不限制本发明。还应理解，大量修改和变更根据本发明的原理是可以的。因此，本发明的范围仅由以下权利要求限定。

Claims (20)

1.一种方法，包括：
在便携式装置处接收与处于环境中的地点处的资产相关联的检查指令；
在所述便携式装置处以增强现实格式显示所述资产，以将所述便携式装置的用户引导到所述地点；
当与所述便携式装置相关联的热成像器与所述资产对准时，通过所述热成像器捕获所述资产的热图像；以及
从所述热图像提取与所述资产相关联的至少一个温度测量。
2.根据权利要求1所述的方法，还包括：
将所述便携式装置平移通过所述环境到达所述地点；
在所述平移期间检测所述便携式装置的位置；以及
响应于所检测到的位置以所述增强现实格式更新所述资产，以进一步引导所述用户。
3.根据权利要求1所述的方法，还包括：
在所述热图像的捕获期间检测时间和所述便携式装置的三维位置；以及
将所述温度测量、所述时间和所述三维位置存储在数据库中作为所述资产的检查记录。
4.根据权利要求1所述的方法，其中：
所述提取包括提取与所述热图像的对应像素相关联的多个温度测量；
每个像素与所述环境中的对应的三维位置和时间相关联；并且
所述方法还包括：生成将所述温度测量与所述对应的三维位置和时间相关联的四维矩阵。
5.根据权利要求1所述的方法，其中，所述方法还包括：
检测所述热成像器与所述资产的对准；
响应于所检测到的对准，调节所述热成像器的设置；并且
其中，通过所述便携式装置响应于所检测到的对准来执行所述捕获。
6.根据权利要求1所述的方法，还包括：在所述便携式装置上显示所述温度测量在预期范围和/或与所述资产相关联的多个先前温度测量之外的通知。
7.根据权利要求1所述的方法，还包括：
将所述热图像与所述资产的所捕获的先前热图像进行比较；
处理所述热图像，以识别所述热图像与所述先前热图像之间的温度差；以及
显示处理后的热图像。
8.根据权利要求1所述的方法，还包括：针对多个资产重复根据权利要求1所述的方法。
9.根据权利要求1所述的方法，其中，所述成像装置是手持式热成像相机。
10.根据权利要求1所述的方法，其中，所述环境是工业设施，并且所述资产是温度敏感工业设备。
11.一种***，包括：
便携式装置，该便携式装置包括：
热成像器；
显示器；以及
逻辑装置，该逻辑装置被配置为：
接收与处于环境中的地点处的资产相关联的检查指令；
在所述显示器上以增强现实格式呈现所述资产，以将所述便携式装置的用户引导到所述位置；
操作所述热成像器，以在所述热成像器与所述资产对准时捕获所述资产的热图像；和
从所述热图像提取与所述资产相关联的至少一个温度测量。
12.根据权利要求11所述的***，其中：
所述便携式装置被配置为被平移通过所述环境到达所述地点；并且
所述逻辑装置被配置为：
检测所述便携式装置在被平移时的位置；并且
响应于所检测到的位置来以所述增强现实格式更新所述资产，以进一步引导所述用户。
13.根据权利要求11所述的***，其中：
所述便携式装置被配置为在所述热图像的捕获期间检测时间和所述便携式装置的三维位置；并且
所述***还包括数据库，该数据库被配置为将所述温度测量、所述时间和所述三维位置存储在数据库中作为所述资产的检查记录。
14.根据权利要求11所述的***，其中：
所述逻辑装置被配置为提取与所述热图像的对应像素相关联的多个温度测量；
每个像素与所述环境中的对应的三维位置和时间相关联；并且
所述***被配置为生成将所述温度测量与所述对应的三维位置和时间相关联的四维矩阵。
15.根据权利要求11所述的***，其中，所述逻辑装置被配置为：
检测所述热成像器与所述资产的对准；
响应于所检测的对准，调节所述热成像器的设置；和
响应于检测到的对准而触发所述热图像的所述捕获。
16.根据权利要求11所述的***，其中，所述便携式装置被配置为在所述显示器上呈现所述温度测量在预期范围和/或与所述资产相关联的多个先前温度测量之外的通知。
17.根据权利要求11所述的***，其中，所述***被配置为：
将所述热图像与所述资产的所捕获的先前热图像进行比较；
处理所述热图像，以识别所述热图像与所述先前热图像之间的温度差；和
在所述显示器上呈现处理后的热图像。
18.根据权利要求11所述的***，其中，所述逻辑装置被配置为针对多个资产重复所述接收、所述呈现、所述操作和所述提取的操作。
19.根据权利要求11所述的***，其中，所述成像装置是手持式热成像相机。
20.根据权利要求11所述的***，其中，所述环境是工业设施，并且其中，所述资产是温度敏感工业设备。
CN202180042833.2A 2020-03-31 2021-03-30 热成像资产检查***和方法 Pending CN115701297A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063003111P 2020-03-31 2020-03-31
US63/003111 2020-03-31
PCT/US2021/025011 WO2021202616A1 (en) 2020-03-31 2021-03-30 Thermal imaging asset inspection systems and methods

Publications (1)

Publication Number Publication Date
CN115701297A true CN115701297A (zh) 2023-02-07

Family

ID=75581702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180042833.2A Pending CN115701297A (zh) 2020-03-31 2021-03-30 热成像资产检查***和方法

Country Status (4)

Country Link
US (1) US20230024701A1 (zh)
EP (1) EP4127874A1 (zh)
CN (1) CN115701297A (zh)
WO (1) WO2021202616A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4273667A1 (en) * 2022-05-02 2023-11-08 Siemens Aktiengesellschaft Augmented reality system
WO2024077090A1 (en) * 2022-10-05 2024-04-11 Flir Systems Ab Image classification and comparison for asset inspection systems and methods

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520970B2 (en) 2010-04-23 2013-08-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
US8749635B2 (en) 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US9171361B2 (en) 2010-04-23 2015-10-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US10853647B2 (en) * 2018-07-12 2020-12-01 Dell Products, L.P. Environmental safety notifications in virtual, augmented, and mixed reality (xR) applications
KR20200030317A (ko) * 2018-09-12 2020-03-20 이익형 열화상카메라 및 iot센서를 활용한 송배전설비 현장점검 증강현실 플랫폼

Also Published As

Publication number Publication date
EP4127874A1 (en) 2023-02-08
US20230024701A1 (en) 2023-01-26
WO2021202616A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
US20230024701A1 (en) Thermal imaging asset inspection systems and methods
CN110212451B (zh) 一种电力ar智能巡检装置
US9176990B2 (en) Visual image annotation, tagging of infrared images, and infrared image linking
US10732123B2 (en) Inspection routing systems and methods
KR101985712B1 (ko) 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템
JP2015001756A (ja) 状態変化管理システム、状態変化管理サーバ及び状態変化管理端末
US20210344833A1 (en) Inspection workflow using object recognition and other techniques
JP2017162103A (ja) 点検作業支援システム、点検作業支援方法、点検作業支援プログラム
US20200059623A1 (en) Gas Detection Device, Information Processing Device, And Program
JP2017069963A (ja) 表示盤や操作盤のデータ収集システム、装置、方法、プログラムおよび記録媒体
JP2018077837A (ja) 位置認識方法およびシステム、ならびに異常判定方法およびシステム
WO2018156970A1 (en) Real-time detection of periodic motion systems and methods
JP2022054521A (ja) 巡視点検作業評価システム、巡視点検作業評価装置、操作端末、位置検出端末、及び巡視点検作業評価方法
US20200059624A1 (en) Gas Detection Device, Information Processing Device, And Program
CN113227719A (zh) 测定***、测定装置、测定方法以及程序
JP2018106439A (ja) 計測支援装置
JP2015181290A (ja) カメラ計画および位置決めのための統合された方法
JP6818795B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
WO2021002263A1 (ja) ガス検出端末装置
KR20220028547A (ko) 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법
US20230401859A1 (en) Management apparatus, management method, management system, computer program and recording medium
WO2024073746A1 (en) Camera alignment using reference image for asset inspection systems and methods
WO2024077090A1 (en) Image classification and comparison for asset inspection systems and methods
WO2018158818A1 (ja) 点検支援装置、点検支援方法および記録媒体
WO2021205574A1 (ja) 施設管理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination