CN110084092B - 用机器学习算法进行温度测量的方法和*** - Google Patents

用机器学习算法进行温度测量的方法和*** Download PDF

Info

Publication number
CN110084092B
CN110084092B CN201910073450.6A CN201910073450A CN110084092B CN 110084092 B CN110084092 B CN 110084092B CN 201910073450 A CN201910073450 A CN 201910073450A CN 110084092 B CN110084092 B CN 110084092B
Authority
CN
China
Prior art keywords
emissivity
temperature
image
data
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910073450.6A
Other languages
English (en)
Other versions
CN110084092A (zh
Inventor
王光华
B.布莱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN110084092A publication Critical patent/CN110084092A/zh
Application granted granted Critical
Publication of CN110084092B publication Critical patent/CN110084092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • G01J5/605—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature using visual determination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0003—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiant heat transfer of samples, e.g. emittance meter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0074—Radiation pyrometry, e.g. infrared or optical thermometry having separate detection of emissivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • G01J2005/607—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature on two separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G01J5/485—Temperature profile

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radiation Pyrometers (AREA)
  • Image Analysis (AREA)

Abstract

一种方法包括捕获图像，以及对捕获的图像执行区域检测。区域检测包括识别在捕获的图像中表示的对象。该方法进一步包括检测所识别的对象的发射率并基于对象的检测到的发射率来确定对象的温度。

Description

用机器学习算法进行温度测量的方法和***
技术领域
本发明的实施例涉及基于对象的图像的处理来检测对象的温度。
背景技术
根据常规技术，如果已经确立了对象的发射率，则可以通过分析表示对象的并且当前经由数字相机获得的图像数据来测量对象的温度。众所周知，对象表面的发射率对应于表面在将能量发射为热辐射方面的效果。
然而，当存在若干在图像中表示的不同对象时，由于在图像中的各种对象之间可能存在的发射率的差异，当前实践的技术可能无法为对象提供准确的温度测量。
发明内容
在一些实施例中，一种设备包括数字相机和耦合到数字相机的处理器，以从数字相机接收图像数据。设备进一步包括与处理器通信的存储器。存储器存储程序指令，并且处理器与程序指令一起可操作以对由图像数据表示的图像执行区域检测。区域检测包括识别在图像中表示的对象。处理器进一步可操作以检测对象的发射率并基于检测到的对象的发射率来确定对象的温度。
本发明还提供如下技术方案：
技术方案1. 一种方法，包括：
捕获图像；
对捕获的图像执行区域检测，所述区域检测包括识别在所述捕获的图像中表示的对象；
检测识别的对象的发射率；以及
基于所述对象的检测的发射率来确定所述对象的温度。
技术方案2. 如技术方案1所述的方法，其中所述对象的所述识别包括使用机器学习算法。
技术方案3. 如技术方案2所述的方法，其中所述机器学习算法包括具有卷积神经网络的区域提议R-CNN。
技术方案4. 如技术方案1所述的方法，其中：
所述识别的对象是第一对象；
所述区域检测包括识别在所述捕获的图像中表示的第二对象，所述第二对象不同于所述第一对象；
所述方法进一步包括：
检测所述第二对象的发射率；以及
基于所述第二对象的检测的发射率来确定所述第二对象的温度；
其中所述第二对象的确定的温度不同于所述第一对象的确定的温度。
技术方案5. 如技术方案4所述的方法，其中所述区域检测包括识别在所述捕获的图像中表示的第三对象，所述第三对象不同于所述第一对象和所述第二对象；
所述方法进一步包括：
检测所述第三对象的发射率；以及
基于所述第三对象的检测的发射率来确定所述第三对象的温度；
其中所述第三对象的确定的温度不同于所述第二对象的所述确定的温度，并且还不同于所述第一对象的所述确定的温度。
技术方案6. 如技术方案5所述的方法，进一步包括：
使用所述第一对象、所述第二对象和所述第三对象的所述温度的结果来合成所述捕获的图像的温度图；所述第一对象、所述第二对象和所述第三对象在所述温度图中表示。
技术方案7. 如技术方案1所述的方法，其中所述捕获的图像至少部分是红外图像。
技术方案8. 如技术方案7所述的方法，其中所述捕获的图像部分是可见光图像。
技术方案9. 如技术方案1所述的方法，其中所述捕获的图像是由两个数字相机的相应输出形成的合成图像。
技术方案10. 一种光学温度检测设备，包括：
波长分离器；
数字相机，定向成通过所述波长分离器捕获对象的图像；
信号处理单元，与所述数字相机通信，以从所述数字相机接收图像数据；以及
发射率数据存储单元，与所述信号处理单元通信，以将发射率数据提供给所述信号处理单元。
技术方案11. 如技术方案10所述的设备，其中所述信号处理单元被配置为相对于接收的图像数据执行区域检测，所述区域检测包括识别所述对象。
技术方案12. 如技术方案11所述的设备，其中：
所述对象是第一对象；以及
所述区域检测包括识别由所述图像数据表示的第二对象。
技术方案13. 如技术方案12所述的设备，其中所述信号处理单元从所述发射率数据存储单元接收第一发射率数据和第二发射率数据；所述第一发射率数据指示所述第一对象的发射率；所述第二发射率数据指示所述第二对象的发射率。
技术方案14. 如技术方案13所述的设备，其中所述信号处理单元被配置为部分地基于所述第一发射率数据来确定所述第一对象的温度，并且部分地基于所述第二发射率数据来确定所述第二对象的温度。
技术方案15. 如技术方案10所述的设备，进一步包括：
定时单元，耦合到所述数字相机，以用于控制所述数字相机捕获关于所述对象的图像数据所在的定时。
技术方案16. 一种光学温度检测设备，包括：
数字相机；
处理器，耦合到所述数字相机，以从所述数字相机接收图像数据；以及
存储器，与所述处理器通信，所述存储器存储程序指令，所述处理器与所述程序指令一起可操作以执行如下功能：
对由所述图像数据表示的图像执行区域检测，所述区域检测包括识别在所述图像中表示的对象；
检测所识别的对象的发射率；以及
基于所述对象的检测的发射率来确定所述对象的温度。
技术方案17. 如技术方案16所述的设备，其中所述对象的所述识别包括使用机器学习算法。
技术方案18. 如技术方案17所述的设备，其中所述使用所述机器学习算法包括训练所述机器学习算法。
技术方案19. 如技术方案17所述的设备，其中所述使用所述机器学习算法包括以推理模式操作所述机器学习算法。
技术方案20. 如技术方案17所述的设备，其中所述机器学习算法包括具有卷积神经网络的区域提议R-CNN。
技术方案21. 如技术方案16所述的设备，其中：
所述识别的对象是第一对象；
所述区域检测包括识别在所述图像数据中表示的第二对象；
所述处理器进一步与所述程序指令一起可操作以执行如下功能：
检测所述第二对象的发射率；以及
基于所述第二对象的检测的发射率来确定所述第二对象的温度。
技术方案22. 如技术方案21所述的设备，其中所述区域检测包括识别在所述图像数据中表示的第三对象；
所述处理器进一步与所述程序指令一起可操作以执行如下功能：
检测所述第三对象的发射率；以及
基于所述第三对象的检测的发射率来确定所述第三对象的温度。
附图说明
图1是光学温度测量***的框图。
图2是图示光学温度测量***的备选实施例的框图。
图3是根据一些实施例的操作的流程图。
图4是根据一些实施例的计算***的框图。
具体实施方式
本发明的一些实施例涉及高温测定，并且具体地说，涉及采用机器学习来识别在由数字相机捕获的图像内表示的对象的高温测定设备。对于以这种方式识别的对象，对指示许多对象的发射率的数据库进行参考。通过对数据库的参考，查找所识别对象的发射率。用现在已知对象的发射率，采用高温测定技术来确定对象的温度。
图1是光学温度测量***100的框图。如图1所示，光学温度测量***100包括数字相机102。经由穿过光窗口106和波长分离装置108的光轴104，光学温度测量***100捕获目标设备安装装备（target equipment installation）的图像，这在110处示意性地示出。目标设备安装装备110包括若干不同的对象，例如包括一个或多个管道、阀门、外壳、罩等。目标设备安装装备110内的对象在112、114、116处示意性地表示。
光学温度测量***100进一步包括信号处理单元120，其可操作地耦合到数字相机102以接收由数字相机102生成的图像数据。将认识到，由信号处理单元120从数字相机102接收的图像数据可以表示目标设备安装装备110的一个或多个图像，并且因此可以表示对象112、114、116。
光学温度测量***100进一步包括发射率数据库122。发射率数据库122可操作地耦合到信号处理单元120，以允许信号处理单元120检索存储在发射率数据库122中的发射率数据。
对于一些应用，光学温度测量***100还可以包括定时单元124。定时单元124可以耦合到数字相机102，以控制数字相机102捕获目标设备安装装备110的图像所在的定时。
数字相机102可以是红外相机、近红外相机、长波长红外相机和/或扩展红外相机。
波长分离装置108可以是或可包括光学滤波器、马赛克滤波器阵列、光谱仪、二向色镜、诸如色轮的旋转滤波器等。在一些实施例中，波长分离装置108可以与数字相机102物理集成。
在一些实施例中，信号处理单元120可以在其硬件方面用常规计算机或数据处理设备或组件（诸如图4中所示并且下面描述的计算机配置）实现。在一些实施例中，发射率数据库122可以被托管在与信号处理单元120集成的硬件中。如下所述，可以在信号处理单元120上运行图像分析、机器学习/对象识别和高温测定算法。
存储在发射率数据库122中的发射率数据可以从这种数据的商业上可获得源来获得，和/或可以通过为确立各种对象的发射率而进行的测量得出。
定时单元124（如果存在的话）例如可服务于使由数字相机102对图像的捕获与旋转或振荡感兴趣的对象的旋转或振荡同步的功能。
目标设备安装装备110例如可以是发电设备或喷气引擎的项目（列出了许多可能示例中的两个）。
图2是图示光学温度测量***的备选实施例（引用标记100a）的框图。图2的光学温度测量***100a与光学温度测量***100之间的主要差异在于，前者采用两个数字相机（在图2中以102-1和102-2指示）而不是一个。波长分离装置108-1与图2中所示的数字相机102-1关联，并且波长分离装置108-2与图2中所示的数字相机102-2关联。光窗口106-1与数字相机102-1关联，并且光窗口106-2与数字相机102-2关联。数字相机102-1和102-2两者都被定向为捕获目标设备安装装备110及其关联的对象112、114、116的图像。
尽管为了简化附图的呈现而未在图2中示出，但是光学温度测量***100a还应该被理解为包括耦合到两个数字相机102-1、102-2的信号处理单元。也未示出但也存在的是上面提到的耦合到信号处理单元的发射率数据库。更进一步地，定时单元可以存在，并且可以耦合到两个数字相机。
在光学温度测量***100a的一些示例中，两个数字相机可具有重叠的波长范围。在一些示例中，一个可以是可见光颜色（RGB）相机，而另一个可以是红外相机。
图3是根据一些实施例的操作的流程图。
在302处，目标设备安装装备110的热图像由数字相机102（或者由相机102-1和102-2，可视情况而定）捕获。如果在光学温度测量***中有两个相机，则目标设备安装装备110的合成图像可以从由通过两个相机提供的相应图像形成。所讨论的一个或多个图像可以被分成波长/波长范围，如在图3中的304处所示。
在306处，信号处理单元120可以采用机器学习算法（该算法可能先前已经训练过）和多色信息来提供对于从（一个或多个）数字相机以图像数据形式供应给信号处理单元120的图像的区域/对象提议。在一些实施例中，信号处理单元120可以采用诸如R-CNN（具有卷积神经网络的区域提议）的技术。相应地可以对信号处理单元120进行编程。在区域/对象提议之后，信号处理单元120可以为每个区域或对象形成扭曲图像，如在图3中在308处所指示的。然后可以应用机器学习算法（框310，图3），导致在306处提议的每个对象的分类和/或识别（框312）。
现在将提供关于在图3中示出的在框306、308、310和312处采用的（一个或多个）机器学习算法的进一步信息。一般而言，由（一个或多个）机器学习算法执行的功能是对象检测和对象分类。框306、308、310和312的功能可以被应用在单个集成算法中，或者应用在两个或更多个单独的算法中。一个或多个机器学习算法可以各具有两种模式 - 训练和推理。在训练模式中，可以从头开始训练（一个或多个）算法，或者根据具有收集的训练数据的类似应用中的现有训练模型优化（一个或多个）算法。在推理模式中，将训练的模型应用于新的可用数据（图像数据）以执行对象检测和对象分类。
在一些示例实施例中，（一个或多个）机器学习算法可以使用R-CNN、快速R-CNN和/或更快的R-CNN用于进行对象检测和对象分类。在又一些其它实施例中，能独自或组合使用能执行对象检测和/或对象分类的任何机器学习算法来执行框306、308、310和312的功能。
继续参考图3，在框314处，信号处理单元120可以访问发射率数据库122以检索对应于在框312处识别的对象之一的存储的发射率数据。对应于所识别的对象的发射率数据可以指示所识别的对象的发射率。通过从发射率数据库122检索对象的发射率数据，可以说信号处理单元120已经检测到对象的发射率。
在对象的发射率现在经由访问发射率数据库122而对信号处理单元120可用的情况下，信号处理单元现在可以基于来自（一个或多个）数字相机的图像数据并基于对象的发射率来参与高温测定处理，以确定对象的温度图（框316）。这可能涉及确定对象的至少一个温度。框314和316的处理可以由信号处理单元120相对于在框312处识别的每个对象/区域来执行。因此，信号处理单元可以确定对于每个对象（在此示例中，对于对象112、114、116中的每一个）的温度图。在一些情况下，如由信号处理单元120所确定的三个对象112、114、116的温度可以全都彼此不同。
根据在316处确定的对象温度图，信号处理单元120可以合成（框318）由（一个或多个）数字相机捕获的图像中的所有区域/对象的温度图。此温度图可以用于监测目标设备安装装备110。例如，温度图可以作为输入被提供到监测功能（未示出），监测功能可以在持续的基础上确定目标设备安装装备是否在正常操作。将认识到，信号处理单元120可以以规则的间隔从（一个或多个）数字相机接收图像数据，并且可以以那些间隔执行上述图像处理和高温测定，以便定期向监测功能提供更新的温度图。
用如本文所描述的光学温度测量***，尽管对象具有不同的发射率，但是提供相对于单个图像内的对象的准确的温度分布测量可以是实际的。因为经由对象识别和相关发射率数据的检索，对象的正确发射率对信号处理单元120可以是已知的，因此可以改进相对于每个对象的温度测量的准确度。这种益处通过自动对象检测和分类来促进。在一些应用中，可以识别具有相同发射率的两个或更多个对象。例如，在一些应用中，可以将两个或更多个人类识别为图像中的对象。
本文描述的光学温度测量***的另一个优点是，信号处理单元120同时识别和测量相同图像中的若干不同对象的温度。通过对象检测和温度监测，有可能降低误警率并降低检测警报情况的失败。通过使用本文公开的技术可以可靠地检测诸如泄漏的警报情况。本文描述的光学温度测量***还可以促进具有复杂部件的已安装资产的在线监测。
除了监测已安装资产之外，本文描述的图像处理/高温测定处理还可以应用于诸如自动驾驶车辆和目标获取的领域。
结合上面所讨论的框306-312，除了R-CNN之外或者代替R-CNN，可以采用用于对象分类的其它类型的机器学习。例如，可以采用所谓的“快速R-CNN”或“更快的R-CNN”。
图4中所示的***400是图1中所示的信号处理单元120和发射率数据库122的示例面向硬件的表示。继续参考图4，***400包括可操作地耦合到通信装置420、数据存储装置430、一个或多个输入装置440、一个或多个输出设备450和存储器460的一个或多个处理器410。通信装置420可以促进与外部装置（诸如设备监测***（未示出）和/或一个或多个数字相机）的通信。（一个或多个）输入装置440例如可以包括键盘、小键盘、鼠标或其它指示装置、麦克风、旋钮或开关、红外（IR）端口、坞站和/或触摸屏。（一个或多个）输入装置440例如可以用于将信息输入到***400。（一个或多个）输出装置450例如可以包括显示器（例如，显示屏）、扬声器和/或打印机。
数据存储装置430可以包括任何适当的持续存储装置，包括磁存储装置（例如，磁带、硬盘驱动器和闪速存储器）、光学存储设备、只读存储器（ROM）装置等的组合，而存储器460可以包括随机存取存储器（RAM）。
数据存储装置430可以存储软件程序，软件程序包括由（一个或多个）处理器410执行以使***400执行本文描述的过程中的任何一个或多个的程序代码。实施例不限于通过单个设备执行这些过程。例如，数据存储装置430可以存储机器学习/对象分类软件程序432，该程序提供与上面结合图3提到的图像处理步骤对应的功能性。
数据存储装置430还可以存储图像操纵软件程序434，该程序也可以在上面结合图3提到的图像处理中发挥作用。此外，数据存储装置430可以存储温度确定软件程序436，该程序可以控制（一个或多个）处理器410执行如上所述与图3的过程的高温测定方面相关的处理。而且，数据存储装置430可以存储温度图合成软件程序438，该程序可以涉及上面结合图3中的框318描述的功能性。继续参考图4，数据存储装置430可以存储发射率数据库439，该数据库可以对应于如上面所讨论的发射率数据库122。数据存储装置430可以存储用于提供附加功能性和/或对于***400的操作所必需的其它数据和其它程序代码，诸如装置驱动、操作***文件、对数字相机的一个或多个接口等。
技术效果是经由高温测定处理结合基于机器学习的对象识别来提供改进的温度检测。
前述图解表示用于描述根据一些实施例的过程的逻辑架构，并且实际实现可以包括以其它方式布置的更多或不同的组件。其它拓扑可以结合其它实施例使用。而且，本文描述的每个***可以由经由任何数量的其它公用和/或专用网络通信的任何数量的装置来实现。此类计算装置中的两个或更多个可以彼此远程定位，并且可以经由（一个或多个）网络和/或专用连接的任何已知方式彼此通信。每个装置可以包括适合于提供本文描述的功能以及任何其它功能的任何数量的硬件和/或软件元件。例如，在一些实施例的实现中使用的任何计算装置可以包括用于执行程序代码使得计算装置如本文所描述的进行操作的处理器。
本文讨论的所有***和过程都可以用存储在一个或多个非暂态计算机可读介质上的程序代码来实施。这种介质例如可以包括软盘、CD-ROM、DVD-ROM、闪存驱动器、磁带和固态随机存取存储器（RAM）或只读存储器（ROM）存储单元。实施例因此不限于硬件和软件的任何特定组合。
本文描述的实施例仅仅用于说明目的。相关领域的普通技术人员可以认识到，可以用对上面描述的实施例的修改和变更来实践其它实施例。
部件列表
附图标记             描述
100、100a             光学温度测量***
102、102-1、102-2      数字相机
106、106-1、106-2      光窗口
108、108-1、108-2      波长分离装置
120                  信号处理单元
122                  发射率数据库
124                  定时单元
400                  ***
410                  处理器
420                  通信装置
430                  数据存储装置
440                  输入装置
450                  输出装置
460                  存储器。

Claims (22)

1.一种方法，包括：
捕获图像；
对捕获的图像执行区域检测，所述区域检测包括识别在所述捕获的图像中表示的对象；
检测识别的对象的发射率；以及
基于所述对象的检测的发射率来确定所述对象的温度，
其中所述检测步骤包括基于识别所述对象的结果从发射率数据存储查找发射率数据。
2.如权利要求1所述的方法，其中，所述对象的所述识别包括使用机器学习算法。
3.如权利要求2所述的方法，其中，所述机器学习算法包括具有卷积神经网络的区域提议R-CNN。
4.如权利要求1所述的方法，其中：
所述识别的对象是第一对象；
所述区域检测包括识别在所述捕获的图像中表示的第二对象，所述第二对象不同于所述第一对象；
所述方法进一步包括：
检测所述第二对象的发射率；以及
基于所述第二对象的检测的发射率来确定所述第二对象的温度；
其中所述第二对象的确定的温度不同于所述第一对象的确定的温度。
5.如权利要求4所述的方法，其中，所述区域检测包括识别在所述捕获的图像中表示的第三对象，所述第三对象不同于所述第一对象和所述第二对象；
所述方法进一步包括：
检测所述第三对象的发射率；以及
基于所述第三对象的检测的发射率来确定所述第三对象的温度；
其中所述第三对象的确定的温度不同于所述第二对象的所述确定的温度，并且还不同于所述第一对象的所述确定的温度。
6.如权利要求5所述的方法，进一步包括：
使用所述第一对象、所述第二对象和所述第三对象的所述温度的结果来合成所述捕获的图像的温度图；所述第一对象、所述第二对象和所述第三对象在所述温度图中表示。
7.如权利要求1所述的方法，其中，所述捕获的图像至少部分是红外图像。
8.如权利要求7所述的方法，其中，所述捕获的图像部分是可见光图像。
9.如权利要求1所述的方法，其中，所述捕获的图像是由两个数字相机的相应输出形成的合成图像。
10.一种光学温度检测设备，包括：
波长分离器；
数字相机，定向成通过所述波长分离器捕获对象的图像；
信号处理单元，与所述数字相机通信，以从所述数字相机接收图像数据；以及
发射率数据存储单元，与所述信号处理单元通信，以将发射率数据提供给所述信号处理单元，
所述信号处理单元配置成基于识别所述对象的结果从所述发射率数据存储单元查找发射率数据。
11.如权利要求10所述的设备，其中，所述信号处理单元被配置为相对于接收的图像数据执行区域检测，所述区域检测包括识别所述对象。
12.如权利要求11所述的设备，其中：
所述对象是第一对象；以及
所述区域检测包括识别由所述图像数据表示的第二对象。
13.如权利要求12所述的设备，其中，所述信号处理单元从所述发射率数据存储单元接收第一发射率数据和第二发射率数据；所述第一发射率数据指示所述第一对象的发射率；所述第二发射率数据指示所述第二对象的发射率。
14.如权利要求13所述的设备，其中，所述信号处理单元被配置为部分地基于所述第一发射率数据来确定所述第一对象的温度，并且部分地基于所述第二发射率数据来确定所述第二对象的温度。
15.如权利要求10所述的设备，进一步包括：
定时单元，耦合到所述数字相机，以用于控制所述数字相机捕获关于所述对象的图像数据所在的定时。
16.一种光学温度检测设备，包括：
数字相机；
处理器，耦合到所述数字相机，以从所述数字相机接收图像数据；以及
存储器，与所述处理器通信，所述存储器存储程序指令，所述处理器与所述程序指令一起操作以执行如下功能：
对由所述图像数据表示的图像执行区域检测，所述区域检测包括识别在所述图像中表示的对象；
检测识别的对象的发射率；以及
基于所述对象的检测的发射率来确定所述对象的温度，
其中所述检测步骤包括基于识别所述对象的结果从发射率数据存储查找发射率数据。
17.如权利要求16所述的设备，其中，所述对象的所述识别包括使用机器学习算法。
18.如权利要求17所述的设备，其中，所述使用所述机器学习算法包括训练所述机器学习算法。
19.如权利要求17所述的设备，其中，所述使用所述机器学习算法包括以推理模式操作所述机器学习算法。
20.如权利要求17所述的设备，其中，所述机器学习算法包括具有卷积神经网络的区域提议R-CNN。
21.如权利要求16所述的设备，其中：
所述识别的对象是第一对象；
所述区域检测包括识别在所述图像数据中表示的第二对象；
所述处理器进一步与所述程序指令一起操作以执行如下功能：
检测所述第二对象的发射率；以及
基于所述第二对象的检测的发射率来确定所述第二对象的温度。
22.如权利要求21所述的设备，其中，所述区域检测包括识别在所述图像数据中表示的第三对象；
所述处理器进一步与所述程序指令一起操作以执行如下功能：
检测所述第三对象的发射率；以及
基于所述第三对象的检测的发射率来确定所述第三对象的温度。
CN201910073450.6A 2018-01-25 2019-01-25 用机器学习算法进行温度测量的方法和*** Active CN110084092B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/879878 2018-01-25
US15/879,878 US10823618B2 (en) 2018-01-25 2018-01-25 Methods and systems for temperature measurement with machine learning algorithm

Publications (2)

Publication Number Publication Date
CN110084092A CN110084092A (zh) 2019-08-02
CN110084092B true CN110084092B (zh) 2023-05-02

Family

ID=65138930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910073450.6A Active CN110084092B (zh) 2018-01-25 2019-01-25 用机器学习算法进行温度测量的方法和***

Country Status (4)

Country Link
US (1) US10823618B2 (zh)
EP (1) EP3518148A1 (zh)
CN (1) CN110084092B (zh)
CA (1) CA3029675C (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880472B1 (en) * 2019-06-12 2020-12-29 Air Products And Chemicals, Inc. Smart sensor measurement system
CN110411585B (zh) * 2019-08-05 2021-05-11 中国科学院光电技术研究所 一种高精度红外辐射测量方法
US12026952B2 (en) * 2019-10-09 2024-07-02 Volkswagen Aktiengesellschaft Multi-sensory measuring system and method for transportation vehicle operating systems
US10819923B1 (en) 2019-11-19 2020-10-27 Waymo Llc Thermal imaging for self-driving cars
CN111553910B (zh) * 2020-05-06 2022-03-25 哈尔滨工业大学 一种基于红外图像的大型实验装置电器设备热故障检测方法
CN111999001B (zh) * 2020-09-09 2022-07-08 中国南方电网有限责任公司超高压输电公司大理局 一种基于图像处理的换流站空冷器泄漏检测方法及***
US11971329B2 (en) * 2021-11-30 2024-04-30 General Electric Company Methods and apparatus to autonomously detect thermal anomalies
US11643943B1 (en) 2021-11-30 2023-05-09 General Electric Company Gimbal systems, apparatus, articles of manufacture and associated methods
CN117387778B (zh) * 2023-12-11 2024-04-02 合肥金星智控科技股份有限公司 一种测温方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5868496A (en) * 1994-06-28 1999-02-09 Massachusetts Institute Of Technology Non-contact surface temperature, emissivity, and area estimation
WO2001006453A1 (en) * 1999-07-16 2001-01-25 Verification Technologies, Inc. D/B/A Veritec Portable authentication device and method of authenticating products or product packaging
WO2011021175A2 (en) * 2009-08-18 2011-02-24 Ben Gurion University Of The Negev Research And Development Authority System and method for analyzing imaging data

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5165791A (en) * 1990-09-18 1992-11-24 Sumitomo Electric Industries, Ltd. Method and apparatus for measuring temperature based on infrared light
US5304809A (en) * 1992-09-15 1994-04-19 Luxtron Corporation Luminescent decay time measurements by use of a CCD camera
AU5348600A (en) * 1995-09-06 2000-10-19 3T True Temperature Technologies Method and apparatus for true temperature determination
IL117951A (en) * 1995-09-06 1999-09-22 3T True Temperature Technologi Method and apparatus for true temperature determination
US5963311A (en) * 1997-09-12 1999-10-05 Stratonics, Inc. Surface and particle imaging pyrometer and method of use
US6379038B1 (en) * 1998-06-22 2002-04-30 Ralph A. Felice Temperature determining device and process
US7239974B2 (en) * 2005-11-21 2007-07-03 Viaspace Security Inc. Explosive device detection based on differential emissivity
US8244025B2 (en) 2006-03-20 2012-08-14 Siemens Energy, Inc. Method of coalescing information about inspected objects
US7633066B2 (en) * 2006-05-22 2009-12-15 General Electric Company Multiwavelength pyrometry systems
US7961906B2 (en) * 2007-01-03 2011-06-14 Science Applications International Corporation Human detection with imaging sensors
FR2949220B1 (fr) 2009-08-21 2011-09-09 Snecma Procede et systeme de detection de l'ingestion d'un objet par un turboreacteur d'avion au cours d'une mission
EP2530442A1 (en) * 2011-05-30 2012-12-05 Axis AB Methods and apparatus for thermographic measurements.
US9658109B2 (en) * 2013-03-15 2017-05-23 Heptagon Micro Optics Pte. Ltd. Non-contact thermal sensor module
WO2014144255A2 (en) * 2013-03-15 2014-09-18 Matterfab Corp. Laser sintering apparatus and methods
CN103196564B (zh) * 2013-03-25 2015-04-29 北京航空航天大学 一种通过图像分割修正表面发射率的红外热成像测温方法
US9305345B2 (en) 2014-04-24 2016-04-05 General Electric Company System and method for image based inspection of an object
US9459153B2 (en) 2014-09-17 2016-10-04 General Electric Company Automated analytics systems and methods
US9796479B2 (en) 2015-02-13 2017-10-24 Bell Helicopter Textron Inc. Self-referencing sensors for aircraft monitoring
US10740898B2 (en) * 2015-06-29 2020-08-11 Quantum IR Technologies, LLC Methods and systems for hotspot detection
US20170091791A1 (en) 2015-09-25 2017-03-30 General Electric Company Digital power plant system and method
US20170195561A1 (en) 2016-01-05 2017-07-06 360fly, Inc. Automated processing of panoramic video content using machine learning techniques
US9996772B2 (en) * 2016-04-28 2018-06-12 International Business Machines Corporation Detection of objects in images using region-based convolutional neural networks
CN109937359A (zh) * 2016-09-15 2019-06-25 前视红外***股份公司 场景上的气体的检测
US10579877B2 (en) * 2017-01-09 2020-03-03 Allegro Artificial Intelligence Ltd System and method for selective image processing based on type of detected object
WO2018165038A1 (en) * 2017-03-06 2018-09-13 Miso Robotics, Inc. Augmented reality-enhanced food preparation system and related methods
DE102018127678A1 (de) * 2017-11-07 2019-05-09 Sigma Labs, Inc. Verfahren und Systeme zum Qualitätsrückschluss und zur Qualitätskontrolle bei additiven Herstellungsverfahren

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5868496A (en) * 1994-06-28 1999-02-09 Massachusetts Institute Of Technology Non-contact surface temperature, emissivity, and area estimation
WO2001006453A1 (en) * 1999-07-16 2001-01-25 Verification Technologies, Inc. D/B/A Veritec Portable authentication device and method of authenticating products or product packaging
WO2011021175A2 (en) * 2009-08-18 2011-02-24 Ben Gurion University Of The Negev Research And Development Authority System and method for analyzing imaging data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李天 ; .新形势下红外成像导引头目标检测识别共性技术分析.科技与创新.2016,(第19期),全文. *

Also Published As

Publication number Publication date
US10823618B2 (en) 2020-11-03
CA3029675C (en) 2021-06-15
US20190226913A1 (en) 2019-07-25
CN110084092A (zh) 2019-08-02
CA3029675A1 (en) 2019-07-25
EP3518148A1 (en) 2019-07-31

Similar Documents

Publication Publication Date Title
CN110084092B (zh) 用机器学习算法进行温度测量的方法和***
EP3531386B1 (en) Fire monitoring system
KR101758576B1 (ko) 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
US10937144B2 (en) Pipe feature identification using pipe inspection data analysis
US9224278B2 (en) Automated method and system for detecting the presence of a lit cigarette
JP5442261B2 (ja) スポーツ競技場におけるイベントの自動検出方法とシステム
AU2008228846B2 (en) A flare characterization and control system
US10430667B2 (en) Method, device, and computer program for re-identification of objects in images obtained from a plurality of cameras
CN112883819A (zh) 多目标跟踪方法、装置、***及计算机可读存储介质
JP5355446B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
WO2014010174A1 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
WO2007143642A2 (en) Method and system for the detection of removed objects in video images
CN104680145B (zh) 一种门的开关状态变化检测方法及装置
KR20180011794A (ko) 오브젝트 시각화 방법
JPWO2014050432A1 (ja) 情報処理システム、情報処理方法及びプログラム
CN113906436A (zh) 用于探测烟雾的方法和设备
KR20100025338A (ko) 영상 촬영을 통한 물체 추적 시스템 및 그 방법
JP2000258584A (ja) 現場点検装置
KR20140112285A (ko) 주차위치 안내시스템
RU2698157C1 (ru) Система поиска нарушений в порядке расположения объектов
CN114125274A (zh) 一种无人值守机房报警方法、***、存储介质及智能终端
CN112508946A (zh) 一种基于对抗神经网络的电缆隧道异常检测方法
JP4812099B2 (ja) カメラ位置検出方法
JP7511781B2 (ja) 監視カメラ画像解析システム
US12039712B2 (en) Underground infrastructure feature identification using multi-sensor inspection data analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant