CN112991376B - 红外图像中的设备轮廓标注方法及*** - Google Patents

红外图像中的设备轮廓标注方法及*** Download PDF

Info

Publication number
CN112991376B
CN112991376B CN202110369188.7A CN202110369188A CN112991376B CN 112991376 B CN112991376 B CN 112991376B CN 202110369188 A CN202110369188 A CN 202110369188A CN 112991376 B CN112991376 B CN 112991376B
Authority
CN
China
Prior art keywords
image
visible light
offset
infrared
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110369188.7A
Other languages
English (en)
Other versions
CN112991376A (zh
Inventor
王刚刚
王库
冯文澜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suirui Technology Tianjin Co ltd
Suirui Technology Group Co Ltd
Original Assignee
Suirui Technology Tianjin Co ltd
Suirui Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suirui Technology Tianjin Co ltd, Suirui Technology Group Co Ltd filed Critical Suirui Technology Tianjin Co ltd
Priority to CN202110369188.7A priority Critical patent/CN112991376B/zh
Publication of CN112991376A publication Critical patent/CN112991376A/zh
Application granted granted Critical
Publication of CN112991376B publication Critical patent/CN112991376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种红外图像中的设备轮廓标注方法及***，该方法包括：采集当前状态下的设备的可见光图像以及红外图像；将所述当前状态下的设备的可见光图像与可见光模板图像进行匹配，得到可见光图像特征匹配矩阵；计算所述当前状态下的设备的可见光图像的第一偏移量和第二偏移量；在预存的红外模板图像上进行设备轮廓标注，得到多个标注点的坐标；根据多个标注点的坐标、第一偏移量、第二偏移量、可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系确定出所述当前状态下的设备的红外图像中的设备轮廓上的多个点的坐标。本发明借助可见光图像来辅助红外图像来标注被测设备的轮廓，保证了工业现场测温设备轮廓标注的准确性。

Description

红外图像中的设备轮廓标注方法及***
技术领域
本发明是关于图像处理和机器视觉技术领域，特别是关于一种红外图像中的设备轮廓标注方法及***。
背景技术
在工业现场，例如发电厂或者水泥厂等，通常存在大量需要随时测温的设备，例如电机或者电缆接头等，其目的是为了确保设备不会因为温度过高而出现各种异常，例如不能正常运行、发生危险、引起火灾甚至发生***等。目前主要是两种测温方式，一种是由工人对需要测温的设备进行现场测温，来判断设备是否正常运行，由于工业现场普遍存在高温、高压、高噪声以及高辐射，工人长期处在这种恶劣环境中，对身体有极大损害，为了避免工人暴露在有害环境中，目前还有另外一种通过红外图像测温设备进行测温的测温方式，为了分辨被测的设备，还需要红外图像测温设备对被测的设备采集红外图像进行轮廓检测以及绘制。
发明人在实现本发明的过程中发现，红外图像测温设备在检测被测设备的轮廓时，由于受红外图像分辨率低和周围环境影响，被测设备的轮廓在图像中不明显，特别是被测的设备和周围环境温度接近的时候，红外图像显示的被测设备是模糊的，这将导致红外图像测温设备无法直接检测到红外图像中的设备轮廓，导致无法绘制被测设备的轮廓，进一步地无法正确分辨出被测的设备。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种红外图像中的设备轮廓标注方法及***，其借助可见光图像来辅助低分辨率的红外图像来标注被测设备的轮廓，保证了工业现场测温设备轮廓标注的准确性。
为实现上述目的，本发明提供了一种红外图像中的设备轮廓标注方法，其包括：采集装置采集当前状态下的设备的可见光图像以及红外图像，其中，所述采集装置上设置有云台，所述云台上设置有可见光相机以及红外相机；将所述当前状态下的设备的可见光图像与预存的设备的可见光模板图像进行匹配，得到可见光图像特征匹配矩阵；基于所述可见光图像特征匹配矩阵计算所述当前状态下的设备的可见光图像相对于所述可见光模板图像在图像坐标系的横轴方向上的第一偏移量，并且基于所述可见光图像特征匹配矩阵计算所述当前状态下的设备的可见光图像相对于所述可见光模板图像在图像坐标系的纵轴方向上的第二偏移量；在预存的红外模板图像上进行设备轮廓标注，得到多个标注点的坐标；以及根据所述红外模板图像上的多个标注点的坐标、所述第一偏移量、所述第二偏移量、预设的可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系确定出所述当前状态下的设备的红外图像中的设备轮廓上的多个点的坐标，其中，所述可见光图像以及所述可见光模板图像均是所述采集装置在同一位置下并且所述可见光相机的拍摄倍数均为相同倍数的条件下采集的，所述红外图像以及所述红外模板图像均是所述采集装置在所述同一位置下采集的。
在本发明的一实施方式中，所述设备轮廓标注方法还包括：预先确定可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系，其中，所述预先确定可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系包括：确定出所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量以及纵轴方向上的偏移量，并且确定出所述云台每转动一度红外图像在图像坐标系的横轴方向上的偏移量以及纵轴方向上的偏移量；确定出所述云台每转动一度红外图像在图像坐标系的横轴方向上的偏移量与所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量之间的第一比值；确定出所述云台每转动一度红外图像在图像坐标系的纵轴方向上的偏移量与所述云台每转动一度可见光图像在图像坐标系的纵轴方向上的偏移量之间的第二比值。
在本发明的一实施方式中，将所述当前状态下的设备的可见光图像与预存的所述可见光模板图像进行匹配，得到可见光图像特征匹配矩阵包括：基于加速稳健特征算法将所述当前状态下的设备的可见光图像与预存的所述可见光模板图像进行匹配，得到可见光图像特征匹配矩阵。
在本发明的一实施方式中，计算所述第一偏移量以及计算所述第二偏移量包括：获取所述可见光模板图像在图像坐标系下的中心坐标，基于所述可见光图像特征匹配矩阵对所述可见光模板图像在图像坐标系下的中心坐标进行坐标变换，得到变换后的坐标；将所述可见光模板图像上的中心坐标的横轴坐标值与所述变换后的坐标的横轴坐标值相减得到所述第一偏移量；将所述可见光模板图像上的中心坐标的纵轴坐标值与所述变换后的坐标的纵轴坐标值相减得到所述第二偏移量。
在本发明的一实施方式中，根据所述红外模板图像上的多个标注点的坐标、所述第一偏移量、所述第二偏移量、预设的可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系确定出所述当前状态下的设备的红外图像中的设备轮廓上的多个点的坐标包括：根据第一式子确定出所述红外图像上的设备轮廓上的点的坐标，其中，所述第一式子为：D(X，Y)＝(M+Xsw×Off_Rel_X，N+Ysh×Off_Rel_Y)，其中，D为所述红外图像上的设备轮廓上的一个点，X、Y分别为D点在图像坐标系下的横坐标和纵坐标，M、N分别为某个标注点在图像坐标系下的横坐标和纵坐标，Xsw为所述第一偏移量，Ysh为所述第二偏移量，Off_Rel_X为所述第一比值，Off_Rel_Y为所述第二比值。
基于同样的发明构思，本发明还提供了一种红外图像中的设备轮廓标注***，该设备轮廓标注***包括：采集装置、匹配模块、偏移量计算模块、标注模块、轮廓坐标确定模块。采集装置上设置有云台，所述云台上设置有可见光相机以及红外相机，所述采集装置用于采集当前状态下的设备的可见光图像以及红外图像。匹配模块与所述采集装置相耦合，用于将所述当前状态下的设备的可见光图像与预存的设备的可见光模板图像进行匹配，得到可见光图像特征匹配矩阵。偏移量计算模块与所述匹配模块相耦合，用于基于所述可见光图像特征匹配矩阵计算所述当前状态下的设备的可见光图像相对于所述可见光模板图像在图像坐标系的横轴方向上的第一偏移量，所述偏移量计算模块还用于基于所述可见光图像特征匹配矩阵计算所述当前状态下的设备的可见光图像相对于所述可见光模板图像在图像坐标系的纵轴方向上的第二偏移量。标注模块用于在预存的红外模板图像上进行设备轮廓标注，得到多个标注点的坐标。轮廓坐标确定模块与所述标注模块以及所述偏移量计算模块均相耦合，用于根据所述红外模板图像上的多个标注点的坐标、所述第一偏移量、所述第二偏移量、预设的可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系确定出所述当前状态下的设备的红外图像中的设备轮廓上的多个点的坐标。其中，所述可见光图像以及所述可见光模板图像均是所述采集装置在同一位置下并且所述可见光相机的拍摄倍数均为相同倍数的条件下采集的，所述红外图像以及所述红外模板图像均是所述采集装置在所述同一位置下采集的。
在本发明的一实施方式中，所述设备轮廓标注***还包括：偏移量关系确定模块，其与所述轮廓坐标确定模块相耦合，用于确定可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系，所述偏移量关系确定模块用于确定出所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量以及纵轴方向上的偏移量，并且确定出所述云台每转动一度红外图像在图像坐标系的横轴方向上的偏移量以及纵轴方向上的偏移量；所述偏移量关系确定模块用于确定出所述云台每转动一度红外图像在图像坐标系的横轴方向上的偏移量与所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量之间的第一比值；所述偏移量关系确定模块还用于确定出所述云台每转动一度红外图像在图像坐标系的纵轴方向上的偏移量与所述云台每转动一度可见光图像在图像坐标系的纵轴方向上的偏移量之间的第二比值。
在本发明的一实施方式中，所述偏移量计算模块用于获取所述可见光模板图像在图像坐标系下的中心坐标，基于所述可见光图像特征匹配矩阵对所述可见光模板图像在图像坐标系下的中心坐标进行坐标变换，得到变换后的坐标；所述偏移量计算模块用于将所述可见光模板图像上的中心坐标的横轴坐标值与所述变换后的坐标的横轴坐标值相减得到所述第一偏移量；所述偏移量计算模块还用于将所述可见光模板图像上的中心坐标的纵轴坐标值与所述变换后的坐标的纵轴坐标值相减得到所述第二偏移量。
在本发明的一实施方式中，所述轮廓坐标确定模块用于根据第一式子确定出所述红外图像上的设备轮廓上的点的坐标，其中，所述第一式子为：D(X，Y)＝(M+Xsw×Off_Rel_X，N+Ysh×Off_Rel_Y)，其中，D为所述红外图像上的设备轮廓上的一个点，X、Y分别为D点在图像坐标系下的横坐标和纵坐标，M、N分别为某个标注点在图像坐标系下的横坐标和纵坐标，Xsw为所述第一偏移量，Ysh为所述第二偏移量，Off_Rel_X为所述第一比值，Off_Rel_Y为所述第二比值。
基于同样的发明构思，本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一项实施方式所述的红外图像中的设备轮廓标注方法的步骤。
与现有技术相比，根据本发明的红外图像中的设备轮廓标注方法及***，在对红外图像的设备轮廓标注过程中，通过利用搭载了可见光相机、红外相机以及云台的采集装置在同一位置、同一可见光相机倍数下采集可见光图像、红外图像以及各自的模板图像，并利用了可见光图像的分辨率相对较高的特点、可见光图像与红外图像的偏移量之间的关系、当前状态下的可见光图像相对于可见光模板图像的偏移量、采集的红外模板图像与红外图像之间的关系等因素来对低分辨率的红外图像中的设备进行辅助标注，能够准确地标注出红外图像中测温设备的轮廓，有效解决了在红外图像分辨率低或待测温的目标设备和周围环境温度接近的时候，红外图像显示的要测温的目标设备模糊，很难直接对红外图像进行目标区域进行轮廓绘制的问题，该方法及***适用于工业现场各种类型的需要测温的设备，普适性高，鲁棒性好。
附图说明
图1是根据本发明一实施方式的红外图像中的设备轮廓标注方法；
图2是根据本发明一实施方式的红外图像中的设备轮廓标注***；
图3是根据本发明一实施方式的红外图像中的设备轮廓标注***。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
针对目前工业现场红外图像测温设备受红外图像分辨率低和周围环境影响，无法准确检测以及绘制出被测设备的轮廓的问题，一实施方式中提供了一种红外图像中的设备轮廓标注方法，如图1所示，该设备轮廓标注方法包括步骤S1～步骤S5。首先需说明的一点的是，本说明书中所述的可见光图像以及可见光模板图像均是采集装置在同一位置下并且可见光相机的拍摄倍数均为相同倍数的条件下采集的，红外图像以及红外模板图像均是采集装置在所述同一位置下采集的。
在步骤S1中，采集装置采集当前状态下的设备的可见光图像以及红外图像，其中，所述采集装置上设置有云台，所述云台上设置有可见光相机以及红外相机。优选地，采集装置可以为机器人，可以根据需求随时巡检设备。
在步骤S2中将所述当前状态下的设备的可见光图像与预存的设备的可见光模板图像进行匹配，得到可见光图像特征匹配矩阵。
可选地，可以采用加速稳健特征算法将所述当前状态下的设备的可见光图像与预存的所述可见光模板图像进行匹配，得到2×3的可见光图像特征匹配矩阵
在步骤S3中基于所述可见光图像特征匹配矩阵计算所述当前状态下的设备的可见光图像相对于所述可见光模板图像在图像坐标系的横轴方向上的第一偏移量，并且基于所述可见光图像特征匹配矩阵计算所述当前状态下的设备的可见光图像相对于所述可见光模板图像在图像坐标系的纵轴方向上的第二偏移量。
可选地，在步骤S3中计算第一偏移量和第二偏移量的方法如下。首先获取所述可见光模板图像在图像坐标系下的中心坐标其中Width为模板图像的宽度，Height为模板图像的高度。然后基于所述可见光图像特征匹配矩阵对所述可见光模板图像在图像坐标系下的中心坐标进行坐标变换，得到变换后的坐标 最后将所述可见光模板图像上的中心坐标的横轴坐标值与所述变换后的坐标的横轴坐标值相减得到所述第一偏移量/>并且将所述可见光模板图像上的中心坐标的纵轴坐标值与所述变换后的坐标的纵轴坐标值相减得到所述第二偏移量/>
在步骤S4中在预存的红外模板图像上进行设备轮廓标注，得到多个标注点的坐标。其中，轮廓标注的形状以及标注点的个数可以根据轮廓复杂程度来定。例如，可以标注四边形或其他多边形。在本实施方式中，根据设备的形状，标注了四边形，获取了四个顶点坐标，分别为D左上(a，b)，D右上(c，d)，D左下(e，f)，D右下(g，h)。
在步骤S5中根据所述红外模板图像上的多个标注点的坐标、所述第一偏移量、所述第二偏移量、预设的可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系确定出所述当前状态下的设备的红外图像中的设备轮廓上的多个点的坐标。
具体而言，可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系是预先确定的。在可选的实施方式中，确定偏移量之间的关系包括：首先确定出所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量以及纵轴方向上的偏移量，并且确定出所述云台每转动一度红外图像在图像坐标系的横轴方向上的偏移量以及纵轴方向上的偏移量；然后确定出所述云台每转动一度红外图像在图像坐标系的横轴方向上的偏移量与所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量之间的第一比值；以及确定出所述云台每转动一度红外图像在图像坐标系的纵轴方向上的偏移量与所述云台每转动一度可见光图像在图像坐标系的纵轴方向上的偏移量之间的第二比值。
其中，为了减少误差从而能够获得较为准确的偏移量之间的关系，进而获得准确的轮廓检测结果，优选地，在确定所述云台每转动一度可见光图像或红外图像的偏移量时，可以多次转动云台，采集多组图像进行偏移量的计算。如可以调整云台5次，每次转动1度后采集一次可见光图像以及红外图像并且计算一次偏移量，共计得到5个可见光图像在图像坐标系的横轴方向上的偏移量xvis1、xvis2、xvis3、xvis4、xvis5以及5个可见光图像在图像坐标系的纵轴方向上的偏移量yvis1、yvis2、yvis3、yvis4、yvis5，还得到5个红外图像在图像坐标系的横轴方向上的偏移量xinf1、xinf2、xinf3、xinf4、xinf5以及5个红外图像在图像坐标系的纵轴方向上的偏移量yinf1、yinf2、yinf3、yinf4、yinf5。然后计算出所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量为并且计算出所述云台每转动一度可见光图像在图像坐标系的纵轴方向上的偏移量为/>计算出每转动一度红外图像在图像坐标系的横轴方向上的偏移量为/>以及计算出每转动一度红外图像在图像坐标系的纵轴方向上的偏移量为计算出所述第一比值为Off_Rel_x＝xinf_ave/xvis_ave，计算出所述第二比值为Off_Rel_Y＝yinf_ave/yvis_ave。
具体而言，在步骤5中根据第一式子确定出所述红外图像上的设备轮廓上的点的坐标，其中，所述第一式子为：D(X，Y)＝(M+Xsw×Off_Rel_X，N+Ysh×Off_Rel_Y)，其中，D为所述红外图像上的设备轮廓上的一个点，X、Y分别为D点在图像坐标系下的横坐标和纵坐标，M、N分别为某个标注点在图像坐标系下的横坐标和纵坐标，Xsw为所述第一偏移量，Ysh为所述第二偏移量，Off_Rel_X为所述第一比值，Off_Rel_Y为所述第二比值。
由于在步骤S4中，获取了四个顶点坐标，分别为D左上(a，b)，D右上(c，d)，D左下(e，f)，D右下(g，h)。根据第一式子可以得到所述红外图像上的设备轮廓上的四个点的坐标，该四个点的坐标为所述红外图像上的设备轮廓上的四个顶点坐标，分别为D左上new＝(a+Xsw*Off_Rel_X，b+Ysh*Off_Rel_Y)；D右上new＝(c+Xsw*Off_Rel_X，d+Ysh*Off_Rel_Y)；D左下new＝(e+Xsw*Off_Rel_X，f+Ysh*Off_Rel_Y)；D右下new＝(g+Xsw*Off_Rel_X，h+Ysh*Off_Rel_Y)。之后根据计算出的所述红外图像上的设备轮廓上四个顶点坐标来绘制出红外图像中的设备的轮廓即可。
由此，本实施方式中在对红外图像的设备轮廓标注过程中，通过利用搭载了可见光相机、红外相机以及云台的采集装置在同一位置、同一可见光相机倍数下采集可见光图像、红外图像以及各自的模板图像，并利用了可见光图像的分辨率相对较高的特点、可见光图像与红外图像的偏移量之间的关系、当前状态下的可见光图像相对于可见光模板图像的偏移量、采集的红外模板图像与红外图像之间的关系等因素来对低分辨率的红外图像中的设备进行辅助标注，能够准确地标注出红外图像中测温设备的轮廓，有效解决了在红外图像分辨率低或待测温的目标设备和周围环境温度接近的时候，红外图像显示的要测温的目标设备模糊，很难直接对红外图像进行目标区域进行轮廓绘制的问题，该方法适用于工业现场各种类型的需要测温的设备，普适性高，鲁棒性好。
基于同样的发明构思，一实施方式中还提供了一种红外图像中的设备轮廓标注***，如图2所示，该红外图像中的设备轮廓标注***包括：采集装置10、匹配模块11、偏移量计算模块12、标注模块13、轮廓坐标确定模块14。
采集装置10上设置有云台，所述云台上设置有可见光相机以及红外相机，所述采集装置10用于采集当前状态下的设备的可见光图像以及红外图像。可选地，采集装置10可以为机器人。
匹配模块11与所述采集装置10相耦合，用于将所述当前状态下的设备的可见光图像与预存的设备的可见光模板图像进行匹配，得到可见光图像特征匹配矩阵。可选地，可以采用加速稳健特征算法将所述当前状态下的设备的可见光图像与预存的所述可见光模板图像进行匹配，
偏移量计算模块12与所述匹配模块11相耦合，用于基于所述可见光图像特征匹配矩阵计算所述当前状态下的设备的可见光图像相对于所述可见光模板图像在图像坐标系的横轴方向上的第一偏移量，所述偏移量计算模块12还用于基于所述可见光图像特征匹配矩阵计算所述当前状态下的设备的可见光图像相对于所述可见光模板图像在图像坐标系的纵轴方向上的第二偏移量。
可选地，所述偏移量计算模块12计算出所述第一偏移量和第二偏移量的过程如下：获取所述可见光模板图像在图像坐标系下的中心坐标，基于所述可见光图像特征匹配矩阵对所述可见光模板图像在图像坐标系下的中心坐标进行坐标变换，得到变换后的坐标；将所述可见光模板图像上的中心坐标的横轴坐标值与所述变换后的坐标的横轴坐标值相减得到所述第一偏移量；将所述可见光模板图像上的中心坐标的纵轴坐标值与所述变换后的坐标的纵轴坐标值相减得到所述第二偏移量。
标注模块13用于在预存的红外模板图像上进行设备轮廓标注，得到多个标注点的坐标。
轮廓坐标确定模块14与所述标注模块13以及所述偏移量计算模块12均相耦合，用于根据所述红外模板图像上的多个标注点的坐标、所述第一偏移量、所述第二偏移量、预设的可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系确定出所述当前状态下的设备的红外图像中的设备轮廓上的多个点的坐标。
可选地，在一实施方式中，所述设备轮廓标注***还包括：偏移量关系确定模块15，如图3所示。所述偏移量关系确定模块15与所述轮廓坐标确定模块14相耦合，用于确定可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系，所述偏移量关系确定模块15具体用于确定出所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量以及纵轴方向上的偏移量，并且确定出所述云台每转动一度红外图像在图像坐标系的横轴方向上的偏移量以及纵轴方向上的偏移量；所述偏移量关系确定模块15用于确定出所述云台每转动一度红外图像在图像坐标系的横轴方向上的偏移量与所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量之间的第一比值；所述偏移量关系确定模块15还用于确定出所述云台每转动一度红外图像在图像坐标系的纵轴方向上的偏移量与所述云台每转动一度可见光图像在图像坐标系的纵轴方向上的偏移量之间的第二比值。
具体而言，所述轮廓坐标确定模块14还用于根据第一式子确定出所述红外图像上的设备轮廓上的点的坐标，其中，所述第一式子为：D(X，Y)＝(a+Xsw×Off_Rel_X，b+Ysh×Off_Rel_Y)，其中，D为所述红外图像上的设备轮廓上的一个点，X、Y分别为D点在图像坐标系下的横坐标和纵坐标，a、b分别为某个标注点在图像坐标系下的横坐标和纵坐标，Xsw为所述第一偏移量，Ysh为所述第二偏移量，Off_Rel_X为所述第一比值，Off_Rel_Y为所述第二比值。
基于同样的发明构思，一实施方式中还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施方式所述的设备轮廓标注方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (6)

1.一种红外图像中的设备轮廓标注方法，其特征在于，包括：
采集装置采集当前状态下的设备的可见光图像以及红外图像，其中，所述采集装置上设置有云台，所述云台上设置有可见光相机以及红外相机；
将所述当前状态下的设备的可见光图像与预存的设备的可见光模板图像进行匹配，得到可见光图像特征匹配矩阵；
基于所述可见光图像特征匹配矩阵计算所述当前状态下的设备的可见光图像相对于所述可见光模板图像在图像坐标系的横轴方向上的第一偏移量，并且基于所述可见光图像特征匹配矩阵计算所述当前状态下的设备的可见光图像相对于所述可见光模板图像在图像坐标系的纵轴方向上的第二偏移量；
在预存的红外模板图像上进行设备轮廓标注，得到多个标注点的坐标；以及
根据所述红外模板图像上的多个标注点的坐标、所述第一偏移量、所述第二偏移量、预设的可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系确定出所述当前状态下的设备的红外图像中的设备轮廓上的多个点的坐标，
其中，所述可见光图像以及所述可见光模板图像均是所述采集装置在同一位置下并且所述可见光相机的拍摄倍数均为相同倍数的条件下采集的，所述红外图像以及所述红外模板图像均是所述采集装置在所述同一位置下采集的；
所述设备轮廓标注方法还包括：预先确定可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系，其中，所述预先确定可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系包括：
确定出所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量以及纵轴方向上的偏移量，并且确定出所述云台每转动一度红外图像在图像坐标系的横轴方向上的偏移量以及纵轴方向上的偏移量；
确定出所述云台每转动一度红外图像在图像坐标系的横轴方向上的偏移量与所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量之间的第一比值；以及
确定出所述云台每转动一度红外图像在图像坐标系的纵轴方向上的偏移量与所述云台每转动一度可见光图像在图像坐标系的纵轴方向上的偏移量之间的第二比值；
根据所述红外模板图像上的多个标注点的坐标、所述第一偏移量、所述第二偏移量、预设的可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系确定出所述当前状态下的设备的红外图像中的设备轮廓上的多个点的坐标包括：
根据第一式子确定出所述红外图像上的设备轮廓上的点的坐标，其中，所述第一式子为：D（X，Y）=（M+Xsw Off_Rel_X，N+Ysh/>Off_Rel_Y），其中，D为所述红外图像上的设备轮廓上的一个点，X、Y分别为D点在图像坐标系下的横坐标和纵坐标，M、N分别为某个标注点在图像坐标系下的横坐标和纵坐标，Xsw为所述第一偏移量，Ysh为所述第二偏移量，Off_Rel_X为所述第一比值， Off_Rel_Y为所述第二比值。
2. 如权利要求1所述的红外图像中的设备轮廓标注方法，其特征在于， 将所述当前状态下的设备的可见光图像与预存的所述可见光模板图像进行匹配，得到可见光图像特征匹配矩阵包括：
基于加速稳健特征算法将所述当前状态下的设备的可见光图像与预存的所述可见光模板图像进行匹配，得到可见光图像特征匹配矩阵。
3.如权利要求1所述的红外图像中的设备轮廓标注方法，其特征在于，计算所述第一偏移量以及计算所述第二偏移量包括：
获取所述可见光模板图像在图像坐标系下的中心坐标，基于所述可见光图像特征匹配矩阵对所述可见光模板图像在图像坐标系下的中心坐标进行坐标变换，得到变换后的坐标；
将所述可见光模板图像上的中心坐标的横轴坐标值与所述变换后的坐标的横轴坐标值相减得到所述第一偏移量；以及
将所述可见光模板图像上的中心坐标的纵轴坐标值与所述变换后的坐标的纵轴坐标值相减得到所述第二偏移量。
4.一种红外图像中的设备轮廓标注***，其特征在于，该设备轮廓标注***包括：
采集装置，其上设置有云台，所述云台上设置有可见光相机以及红外相机，所述采集装置用于采集当前状态下的设备的可见光图像以及红外图像；
匹配模块，与所述采集装置相耦合，用于将所述当前状态下的设备的可见光图像与预存的设备的可见光模板图像进行匹配，得到可见光图像特征匹配矩阵；
偏移量计算模块，与所述匹配模块相耦合，用于基于所述可见光图像特征匹配矩阵计算所述当前状态下的设备的可见光图像相对于所述可见光模板图像在图像坐标系的横轴方向上的第一偏移量，所述偏移量计算模块还用于基于所述可见光图像特征匹配矩阵计算所述当前状态下的设备的可见光图像相对于所述可见光模板图像在图像坐标系的纵轴方向上的第二偏移量；
标注模块，用于在预存的红外模板图像上进行设备轮廓标注，得到多个标注点的坐标；以及
轮廓坐标确定模块，与所述标注模块以及所述偏移量计算模块均相耦合，用于根据所述红外模板图像上的多个标注点的坐标、所述第一偏移量、所述第二偏移量、预设的可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系确定出所述当前状态下的设备的红外图像中的设备轮廓上的多个点的坐标，
其中，所述可见光图像以及所述可见光模板图像均是所述采集装置在同一位置下并且所述可见光相机的拍摄倍数均为相同倍数的条件下采集的，所述红外图像以及所述红外模板图像均是所述采集装置在所述同一位置下采集的；
所述红外图像中的设备轮廓标注***还包括：偏移量关系确定模块，与所述轮廓坐标确定模块相耦合，用于预先确定可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系，其中，所述预先确定可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系包括：
确定出所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量以及纵轴方向上的偏移量，并且确定出所述云台每转动一度红外图像在图像坐标系的横轴方向上的偏移量以及纵轴方向上的偏移量；
确定出所述云台每转动一度红外图像在图像坐标系的横轴方向上的偏移量与所述云台每转动一度可见光图像在图像坐标系的横轴方向上的偏移量之间的第一比值；以及
确定出所述云台每转动一度红外图像在图像坐标系的纵轴方向上的偏移量与所述云台每转动一度可见光图像在图像坐标系的纵轴方向上的偏移量之间的第二比值；
根据所述红外模板图像上的多个标注点的坐标、所述第一偏移量、所述第二偏移量、预设的可见光图像随云台转动而产生的偏移量与红外图像随云台转动而产生的偏移量之间的关系确定出所述当前状态下的设备的红外图像中的设备轮廓上的多个点的坐标包括：
所述轮廓坐标确定模块用于根据第一式子确定出所述红外图像上的设备轮廓上的点的坐标，其中，所述第一式子为：D（X，Y）=（M+Xsw Off_Rel_X，N+Ysh/>Off_Rel_Y），其中，D为所述红外图像上的设备轮廓上的一个点，X、Y分别为D点在图像坐标系下的横坐标和纵坐标，M、N分别为某个标注点在图像坐标系下的横坐标和纵坐标，Xsw为所述第一偏移量，Ysh为所述第二偏移量，Off_Rel_X为所述第一比值， Off_Rel_Y为所述第二比值。
5.如权利要求4所述的红外图像中的设备轮廓标注***，其特征在于，所述偏移量计算模块用于获取所述可见光模板图像在图像坐标系下的中心坐标，基于所述可见光图像特征匹配矩阵对所述可见光模板图像在图像坐标系下的中心坐标进行坐标变换，得到变换后的坐标；所述偏移量计算模块用于将所述可见光模板图像上的中心坐标的横轴坐标值与所述变换后的坐标的横轴坐标值相减得到所述第一偏移量；所述偏移量计算模块还用于将所述可见光模板图像上的中心坐标的纵轴坐标值与所述变换后的坐标的纵轴坐标值相减得到所述第二偏移量。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至3任一项所述的红外图像中的设备轮廓标注方法的步骤。
CN202110369188.7A 2021-04-06 2021-04-06 红外图像中的设备轮廓标注方法及*** Active CN112991376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110369188.7A CN112991376B (zh) 2021-04-06 2021-04-06 红外图像中的设备轮廓标注方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110369188.7A CN112991376B (zh) 2021-04-06 2021-04-06 红外图像中的设备轮廓标注方法及***

Publications (2)

Publication Number Publication Date
CN112991376A CN112991376A (zh) 2021-06-18
CN112991376B true CN112991376B (zh) 2024-06-14

Family

ID=76339222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110369188.7A Active CN112991376B (zh) 2021-04-06 2021-04-06 红外图像中的设备轮廓标注方法及***

Country Status (1)

Country Link
CN (1) CN112991376B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115914792A (zh) * 2022-12-22 2023-04-04 长春理工大学 基于深度学习的实时多维度成像自适应调整***及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902962A (zh) * 2012-12-28 2014-07-02 汉王科技股份有限公司 一种遮挡或光源自适应人脸识别方法和装置
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101695728B1 (ko) * 2010-12-21 2017-01-23 엘지디스플레이 주식회사 스테레오 카메라를 포함하는 디스플레이 시스템 및 이를 이용한 위치검출 방법
CN109801336B (zh) * 2019-01-09 2022-09-06 南京理工大学 基于可见光及红外光视觉的机载目标定位***及方法
CN110570454B (zh) * 2019-07-19 2022-03-22 华瑞新智科技（北京）有限公司 一种检测异物入侵的方法及装置
CN111274940A (zh) * 2020-01-19 2020-06-12 厦门中控智慧信息技术有限公司 一种人脸识别方法、装置、设备和储存介质
CN111429518B (zh) * 2020-03-24 2023-10-03 浙江大华技术股份有限公司 一种标注方法、装置、计算设备及存储介质
CN112200840B (zh) * 2020-10-27 2021-05-11 北京深睿博联科技有限责任公司 一种可见光和红外图像组合中的运动物体检测***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902962A (zh) * 2012-12-28 2014-07-02 汉王科技股份有限公司 一种遮挡或光源自适应人脸识别方法和装置
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法

Also Published As

Publication number Publication date
CN112991376A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
US8744133B1 (en) Methods and systems for locating visible differences on an object
US20150239043A1 (en) Cast Features for Location and Inspection
EP3023913A1 (en) Crack data collection method and crack data collection program
US20150116481A1 (en) Mapping damaged regions on objects
US10598481B2 (en) Crankshaft shape inspection apparatus, system and method
JP2012042396A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN106127758A (zh) 一种基于虚拟现实技术的视觉检测方法及装置
CN104457577A (zh) 面向机器视觉的无接触式工件定位与测量方法
CN107271445B (zh) 一种缺陷检测方法及装置
CN112476489B (zh) 基于自然特征的柔性机械臂同步测量方法及***
CN112991376B (zh) 红外图像中的设备轮廓标注方法及***
CN111627070B (zh) 一种对旋转轴进行标定的方法、装置和存储介质
CN107367245B (zh) 光学三维轮廓测量中的无效点探测与剔除方法
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2002132341A (ja) 現場点検装置
CN111047552A (zh) 三维挠度测量方法及相关产品
CN114062265B (zh) 一种用于视觉***的支撑结构稳定性的评估方法
CN113983951B (zh) 三维目标的测量方法、装置、影像仪及存储介质
KR20150058882A (ko) 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법
CN106643566A (zh) 一种自动测量轮毂轮辐初始角度的方法
CN109540030B (zh) 一种手持式扫描设备自身定位精度检测方法
CN106123808A (zh) 一种用于汽车后视镜镜面角度偏转测量的方法
JPH10318732A (ja) 形状測定装置及び形状測定用画像形成装置
CN116124010B (zh) 一种视觉位移测量***及方法
Uyanik et al. A method for determining 3D surface points of objects by a single camera and rotary stage

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant