CN110751705B - 一种热成像与可见光的图像融合方法 - Google Patents

一种热成像与可见光的图像融合方法 Download PDF

Info

Publication number
CN110751705B
CN110751705B CN201910949438.7A CN201910949438A CN110751705B CN 110751705 B CN110751705 B CN 110751705B CN 201910949438 A CN201910949438 A CN 201910949438A CN 110751705 B CN110751705 B CN 110751705B
Authority
CN
China
Prior art keywords
data
visible light
thermal imaging
image
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910949438.7A
Other languages
English (en)
Other versions
CN110751705A (zh
Inventor
黎琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chengen Heat Vision Technology Co ltd
Original Assignee
Shenzhen Chengen Heat Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chengen Heat Vision Technology Co ltd filed Critical Shenzhen Chengen Heat Vision Technology Co ltd
Priority to CN201910949438.7A priority Critical patent/CN110751705B/zh
Publication of CN110751705A publication Critical patent/CN110751705A/zh
Application granted granted Critical
Publication of CN110751705B publication Critical patent/CN110751705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明属于图像融合领域，尤其是一种热成像与可见光的图像融合方法，针对现有的成像装置不能够实现热成像与可见光的融合，将可见光与热成像的图像按照一定的方式进行叠加，导致不能够优势互补，呈现更多的图像细节的问题，现提出如下方案，其包括以下步骤：S1：利用热成像传感器和可见光传感器同步采集目标场景；S2：对采集的数据进行收集；S3：对收集后的数据进行解析，然后进行封装或打包；S4：解析封装或打包后的数据，分别提取可见光和热成像的数据内容，本发明能够实现热成像与可见光的融合，将可见光与热成像的图像按照一定的方式进行叠加，两张图像的优势互补，呈现更多的图像细节。

Description

一种热成像与可见光的图像融合方法
技术领域
本发明涉及图像融合技术领域，尤其涉及一种热成像与可见光的图像融合方法。
背景技术
物质的运动是产生红外线的根源，热成像目标物体，探测物体温度场，以便用户生产作业。例如单红外热像仪和红外热成像摄像机。
但现有的成像装置多是没有热成像与可见光的融合，将可见光与热成像的图像按照一定的方式进行叠加，导致不能够优势互补，呈现更多的图像细节。
因此，我们提出了一种热成像与可见光的图像融合方法用于解决上述问题。
发明内容
本发明提出的一种热成像与可见光的图像融合方法，解决了现有的成像装置不能够实现热成像与可见光的融合，将可见光与热成像的图像按照一定的方式进行叠加，导致不能够优势互补，呈现更多的图像细节的问题。
为了实现上述目的，本发明采用了如下技术方案：
一种热成像与可见光的图像融合方法，包括以下步骤：
S1：利用热成像传感器和可见光传感器同步采集目标场景；
S2：对采集的数据进行收集；
S3：对收集后的数据进行解析，然后进行封装或打包；
S4：解析封装或打包后的数据，分别提取可见光和热成像的数据内容；
S5：把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装；
S6：将可见光的数据、热成像的数据和合并的数据流放在设定的缓存区；
S7：根据需求和设置，选择三个图像中一个图像模式连续显示；
S8：图像和视频保存在本地，同时可选择保存在远端。
优选的，所述S2中，利用图像数据收集单元对采集的数据进行收集。
优选的，所述S3中，利用图像数据收集单元对收集后的数据进行解析，然后进行封装或打包。
优选的，所述S3中，利用图像数据收集单元对收集后的数据进行解析，然后进行封装或打包为一帧数据，然后通过专用的图像数据通道(例如Mipi)，按照一定频率往外发数据。
优选的，所述S4中，利用数据接收单元接收、缓存并解析封装或打包后的数据，分别提取可见光和热成像的数据内容。
优选的，所述S5中，利用融合器把可见光的数据与热成像的数据顺序的排在一起，可见光数据放在前面，热成像数据接在后面，然后把合并的数据流按照可见光图像格式或者某一种自定义的数据流格式封装。
优选的，所述S5中，利用融合器按照拉普拉斯金字塔原理把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装。
优选的，所述S6中，利用选择器将可见光的数据、热成像的数据和合并的数据流放在设定的缓存区。
优选的，所述S7中，利用选择器根据需求和设置，选择三个图像中一个图像模式连续显示。
优选的，所述S7中，利用选择器根据需求和设置，选择三个图像中一个图像模式连续显示，利用视频显示驱动设备驱动视频显示设备进行图像显示。
与现有技术相比，本发明的有益效果是：
1、相对单红外，融合可见光后，在保持原热像的性能外，显示会有更多的细节信息，图像会更加的清晰，比达到更好高像素的热像仪的清晰效果更加好；
2、图像校准、融合等数据量运算，交由性能更加好运算速度快的主机完成，降低模组的功耗、体积、成本等；
3、具备小型化应用的可能，例如手机、随身携带装置等。
本发明能够实现热成像与可见光的融合，将可见光与热成像的图像按照一定的方式进行叠加，两张图像的优势互补，呈现更多的图像细节。
附图说明
图1为本发明提出的一种热成像与可见光的图像融合方法的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1，一种热成像与可见光的图像融合方法，包括以下步骤：
S1：利用热成像传感器和可见光传感器同步采集目标场景；
S2：对采集的数据进行收集；
S3：对收集后的数据进行解析，然后进行封装或打包；
S4：解析封装或打包后的数据，分别提取可见光和热成像的数据内容；
S5：把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装；
S6：将可见光的数据、热成像的数据和合并的数据流放在设定的缓存区；
S7：根据需求和设置，选择三个图像中一个图像模式连续显示；
S8：图像和视频保存在本地，同时可选择保存在远端。
本实施例中，所述S2中，利用图像数据收集单元对采集的数据进行收集，所述S3中，利用图像数据收集单元对收集后的数据进行解析，然后进行封装或打包，所述S3中，利用图像数据收集单元对收集后的数据进行解析，然后进行封装或打包为一帧数据，然后通过专用的图像数据通道(例如Mipi)，按照一定频率往外发数据，所述S4中，利用数据接收单元接收、缓存并解析封装或打包后的数据，分别提取可见光和热成像的数据内容，所述S5中，利用融合器把可见光的数据与热成像的数据顺序的排在一起，可见光数据放在前面，热成像数据接在后面，然后把合并的数据流按照可见光图像格式或者某一种自定义的数据流格式封装，所述S5中，利用融合器按照拉普拉斯金字塔原理把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装，所述S6中，利用选择器将可见光的数据、热成像的数据和合并的数据流放在设定的缓存区，所述S7中，利用选择器根据需求和设置，选择三个图像中一个图像模式连续显示，所述S7中，利用选择器根据需求和设置，选择三个图像中一个图像模式连续显示，利用视频显示驱动设备驱动视频显示设备进行图像显示。
本实施例中，热成像传感器、可见光传感器和图像数据收集单元构成热成像融合模组；数据接收单元和融合器构成驱动器，驱动器在主机中实现；选择器、视频显示驱动设备和视频显示设备构成应用层显示模块，热成像融合模组通过专用的图像数据通道(例如Mipi)与驱动器连接，驱动器与应用层显示模块连接。
本实施例中，热成像数据做伪彩处理，例如按照热度值做直方图，与RGB按照一定的规律做映射，例如最高热度对应RGB(255，255，255)，或者RGB(255，0，255)等。
本实施例中，产品的实现思路：产品包括融合的可见光和红外热成像模组，供各类操作***自动识别的驱动程序包括融合算法，上层界面为根据用户需要包含可见光/融合/热成像可选的界面；
红外热像仪与可见光模块被集成在一个模块中，模块实现可见光和热像图像的采集、图像处理、封装和打包，发送给上位机中央处理器；
图像处理主要包括对红外图像的非均匀性校正，参数在融合模组生产过程中获取，并将参数表存放在模组中；
上位机中央处理器驱动及其融合算法，为软件的形态；
上层界面为根据用户需要的视频浏览界面，支持拍照；
外观结构与内部构造，解决两个模组散热，且支持产品在一定的温度环境中良好的工作；
摄像头的中心距离，与融合算法图像的对齐算法相关；
融合算法部分；
非均匀性校准。
本实施例中，小型化集成，硬件及其资源的配置最优，例如电路设计及其原件的选型，成本最优；热处理设计，支持热成像部分无挡片，外加多次非线性校准，通过软件的方式简化硬件，保持有挡片的同样性能，同时提到模组的使用寿命；图像处理软件可以实现的部分，在***调用这个功能后，交由性能更好的主机完成，充分利用主机的资源并使得模组设计简化成为可能。
本实施例中，相对单红外，融合可见光后，在保持原热像的性能外，显示会有更多的细节信息，图像会更加的清晰，比达到更好高像素的热像仪的清晰效果更加好；图像校准、融合等数据量运算，交由性能更加好运算速度快的主机完成，降低模组的功耗、体积、成本等；具备小型化应用的可能，例如手机、随身携带装置等。本发明能够实现热成像与可见光的融合，将可见光与热成像按照一定的方式进行叠加，两种图像的优势互补，呈现更多的图像细节。
本实施例中，主机通过MiPi接收到的一帧数据后，还原成原来的可见光图和红外热像图。实例说明：可见光图640*480(307200)，红外数据为120*90(10800，像素需要字节于可见光要求小，作为伪可见光数据)，把两张图像拼接为一张伪可见光640*500(320000)的图用于主机与模组的通讯。
本实施例中，将红外热成像与可见光图像，通过FPGA逻辑接口形成片上***，把同一时刻的热点图和可见光图片数据流进行采集、打包、封装完成后上传给控制中心；然后有控制***对上传的数据内容，进行可见光与红外图像的融合，最后根据应用需求，显示融合/红外热成像/可见光等图像或者视频；产品硬件形态为带有可见光和热成像两个摄像头的FPGA逻辑片上***，外加驱动及其融合算法部分，使得该产品挂载到已有***，例如手机/带操作***的装备/智能装置等，即可在指定的显示屏上根据应用需要进行显示。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种热成像与可见光的图像融合方法，其特征在于，包括以下步骤：
S1：利用热成像传感器和可见光传感器同步采集目标场景；
S2：利用图像数据收集单元对采集的数据进行收集；
S3：利用图像数据收集单元对收集后的数据进行解析，然后进行封装或打包为一帧数据，然后通过专用的图像数据通道，按照一定频率往外发数据；
S4：利用数据接收单元接收、缓存并解析封装或打包后的数据，分别提取可见光和热成像的数据内容；
S5：利用融合器把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装；
S6：将可见光的数据、热成像的数据和合并的数据流放在设定的缓存区；
S7：选择三个图像模式中一个图像模式连续显示；
S8：图像和视频保存在本地，同时可选择保存在远端；
所述热成像传感器、可见光传感器和图像数据收集单元构成热成像融合模组，所述数据接收单元和融合器构成驱动器，所述驱动器在主机中实现，所述热成像融合模组通过专用的图像数据通道与驱动器连接。
2.根据权利要求1所述的一种热成像与可见光的图像融合方法，其特征在于，所述S5中，利用融合器按照拉普拉斯金字塔原理把可见光的数据与热成像的数据顺序的排在一起，把合并的数据流以固定格式封装。
3.根据权利要求1所述的一种热成像与可见光的图像融合方法，其特征在于，所述S6中，利用选择器将可见光的数据、热成像的数据和合并的数据流放在设定的缓存区。
4.根据权利要求1所述的一种热成像与可见光的图像融合方法，其特征在于，所述S7中，利用选择器选择三个图像模式中一个图像模式连续显示。
5.根据权利要求4所述的一种热成像与可见光的图像融合方法，其特征在于，所述S7中，利用选择器选择三个图像模式中一个图像模式连续显示，利用视频显示驱动设备驱动视频显示设备进行图像显示。
CN201910949438.7A 2019-10-08 2019-10-08 一种热成像与可见光的图像融合方法 Active CN110751705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910949438.7A CN110751705B (zh) 2019-10-08 2019-10-08 一种热成像与可见光的图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910949438.7A CN110751705B (zh) 2019-10-08 2019-10-08 一种热成像与可见光的图像融合方法

Publications (2)

Publication Number Publication Date
CN110751705A CN110751705A (zh) 2020-02-04
CN110751705B true CN110751705B (zh) 2023-07-21

Family

ID=69277706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910949438.7A Active CN110751705B (zh) 2019-10-08 2019-10-08 一种热成像与可见光的图像融合方法

Country Status (1)

Country Link
CN (1) CN110751705B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613489A (zh) * 2021-01-08 2021-04-06 上海明略人工智能(集团)有限公司 一种数据采集方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024281A (zh) * 2013-01-11 2013-04-03 重庆大学 红外与可见光视频融合***
CN108765358A (zh) * 2018-05-22 2018-11-06 烟台艾睿光电科技有限公司 可见光和红外光的双光融合方法以及插件式热像仪***
CN109410159A (zh) * 2018-09-11 2019-03-01 上海创客科技有限公司 双目可见光及红外热成像复合成像***、方法及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理***及融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024281A (zh) * 2013-01-11 2013-04-03 重庆大学 红外与可见光视频融合***
CN108765358A (zh) * 2018-05-22 2018-11-06 烟台艾睿光电科技有限公司 可见光和红外光的双光融合方法以及插件式热像仪***
CN109410159A (zh) * 2018-09-11 2019-03-01 上海创客科技有限公司 双目可见光及红外热成像复合成像***、方法及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种顾及区域特征差异的热红外与可见光图像多尺度融合方法;向天烛等;《武汉大学学报(信息科学版)》(第07期);全文 *

Also Published As

Publication number Publication date
CN110751705A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
CN106937039B (zh) 一种基于双摄像头的成像方法、移动终端及存储介质
EP3410390B1 (en) Image processing method and device, computer readable storage medium and electronic device
CN108833753B (zh) 一种图像获取及应用方法、终端及计算机可读存储介质
WO2023015981A1 (zh) 图像处理方法及其相关设备
CN107959795B (zh) 一种信息采集方法、设备和计算机可读存储介质
CN106851386B (zh) 基于Android***的电视终端中增强现实的实现方法及装置
KR101675567B1 (ko) 파노라마 촬영장치, 파노라마 촬영 시스템, 이를 이용한 파노라마 영상 생성 방법, 컴퓨터 판독가능 기록매체 및 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
US20170134667A1 (en) Photo shooting method, device, and mobile terminal
WO2021093712A1 (zh) 图像处理方法和相关产品
CN107040723B (zh) 一种基于双摄像头的成像方法、移动终端及存储介质
CN107133939A (zh) 一种照片合成方法、设备及计算机可读存储介质
CN111064895B (zh) 一种虚化拍摄方法和电子设备
CN111885307B (zh) 一种景深拍摄方法、设备及计算机可读存储介质
CN108848354A (zh) 一种vr内容摄像***及其工作方法
CN110751705B (zh) 一种热成像与可见光的图像融合方法
CN110636337B (zh) 视频图像的截取方法、装置及***
US20230335081A1 (en) Display Synchronization Method, Electronic Device, and Readable Storage Medium
EP2658245B1 (en) System and method of adjusting camera image data
CN112738399B (zh) 图像处理方法、装置和电子设备
CN213750502U (zh) Ar眼镜
CN108259765B (zh) 一种拍摄方法、终端及计算机可读存储介质
US10885615B2 (en) Multi-level lookup tables for control point processing and histogram collection
CN104834356B (zh) 头戴式设备及其视觉反馈的方法及装置
WO2020081126A1 (en) Tone mapping and tone control integrations for image processing
KR20200091196A (ko) 사용자 피드백을 이용한 증강현실 콘텐츠 데이터 최적화 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 619, Xinaolin Building, No. 15 Gaoxin North 2nd Road, Songpingshan Community, Xili Street, Nanshan District, Shenzhen City, Guangdong Province, 518000

Applicant after: Shenzhen Chengen heat Vision Technology Co.,Ltd.

Address before: 3A01E, Floor 4, Cangsong Building, Tairan Science Park, Tairan 6th Road, Tian'an Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Applicant before: Xingchengen mechanical equipment (Shenzhen) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant