CN111161356B - 一种基于双层优化的红外和可见光融合方法 - Google Patents
一种基于双层优化的红外和可见光融合方法 Download PDFInfo
- Publication number
- CN111161356B CN111161356B CN201911302904.9A CN201911302904A CN111161356B CN 111161356 B CN111161356 B CN 111161356B CN 201911302904 A CN201911302904 A CN 201911302904A CN 111161356 B CN111161356 B CN 111161356B
- Authority
- CN
- China
- Prior art keywords
- image
- visible light
- infrared
- gamma
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 15
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 3
- 230000001133 acceleration Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 abstract 1
- 239000002131 composite material Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30212—Military
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理和计算机视觉领域,提出了一种基于双层优化的红外和可见光融合方法,采用一对红外相机和可见光相机获取图像,涉及构建双层范式的红外和可见光图像融合算法,是一种利用数学建模手段的红外与可见光融合算法。利用双目相机和NVIDIA TX2构建高性能运算平台,并构建高性能求解算法以获高质量的红外和可见光融合图像。***容易构建,分别使用立体双目红外和可见光相机即可完成输入数据的采集;程序简单,易于实现;利用红外和可见光相机成像的不同原理,通过用于数学建模手段,将融合图像分成图像域和梯度进行融合,有效的处理了融合时产生的伪影并提高了融合质量,最后通过GPU加速达到实时。
Description
技术领域
本发明属于图像处理和计算机视觉领域,采用一对红外相机和可见光相机获取图像,涉及构建双层范式的红外和可见光图像融合算法,是一种利用数学建模手段的红外与可见光融合算法。
背景技术
基于可见光波段的双目立体视觉技术发展较为成熟,可见光成像具有丰富的对比度、颜色、形状信息,因而可以准确、迅速的获得双目图像之间的匹配信息,进而获取场景深度信息。但可见光波段成像存在其缺陷,如在强光、雾雨、雪天或夜晚,其成像质量大大下降,影响匹配的精度。因此利用不同波段信息源的互补性建立彩色融合***,是实现特殊环境下产生更可信的图像的有效途径。如利用可见光波段双目相机与红外波段双目相机构成多波段立体视觉***,利用红外成像不受雾雨雪、光照影响优势,弥补可见光波段的成像不足,从而获取更完整、精确的融合信息。
多模态图像融合技术是利用多个图像之间的互补性和冗余性,采用特定的算法或规则进行融合,得到高可信度、视觉更优图像的一种图像处理算法。相比于同模态融合图像单一性,多模态图像融合可以更好的获取不同模态下图像的交互信息,逐渐成为解决灾害监测,无人驾驶,军事监控,深空探测的重要手段。其目标是利用不同模态传感器成像的差异性和互补性,极大限度地提取各模态的图像信息,使用不同模态的源图像融合出一张信息丰富、真实度高的合成图像。因此多模态图像融合会对图像产生更全面的认识和更准确的定位。近年来,大多融合方法都是基于变换域进行研究设计,没有考虑到图像多尺度的细节信息,导致融合后的图像中细节丢失,如公开专利CN208240087U一种红外与可见光融合***及图像融合装置。因而本发明在通过对红外和可见光进行数学建模后对其进行最优化求解,在保留红外和可见光图像的有效信息的基础上,实现细节的增强且去除伪影。
发明内容
本发明旨在克服现有技术的不足,提供了一种基于双层范式的红外与可见光实时融合算法。通过设计针对红外和可见光图像进行基于双层范式的数学建模,分别在图像的图像域和梯度域进行求解,最后通过GPU加速达到实时。
本发明的具体技术方案:
一种基于双层优化的红外和可见光融合方法,包括步骤如下:
1)获取配准好的红外和可见光图像,分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自***的联合标定;
1-1)利用张正友标定法对每台红外相机、可见光相机分别进行标定,获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移;
1-2)利用联合标定获得的RT(旋转矩阵与平移向量)及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准;
2)对可见光图像进行色彩空间的转换,从RGB图像转成HSV图像,提取彩色图像的明度信息作为图像融合的输入,保留其原有色调及饱和度;
2-1)针对可见光图像是RGB三通道的问题,进行RGB色彩空间到HSV色彩空间的转换,V为明度,H为色调,S为饱和度;提取可见光图像的明度信息与红外图像进行融合,保留其色调和饱和度,具体转换如下所示:
R′=R/255 G′=G/255 B′=B/255
Cmax=max(R′,G′,B′)
Cmin=min(R′,G′,B′)
Δ=Cmax-Cmin
V=Cmax
2-2)提取V通道作为可见光的输入,保留H和S到对应的矩阵为后面融合后的色彩还原保留颜色信息。
3)对输入的红外图像和进行色彩空间转换后的可见光图像进行于基于双层范式的数学建模;该思想的核心是建立两个单独的模型,即上层子问题Leader和下层子问题Follower来解决同一个问题。首先假设优化中的目标函数和问题约束是博弈中的两个参与者,其中目标函数被视为领导者,问题约束是跟随者。在这种竞争中,领导者的下一步优化需要考虑跟随者的结果。将这两个竞争对手定义为两个复合最小化子问题:
β||▽F-▽V||1
其中,F代表融合后的图像,红外图像和可见光图像被分别用I,V表示,▽代表求梯度的算子,γ,β分别表示Leader和Follower的参数;
4)求解上层子问题,得到目标在图像域的融合结果;目标结果通过求解下式得到:
其中Fl k+1表示上层问题的结果;因为该目标有简单的闭式解,因此使用如下公式的闭形式解直接得到:
其中,F代表融合后图像,I代表红外图像,V代表可见光图像,γ代表可见光与红外图像权重参数,α代表权重变量参数。
5)求解下层子问题,得到目标在梯度域的融合结果;可以发现该问题是非凸非光滑的,很难被直接求解,应用交替方向乘子法,通过引入辅助变量将无约束问题转化为约束问题,然后在该框架下进行求解;
求解方法为:首先引入两个辅助变量u,w,其中u=▽F-▽I,w=▽F-▽V;通过变量替换,转化为最小化如下问题:
其中▽表示梯度算子,λ1,λ2是两个乘子,ρ1,ρ2是惩罚项的参数,通过变量分离,得到了三个分别关于u,w,F的子问题:
5-2)每一次迭代之后都需要对乘子λ1,λ2进行更新,具体更新方式如下:
其中Fk+1是每次迭代的最终结果,α是权衡两个成分的参数,该参数根据经验手工选取。
7)色彩空间转换:将融合的图像转回RGB图像并添加之前保留下的色调和饱和度;
通过把融合图像存入的V信息进行更新,结合之前保留的H和S进行HSV到RGB色彩空间的还原;具体公式如下所示:
C=V×S
X=C×(1-|(H/60°)mod2-1|)
m=V-C
R′,G′,B′=((R′+m)×255,(G′+m)×255,(B′+m)×255)
其中,C为明度与饱和度的成绩,m为明度与C的差。
8)色彩增强:对融合的图像进行色彩增强,从而生成一幅清晰度和对比度更优的融合图像;针对每个像素点的对比度,进行像素级的图像增强;
还原的图像进行颜色校正与增强,生成符合观察与检测的三通道图片;分别对R通道、G通道、B通道进行色彩增强,获得最终融合图像。具体如下公式所示:
Rout=(Rin)1/gamma
Rdisplay=(Rin (1/gamma))gamma
Gout=(Gin)1/gamma
G=(Gin (1/gamma))gamma
Bout=(Bin)1/gamma
Bdisplay=(Bin (1/gamma))gamma
其中gamma是矫正参数,Rin,Gin,Bin分别是输入R,G,B三个通道的值Rout,Gout,Bout是中间参数Rdisplay,Gdisplay,Bdisplay是增强后三通道的取值。
本发明的有益效果是:
本发明提出了一种利用红外和可见光双目立体相机实时融合的方法。利用数学建模的手段对输入的红外和可见光图像进行基于范式的数学建模,分别在图像域和梯度域求解融合,有效的减少了伪影的干扰并融合成高可信的图像,改发明具有以下特点:
(1)***容易构建,使用立体双目相机即可完成输入数据的采集;
(2)程序简单,易于实现;
(3)利用数学建模手段对融合分成两部分进行具有针对的求解;
(4)结构完成,可进行多线程操作,程序具有鲁棒性;
(5)利用细节图进行显著增强与判别,提升算法的泛化能力。
附图说明
图1是可见光与红外融合算法流程图。
图2是最终融合图像。
具体实施方式
本发明提出了一种利用红外相机和可见光相机进行实时图像融合的方法,结合附图及实施例详细说明如下:
将双目立体相机摆放在固定的平台上,实验相机的图像分辨率为1280×720,视场角为45.4°,为保证实时性利用NVIDIA TX2进行计算。在此基础上设计实时红外和可见光融合的方法,所述的方法包括下列步骤:
1)获取配准好的红外和可见光图像:
1-1)分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自***的联合标定;
1-2)利用张正友标定法对每台红外相机、可见光相机分别进行标定,获得每台相机的焦距、主点位置等内部参数和旋转、平移等外部参数。
1-3)利用联合标定获得的RT及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准。
2)图像色彩空间转换
2-1)针对可见光图像是RGB三通道的问题,进行RGB色彩空间到HSV色彩空间的转换,提取可见光图像的V(明度)信息与红外图像进行融合,保留其H(色调),S(饱和度),具体转换如下所示:
R′=R/255 G′=G/255 B′=B/255
Cmax=max(R′,G′,B′)
Cmin=min(R′,G′,B′)
Δ=Cmax-Cmin
V=Cmax
2-2)提取V(明度)通道作为可见光的输入,保留H(色调),S(饱和度)到对应的矩阵为后面融合后的色彩还原保留颜色信息
3)对输入的红外图像和进行色彩空间转换后的可见光图像进行于基于双层范式的数学建模。该思想的核心是建立两个单独的模型,即上层子问题(Leader)和下层子问题(Follower)来解决同一个问题。首先假设优化中的目标函数和问题约束是博弈中的两个参与者,其中目标函数被视为领导者,问题约束是跟随者。在这种竞争中,领导者的下一步优化需要考虑跟随者的结果。通过将这两个竞争对手定义为两个复合最小化子问题:
β||▽F-▽V||1
其中,F代表融合后的图像,红外图像和可见光图像被分别用I,V表示。▽代表求梯度的算子,γ,β分别表示Leader和Follower的参数。
4)求解上层子问题,目标结果可以通过求解下式得到:
其中Fl k+1表示上层问题的结果。因为该目标有简单的闭式解,因此可以使用如下公式的闭形式解直接得到:
5)求解下层子问题,可以发现该问题是非凸非光滑的,很难被直接求解,应用广泛应用的交替方向乘子法来解决这一问题。因此需要通过引入辅助变量将无约束问题转化为约束问题,然后在该框架下进行求解。具体来讲,首先引入两个辅助变量u,w,其中u=▽F-▽I,w=▽F-▽V。通过变量替换,转化为最小化如下问题:
其中▽表示梯度算子,λ1,λ2是两个乘子,ρ1,ρ2是惩罚项的参数,通过变量分离,得到了三个分别关于u,w,F的子问题:
5-2)每一次迭代之后都需要对乘子λ1,λ2进行更新,具体更新方式如下:
其中F是每次迭代的最终结果,α是权衡两个成分的参数。该参数需要根据经验手工选取,在这里选取为0.5。
7-1)通过把融合图像存入(明度V)信息进行更新,结合之前保留的(色调H)和(饱和度S)进行HSV到RGB色彩空间的还原。具体公式如下所示:
C=V×S
X=C×(1-|(H/60°)mod2-1|)
m=V-C
R′,G′,B′=((R′+m)×255,(G′+m)×255,(B′+m)×255)
其中,C为明度与饱和度的成绩,m为明度与C的差。
7-2)对步骤7-1,还原的图像进行颜色校正与增强,生成符合观察与检测的三通道图片;分别对R通道、G通道、B通道进行色彩增强,具体如下公式所示:
Rout=(Rin)1/gamma
Rdisplay=(Rin (1/gamma))gamma
Gout=(Gin)1/gamma
G=(Gin (1/gamma))gamma
Bout=(Bin)1/gamma
Bdisplay=(Bin (1/gamma))gamma。
其中gamma是矫正参数,Rin,Gin,Bin分别是输入R,G,B三个通道的值Rout,Gout,Bout是中间参数Rdisplay,Gdisplay,Bdisplay是增强后三通道的取值。
Claims (5)
1.一种基于双层优化的红外和可见光融合方法,其特征在于,包括步骤如下:
1)获取配准好的红外和可见光图像,分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自***的联合标定;
1-1)利用张正友标定法对每台红外相机、可见光相机分别进行标定,获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移;
1-2)利用联合标定获得的RT及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准;
2)对可见光图像进行色彩空间的转换,从RGB图像转成HSV图像,提取彩色图像的明度信息作为图像融合的输入,保留其原有色调及饱和度;
3)对输入的红外图像和进行色彩空间转换后的可见光图像进行于基于双层范式的数学建模;建立两个单独的模型,即上层子问题Leader和下层子问题Follower来解决同一个问题:
4)求解上层子问题,得到目标在图像域的融合结果;目标结果通过求解下式得到:
其中Fl k+1表示上层问题的结果;因为该目标有简单的闭式解,因此使用如下公式的闭形式解直接得到:
其中,F代表融合后图像,I代表红外图像,V代表可见光图像的明度,γ代表可见光与红外图像权重参数,α代表权重变量参数;
5)求解下层子问题,得到目标在梯度域的融合结果;应用交替方向乘子法,通过引入辅助变量将无约束问题转化为约束问题,然后在该框架下进行求解;
其中Fk+1是每次迭代的最终结果,该参数根据经验手工选取;
7)色彩空间转换:将融合的图像转回RGB图像并添加之前保留下的色调和饱和度;
通过把融合图像存入的V信息进行更新,结合之前保留的H和S进行HSV到RGB色彩空间的还原;
8)色彩增强:对融合的图像进行色彩增强,从而生成一幅清晰度和对比度更优的融合图像;针对每个像素点的对比度,进行像素级的图像增强;
还原的图像进行颜色校正与增强,生成符合观察与检测的三通道图片;分别对R通道、G通道、B通道进行色彩增强,获得最终融合图像。
2.根据权利要求1所述的基于双层优化的红外和可见光融合方法,其特征在于,步骤2)对可见光图像进行色彩空间的转换包括:
2-1)进行RGB色彩空间到HSV色彩空间的转换,V为明度,H为色调,S为饱和度;提取可见光图像的明度信息与红外图像进行融合,保留其色调和饱和度,具体转换如下所示:
R′=R/255G′=G/255B′=B/255
Cmax=max(R′,G′,B′)
Cmin=min(R′,G′,B′)
Δ=Cmax-Cmin
V=Cmax
2-2)提取明度V通道作为可见光的输入,保留H和S到对应的矩阵为后面融合后的色彩还原保留颜色信息。
5.根据权利要求1所述的基于双层优化的红外和可见光融合方法,其特征在于,步骤8)色彩增强,具体如下公式所示:
Rout=(Rin)1/gamma
Rdisplay=(Rin (1/gamma))gamma
Gout=(Gin)1/gamma
Gdisplay=(Gin (1/gamma))gamma
Bout=(Bin)1/gamma
Bdisplay=(Bin (1/gamma))gamma
其中gamma是矫正参数,Rin,Gin,Bin分别是输入R,G,B三个通道的值,Rout,Gout,Bout是中间参数,Rdisplay,Gdisplay,Bdisplay是增强后三通道的取值。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911302904.9A CN111161356B (zh) | 2019-12-17 | 2019-12-17 | 一种基于双层优化的红外和可见光融合方法 |
PCT/CN2020/077981 WO2021120408A1 (zh) | 2019-12-17 | 2020-03-05 | 一种基于双层优化的红外和可见光融合方法 |
US17/282,662 US11830222B2 (en) | 2019-12-17 | 2020-03-05 | Bi-level optimization-based infrared and visible light fusion method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911302904.9A CN111161356B (zh) | 2019-12-17 | 2019-12-17 | 一种基于双层优化的红外和可见光融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111161356A CN111161356A (zh) | 2020-05-15 |
CN111161356B true CN111161356B (zh) | 2022-02-15 |
Family
ID=70557588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911302904.9A Active CN111161356B (zh) | 2019-12-17 | 2019-12-17 | 一种基于双层优化的红外和可见光融合方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11830222B2 (zh) |
CN (1) | CN111161356B (zh) |
WO (1) | WO2021120408A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260597B (zh) * | 2020-01-10 | 2021-12-03 | 大连理工大学 | 一种多波段立体相机的视差图像融合方法 |
CN112102378B (zh) * | 2020-08-06 | 2024-06-11 | 深圳市优必选科技股份有限公司 | 图像配准方法、装置、终端设备及计算机可读存储介质 |
CN112115979B (zh) * | 2020-08-24 | 2024-03-22 | 深圳大学 | 一种红外图像和可见图像的融合方法及设备 |
CN112268621B (zh) * | 2020-09-15 | 2024-04-02 | 武汉华中天纬测控有限公司 | 一种隔离开关刀闸状态及触头温度监测装置 |
US20220335578A1 (en) * | 2021-04-14 | 2022-10-20 | Microsoft Technology Licensing, Llc | Colorization To Show Contribution of Different Camera Modalities |
CN114092523B (zh) * | 2021-12-20 | 2024-07-02 | 常州星宇车灯股份有限公司 | 一种灯光追踪人手的矩阵阅读灯及其控制方法 |
CN114596506A (zh) * | 2022-03-04 | 2022-06-07 | 北京理工大学 | 一种无人机巡检设备及图像融合方法 |
CN114445316B (zh) * | 2022-04-11 | 2022-06-21 | 青岛大学附属医院 | 一种内窥镜荧光与可见光图像融合方法 |
CN114820733B (zh) * | 2022-04-21 | 2024-05-31 | 北京航空航天大学 | 一种可解释的热红外可见光图像配准方法及*** |
CN114937309B (zh) * | 2022-05-12 | 2024-07-02 | 吉林大学 | 基于可见光图像与红外图像融合的行人检测方法、装置、电子设备和计算机可读介质 |
CN114648564B (zh) * | 2022-05-23 | 2022-08-23 | 四川大学 | 用于非稳态目标的可见光和红外图像优化配准方法及*** |
JP7450668B2 (ja) | 2022-06-30 | 2024-03-15 | 維沃移動通信有限公司 | 顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体 |
CN115578620B (zh) * | 2022-10-28 | 2023-07-18 | 北京理工大学 | 一种点线面多维特征-可见光融合slam方法 |
CN116843588B (zh) * | 2023-06-20 | 2024-02-06 | 大连理工大学 | 目标语义层级挖掘的红外与可见光图像融合方法 |
CN117218048B (zh) * | 2023-11-07 | 2024-03-08 | 天津市测绘院有限公司 | 基于三层稀疏光滑模型的红外与可见光图像融合方法 |
CN117788532A (zh) * | 2023-12-26 | 2024-03-29 | 四川新视创伟超高清科技有限公司 | 一种安防领域基于fpga的超高清双光融合配准方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366353A (zh) * | 2013-05-08 | 2013-10-23 | 北京大学深圳研究生院 | 一种基于显著性区域分割的红外与可见光图像融合方法 |
CN104966108A (zh) * | 2015-07-15 | 2015-10-07 | 武汉大学 | 一种基于梯度传递的可见光与红外图像融合方法 |
WO2018099405A1 (zh) * | 2016-11-30 | 2018-06-07 | 京东方科技集团股份有限公司 | 人脸分辨率重建方法、重建***和可读介质 |
CN109886908A (zh) * | 2019-02-14 | 2019-06-14 | 西安理工大学 | 红外图像与可见光图像融合方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8755597B1 (en) * | 2011-02-24 | 2014-06-17 | Exelis, Inc. | Smart fusion of visible and infrared image data |
US9996913B2 (en) * | 2014-04-07 | 2018-06-12 | Bae Systems Information And Electronic Systems Integration Inc. | Contrast based image fusion |
CN104700381B (zh) * | 2015-03-13 | 2018-10-12 | 中国电子科技集团公司第二十八研究所 | 一种基于显著目标的红外与可见光图像融合方法 |
CN105338262B (zh) * | 2015-10-09 | 2018-09-21 | 浙江大华技术股份有限公司 | 一种热成像图像处理方法及装置 |
US20220392211A1 (en) * | 2017-06-16 | 2022-12-08 | FLIR Belgium BVBA | Water non-water segmentation systems and methods |
CN208240087U (zh) | 2017-12-30 | 2018-12-14 | 广东金泽润技术有限公司 | 一种红外与可见光融合***及图像融合装置 |
CN110136183B (zh) * | 2018-02-09 | 2021-05-18 | 华为技术有限公司 | 一种图像处理的方法、装置以及摄像装置 |
CN110363732A (zh) * | 2018-04-11 | 2019-10-22 | 杭州海康威视数字技术股份有限公司 | 一种图像融合方法及其装置 |
US20220172464A1 (en) * | 2018-06-15 | 2022-06-02 | FLIR Belgium BVBA | Water non-water segmentation systems and methods |
CN110660088B (zh) * | 2018-06-30 | 2023-08-22 | 华为技术有限公司 | 一种图像处理的方法和设备 |
CN109146930B (zh) * | 2018-09-20 | 2021-10-08 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
CN110223262A (zh) * | 2018-12-28 | 2019-09-10 | 中国船舶重工集团公司第七一七研究所 | 一种基于像素级的快速图像融合方法 |
US11849099B2 (en) * | 2019-09-02 | 2023-12-19 | Trieye Ltd. | Multi-view image fusion by image space equalization and stereo-based rectification from two different cameras |
CN112767289B (zh) * | 2019-10-21 | 2024-05-07 | 浙江宇视科技有限公司 | 图像融合方法、装置、介质及电子设备 |
-
2019
- 2019-12-17 CN CN201911302904.9A patent/CN111161356B/zh active Active
-
2020
- 2020-03-05 US US17/282,662 patent/US11830222B2/en active Active
- 2020-03-05 WO PCT/CN2020/077981 patent/WO2021120408A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366353A (zh) * | 2013-05-08 | 2013-10-23 | 北京大学深圳研究生院 | 一种基于显著性区域分割的红外与可见光图像融合方法 |
CN104966108A (zh) * | 2015-07-15 | 2015-10-07 | 武汉大学 | 一种基于梯度传递的可见光与红外图像融合方法 |
WO2018099405A1 (zh) * | 2016-11-30 | 2018-06-07 | 京东方科技集团股份有限公司 | 人脸分辨率重建方法、重建***和可读介质 |
CN109886908A (zh) * | 2019-02-14 | 2019-06-14 | 西安理工大学 | 红外图像与可见光图像融合方法 |
Non-Patent Citations (2)
Title |
---|
Optimal Discriminative Projection for Sparse Representation-Based Classification via Bilevel Optimization;Guoqing Zhang 等;《IEEE》;20190304;全文 * |
基于多特征的红外与可见光图像融合;杨桄 等;《光学精密工程》;20140228;第22卷(第2期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
WO2021120408A1 (zh) | 2021-06-24 |
US20220044442A1 (en) | 2022-02-10 |
CN111161356A (zh) | 2020-05-15 |
US11830222B2 (en) | 2023-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111161356B (zh) | 一种基于双层优化的红外和可见光融合方法 | |
CN111062905B (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
CN110660088B (zh) | 一种图像处理的方法和设备 | |
WO2021120404A1 (zh) | 一种红外和可见光的融合方法 | |
CN109360235B (zh) | 一种基于光场数据的混合深度估计方法 | |
CN104680496B (zh) | 一种基于彩色图像分割的Kinect深度图修复方法 | |
CN101742123B (zh) | 图像处理设备和方法 | |
CN111047510A (zh) | 一种基于标定的大视场角图像实时拼接方法 | |
WO2017173735A1 (zh) | 一种基于视频透视的智能眼镜***及其透视方法 | |
US11656722B1 (en) | Method and apparatus for creating an adaptive bayer pattern | |
CN108055452A (zh) | 图像处理方法、装置及设备 | |
CN108230384B (zh) | 图像深度计算方法、装置、存储介质和电子设备 | |
JP2019518358A (ja) | 画像間の光学フローの効率的な決定 | |
US8867826B2 (en) | Disparity estimation for misaligned stereo image pairs | |
CN111693025B (zh) | 一种遥感影像数据生成方法、***及设备 | |
CN104299220B (zh) | 一种对Kinect深度图像中的空洞进行实时填充的方法 | |
CN104240211A (zh) | 用于视频拼接的图像亮度与色彩均衡方法及*** | |
CN108154514A (zh) | 图像处理方法、装置及设备 | |
CN111047709A (zh) | 一种双目视觉裸眼3d图像生成方法 | |
CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
CN107421640B (zh) | 基于色差扩大原理的多光谱光场成像***及方法 | |
CN117876608B (zh) | 三维图像重建方法、装置、计算机设备及存储介质 | |
CN105657268A (zh) | 一种基于多分辨率的多视点视频拼接融合算法 | |
CN107958489B (zh) | 一种曲面重建方法及装置 | |
CN111447428A (zh) | 平面至立体图像的转换方法、装置、计算机可读存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |