CN108510528A - 一种可见光和红外图像配准融合的方法及装置 - Google Patents

一种可见光和红外图像配准融合的方法及装置 Download PDF

Info

Publication number
CN108510528A
CN108510528A CN201710110055.1A CN201710110055A CN108510528A CN 108510528 A CN108510528 A CN 108510528A CN 201710110055 A CN201710110055 A CN 201710110055A CN 108510528 A CN108510528 A CN 108510528A
Authority
CN
China
Prior art keywords
distance
visible light
infrared
opposite side
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710110055.1A
Other languages
English (en)
Other versions
CN108510528B (zh
Inventor
彭志远
刘波
罗洪伟
李国胜
龚健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Launch Digital Technology Co Ltd
Original Assignee
Shenzhen Launch Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Launch Digital Technology Co Ltd filed Critical Shenzhen Launch Digital Technology Co Ltd
Priority to CN201710110055.1A priority Critical patent/CN108510528B/zh
Publication of CN108510528A publication Critical patent/CN108510528A/zh
Application granted granted Critical
Publication of CN108510528B publication Critical patent/CN108510528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种可见光和红外图像配准融合的方法及装置,本发明实施例通过首先实时获取被测物体的可见光图像和红外图像;然后获取被测物体的物距;最后根据物距获取配准参数,并根据配准参数对可见光图像和红外图像进行配准融合;由于在获取配准参数时,考量了物距,使用几何的方式来计算配准参数,减少了运算量,使该方法可以在普通嵌入式设备中运行,同时克服了图像特征匹配只具有部分成功率的缺陷,故提高了被测物体的可见光图像和红外图像的配准的效率和精度。

Description

一种可见光和红外图像配准融合的方法及装置
技术领域
本发明涉及图像处理领域,尤其涉及一种可见光和红外图像配准融合的方法及装置。
背景技术
由于图像传感器自身物理特性、成像机理和观察视角等各个方面的种种限制,单一的图像传感器往往不能够从场景中提取足够的信息,比如单一的可见光图像传感器在照度不佳或有少量烟、雾环境中成像效果较差,而单一的红外图像传感器仅对温度敏感,由目标与背景的温差决定,不能反映真实的场景。可见光图像和红外图像的融合就可以适应各种照度环境,增强场景理解,并具备一定的穿透能力。现有技术是基于图像特征匹配的,需要提取红外及可见光图像的特征,会消耗大量的处理资源,一般是在FPGA、DSP或PC上实现.,其对硬件配置的要求高,且图像特征匹配只具有部分成功率,故可见光图像及红外图像的配准精度较低。
由于上述现有技术为基于图像特征匹配的配准方法,从而导致了被测物体的可见光图像和红外图像的配准的效率和精度较低。
发明内容
本发明实施例提供一种可见光和红外图像配准融合的方法,能够提高被测物体的可见光图像和红外图像的配准的效率和精度。
第一方面,本发明实施例提供了一种可见光和红外图像配准融合的方法,包括:
实时获取被测物体的可见光图像和红外图像;
获取所述被测物体的物距;
根据所述物距获取配准参数,并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合。
另一方面,本发明实施例提供了一种可见光和红外图像配准融合的装置,包括:
图像获取模块,用于实时获取被测物体的可见光图像和红外图像;
物距获取模块,用于获取所述被测物体的物距;
第一配准融合模块,用于根据所述物距获取配准参数,并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合。
本发明实施例通过首先实时获取被测物体的可见光图像和红外图像;然后获取被测物体的物距;最后根据物距获取配准参数,并根据配准参数对可见光图像和红外图像进行配准融合;由于在获取配准参数时,考量了物距,使用几何的方式来计算配准参数,减少了运算量,使该方法可以在普通嵌入式设备中运行,同时克服了图像特征匹配只具有部分成功率的缺陷,故提高了被测物体的可见光图像和红外图像的配准的效率和精度。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种可见光和红外图像配准融合的方法的一示意流程图;
图2是本发明实施例提供的一种可见光和红外图像配准融合的方法的另一示意流程图;
图3是本发明实施例提供的一种可见光和红外图像配准融合的方法的一示意图;
图4是本发明实施例提供的一种可见光和红外图像配准融合的装置的一示意性框图;
图5是本发明实施例提供的一种可见光和红外图像配准融合的装置第一配准融合模块的一示意性框图;
图6是本发明实施例提供的一种可见光和红外图像配准融合的装置第一配准融合模块中的第二配准融合模块的一示意性框图;
图7是本发明实施例提供的一种可见光和红外图像配准融合的装置第一配准融合模块中的第二配准融合模块的另一示意性框图;
图8是本发明实施例提供的一种可见光和红外图像配准融合的装置第一配准融合模块中的的远交距离获取模块一示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
参见图1,图1是本发明实施例提供一种可见光和红外图像配准融合的方法的示意流程图。如图所示的可见光和红外图像配准融合的方法可包括以下步骤:
在步骤101中,实时获取被测物体的可见光图像和红外图像。
其中,被测物体的可见光图像可以通过可见光传感器获取,被测物体的红外图像可以通过红外传感器获取。
在步骤102中,获取被测物体的物距。
步骤102可以具体为:通过红外距离传感器获取被测物体的物距。
在步骤103中,根据物距获取配准参数,并根据配准参数对可见光图像和红外图像进行配准融合。
步骤103可以具体为:根据物距获取缩放倍数、目标可见光图像大小、目标红外图像大小和对齐像素位置,并根据缩放倍数、目标可见光图像大小、目标红外图像大小和对齐像素位置对可见光图像和红外图像进行配准融合。
参见图2,图2是本发明实施例提供一种可见光和红外图像配准融合的方法的另一种示意流程图。如图2所示的可见光和红外图像配准融合的方法可包括以下步骤:
在步骤201中,实时获取被测物体的可见光图像和红外图像。
在步骤202中,获取被测物体的物距。
在步骤203中,获取可见光传感器和红外传感器的远交距离,远交距离为可见光传感器可视角下边与红外传感器可视角下边的交点至可见光传感器和红外传感器的所在平面的距离。
步骤203可以具体包括:
获取可见光传感器中心点和红外传感器中心点的中心点距离、可见光水平可视角和红外水平可视角。
根据中心点距离、可见光水平可视角和红外水平可视角计算远交距离,远交距离为可见光传感器视角下边与红外传感器视角下边的交点至可见光传感器和红外传感器的所在平面的距离。
在步骤204中,判断物距是否小于远交距离。
在步骤205中,根据判断结果获取配准参数,并根据配准参数对可见光图像和红外图像进行配准融合。
其中步骤205分为两种情况。
第一种情况下,步骤204的判断结果为是时,步骤205包括:
根据物距获取第一上交点距离、第一可见光对边距离、第一下交点距离和第一红外对边距离;第一上交点距离为物距小于远交距离时在被测物体所在平面上可见光对边与红外对边的上交点距离;第一可见光对边距离为物距小于远交距离时在被测物体所在平面上可见光对边距离;第一下交点距离为物距小于远交距离时在被测物体所在平面上可见光对边与红外对边的下交点距离;第一红外对边距离为物距小于远交距离时在被测物体所在平面上红外对边距离。
根据第一上交点距离和第一可见光对边距离计算第一比率。将第一上交点距离和第一可见光对边距离的商作为第一比率。
根据第一下交点距离和第一红外对边距离计算第二比率。将第一下交点距离和第一红外对边距离的商作为第二比率。
根据第一比率计算第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素。
根据第二比率计算第一目标红外图像行像素和第一目标红外图像列像素。
根据第一目标红外图像行像素和第一目标红外图像列像素获取第一目标红外图像。根据第一目标红外图像行像素和第一目标红外图像列像素裁剪红外图像以生成第一目标红外图像。
根据第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素获取第一目标可见光图像。根据第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素裁剪可见光图像并缩放至第一目标红外图像大小以生成第一目标可见光图像。
对第一目标红外图像和第一目标可见光图像进行融合。
第二种情况下,步骤204的判断结果为否时,步骤205包括:
根据物距获取第二上交点距离、第二可见光对边距离和第二红外对边距离;第二上交点距离为物距不小于远交距离时在被测物体所在平面上可见光对边与红外对边的上交点距离;第二可见光对边距离为物距不小于远交距离时在被测物体所在平面上可见光对边距离;第二红外对边距离为物距不小于远交距离时在被测物体所在平面上红外对边距离。
根据第二上交点距离和第二可见光对边距离计算第三比率。将第二上交点距离和第二可见光对边距离的商作为第三比率。
根据第二红外对边距离和第二可见光对边距离计算第四比率。将第二红外对边距离和第二可见光对边距离的商作为第四比率。
根据第三比率和第四比率计算第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素。
根据第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素获取第二目标可见光图像。根据第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素裁剪可见光图像以生成第二目标可见光图像。
对红外图像和第二目标可见光图像进行融合。
其中,步骤203至步骤205是图1中的步骤103的具体执行过程。
与运用在PC上或DSP上的图特征匹配的方法相比,图特征匹配的方法运算量大,本申请中的红外图像和可见光图像配准融合是基于几何学的简单数学运算,运算量很小,非常适合嵌入式设备使用。并且图特征匹配的方法只具有部分成功率,而本申请中的红外图像和可见光图像配准融合的精度更高。
例如,如图3所示,实时获取被测物体的可见光图像和红外图像;获取被测物体的物距D;获取可见光传感器中心点A和红外传感器中心点B的中心点距离Z、可见光水平可视角和红外水平可视角ω;根据中心点距离Z、可见光水平可视角θ和红外水平可视角ω计算远交距离d’,远交距离d’为可见光传感器视角下边AD与红外传感器视角下边BF的交点H至可见光传感器和红外传感器的所在平面的距离;判断物距D是否小于远交距离d’。
判断结果为是时,则根据物距D获取第一上交点距离ab、第一可见光对边距离ac、第一下交点距离bc和第一红外对边距离bf;根据第一上交点距离ab和第一可见光对边距离ac计算第一比率;根据第一下交点距离bc和第一红外对边距离bf计算第二比率;根据第一比率计算第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素;根据第二比率计算第一目标红外图像行像素和第一目标红外图像列像素;根据第一目标红外图像行像素和第一目标红外图像列像素获取第一目标红外图像;根据第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素获取第一目标可见光图像;对第一目标红外图像和第一目标可见光图像进行融合。
当判断结果为否时,则根据物距D获取第二上交点距离a’b’、第二可见光对边距离a’f’和第二红外对边距离b’c’;根据第二上交点距离a’b’和第二可见光对边距离a’f’计算第三比率;根据第二红外对边距离b’c’和第二可见光对边距离a’f’计算第四比率;根据第三比率和第四比率计算第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素;根据第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素获取第二目标可见光图像;对红外图像和第二目标可见光图像进行融合。
为了实现上述可见光和红外图像配准融合的方法,本发明实施例还提供了一种可见光和红外图像配准融合的装置,参见图4,图4为本发明实施例提供的一种可见光和红外图像配准融合的装置的一示意性框图。本实例中的终端40包括的各单元用于执行图1对应的实施例中的各步骤,具体请参阅图1以及图1对应的实施例,此处不赘述。可见光和红外图像配准融合的装置40包括图像获取模块410、物距获取模块420和第一配准融合模块430。
图像获取模块410,用于实时获取被测物体的可见光图像和红外图像。
物距获取模块420,用于获取被测物体的物距。
第一配准融合模块430,用于根据物距获取配准参数,并根据配准参数对可见光图像和红外图像进行配准融合。
如图5所示,第一配准融合模块430包括远交距离获取模块431、判断模块432和第二配准融合模块433。
远交距离获取模块431,用于获取可见光传感器和红外传感器的远交距离,远交距离为可见光传感器可视角下边与红外传感器可视角下边的交点至可见光传感器和红外传感器的所在平面的距离。
判断模块432,用于判断物距是否小于远交距离。
第二配准融合模块433,用于根据判断结果获取配准参数,并根据配准参数对可见光图像和红外图像进行配准融合。
如图6所示,当判断模块432的判断结果为是时,第二配准融合模块433包括第一红外对边距离获取模块433-1a、第一比率计算模块433-2a、第二比率计算模块433-3a、第一目标可见光图像列像素计算模块433-4a、第一目标红外图像列像素计算模块433-5a、第一目标红外图像获取模块433-6a、第一目标可见光图像获取模块433-7a和第一融合模块433-8a。
第一红外对边距离获取模块433-1a,用于根据物距获取第一上交点距离、第一可见光对边距离、第一下交点距离和第一红外对边距离;第一上交点距离为物距小于远交距离时在被测物体所在平面上可见光对边与红外对边的上交点距离;第一可见光对边距离为物距小于远交距离时在被测物体所在平面上可见光对边距离;第一下交点距离为物距小于远交距离时在被测物体所在平面上可见光对边与红外对边的下交点距离;第一红外对边距离为物距小于远交距离时在被测物体所在平面上红外对边距离。
第一比率计算模块433-2a,用于根据第一上交点距离和第一可见光对边距离计算第一比率。
第二比率计算模块433-3a,用于根据第一下交点距离和第一红外对边距离计算第二比率。
第一目标可见光图像列像素计算模块433-4a,用于根据第一比率计算第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素。
第一目标红外图像列像素计算模块433-5a,用于根据第二比率计算第一目标红外图像行像素和第一目标红外图像列像素。
第一目标红外图像获取模块433-6a,用于根据第一目标红外图像行像素和第一目标红外图像列像素获取第一目标红外图像。
第一目标可见光图像获取模块433-7a,用于根据第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素获取第一目标可见光图像。
第一融合模块433-8a,用于对第一目标红外图像和第一目标可见光图像进行融合。
如图7所示,当判断模块432的判断结果为否时,第二配准融合模块433包括第二红外对边距离获取模块433-1b、第三比率计算模块433-2b、第四比率计算模块433-3b、第二目标可见光图像列像素计算模块433-4b、第二目标可见光图像获取模块433-5b和第二融合模块433-6b。
第二红外对边距离获取模块433-1b,用于根据物距获取第二上交点距离、第二可见光对边距离和第二红外对边距离;第二上交点距离为物距不小于远交距离时在被测物体所在平面上可见光对边与红外对边的上交点距离;第二可见光对边距离为物距不小于远交距离时在被测物体所在平面上可见光对边距离;第二红外对边距离为物距不小于远交距离时在被测物体所在平面上红外对边距离。
第三比率计算模块433-2b,用于根据第二上交点距离和第二可见光对边距离计算第三比率。
第四比率计算模块433-3b,用于根据第二红外对边距离和第二可见光对边距离计算第四比率。
第二目标可见光图像列像素计算模块433-4b,用于根据第三比率和第四比率计算第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素。
第二目标可见光图像获取模块433-5b,用于根据第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素获取第二目标可见光图像。
第二融合模块433-6b,用于对红外图像和第二目标可见光图像进行融合。
如图8所示,远交距离获取模块431包括中心点距离获取模块431-1和远交距离计算模块431-2。
中心点距离获取模块431-1,用于获取可见光传感器中心点和红外传感器中心点的中心点距离、可见光水平可视角和红外水平可视角。
远交距离计算模块431-2,用于根据中心点距离、可见光水平可视角和红外水平可视角计算远交距离,远交距离为可见光传感器视角下边与红外传感器视角下边的交点至可见光传感器和红外传感器的所在平面的距离。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述装置的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或装置的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种可见光和红外图像配准融合的方法,其特征在于,所述方法包括:
实时获取被测物体的可见光图像和红外图像;
获取所述被测物体的物距;
根据所述物距获取配准参数,并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合。
2.根据权利要求1所述的方法,其特征在于,所述根据所述物距获取配准参数,并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合包括:
获取可见光传感器和红外传感器的远交距离,所述远交距离为可见光传感器可视角下边与红外传感器可视角下边的交点至所述可见光传感器和所述红外传感器的所在平面的距离;
判断所述物距是否小于所述远交距离;
根据判断结果获取配准参数,并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合。
3.根据权利要求2所述的方法,其特征在于,当判断结果为是时,所述根据判断结果获取配准参数,并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合包括:
根据所述物距获取第一上交点距离、第一可见光对边距离、第一下交点距离和第一红外对边距离;所述第一上交点距离为所述物距小于所述远交距离时在所述被测物体所在平面上可见光对边与红外对边的上交点距离;所述第一可见光对边距离为所述物距小于所述远交距离时在所述被测物体所在平面上可见光对边距离;所述第一下交点距离为所述物距小于所述远交距离时在所述被测物体所在平面上所述可见光对边与所述红外对边的下交点距离;所述第一红外对边距离为所述物距小于所述远交距离时在所述被测物体所在平面上红外对边距离;
根据所述第一上交点距离和所述第一可见光对边距离计算第一比率;
根据所述第一下交点距离和所述第一红外对边距离计算第二比率;
根据所述第一比率计算第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素;
根据所述第二比率计算第一目标红外图像行像素和第一目标红外图像列像素;
根据所述第一目标红外图像行像素和所述第一目标红外图像列像素获取第一目标红外图像;
根据所述第一裁剪坐标、所述第一目标可见光图像行像素和所述第一目标可见光图像列像素获取第一目标可见光图像;
对所述第一目标红外图像和所述第一目标可见光图像进行融合。
4.根据权利要求2所述的方法,其特征在于,当判断结果为否时,所述根据判断结果获取配准参数,并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合包括:
根据所述物距获取第二上交点距离、第二可见光对边距离和第二红外对边距离;所述第二上交点距离为所述物距不小于所述远交距离时在所述被测物体所在平面上可见光对边与红外对边的上交点距离;所述第二可见光对边距离为所述物距不小于所述远交距离时在所述被测物体所在平面上可见光对边距离;所述第二红外对边距离为所述物距不小于所述远交距离时在所述被测物体所在平面上红外对边距离;
根据所述第二上交点距离和所述第二可见光对边距离计算第三比率;
根据所述第二红外对边距离和所述第二可见光对边距离计算第四比率;
根据所述第三比率和所述第四比率计算第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素;
根据所述第二裁剪坐标、所述第二目标可见光图像行像素和所述第二目标可见光图像列像素获取第二目标可见光图像;
对所述红外图像和所述第二目标可见光图像进行融合。
5.根据权利要求2所述的方法,其特征在于,所述获取可见光传感器和红外传感器的远交距离,所述远交距离为可见光传感器视角下边与红外传感器视角下边的交点至所述可见光传感器和所述红外传感器的所在平面的距离包括:
获取可见光传感器中心点和红外传感器中心点的中心点距离、可见光水平可视角和红外水平可视角;
根据所述中心点距离、所述可见光水平可视角和所述红外水平可视角计算远交距离,所述远交距离为可见光传感器视角下边与红外传感器视角下边的交点至所述可见光传感器和所述红外传感器的所在平面的距离。
6.一种可见光和红外图像配准融合的装置,其特征在于,包括:
图像获取模块,用于实时获取被测物体的可见光图像和红外图像;
物距获取模块,用于获取所述被测物体的物距;
第一配准融合模块,用于根据所述物距获取配准参数,并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合。
7.根据权利要求6所述的可见光和红外图像配准融合的装置,其特征在于,所述第一配准融合模块包括:
远交距离获取模块,用于获取可见光传感器和红外传感器的远交距离,所述远交距离为可见光传感器可视角下边与红外传感器可视角下边的交点至所述可见光传感器和所述红外传感器的所在平面的距离;
判断模块,用于判断所述物距是否小于所述远交距离;
第二配准融合模块,用于根据判断结果获取配准参数,并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合。
8.根据权利要求7所述的可见光和红外图像配准融合的装置,其特征在于,当所述判断模块的判断结果为是时,所述第二配准融合模块包括:
第一红外对边距离获取模块,用于根据所述物距获取第一上交点距离、第一可见光对边距离、第一下交点距离和第一红外对边距离;所述第一上交点距离为所述物距小于所述远交距离时在所述被测物体所在平面上可见光对边与红外对边的上交点距离;所述第一可见光对边距离为所述物距小于所述远交距离时在所述被测物体所在平面上可见光对边距离;所述第一下交点距离为所述物距小于所述远交距离时在所述被测物体所在平面上所述可见光对边与所述红外对边的下交点距离;所述第一红外对边距离为所述物距小于所述远交距离时在所述被测物体所在平面上红外对边距离;
第一比率计算模块,用于根据所述第一上交点距离和所述第一可见光对边距离计算第一比率;
第二比率计算模块,用于根据所述第一下交点距离和所述第一红外对边距离计算第二比率;
第一目标可见光图像列像素计算模块,用于根据所述第一比率计算第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素;
第一目标红外图像列像素计算模块,用于根据所述第二比率计算第一目标红外图像行像素和第一目标红外图像列像素;
第一目标红外图像获取模块,用于根据所述第一目标红外图像行像素和所述第一目标红外图像列像素获取第一目标红外图像;
第一目标可见光图像获取模块,用于根据所述第一裁剪坐标、所述第一目标可见光图像行像素和所述第一目标可见光图像列像素获取第一目标可见光图像;
第一融合模块,用于对所述第一目标红外图像和所述第一目标可见光图像进行融合。
9.根据权利要求7所述的可见光和红外图像配准融合的装置,其特征在于,当所述判断模块的判断结果为否时,所述第二配准融合模块包括:
第二红外对边距离获取模块,用于根据所述物距获取第二上交点距离、第二可见光对边距离和第二红外对边距离;所述第二上交点距离为所述物距不小于所述远交距离时在所述被测物体所在平面上可见光对边与红外对边的上交点距离;所述第二可见光对边距离为所述物距不小于所述远交距离时在所述被测物体所在平面上可见光对边距离;所述第二红外对边距离为所述物距不小于所述远交距离时在所述被测物体所在平面上红外对边距离;
第三比率计算模块,用于根据所述第二上交点距离和所述第二可见光对边距离计算第三比率;
第四比率计算模块,用于根据所述第二红外对边距离和所述第二可见光对边距离计算第四比率;
第二目标可见光图像列像素计算模块,用于根据所述第三比率和所述第四比率计算第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素;
第二目标可见光图像获取模块,用于根据所述第二裁剪坐标、所述第二目标可见光图像行像素和所述第二目标可见光图像列像素获取第二目标可见光图像;
第二融合模块,用于对所述红外图像和所述第二目标可见光图像进行融合。
10.根据权利要求6所述的可见光和红外图像配准融合的装置,其特征在于,所述远交距离获取模块包括:
中心点距离获取模块,用于获取可见光传感器中心点和红外传感器中心点的中心点距离、可见光水平可视角和红外水平可视角;
远交距离计算模块,用于根据所述中心点距离、所述可见光水平可视角和所述红外水平可视角计算远交距离,所述远交距离为可见光传感器视角下边与红外传感器视角下边的交点至所述可见光传感器和所述红外传感器的所在平面的距离。
CN201710110055.1A 2017-02-28 2017-02-28 一种可见光和红外图像配准融合的方法及装置 Active CN108510528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710110055.1A CN108510528B (zh) 2017-02-28 2017-02-28 一种可见光和红外图像配准融合的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710110055.1A CN108510528B (zh) 2017-02-28 2017-02-28 一种可见光和红外图像配准融合的方法及装置

Publications (2)

Publication Number Publication Date
CN108510528A true CN108510528A (zh) 2018-09-07
CN108510528B CN108510528B (zh) 2021-07-30

Family

ID=63373267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710110055.1A Active CN108510528B (zh) 2017-02-28 2017-02-28 一种可见光和红外图像配准融合的方法及装置

Country Status (1)

Country Link
CN (1) CN108510528B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544521A (zh) * 2018-11-12 2019-03-29 北京航空航天大学 一种人体安检中被动毫米波图像与可见光图像的配准方法
CN110838143A (zh) * 2019-11-28 2020-02-25 中国电子科技集团公司第十一研究所 一种多图像数据交互与信息融合方法、装置及可读存储介质
CN111164962A (zh) * 2018-09-26 2020-05-15 深圳市大疆创新科技有限公司 一种图像处理方法、设备、无人机、***及存储介质
CN112053314A (zh) * 2020-09-04 2020-12-08 深圳市迈测科技股份有限公司 图像融合方法、装置、计算机设备和介质及红外热像仪
CN112200842A (zh) * 2020-09-11 2021-01-08 深圳市优必选科技股份有限公司 一种图像配准方法、装置、终端设备及存储介质
WO2021135825A1 (zh) * 2019-12-31 2021-07-08 深圳市道通智能航空技术股份有限公司 一种图像融合的方法、装置及双光相机、无人机
CN117541629A (zh) * 2023-06-25 2024-02-09 哈尔滨工业大学 基于可穿戴头盔的红外图像和可见光图像配准融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045809A1 (en) * 2008-08-22 2010-02-25 Fluke Corporation Infrared and visible-light image registration
CN104299231A (zh) * 2014-09-26 2015-01-21 北京环境特性研究所 多传感器实时图像配准方法和***
CN106327424A (zh) * 2016-08-30 2017-01-11 南京邮电大学 红外与可见光图像配准参数校正装置和校正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045809A1 (en) * 2008-08-22 2010-02-25 Fluke Corporation Infrared and visible-light image registration
CN104299231A (zh) * 2014-09-26 2015-01-21 北京环境特性研究所 多传感器实时图像配准方法和***
CN106327424A (zh) * 2016-08-30 2017-01-11 南京邮电大学 红外与可见光图像配准参数校正装置和校正方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张兴国 等: "基于岩心扫描仪的多物距岩心图像的配准", 《计算机与数字工程》 *
王贵圆 等: "分光轴式多源图像融合***近距离配准方法研究", 《红外与激光工程》 *
黄克明 等: "基于DSP 的多源图像融合***", 《兵工自动化》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111164962A (zh) * 2018-09-26 2020-05-15 深圳市大疆创新科技有限公司 一种图像处理方法、设备、无人机、***及存储介质
CN109544521A (zh) * 2018-11-12 2019-03-29 北京航空航天大学 一种人体安检中被动毫米波图像与可见光图像的配准方法
CN109544521B (zh) * 2018-11-12 2021-08-17 北京航空航天大学 一种人体安检中被动毫米波图像与可见光图像的配准方法
CN110838143A (zh) * 2019-11-28 2020-02-25 中国电子科技集团公司第十一研究所 一种多图像数据交互与信息融合方法、装置及可读存储介质
EP4087229A4 (en) * 2019-12-31 2023-05-03 Autel Robotics Co., Ltd. METHOD AND DEVICE FOR IMAGE FUSION, DUAL LIGHT CAMERA AND UNMANNED AERIAL VEHICLE
US11805220B2 (en) 2019-12-31 2023-10-31 Autel Robotics Co., Ltd. Image fusion method and bifocal camera
WO2021135825A1 (zh) * 2019-12-31 2021-07-08 深圳市道通智能航空技术股份有限公司 一种图像融合的方法、装置及双光相机、无人机
CN112053314A (zh) * 2020-09-04 2020-12-08 深圳市迈测科技股份有限公司 图像融合方法、装置、计算机设备和介质及红外热像仪
CN112053314B (zh) * 2020-09-04 2024-02-23 深圳市迈测科技股份有限公司 图像融合方法、装置、计算机设备和介质及红外热像仪
CN112200842A (zh) * 2020-09-11 2021-01-08 深圳市优必选科技股份有限公司 一种图像配准方法、装置、终端设备及存储介质
CN112200842B (zh) * 2020-09-11 2023-12-01 深圳市优必选科技股份有限公司 一种图像配准方法、装置、终端设备及存储介质
CN117541629A (zh) * 2023-06-25 2024-02-09 哈尔滨工业大学 基于可穿戴头盔的红外图像和可见光图像配准融合方法
CN117541629B (zh) * 2023-06-25 2024-06-11 哈尔滨工业大学 基于可穿戴头盔的红外图像和可见光图像配准融合方法

Also Published As

Publication number Publication date
CN108510528B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN108510528A (zh) 一种可见光和红外图像配准融合的方法及装置
US11100649B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
CN112666714B (zh) 注视方向映射
Zollmann et al. Augmented reality for construction site monitoring and documentation
EP2396767B1 (en) Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
CN105144249B (zh) 零件安装作业支持***及零件安装方法
JP2019067383A5 (zh)
US20140192159A1 (en) Camera registration and video integration in 3d geometry model
JP2005268847A (ja) 画像生成装置、画像生成方法、および画像生成プログラム
US20200184667A1 (en) System for Volume Dimensioning Via Holographic Sensor Fusion
CN104781849A (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN103605978A (zh) 基于三维实景数据的城市违章建筑识别***及方法
WO2008099915A1 (ja) 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
US20160035094A1 (en) Image-based object location system and process
JP2015228215A (ja) 位置情報処理方法
JP2006267879A (ja) 画像処理方法、画像処理装置、マーカ
KR20180050380A (ko) 실제 장면의 화상을 가상 이미지와 오버레이하는 방법 및 장치, 그리고 모바일 디바이스
CN107504917A (zh) 一种三维尺寸测量方法及装置
JP2017003525A (ja) 三次元計測装置
JP2001126051A (ja) 関連情報呈示装置及び関連情報呈示方法
JP2008146108A (ja) 指標、画像処理装置、画像処理方法
JP4926598B2 (ja) 情報処理方法、情報処理装置
CN115731370A (zh) 一种大场景元宇宙空间叠加方法和装置
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
KR101614874B1 (ko) 지능형 3차원 씨씨티브이 카메라 영상 처리장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: B501, Building F2, TCL Science Park, No. 1001, Zhongshanyuan Road, Shuguang Community, Xili Street, Nanshan District, Shenzhen City, Guangdong Province, 518000

Patentee after: LAUNCH DIGITAL TECHNOLOGY Co.,Ltd.

Address before: 518000 Third Floor, Fengyun Building, Galaxy, No. 5 Xinxi Road, North District, Nanshan High-tech Park, Shenzhen City, Guangdong Province

Patentee before: LAUNCH DIGITAL TECHNOLOGY Co.,Ltd.