CN107977924A - 一种基于双传感器成像的图像处理方法、*** - Google Patents
一种基于双传感器成像的图像处理方法、*** Download PDFInfo
- Publication number
- CN107977924A CN107977924A CN201610919836.0A CN201610919836A CN107977924A CN 107977924 A CN107977924 A CN 107977924A CN 201610919836 A CN201610919836 A CN 201610919836A CN 107977924 A CN107977924 A CN 107977924A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- registering
- gray
- scale map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 47
- 230000009977 dual effect Effects 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000011049 filling Methods 0.000 claims description 80
- 238000005286 illumination Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 30
- 230000009885 systemic effect Effects 0.000 claims description 26
- 238000011946 reduction process Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 241000208340 Araliaceae Species 0.000 claims description 5
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 5
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 5
- 235000008434 ginseng Nutrition 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 21
- 239000011159 matrix material Substances 0.000 description 18
- 230000009466 transformation Effects 0.000 description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000002156 mixing Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 10
- 238000001931 thermography Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 239000004480 active ingredient Substances 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 206010015946 Eye irritation Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011549 displacement method Methods 0.000 description 1
- 231100000013 eye irritation Toxicity 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000002086 nanomaterial Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于双传感器成像的图像处理方法，包括：对第一图像进行图像处理，获得第一灰度图；对第二图像进行图像处理，获得第二灰度图；获取第一图像和/或第二图像成像时的当前成像距离；依据配准数据库以及当前成像距离，确定目标配准参数；依据目标配准参数，对第一灰度图和第二灰度图进行位置配准，得到与第一灰度图相对应的第一配准图和与第二灰度图相对应的第二配准图；将第一配准图和第二配准图进行融合并显示。本申请还公开了相应的图像处理***，包括成像模块、图像处理模块、配准模块和融合显示模块等。如此，能够考虑不同成像条件对图像配准的影响，提高配准精度，提升图像融合的效果。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种基于双传感器成像的图像处理方法、***。
背景技术
热成像技术(又称红外成像技术)广泛应用于材料、机械动力、电子电气、土木工程、化学化工、动植物等多领域的科学研究，还可应用于电气设备、机电设备、建筑检测、研发品质管理、军事及安防等方面。该技术通过非接触方式探测红外能量，然后将探测到的红外能量转换为电信号，进而基于该电信号在显示器上生成第一图像，该图像上的不同颜色或者灰度可以代表被测物体的不同温度，从而方便人们了解被测物体的状况。
为了让第一图像上呈现更多的细节，可以同时使用热成像技术和可见光成像技术采集图像。目前基于这两项技术设计的双传感器的红外相机***主要包括，参见图1所示：可见光传感器10，用于捕捉可见光图像；红外传感器11，用于捕捉红外图像；处理组件12，用于从所捕捉的可见光图像中提取灰度部分，从所捕获的红外图像提取灰度部分，对二者的灰度部分进行缩放，并且对所缩放的灰度部分进行融合，以生成图像；以及显示组件13，用于显示该输出图像。
在现有技术中，会在对图像的灰度部分进行融合前进行配准，以避免融合时由于图像位置的偏差引起的错位、重影等问题，提高融合后图像的质量。发明人在研究过程中发现，采用通过离线标定获取到的确定的仿射变换矩阵进行配准，在不同的成像条件下可能会存在误差，因此难以保证在不同成像条件下的融合质量。
发明内容
本申请解决了现有技术的缺陷，提供了一种基于双传感器成像的图像处理方法、***，旨在考虑不同成像条件对图像配准的影响，提高配准精度，提升图像融合的效果。
本申请实施例提供的一种基于双传感器成像的图像处理方法，所述双传感器包括用于采集第一图像的红外传感器和用于采集第二图像的可见光传感器，该方法包括：
对所述第一图像进行图像处理，获得第一灰度图；对所述第二图像进行图像处理，获得第二灰度图；获取所述第一图像和/或所述第二图像成像时的当前成像距离；
依据配准数据库以及所述当前成像距离，确定目标配准参数；其中，所述配准数据库中存储有成像距离和配准参数的对应关系；
依据所述目标配准参数，对所述第一灰度图和所述第二灰度图进行位置配准，得到与所述第一灰度图相对应的第一配准图和与所述第二灰度图相对应的第二配准图；将所述第一配准图和所述第二配准图进行融合并显示。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，所述配准数据库中存储的成像距离和配准参数的对应关系中，所述成像距离包括多个预设成像距离，与所述成像距离相对应的配准参数是依据在所述预设成像距离下获取的第一样图和第二样图上选择的匹配点对、并依据所述匹配点对在所述第一样图和所述第二样图上的坐标的对应关系计算得到的。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，获取所述第一图像和所述第二图像成像时的当前成像距离，包括：
获取所述可见光传感器采集所述第二图像时的聚焦统计信息，其中，所述聚焦统计信息包括所述第二图像对应的焦距信息；
根据所述焦距信息，确定所述第二图像中的目标物体相对于所述可见光传感器的当前成像距离；
或者，
获取所述红外传感器采集所述第一图像时的聚焦统计信息，其中，所述聚焦统计信息包括所述第一图像对应的焦距信息；
根据所述焦距信息，确定所述第一图像中的目标物体相对于所述红外传感器的当前成像距离。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，在采用所述可见光传感器采集所述第二图像时，包括：
若满足以下一项或多项条件，则开启近红外光补光设备，所述可见光传感器采集所述第二图像，其中，所述第二图像中包含有近红外光所形成的图像：
成像场景的光照强度低于预设可见光照度值；
前一帧第二图像的信噪比低于预设信噪比阈值；
采集前一帧第二图像的自动曝光增益等级超出预设增益等级。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，在开启所述近红外光补光设备之前或之后，所述方法还包括：
依据成像场景的光照强度和/或前一帧第二图像的信噪比和/或采集前一帧第二图像的自动曝光增益等级，确定所述近红外光补光设备的补光强度。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，对所述第二图像处理，获得第二灰度图，包括：
对所述第二图像进行降噪处理；
提取经过所述降噪处理的第二图像的灰度部分，形成所述第二灰度图。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，将所述第一配准图和所述第二配准图进行融合并显示，包括：
依据图像信息熵、梯度幅值、***预设参数和用户输入参数中的一项或多项，确定所述第一配准图和所述第二配准图的权重；
将所述第一配准图和所述第二配准图按照所述权重加权求和，按照所述加权求和的计算结果显示。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，将所述第一配准图和所述第二配准图进行融合并显示，包括：
提取所述第二配准图的高频信息；
依据用户输入的参数和/或***预设参数，确定所述高频信息的权重；依据图像信息熵、梯度幅值、***预设参数和用户输入参数中的一项或多项，确定所述第一配准图和所述第二配准图的权重；
将所述高频信息、所述第一配准图和所述第二配准图按照所述权重加权求和，按照所述加权求和的计算结果显示。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，依据所述第一配准图和所述第二配准图的图像信息熵确定所述第一配准图和所述第二配准图的权重，包括：
计算各像素点所在区域的图像信息熵；
比较所述第一配准图和所述第二配准图在同一像素点所在区域的图像信息熵的大小；
对于同一像素点所在区域，若所述第一配准图在该像素点所在区域的图像信息熵大于所述第二配准图在该像素点所在区域的图像信息熵，则所述第一配准图的该像素点所在区域在加权求和中所占权重大于所述第二配准图的该像素点所在区域在加权求和中所占权重。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，依据所述第一配准图和所述第二配准图的梯度幅值确定所述第一配准图和所述第二配准图的权重，包括：
计算各像素点的梯度幅值；
比较所述第一配准图和所述第二配准图在同一像素点的梯度幅值的大小；
对于同一像素点，若所述第一配准图在该像素点的梯度幅值大于所述第二配准图在该像素点的梯度幅值，则所述第一配准图的该像素点在加权求和中所占权重大于所述第二配准图的该像素点在加权求和中所占权重。
本申请实施例还提供了一种基于双传感器成像的图像处理***，包括成像模块、图像处理模块、成像距离获取模块、目标配准参数确定模块、配准模块和融合显示模块，其中，
所述成像模块包括：
红外传感器，用于采集第一图像；
可见光传感器，用于采集第二图像；
所述图像处理模块，用于对所述第一图像进行图像处理，获得第一灰度图；并用于对所述第二图像进行图像处理，获得第二灰度图；
所述成像距离获取模块，用于获取所述第一图像和/或所述第二图像成像时的当前成像距离；
所述目标配准参数确定模块，用于依据配准数据库以及所述当前成像距离，确定目标配准参数；其中，所述配准数据库中存储有成像距离和配准参数的对应关系；
所述配准模块，用于依据所述目标配准参数，对所述第一灰度图和所述第二灰度图进行位置配准，得到与所述第一灰度图相对应的第一配准图和与所述第二灰度图相对应的第二配准图；
所述融合显示模块，用于将所述第一配准图和所述第二配准图进行融合并显示。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，所述***还包括：
近红外光补光设备，用于所述可见光传感器采集包含有近红外光所形成的图像的第二图像；
判断模块，用于在经判断满足以下一项或多项条件时，开启所述近红外光补光设备：成像场景的光照强度低于预设可见光照度值；前一帧第二图像的信噪比低于预设信噪比阈值；采集前一帧第二图像的自动曝光增益等级超出预设增益等级。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，所述***还包括：
补光强度调节模块，用于依据成像场景的光照强度和/或前一帧第二图像的信噪比和/或采集前一帧第二图像的自动曝光增益等级，确定所述近红外光补光设备的补光强度。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，所述图像处理模块包括：
第一图像处理组件，用于对所述第一图像进行图像处理，获得第一灰度图；
第二图像处理组件，用于对所述第二图像进行图像处理，获得第二灰度图；其中，所述第二图像处理组件进一步包括：
降噪处理单元，用于对所述第二图像进行降噪处理；
灰度提取单元，用于提取经过所述降噪处理的第二图像的灰度部分，形成所述第二灰度图。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，所述融合显示模块包括：
第一计算组件，用于计算所述第一配准图和所述第二配准图的图像信息熵和/或梯度幅值；
权重确定组件，用于依据所述图像信息熵、所述梯度幅值、***预设参数和用户输入参数中的一项或多项，确定所述第一配准图和所述第二配准图的权重；
第二计算组件，用于将所述第一配准图和所述第二配准图按照所述权重加权求和；
显示组件，用于按照所述第二计算组件的计算结果进行显示。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，所述融合显示模块还包括：
高频信息提取组件，用于提取所述第二配准图的高频信息；
则所述权重确定组件还用于依据用户输入的参数和/或***预设参数，确定所述高频信息的权重，并且，
所述第二计算组件用于将所述高频信息、所述第一配准图和所述第二配准图按照所述权重加权求和。
优选地，本申请实施例提供的基于双传感器成像的图像处理方法中，所述基于双传感器成像的图像处理***，具体包括双传感器红外相机。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
(1)本申请在现有技术的基础上，依据第一灰度图或第二灰度图成像时的当前成像距离，结合存储有成像距离和配准参数的对应关系的配准数据库，确定目标配准参数。再依据目标配准参数，对第一灰度图和第二灰度图进行位置配准，得到与第一灰度图相对应的第一配准图和与第二灰度图相对应的第二配准图，在此基础上，进行第一配准图和第二配准图像的融合与显示。由于本申请实施例在进行位置配准时所依据的目标配准参数是考虑了第一灰度图或第二灰度图的当前成像距离确定得到的，因此，能够克服现有技术中未考虑成像条件，采用确定的仿射变换矩阵进行配准所带来的配准精度问题，从而提高了配准的精度，有利于提高图像融合的质量。
(2)本申请的优选实施例中，还能在满足一定条件时开启近红外光补光设备，使得可见光传感器可以在照度很低的场景中采集到成像质量较好的图像，该图像包含有近红外光所形成的图像，从而可以提升图像融合的效果。同时，相比于可见光补光设备，近红外光补光设备对人眼无刺激，可以减轻光污染问题，避免在道路上应用时的安全隐患。进一步地，还能够依据成像场景的光照强度和/或前一帧第二图像的信噪比和/或前一帧第二图像的自动曝光增益等级，自适应地调节近红外光补光设备的补光强度，从而能够自动地适应成像场景的需要。
(3)在对图像进行融合时，本申请的优选实施例采用加权求和融合的方式，并且优选采用提取图像高频信息的方式提取图像的轮廓信息，融合时利用该轮廓信息，有利于提升融合图像细节丰富程度及有效信息量。除此之外，本申请的优选实施例中可以依据用户输入的参数和/或***预设参数确定高频信息、第一配准图像、第二配准图像在进行融合时的权重，还可以依据图像信息熵、梯度幅值确定第一配准图、第二配准图在进行融合时的权重，从而可以显示出诸如融合图像、画中画图像、单第一图像、单第二图像等，还可以控制融合图像的显示风格及效果，如接近可见光风格、接近热成像风格，也可进行融合图像清晰度调节等，大大提高了应用的灵活性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请现有技术双传感器红外相机***的结构示意图；
图2为本申请提供的图像处理方法的流程示意图；
图3为本申请提供的第二种图像处理方法的流程示意图；
图4为本申请提供的配准数据库的建立过程的流程示意图；
图5为本申请提供的配准数据库的建立过程的实施示意图；
图6为本申请提供的第三种图像处理方法的流程示意图；
图7-1为本申请提供的第四种图像处理方法的流程示意图；
图7-2为本申请提供的第五种图像处理方法的流程示意图；
图7-3为本申请提供的第六种图像处理方法的流程示意图；
图8为本申请提供的图像处理***的结构示意图；
图9为本申请提供的第二种图像处理***的结构示意图；
图10为本申请提供的第三种图像处理***的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请解决了现有技术的缺陷，提供了一种基于双传感器成像的图像处理方法、***及相机，考虑了不同成像条件对图像配准的影响，提高了配准精度，从而提升图像融合的效果。
具体地，本申请实施例提供一种基于双传感器成像的图像处理方法，参见图2所示，其中，双传感器包括用于采集第一图像的红外传感器和用于采集第二图像的可见光传感器，上述方法包括：
S101：红外传感器采集第一图像；
S101’：可见光传感器采集第二图像；
S104：对第一图像进行图像处理，获得第一灰度图；
S104’：对第二图像进行图像处理，获得第二灰度图；
S105：获取第一图像或第二图像成像时的当前成像距离；
S106：依据配准数据库以及当前成像距离，确定目标配准参数；其中，配准数据库中存储有成像距离和配准参数的对应关系；
S107：依据目标配准参数，对第一灰度图和第二灰度图进行位置配准，得到与第一灰度图相对应的第一配准图和与第二灰度图相对应的第二配准图；
S108：将第一配准图和第二配准图进行融合并显示。
在图2所示的实施例中，步骤S101和步骤S101’的执行无先后顺序，步骤S104、步骤S104’和步骤S105的执行无先后顺序，可以以任意顺序执行，也可以并行执行。
在上述实施例中，第一图像由红外传感器采集得到，可以具体为热成像图像，第一灰度图可以具体化为热成像图像经过图像处理得到的热成像灰度图。作为本发明的一种实施方式，第二图像由可见光传感器采集得到，第二灰度图可以具体化为可见光图像经过图像处理得到的可见光灰度图。获得第一灰度图和第二灰度图之后，对第一灰度图和第二灰度图进行位置配准。位置配准可以具体化为像素点上的配准。
配准(registration)，通常指同一区域内以不同成像手段所获得的不同图像图形的地理坐标的匹配。包括几何纠正、投影变换与统一比例尺三方面的处理。常见的配准方法包括：相互配准，即以多图像的其中一幅图像作为参考图像，其它图像与其配准；绝对配准，即定义一个控制格网，使所有图像与其配准。
在实施本申请实施例时，由于两个传感器采集图像的分辨率不一样，而且在装配时会存在位置上的偏差，这就可能导致采集到的第二图像与第一图像存在像素点上没对齐的问题，若不进行配准对齐，在融合处理时则可能出现由于图像位置偏差引起的错位、重影等问题。本实施例对第二图像与第一图像进行缩放，并进行位置配准，从而能有效避免融合处理时由于图像位置偏差引起的错位、重影等问题，有利于改善图像融合的效果。更进一步地，图2所示实施例在确定目标配准参数时，通过第一图像或第二图像成像时的当前成像距离、以及存储有成像距离和配准参数的对应关系的配准数据库，确定出用于进行位置配准的目标配准参数，考虑了包括实际成像距离在内的成像条件对配准精度的影响，从而能够提高配准精度，从而提升图像融合的效果。
在上述实施例中，配准数据库中存储的成像距离和配准参数的对应关系中，成像距离包括多个预设成像距离，与成像距离相对应的配准参数是依据在预设成像距离下获取的第一样图和第二样图上选择的匹配点对、并依据匹配点对在第一样图和第二样图上的坐标的对应关系计算得到的。具体地，可以采用图4所示的实施例建立配准数据库。具体如下：
S1074：对于预设成像距离，获取预设成像距离下的第一样图和第二样图；其中，第一样图由红外传感器采集的图像经过图像处理得到，第二样图由可见光传感器采集的图像经过图像处理得到；
S1075：在预设成像距离对应的第一样图和第二样图上选择匹配点对，依据匹配点对在第一样图和第二样图上的坐标的对应关系，计算与该预设成像距离相对应的配准参数；
S1076：保存预设成像距离及其相对应的配准参数，形成配准数据库。
参见图5所示，预设多个成像距离，例如图5中场景距离L1、场景距离L2、场景距离L3等等，对每一个预设成像距离下获取的第一样图和第二样图进行标定，也就是在两幅图中选择对应到同一目标的匹配点对，依据匹配点对在第一样图和第二样图上的坐标的对应关系，计算与该预设成像距离相对应的配准参数。以配准参数具体化为仿射变换矩阵为例，可以对每一预设成像距离计算与该距离相对应的仿射变换矩阵，分别为矩阵M1、矩阵M2、矩阵M3等等。将计算得到的仿射变换矩阵与相应的预设成像距离一一对应的保存在配数据库中，形成配准数据库，可供图像配准时直接调取、查询。本实施例可以在图像配准前提前在配准数据库中建立预设成像距离与仿射变换矩阵等配准参数的对应关系，因此在图像配准时只需依据当前成像距离直接在配准数据库中查询调用相对应的仿射变换矩阵等配准参数即可，还有利于提高实际成像时的配准效率。
在建立配准数据库的过程中，对于每一预设成像距离，选取的匹配点对需至少达到2对，优选2对～4对，才能较好地完成配准；且匹配点对的分布越分散、数量越多，配准精度往往越高。
配准参数，可以具体取为仿射变换矩阵。仿射变换矩阵是由匹配点对(也可称为标定点对)的坐标变换关系计算得到的矩阵，表示第一样图和第二样图之间的坐标变换关系。在具体实施时，可以采用相互配准的方式，以第一样图和第二样图之任一作为参考图，计算将另一幅图的坐标系变换为参考图的坐标系的仿射变换矩阵；也可以采用绝对配准的方式，分别计算第一样图和第二样图与定义的一个标准坐标系的仿射变换矩阵。仿射变换矩阵中包含了两幅图的坐标系的缩放、旋转和平移，依据仿射变换矩阵即可将第一样图和第二样图配准。
在图2所示实施例中，步骤S105获取第一图像或第二图像成像时的当前成像距离，可以具体包括：
获取可见光传感器采集第二图像时的聚焦统计信息，其中，聚焦统计信息包括第二图像对应的焦距信息；
根据焦距信息，确定第二图像中的目标物体相对于可见光传感器的当前成像距离；
或者，
获取红外传感器采集第一图像时的聚焦统计信息，其中，聚焦统计信息包括第一图像对应的焦距信息；
根据焦距信息，确定第一图像中的目标物体相对于红外传感器的当前成像距离。
上述第一图像或第二图像的成像时的当前成像距离，可以依据成像时对应的聚焦统计信息来确定，依据当前成像距离以及成像距离和配准参数的对应关系确定目标配准参数，进而完成位置配准的过程，可以具体化为图3所示的流程，具体包括：
S1071：依据第一灰度图或第二灰度图成像时对应的聚焦统计信息，确定第一灰度图或第二灰度图成像时的当前成像距离；
S1072：依据当前成像距离，在预先存储的配准数据库中选取与该当前成像距离相对应的配准参数；其中，配准数据库中存储有成像距离及其相对应的配准参数；
S1073：依据与当前成像距离相对应的配准参数，对第一灰度图和第二灰度图进行位置配准，得到与第一灰度图相对应的第一配准图和与第二灰度图相对应的第二配准图。
在实际成像时，聚焦统计信息可以体现出第一灰度图和第二灰度图的当前成像距离，因此，依据聚焦统计信息即可确定当前成像距离。进一步地，依据当前成像距离，即可在已有的配准数据库中选取与该当前成像距离相对应的配准参数，就能查找到与当前成像距离相对应的仿射变换矩阵等配准参数，以便进行第一灰度图和第二灰度图间的坐标变换，实现配准对齐，既有利于提高配准的精度，又有利于提高配准的效率。
进一步优选地，参见图6所示，本申请实施例提供的基于双传感器成像的图像处理方法中，在执行步骤S101’采用可见光传感器采集第二图像时，可以具体包括：
S102：判断是否开启近红外光补光设备；
步骤S103’：若判断结果为是，则开启近红外光补光设备，可见光传感器采集第二图像，其中，第二图像中包含有近红外光所形成的图像；
步骤S103：若判断结果为否，则可见光传感器采集仅包含可见光所形成图像的第二图像。
在上述实施例中，第一图像由红外传感器采集得到，可以具体为热成像图像，第一灰度图可以具体化为热成像图像经过图像处理得到的热成像灰度图。第二图像由可见光传感器采集得到，执行S102判断是否开启近红外光补光设备后，若无需开启，则执行步骤S103用可见光传感器采集仅包含可见光成分的第二图像，这时第二图像可认为是可见光图像。若经过判断需要开启，则执行步骤S103’用可见光传感器采集包含有近红外光成分的第二图像，则第二图像中包含有近红外光所形成的图像。具体地，当成像场景中照度较低、可见光传感器仍然能够采集到可见光图像时，开启近红外光补光设备后采集到的第二图像中将同时包含近红外光所形成的图像和可见光所形成的图像；当成像场景中照度很低、可见光传感器完全无法采集到可见光图像时，开启近红外光补光设备后采集到的第二图像中将仅包含近红外光所形成的图像。本实施例中开启近红外光补光设备后，可以对可见光传感器的成像场景进行近红外光补光，从而能够采集到第二图像，其中第二图像包含近红外光所形成的图像。
可见光是电磁波谱中人眼可以感知的部分，通常，一般人的眼睛可以感知的电磁波的波长在400nm(纳米)～760nm(纳米)之间。在可见光光谱的附近，波长小于400nm(纳米)的是紫外线，电磁波谱中波长从10nm(纳米)～400nm(纳米)；波长大于760nm(纳米)的是红外光，波长在760nm(纳米)至1mm(毫米)之间)。而红外光又可细分为三部分，分别为近红外光、中红外光和远红外光，其中近红外光(Near Infrared，NIR)是介于可见光(VIS)和中红外光(MIR)之间的电磁波，按ASTM(美国试验和材料检测协会)定义是指波长在780～2526nm范围内的电磁波，习惯上又将近红外区划分为近红外短波(780～1100nm)和近红外长波(1100～2526nm)两个区域。因此，可见光传感器在设计上往往会自动衰减近红外光，使得光谱响应接近人眼函数曲线；在进行封装时，例如选择光学纳米材料封装时，可会使得可见光透过、紫外线截止、近红外光相对衰减，从而增强光学滤波效果。
在照度很低的成像场景中，由于可见光传感器感光性能的约束，可见光图像将出现图像噪声大、有用信息少、图像质量差等多种问题，进而导致融合效果不好甚至根本无法进行融合。在这种情况下，采用上述图6所示实施例中的方法，开启近红外光补光设备，对可见光传感器的成像场景进行近红外光补光，使得可见光传感器仍然可以采集到成像质量较好的、以近红外光成分为主的图像，从而可以提升图像融合的效果。
单纯从提升低照度场景下可见光图像成像质量的角度来说，也可以增加可见光补光灯作为场景照度的补充，但可见光补光灯对人眼刺激较大，无法适应某些场景的应用，例如公路上的违章监控拍照、隐身侦察等。而相比于可见光补光灯，红外补光灯对人眼无刺激，可以减轻光污染问题，避免在道路上应用时的安全隐患，也避免了军事上隐身侦察等应用场景下的危险。因此，图6所示优选实施例，既提高了低照度情况下的图像成像质量，进而有利于提升图像融合的效果，又避免了对人眼的刺激，消除了安全隐患，从而使得该实施例适用于无环境光照明或者环境光照度很低的应用场景。
更具体地，上述实施例中，判断可以开启近红外光补光设备的条件包括以下一项或多项，参见图7-1、图7-2或图7-3所示：
成像场景的光照强度低于预设可见光照度值；
前一帧第二图像的信噪比低于预设信噪比阈值；
采集前一帧第二图像的自动曝光增益等级超出预设增益等级。
当环境光照条件良好、能够获取到满足质量要求的第二图像(此时仅包含可见光成分，又可称为可见光图像)时，则无需开启近红外光设备，可见光传感器仍然正常的采集可见光图像即可。而成像场景的光照强度可以直接反映环境光照条件，前一帧第二图像的信噪比和采集前一帧第二图像的自动曝光增益等级这两项指标，都能分别独立的反映第二图像的成像质量，因此，择一或组合的考查以上三项指标，就可以确定是否需要开启近红外光补光设备。在组合考查以上多项指标确定是否开启近红外光补光设备时，可以采用多种方式，例如，可以对各项指标预设权重，确定各项指标对于判断结果的贡献大小。
在经判断确定开启近红外光补光设备之前或之后，还可进一步确定近红外光补光设备的补光强度。具体地，优选依据成像场景的光照强度、前一帧第二图像的信噪比和/或前一帧第二图像的自动曝光增益等级，确定近红外光补光设备的补光强度。在确定上述补光强度时，可按照以下方式确定：成像场景的光照强度越低，补光强度越大；和/或前一帧第二图像的信噪比越低，补光强度越大；和/或采集前一帧第二图像的自动曝光增益等级越高，补光强度越大。
图7-1所示实施例中，步骤S1031判断成像场景的光照强度是否低于预设可见光照度值，若高于或等于预设可见光照度值，则执行步骤S1034可见光传感器采集可见光图像；若低于预设可见光照度值，则执行步骤S1035开启近红外光补光设备，同时可见光传感器采集包含有近红外光所形成的图像的第二图像。光照强度指单位面积上所接受可见光的光通量，可通过照度计(或称勒克斯计)直接测量。预设可见光照度值可以设定为可见光传感器能够采集到符合要求的可见光图像的临界值，达到预设可见光照度值才能采集到满足融合要求的可见光图像，否则就需要开启近红外光补光设备。在确定开启近红外光补光设备后，可以依据以下原则确定补光强度：成像场景的光照强度越低，补光强度越大；成像场景的光照强度越高，补光强度越小。
图7-2所示实施例中，步骤S1032判断前一帧第二图像的信噪比是否低于预设信噪比阈值，若高于或等于预设信噪比阈值，则执行步骤S1034可见光传感器采集可见光图像；若低于预设信噪比阀值，则执行步骤S1035开启近红外光补光设备，同时可见光传感器采集第二图像，该图像包含有近红外光所形成的图像。信噪比(signal-to-noise ratio)是描述信号中有效成分与噪声成分的比例关系参数，顾名思义，即信号中有效成分的功率与噪声成分功率之比。信噪比越高，表示信号中有效成分所占的比重越大，信噪比越低，表示信号中噪声所占的比重越大。在本实施例中，通过预设信噪比阈值的方式，考查前一帧第二图像的信噪比是否低于预设信噪比阈值，若等于或高于预设信噪比阀值，表示前一帧第二图像的成像效果满足要求，无需调整；若低于预设信噪比阀值，表示前一帧第二图像的成像效果已不满足要求，从而需开启近红外光补光设备，采集包含有近红外光成分的第二图像。若需要开启近红外光补光设备，则前一帧第二图像的信噪比越低，补光强度越大；前一帧第二图像的信噪比越高，补光强度越小。
图7-3所示实施例中，步骤S1033判断前一帧第二图像的自动曝光增益等级是否超出预设增益等级，若未超出，则执行步骤S1034可见光传感器采集可见光图像；若已超出，则执行步骤S1035开启近红外光补光设备，同时可见光传感器采集第二图像，该图像包含有近红外光所形成的图像。采集图像时，CMOS感光芯片的每个像素后面都有一个放大器用来放大很弱的信号，这个放大器的放大倍数即可理解为采集图像时的自动曝光增益等级。自动曝光增益等级越高，表明采集图像时信号越弱、需要的放大倍数越大；自动曝光增益等级越低，表明采集图像时信号越强、需要的放大倍数越小。在本实施例中，通过预设增益等级的方式，考察前一帧第二图像的自动曝光增益等级是否超出预设增益等级，若未超出，表明采集前一帧第二图像时的可见光信号足够强，无需调整；若已超出，表明前一帧第二图像时的可见光信号已不够强，需要超出预设的放大倍数对信号进行放大，从而需开启近红外光补光设备，采集第二图像，该图像包含有近红外光所形成的图像。若需要开启近红外光补光设备，则采集前一帧第二图像的自动曝光增益等级越高，补光强度越大；采集前一帧第二图像的自动曝光增益等级越低，补光强度越小。
上述实施例中，前一帧第二图像的信噪比可以通过对前一帧第二图像进行图像处理和分析得到，前一帧第二图像的自动曝光增益等级可以通过调取前一帧第二图像成像时的***参数得到。
上述各实施例中，在执行S104和/或S104’获取灰度图时，可以采用诸如浮点算法、整数方法、移位方法、平均值法等方式提取灰度图。具体地，对于红外传感器(也可称为热成像探测器)采集的第一图像，可以经过非均匀校正、自动增益控制等常规的图像处理方法，输出正常的第一灰度图。而在对第二图像(包含有可见光和/或近红外光所形成的图像)进行图像处理时，可能会由于环境光很弱甚至无环境光等原因，导致采集到的第二图像噪声很大，因此，优选采用以下方式对第二图像进行处理：
对第二图像进行降噪处理；
提取经过降噪处理的第二图像的灰度部分，形成第二灰度图。
上述降噪处理，是对视频流噪声进行去除的过程，分为时域降噪和空域降噪。在进行降噪处理时，可以选择高斯滤波的方式进行降噪。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，具体是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他均像素值经过加权平均后得到。在提取第二图像的灰度部分前，先进行降噪处理，有利于提升低照度场景下图像融合的效果。
通常所说的图像融合，是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。本申请实施例中的图像融合可以采用多种方式进行。例如，像素级融合(又称数据级融合)中的空间域算法和/或变换域算法等，具体地，空间域算法中逻辑滤波法、灰度加权平均法、对比调制法等，变换域算法中金字塔分解融合法、小波变换法等，均可适用于本申请实施例。
以下以灰度加权平均法为例，说明本申请实施例的实施过程。S108将第一配准图和第二配准图进行融合并显示，可具体包括：
依据图像信息熵、梯度幅值、***预设参数和用户输入参数中的一项或多项，确定第一配准图和第二配准图的权重；
将第一配准图和第二配准图按照权重加权求和，按照加权求和的计算结果显示。
具体地，第一配准图和第二配准图按权重进行相加，计算公式如下：
out＝vis×w1+tir×w2
其中，vis表示第二配准图，w1表示第二配准图的权重；tir表示第一配准图，w2表示第一配准图的权重。加权权重w1、w2可以由用户输入，可以由***预设参数确定，也可以根据图像信息熵、梯度幅值等运算获取。***预设参数可以与融合图像的显示模式相关联。
为了更好地提升融合图像的细节丰富程度和有效信息量，优选在融合时加入第二图像的轮廓信息，具体实现时，可以先提取第二配准图的高频信息；然后依据用户输入的参数和/或***预设参数，确定高频信息的权重；依据图像信息熵、梯度幅值、***预设参数和用户输入参数中的一项或多项，确定第一配准图和第二配准图的权重；最后，将高频信息、第一配准图和第二配准图按照上述权重加权求和，按照加权求和的计算结果显示。
具体地，在进行融合处理时，先提取第二配准图的高频信息highInfo，然后对高频信息、第一配准图和第二配准图三者按权重进行相加，计算公式如下：
highInfo＝HPF(vis)
out＝vis×w1+tir×w2+highInfo×K
其中，HPF表示高通滤波器，即采用高通滤波的方式获取第二配准图的高频信息highInfo，highInfo表示第二配准图提取的高频信息，K表示高频信息的权重；vis表示第二配准图，w1表示第二配准图的权重；tir表示第一配准图，w2表示第一配准图的权重。高频信息的叠加倍率K可由用户输入；加权权重w1、w2可以由用户输入，可以由***预设参数确定，也可以根据图像信息熵、梯度幅值等运算获取。***预设参数可以与融合图像的显示模式相关联。
在实施上述实施例进行融合时，高频信息、第一配准图和第二配准图的权重均可由用户输入参数确定。用户可以通过输入不同的参数或者选择融合图像的不同显示模式，以不同的方式对图像进行融合，呈现出不同的图像显示效果。
例如，用户可以选择接近可见光风格这种显示模式，则可以依据这种显示模式对应的***预设参数确定权重；同样为了实现接近可见光这种显示风格，用户也可以直接输入参数确定权重，此时，可适当的增大第二配准图的权重w1和/或适当的减小第一配准图的权重w2。
再例如，用户可以选择接近热成像风格这种显示模式，则可以依据这种显示模式对应的***预设参数确定权重；同样为了实现接近热成像这种显示风格，用户也可以直接输入参数确定权重，此时，可适当的减小第二配准图的权重w1和/或适当的增大第一配准图的权重w2。
再例如，用户可以选择突出显示图像轮廓这种显示模式，则可以依据这种显示模式对应的***预设参数确定权重；同样为了实现突出显示图像轮廓这种显示风格，用户也可以直接输入参数确定权重，此时，可适当的增大高频信息的权重K。
再例如，用户可以选择只显示第一图像，则将高频信息的权重K和第二配准图的权重w1置为0。用户可以选择只显示第二图像，则将高频信息的权重K和第一配准图的权重w2置为0。用户可以选择画中画图像，例如，希望在第二图像上，将与第一图像的公共区域显示为融合图像，非公共区域保留为第二图像，则可将第二图像对应的权重w1保留为原数值，而第一图像在两幅图像的非公共区域对应的权重w2置为0。
需要说明的是，权重w1和w2可以是一个矩阵，矩阵中的每一个元素可以代表一个像素点在融合图像中的贡献，也可以代表一个显示区域在融合图像中的贡献，矩阵中的每一个元素的数值可以是相同的，也可以是不同的。
除了根据***预设参数和/或用户输入参数确定第一配准图和第二配准图的权重，还可以依据第一配准图和第二配准图的图像信息熵和/或梯度幅值的数据指标确定。一般情况下，对于***预设参数、用户输入参数、图像信息熵和梯度幅值这几部分，可以采用择一的方式，也可以采用组合的方式确定图像的权重。在采用组合方式确定图像权重时，可以按照预设的规则对几部分分别进行评价，再综合考虑确定图像的权重。
依据第一配准图和第二配准图的图像信息熵确定第一配准图和第二配准图的权重，具体地，可以包括：
计算各像素点所在区域的图像信息熵；
比较第一配准图和第二配准图在同一像素点所在区域的图像信息熵的大小；
对于同一像素点所在区域，若第一配准图在该像素点所在区域的图像信息熵大于第二配准图在该像素点所在区域的图像信息熵，则第一配准图的该像素点所在区域在加权求和中所占权重大于第二配准图的该像素点所在区域在加权求和中所占权重。
图像信息熵能够表征图像配准分布的聚集特性，表示为图像配准级集合的比特平均数，单位比特和/或像素，这一指标能够描述图像信源的平均信息量。在计算图像的图像信息熵时，既可以将整幅图像作为整体计算，也可以对各像素点所在区域分别计算区域的图像信息熵。图像信息熵较大的图像和/或区域，其所包含的信息量较大，因此，将这部分图像和/或区域在加权求和公式中的权重也取得较大，就有利于提升图像融合的效果，提升融合图像的细节丰富程度及有效信息量。
依据第一配准图和第二配准图的梯度幅值确定第一配准图和第二配准图的权重，可具体包括：
计算各像素点的梯度幅值；
比较第一配准图和第二配准图在同一像素点的梯度幅值的大小，梯度幅值更大的像素点在加权求和中所占权重更大。
更具体地，可以包括：
计算各像素点的梯度幅值；
比较第一配准图和第二配准图在同一像素点的梯度幅值的大小；
对于同一像素点，若第一配准图在该像素点的梯度幅值大于第二配准图在该像素点的梯度幅值，则第一配准图的该像素点在加权求和中所占权重大于第二配准图的该像素点在加权求和中所占权重。
梯度幅值能够表征图像的边缘特性。上述优选实施例中，先计算各像素点的梯度幅值，然后比较两幅图中同一像素点的梯度幅值的大小，某幅图在某一像素点的梯度幅值大，表示这一像素点在这幅图中的边缘更明显。因此，在确定权重时，将梯度幅值更大的像素点所占的权重加大，有利于提高图像的清晰度，从而提升融合图像细节丰富程度及有效信息量。
基于与以上图像处理方法的至少一个实施例相一致的思路，本申请还提供了一种基于双传感器成像的图像处理***。需要说明的是，上述图像处理方法的各实施例中，所提供方法的各步骤的执行主体可以是同一设备，也可以是不同的设备，各步骤的执行主体还可以以合理的方式进行交叉组合，即某一步骤可以由多个设备执行，或者某一设备可以执行多个步骤。
具体地，本申请实施例所提供的一种图像处理***，参见图8所示，包括成像模块100、图像处理模块104、成像距离获取模块、目标配准参数确定模块、配准模块105和融合显示模块106，其中，成像模块100可具体包括：
红外传感器101，用于采集第一图像；
可见光传感器102，用于采集第二图像；
图像处理模块104，用于对第一图像进行图像处理，获得第一灰度图；并用于对第二图像进行图像处理，获得第二灰度图；
成像距离获取模块110，用于获取第一图像或第二图像成像时的当前成像距离；
目标配准参数确定模块111，用于依据配准数据库以及当前成像距离，确定目标配准参数；其中，配准数据库中存储有成像距离和配准参数的对应关系；
配准模块105，用于依据目标配准参数，对第一灰度图和第二灰度图进行位置配准，得到与第一灰度图相对应的第一配准图和与第二灰度图相对应的第二配准图；
融合显示模块106，用于将第一配准图和第二配准图进行融合并显示。
进一步地，参见图9所示，本实施例的***还可以包括：
近红外光补光设备103，用于可见光传感器采集包含有近红外光所形成的图像的第二图像；
判断模块107，用于在经判断满足以下一项或多项条件时，开启近红外光补光设备：成像场景的光照强度低于预设可见光照度值；前一帧第二图像的信噪比低于预设信噪比阈值；前一帧第二图像的自动曝光增益等级超出预设增益等级。
近红外光补光设备可具体化为近红外光补光灯。当成像场景中照度很低的时候，由于可见光传感器感光性能的约束，可见光图像将出现图像噪声大、有用信息少、图像质量差等多种问题，进而导致融合效果不好甚至根本无法进行融合。在这种情况下，采用例如近红外光补光灯的近红外光补光设备对可见光传感器的成像场景进行近红外光补光，使得可见光传感器可以采集到成像质量较好的第二图像，该图像包含有近红外光所形成的图像，从而可以提升图像融合的效果。需要说明的是，采用近红外光补光设备时，若成像场景仍然存在可见光，则可见光传感器采集到的第二图像中将同时包含可见光所形成的图像和近红外光所形成的图像。
判断模块107的作用在于控制近红外光补光设备的开关，具体地，可以依据成像场景的光照强度、前一帧第二图像的信噪比和/或采集前一帧第二图像的自动曝光增益等级，判断是否启动近红外光补光设备进行近红外光补光。
更进一步地，为了控制近红外光补光设备的补光强度，参见图10所示，***可还包括：
补光强度调节模块108，用于依据成像场景的光照强度和/或前一帧第二图像的信噪比和/或采集前一帧第二图像的自动曝光增益等级，确定近红外光补光设备的补光强度。
上述判断模块107和/或补光强度调节模块108可以认为是***控制模块的一部分，判断模块107可以控制近红外光补光设备103的开关，当判断模块107判断成像场景的光照强度低于预设可见光照度值和/或前一帧第二图像的信噪比低于预设信噪比阈值和/或前一帧第二图像的自动曝光增益等级超出预设增益等级时，则可输出表示启动近红外光补光设备103的控制信号，近红外光补光设备103开始工作；补光强度调节模块108用于控制近红外光补光设备103的补光强度，具体地，成像场景的光照强度越低，前一帧第二图像的信噪比越低，和/或采集前一帧第二图像的自动曝光增益等级越高时，补光强度越大。
上述实施例的图像处理***中，图像处理模块104可以进一步包括：
第一图像处理组件，用于对第一图像进行图像处理，获得第一灰度图；
第二图像处理组件，用于对第二图像进行图像处理，获得第二灰度图。
其中，第二图像处理组件可进一步包括：
降噪处理单元，用于对第二图像进行降噪处理；
灰度提取单元，用于提取经过降噪处理的第二图像的灰度部分，形成第二灰度图。
上述降噪处理单元可以具体为高斯滤波器，作用在于消除第二图像的高斯噪声。
采用本申请实施例的图像处理***，其中，融合显示模块106可以具体包括：
第一计算组件，用于计算第一配准图和第二配准图的图像信息熵和/或梯度幅值；
权重确定组件，用于依据图像信息熵、梯度幅值、***预设参数和用户输入参数中的一项或多项，确定第一配准图和第二配准图的权重；
第二计算组件，用于将第一配准图和第二配准图按照上述权重加权求和；
显示组件，用于按照第二计算组件的计算结果进行显示。
为允许用户输入参数，上述实施例中的***还可包括参数输入模块，用于供用户输入参数；为允许用户选择融合图像的显示模式，上述实施例中的***还可包括显示模式选择模块，确定权重所依据的***预设参数与用户选择的显示模式相关联。从而，本实施例能够对融合图像的显示风格和效果进行选择。
更优选地，融合模块还可包括：
高频信息提取组件，用于提取第二配准图的高频信息；
则权重确定组件还用于依据用户输入的参数和/或***预设参数，确定高频信息的权重，并且，
第二计算组件用于将高频信息、第一配准度图和第二配准图按照上述权重加权求和。
上述图像处理***与前述的图像处理方法相对应，不足之处参考上述方法流程的叙述，不再一一赘述。
本申请实施例所提供的图像处理方法和图像处理***，可具体应用到一种双传感器红外照相机或者双传感器红外摄像机，达到本申请的技术目的。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (17)
1.一种基于双传感器成像的图像处理方法，所述双传感器包括用于采集第一图像的红外传感器和用于采集第二图像的可见光传感器，其特征在于，包括：
对所述第一图像进行图像处理，获得第一灰度图；对所述第二图像进行图像处理，获得第二灰度图；获取所述第一图像或所述第二图像成像时的当前成像距离；
依据配准数据库以及所述当前成像距离，确定目标配准参数；其中，所述配准数据库中存储有成像距离和配准参数的对应关系；
依据所述目标配准参数，对所述第一灰度图和所述第二灰度图进行位置配准，得到与所述第一灰度图相对应的第一配准图和与所述第二灰度图相对应的第二配准图；将所述第一配准图和所述第二配准图进行融合并显示。
2.按照权利要求1所述方法，其特征在于，所述配准数据库中存储的成像距离和配准参数的对应关系中，所述成像距离包括多个预设成像距离，与所述成像距离相对应的配准参数是依据在所述预设成像距离下获取的第一样图和第二样图上选择的匹配点对、并依据所述匹配点对在所述第一样图和所述第二样图上的坐标的对应关系计算得到的。
3.按照权利要求1所述方法，其特征在于，获取所述第一图像和所述第二图像成像时的当前成像距离，包括：
获取所述可见光传感器采集所述第二图像时的聚焦统计信息，其中，所述聚焦统计信息包括所述第二图像对应的焦距信息；
根据所述焦距信息，确定所述第二图像中的目标物体相对于所述可见光传感器的当前成像距离；
或者，
获取所述红外传感器采集所述第一图像时的聚焦统计信息，其中，所述聚焦统计信息包括所述第一图像对应的焦距信息；
根据所述焦距信息，确定所述第一图像中的目标物体相对于所述红外传感器的当前成像距离。
4.按照权利要求1～3之任一所述方法，其特征在于，在采用所述可见光传感器采集所述第二图像时，包括：
若满足以下一项或多项条件，则开启近红外光补光设备，所述可见光传感器采集所述第二图像，其中，所述第二图像中包含有近红外光所形成的图像：
成像场景的光照强度低于预设可见光照度值；
前一帧第二图像的信噪比低于预设信噪比阈值；
采集前一帧第二图像的自动曝光增益等级超出预设增益等级。
5.按照权利要求4所述方法，其特征在于，在开启所述近红外光补光设备之前或之后，所述方法还包括：
依据成像场景的光照强度和/或前一帧第二图像的信噪比和/或前一帧第二图像的自动曝光增益等级，确定所述近红外光补光设备的补光强度。
6.按照权利要求1所述方法，其特征在于，对所述第二图像处理，获得第二灰度图，包括：
对所述第二图像进行降噪处理；
提取经过所述降噪处理的第二图像的灰度部分，形成所述第二灰度图。
7.按照权利要求1所述方法，其特征在于，将所述第一配准图和所述第二配准图进行融合并显示，包括：
依据图像信息熵、梯度幅值、***预设参数和用户输入参数中的一项或多项，确定所述第一配准图和所述第二配准图的权重；
将所述第一配准图和所述第二配准图按照所述权重加权求和，按照所述加权求和的计算结果显示。
8.按照权利要求1所述方法，其特征在于，将所述第一配准图和所述第二配准图进行融合并显示，包括：
提取所述第二配准图的高频信息；
依据用户输入的参数和/或***预设参数，确定所述高频信息的权重；依据图像信息熵、梯度幅值、***预设参数和用户输入参数中的一项或多项，确定所述第一配准图和所述第二配准图的权重；
将所述高频信息、所述第一配准图和所述第二配准图按照所述权重加权求和，按照所述加权求和的计算结果显示。
9.按照权利要求7或8所述方法，其特征在于，依据所述第一配准图和所述第二配准图的图像信息熵确定所述第一配准图和所述第二配准图的权重，包括：
计算各像素点所在区域的图像信息熵；
比较所述第一配准图和所述第二配准图在同一像素点所在区域的图像信息熵的大小；
对于同一像素点所在区域，若所述第一配准图在该像素点所在区域的图像信息熵大于所述第二配准图在该像素点所在区域的图像信息熵，则所述第一配准图的该像素点所在区域在加权求和中所占权重大于所述第二配准图的该像素点所在区域在加权求和中所占权重。
10.按照权利要求7或8所述方法，其特征在于，依据所述第一配准图和所述第二配准图的梯度幅值确定所述第一配准图和所述第二配准图的权重，包括：
计算各像素点的梯度幅值；
比较所述第一配准图和所述第二配准图在同一像素点的梯度幅值的大小；
对于同一像素点，若所述第一配准图在该像素点的梯度幅值大于所述第二配准图在该像素点的梯度幅值，则所述第一配准图的该像素点在加权求和中所占权重大于所述第二配准图的该像素点在加权求和中所占权重。
11.一种基于双传感器成像的图像处理***，其特征在于，包括成像模块、图像处理模块、成像距离获取模块、目标配准参数确定模块、配准模块和融合显示模块，其中，
所述成像模块包括：
红外传感器，用于采集第一图像；
可见光传感器，用于采集第二图像；
所述图像处理模块，用于对所述第一图像进行图像处理，获得第一灰度图；并用于对所述第二图像进行图像处理，获得第二灰度图；
所述成像距离获取模块，用于获取所述第一图像或所述第二图像成像时的当前成像距离；
所述目标配准参数确定模块，用于依据配准数据库以及所述当前成像距离，确定目标配准参数；其中，所述配准数据库中存储有成像距离和配准参数的对应关系；
所述配准模块，用于依据所述目标配准参数，对所述第一灰度图和所述第二灰度图进行位置配准，得到与所述第一灰度图相对应的第一配准图和与所述第二灰度图相对应的第二配准图；
所述融合显示模块，用于将所述第一配准图和所述第二配准图进行融合并显示。
12.按照权利要求11所述***，其特征在于，所述***还包括：
近红外光补光设备，用于所述可见光传感器采集包含有近红外光所形成的图像的第二图像；
判断模块，用于在经判断满足以下一项或多项条件时，开启所述近红外光补光设备：成像场景的光照强度低于预设可见光照度值；前一帧第二图像的信噪比低于预设信噪比阈值；采集前一帧第二图像的自动曝光增益等级超出预设增益等级。
13.按照权利要求12所述***，其特征在于，所述***还包括：
补光强度调节模块，用于依据成像场景的光照强度和/或前一帧第二图像的信噪比和/或采集前一帧第二图像的自动曝光增益等级，确定所述近红外光补光设备的补光强度。
14.按照权利要求11所述***，其特征在于，所述图像处理模块包括：
第一图像处理组件，用于对所述第一图像进行图像处理，获得第一灰度图；
第二图像处理组件，用于对所述第二图像进行图像处理，获得第二灰度图；其中，所述第二图像处理组件进一步包括：
降噪处理单元，用于对所述第二图像进行降噪处理；
灰度提取单元，用于提取经过所述降噪处理的第二图像的灰度部分，形成所述第二灰度图。
15.按照权利要求11所述***，其特征在于，所述融合显示模块包括：
第一计算组件，用于计算所述第一配准图和所述第二配准图的图像信息熵和/或梯度幅值；
权重确定组件，用于依据所述图像信息熵、所述梯度幅值、***预设参数和用户输入参数中的一项或多项，确定所述第一配准图和所述第二配准图的权重；
第二计算组件，用于将所述第一配准图和所述第二配准图按照所述权重加权求和；
显示组件，用于按照所述第二计算组件的计算结果进行显示。
16.按照权利要求15所述***，其特征在于，所述融合显示模块还包括：
高频信息提取组件，用于提取所述第二配准图的高频信息；
则所述权重确定组件还用于依据用户输入的参数和/或***预设参数，确定所述高频信息的权重，并且，
所述第二计算组件用于将所述高频信息、所述第一配准图和所述第二配准图按照所述权重加权求和。
17.按照权利要求11～16之任一所述***，其特征在于，所述基于双传感器成像的图像处理***，具体包括双传感器红外相机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610919836.0A CN107977924A (zh) | 2016-10-21 | 2016-10-21 | 一种基于双传感器成像的图像处理方法、*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610919836.0A CN107977924A (zh) | 2016-10-21 | 2016-10-21 | 一种基于双传感器成像的图像处理方法、*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107977924A true CN107977924A (zh) | 2018-05-01 |
Family
ID=62004614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610919836.0A Withdrawn CN107977924A (zh) | 2016-10-21 | 2016-10-21 | 一种基于双传感器成像的图像处理方法、*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107977924A (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108737728A (zh) * | 2018-05-03 | 2018-11-02 | Oppo广东移动通信有限公司 | 一种图像拍摄方法、终端及计算机存储介质 |
| CN109100364A (zh) * | 2018-06-29 | 2018-12-28 | 杭州国翌科技有限公司 | 一种基于光谱分析的隧道病害监测***及监测方法 |
| CN109146930A (zh) * | 2018-09-20 | 2019-01-04 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
| CN109213031A (zh) * | 2018-08-13 | 2019-01-15 | 祝爱莲 | 窗体加固控制平台 |
| CN109544521A (zh) * | 2018-11-12 | 2019-03-29 | 北京航空航天大学 | 一种人体安检中被动毫米波图像与可见光图像的配准方法 |
| CN110082355A (zh) * | 2019-04-08 | 2019-08-02 | 安徽驭风风电设备有限公司 | 一种风电叶片探测*** |
| CN110490811A (zh) * | 2019-05-31 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 图像降噪装置及图像降噪方法 |
| CN110493532A (zh) * | 2018-12-12 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法和*** |
| CN110519498A (zh) * | 2019-08-29 | 2019-11-29 | 深圳市道通智能航空技术有限公司 | 一种双光相机成像校准的方法、装置和双光相机 |
| CN110568920A (zh) * | 2019-09-10 | 2019-12-13 | 京东方科技集团股份有限公司 | 一种显示装置及其显示方法 |
| CN110634115A (zh) * | 2019-08-30 | 2019-12-31 | 国网河南省电力公司平顶山供电公司 | 一种基于双光融合的配电设备监控方法及*** |
| CN110674718A (zh) * | 2019-09-17 | 2020-01-10 | 维沃移动通信有限公司 | 一种人脸识别方法及电子设备 |
| CN110706178A (zh) * | 2019-09-30 | 2020-01-17 | 杭州海康威视数字技术股份有限公司 | 图像融合装置、方法、设备及存储介质 |
| CN110766706A (zh) * | 2019-09-26 | 2020-02-07 | 深圳市景阳信息技术有限公司 | 图像融合方法、装置、终端设备及存储介质 |
| CN110796632A (zh) * | 2019-07-30 | 2020-02-14 | 重庆小富农康农业科技服务有限公司 | 猪只计数装置 |
| CN111008946A (zh) * | 2019-11-07 | 2020-04-14 | 武汉多谱多勒科技有限公司 | 消防现场使用的红外与可见光图像智能融合装置与方法 |
| CN111311658A (zh) * | 2020-04-02 | 2020-06-19 | 烟台艾睿光电科技有限公司 | 双光成像***图像配准方法及相关装置 |
| CN111308448A (zh) * | 2018-12-10 | 2020-06-19 | 杭州海康威视数字技术股份有限公司 | 图像采集设备与雷达的外参确定方法及装置 |
| CN111784781A (zh) * | 2020-06-28 | 2020-10-16 | 杭州海康微影传感科技有限公司 | 一种参数确定方法、装置、设备及*** |
| CN112241668A (zh) * | 2019-07-18 | 2021-01-19 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备 |
| CN112991244A (zh) * | 2019-12-17 | 2021-06-18 | 华为技术有限公司 | 图像融合方法装置设备和摄像机以及存储介质与程序产品 |
| CN113068019A (zh) * | 2021-03-17 | 2021-07-02 | 杭州海康消防科技有限公司 | 双光相机校准设备、方法、电子设备及存储介质 |
| US20220319011A1 (en) * | 2020-06-08 | 2022-10-06 | Shanghai Jiaotong University | Heterogeneous Image Registration Method and System |
| US11967052B2 (en) | 2019-06-25 | 2024-04-23 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image processing |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202126693U (zh) * | 2011-06-20 | 2012-01-25 | 东莞市中控电子技术有限公司 | 一种具有适应环境光功能的人脸识别装置 |
| US8374438B1 (en) * | 2007-10-04 | 2013-02-12 | Redshift Systems Corporation | Visual template-based thermal inspection system |
| CN102982518A (zh) * | 2012-11-06 | 2013-03-20 | 扬州万方电子技术有限责任公司 | 红外与可见光动态图像的融合方法及装置 |
| CN204948210U (zh) * | 2015-09-24 | 2016-01-06 | 广州市巽腾信息科技有限公司 | 一种图像信息采集装置 |
-
2016
- 2016-10-21 CN CN201610919836.0A patent/CN107977924A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8374438B1 (en) * | 2007-10-04 | 2013-02-12 | Redshift Systems Corporation | Visual template-based thermal inspection system |
| CN202126693U (zh) * | 2011-06-20 | 2012-01-25 | 东莞市中控电子技术有限公司 | 一种具有适应环境光功能的人脸识别装置 |
| CN102982518A (zh) * | 2012-11-06 | 2013-03-20 | 扬州万方电子技术有限责任公司 | 红外与可见光动态图像的融合方法及装置 |
| CN204948210U (zh) * | 2015-09-24 | 2016-01-06 | 广州市巽腾信息科技有限公司 | 一种图像信息采集装置 |
Non-Patent Citations (2)
| Title |
|---|
| SOCHEAT SONN等: "Fast and accurate registration of visible and infrared videos", 《IEEE CONFERENCE ON COMPUTER VISION & PATTERN RECOGNITION WORKSHOPS》 * |
| 靳霏霏: "基于图像质量评价的可见光和红外图像融合算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108737728A (zh) * | 2018-05-03 | 2018-11-02 | Oppo广东移动通信有限公司 | 一种图像拍摄方法、终端及计算机存储介质 |
| CN109100364A (zh) * | 2018-06-29 | 2018-12-28 | 杭州国翌科技有限公司 | 一种基于光谱分析的隧道病害监测***及监测方法 |
| CN109213031A (zh) * | 2018-08-13 | 2019-01-15 | 祝爱莲 | 窗体加固控制平台 |
| CN109146930B (zh) * | 2018-09-20 | 2021-10-08 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
| CN109146930A (zh) * | 2018-09-20 | 2019-01-04 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
| CN109544521A (zh) * | 2018-11-12 | 2019-03-29 | 北京航空航天大学 | 一种人体安检中被动毫米波图像与可见光图像的配准方法 |
| CN109544521B (zh) * | 2018-11-12 | 2021-08-17 | 北京航空航天大学 | 一种人体安检中被动毫米波图像与可见光图像的配准方法 |
| CN111308448A (zh) * | 2018-12-10 | 2020-06-19 | 杭州海康威视数字技术股份有限公司 | 图像采集设备与雷达的外参确定方法及装置 |
| CN110493532A (zh) * | 2018-12-12 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法和*** |
| CN110493532B (zh) * | 2018-12-12 | 2021-06-29 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法和*** |
| CN110082355A (zh) * | 2019-04-08 | 2019-08-02 | 安徽驭风风电设备有限公司 | 一种风电叶片探测*** |
| CN110490811A (zh) * | 2019-05-31 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 图像降噪装置及图像降噪方法 |
| CN110490811B (zh) * | 2019-05-31 | 2022-09-09 | 杭州海康威视数字技术股份有限公司 | 图像降噪装置及图像降噪方法 |
| US11967052B2 (en) | 2019-06-25 | 2024-04-23 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image processing |
| CN112241668A (zh) * | 2019-07-18 | 2021-01-19 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备 |
| CN110796632B (zh) * | 2019-07-30 | 2023-08-11 | 重庆渝通合数字科技有限公司 | 猪只计数装置 |
| CN110796632A (zh) * | 2019-07-30 | 2020-02-14 | 重庆小富农康农业科技服务有限公司 | 猪只计数装置 |
| CN110519498B (zh) * | 2019-08-29 | 2021-09-21 | 深圳市道通智能航空技术股份有限公司 | 一种双光相机成像校准的方法、装置和双光相机 |
| CN110519498A (zh) * | 2019-08-29 | 2019-11-29 | 深圳市道通智能航空技术有限公司 | 一种双光相机成像校准的方法、装置和双光相机 |
| CN110634115A (zh) * | 2019-08-30 | 2019-12-31 | 国网河南省电力公司平顶山供电公司 | 一种基于双光融合的配电设备监控方法及*** |
| CN110634115B (zh) * | 2019-08-30 | 2022-04-01 | 国网河南省电力公司平顶山供电公司 | 一种基于双光融合的配电设备监控方法及*** |
| CN110568920A (zh) * | 2019-09-10 | 2019-12-13 | 京东方科技集团股份有限公司 | 一种显示装置及其显示方法 |
| CN110674718A (zh) * | 2019-09-17 | 2020-01-10 | 维沃移动通信有限公司 | 一种人脸识别方法及电子设备 |
| CN110766706A (zh) * | 2019-09-26 | 2020-02-07 | 深圳市景阳信息技术有限公司 | 图像融合方法、装置、终端设备及存储介质 |
| CN110706178A (zh) * | 2019-09-30 | 2020-01-17 | 杭州海康威视数字技术股份有限公司 | 图像融合装置、方法、设备及存储介质 |
| CN111008946A (zh) * | 2019-11-07 | 2020-04-14 | 武汉多谱多勒科技有限公司 | 消防现场使用的红外与可见光图像智能融合装置与方法 |
| CN112991244A (zh) * | 2019-12-17 | 2021-06-18 | 华为技术有限公司 | 图像融合方法装置设备和摄像机以及存储介质与程序产品 |
| CN111311658B (zh) * | 2020-04-02 | 2023-11-07 | 烟台艾睿光电科技有限公司 | 双光成像***图像配准方法及相关装置 |
| CN111311658A (zh) * | 2020-04-02 | 2020-06-19 | 烟台艾睿光电科技有限公司 | 双光成像***图像配准方法及相关装置 |
| US20220319011A1 (en) * | 2020-06-08 | 2022-10-06 | Shanghai Jiaotong University | Heterogeneous Image Registration Method and System |
| CN111784781A (zh) * | 2020-06-28 | 2020-10-16 | 杭州海康微影传感科技有限公司 | 一种参数确定方法、装置、设备及*** |
| WO2022001871A1 (zh) * | 2020-06-28 | 2022-01-06 | 杭州海康微影传感科技有限公司 | 参数确定方法、装置、设备、***、程序和存储介质 |
| CN113068019A (zh) * | 2021-03-17 | 2021-07-02 | 杭州海康消防科技有限公司 | 双光相机校准设备、方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107977924A (zh) | 一种基于双传感器成像的图像处理方法、*** | |
| CN103106401B (zh) | 一种具有人机交互机制的移动终端虹膜识别装置 | |
| Li et al. | Image fusion with guided filtering | |
| CN104200480B (zh) | 一种应用于智能终端的图像模糊度评价方法及*** | |
| CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
| CN102622588B (zh) | 双验证人脸防伪方法及装置 | |
| CN107106020A (zh) | 用于分析并且传输与哺乳动物皮损病有关的数据、图像和视频的***与方法 | |
| EP0766205B1 (fr) | Procédé et dispositif de traitement d'image, pour la détection automatique de régions d'un type prédéterminé de cancer dans une image d'intensité | |
| Cheng et al. | Simple reconstruction of tree branches from a single range image | |
| CN107169405A (zh) | 基于双目摄像机活体识别的方法及装置 | |
| CN103366157B (zh) | 一种人眼视线距离的判断方法 | |
| CN108389207A (zh) | 一种牙病诊断方法、诊断设备及智能图像采集装置 | |
| CN102901489B (zh) | 路面积水积冰检测方法及装置 | |
| JP2007534179A (ja) | デジタル画像の明度の調整 | |
| CN101441320A (zh) | 一种基于显微成像检测的高动态图像获取装置及其方法 | |
| CN106488122A (zh) | 一种基于改进Sobel算子的动态自动调焦算法 | |
| CN109410466A (zh) | 驾驶人员自助体检设备 | |
| CN110287791A (zh) | 一种用于人脸图片的筛选方法和*** | |
| WO2021259365A1 (zh) | 一种目标测温方法、装置及测温*** | |
| CN106503680A (zh) | 用于移动终端虹膜识别的引导指示人机接口***和方法 | |
| CN107256395A (zh) | 掌静脉提取方法及装置 | |
| CN106991594A (zh) | 一种基于商户的远程实名购买电话卡的方法与*** | |
| CN109299634A (zh) | 斑检测方法、***、设备及存储介质 | |
| CN106970709A (zh) | 一种基于全息成像的3d交互方法和装置 | |
| CN109579092A (zh) | 一种根据工作环境进行烟灶联动的油烟机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180501 |