CN112217962B - 摄像机及图像生成方法 - Google Patents

Abstract

本申请实施例提供了摄像机及图像生成方法，该方法包括：获取彩色可见光图像及黑白全光谱图像，其中，黑白全光谱图像的成像光源包括可见光及红外光；对彩色可见光图像及黑白全光谱图像进行配准；将配准后的黑白全光谱图像及配准后的彩色可见光图像进行图像融合，得到融合图像。在本申请实施例的图像生成方法中，因为黑白全光谱图像的信噪比大于彩色可见光图像的信噪比，通过融合黑白全光谱图像及彩色可见光图像，得到彩色的融合图像，融合图像的信噪比大于彩色可见光图像的信噪比，采用融合图像代替彩色可见光图像，提高了图像质量。

Description

摄像机及图像生成方法

技术领域

本申请涉及图像采集技术领域，特别是涉及摄像机及图像生成方法。

背景技术

随着人们安防意识的提高，监控设备覆盖范围逐渐增加，其应用场景也越来越广泛。不同于照相机，考虑到光污染的原因，摄像机一般不会通过可见光补光灯对环境进行持续补光。基于上述原因在低光照场景下，摄像机采集的图像中可见光组成较少，造成彩色图像噪声高，图像质量差。

发明内容

本申请实施例的目的在于提供一种摄像机及图像生成方法，以实现提高图像质量。具体技术方案如下：

第一方面，本申请实施例提供了一种摄像机，所述摄像机包括：

可见光镜头、全光谱镜头及处理器；

所述可见光镜头，用于采集彩色可见光图像；

所述全光谱镜头，用于采集黑白全光谱图像，其中，所述黑白全光谱图像的成像光源包括可见光及红外光；

所述处理器，用于对所述彩色可见光图像及所述黑白全光谱图像进行配准；将配准后的黑白全光谱图像及配准后的彩色可见光图像进行图像融合，得到融合图像。

第二方面，本申请实施例提供了一种图像生成方法，所述方法包括：

获取拍摄场景的彩色可见光图像及黑白全光谱图像，其中，所述黑白全光谱图像的成像光源包括可见光及红外光；

对所述彩色可见光图像及所述黑白全光谱图像进行配准；

将配准后的黑白全光谱图像及配准后的彩色可见光图像进行图像融合，得到融合图像。

可选的，在所述对所述彩色可见光图像及所述黑白全光谱图像进行配准之前，所述方法还包括：

确定采集所述彩色可见光图像的可见光镜头的当前照度；

在所述可见光镜头的当前照度大于预设照度阈值时，输出所述彩色可见光图像；

所述对所述彩色可见光图像及所述黑白全光谱图像进行配准，包括：

在所述可见光镜头的当前照度不大于预设照度阈值时，对所述彩色可见光图像及所述黑白全光谱图像进行配准。

可选的，所述确定采集所述彩色可见光图像的可见光镜头的当前照度，包括：

获取采集所述彩色可见光图像的可见光镜头的当前快门参数、当前曝光增益及当前图像亮度值；

按照所述可见光镜头的当前快门参数、当前曝光增益及当前图像亮度值，计算所述可见光镜头的当前照度。

可选的，所述方法还包括：

在所述可见光镜头的当前照度不大于预设照度阈值时，开启红外补光灯。

可选的，所述配准后的彩色可见光图像为RGB格式，所述将配准后的黑白全光谱图像及配准后的彩色可见光图像进行图像融合，得到融合图像，包括：

将配准后的黑白全光谱图像及配准后的彩色可见光图像转化为YUV格式；

根据YUV格式的黑白全光谱图像中各像素的Y通道数值及YUV格式的彩色可见光图像中各像素的Y通道数值，确定各像素的亮度因子及颜色比例不变性因子；

根据YUV格式的黑白全光谱图像中各像素的Y通道数值及各像素的亮度因子，得到亮度修正后的黑白全光谱图像中各像素的Y通道数值；

根据所述彩色可见光图像中各像素的Y通道数值及所述亮度修正后的黑白全光谱图像中各像素的Y通道数值，进行亮度融合，得到融合图像中各像素的Y通道数值；

根据所述配准后的彩色可见光图像中各像素的R、G、B的数值，及各像素的颜色比例不变性因子，得到颜色调整后的彩色可见光图像；

将所述颜色调整后的彩色可见光图像转换为YUV格式，得到目标彩色可见光图像，将所述目标彩色可见光图像中各像素的U通道数值分别作为融合图像中各像素的U通道数值，将所述目标彩色可见光图像中各像素的V通道数值分别作为融合图像中各像素的V通道数值。

可选的，所述根据YUV格式的黑白全光谱图像中各像素的Y通道数值及YUV格式的彩色可见光图像中各像素的Y通道数值，确定各像素的亮度因子及颜色比例不变性因子，包括：

分别计算YUV格式的黑白全光谱图像中各像素的Y通道数值，与YUV格式的彩色可见光图像中相应位置像素的Y通道数值的比值，得到各像素的亮度因子；

根据YUV格式的黑白全光谱图像中各像素的Y通道数值及YUV格式的彩色可见光图像中各像素的Y通道数值，查询预设颜色比例因子表，得到各像素的颜色比例不变性因子。

可选的，所述根据所述彩色可见光图像中各像素的Y通道数值及所述亮度修正后的黑白全光谱图像中各像素的Y通道数值，进行亮度融合，得到融合图像中各像素的Y通道数值，包括：

根据所述彩色可见光图像中各像素的Y通道数值及所述亮度修正后的黑白全光谱图像中各像素的Y通道数值，查询预设亮度权重表，分别确定融合图像中各像素的亮度权重，其中，所述预设亮度权重表中记录了亮度权重与亮度参数的对应关系，所述亮度参数包括彩色可见光图像中像素的亮度及亮度修正后的黑白全光谱图像中像素的亮度；

根据所述融合图像中各像素的亮度权重，分别对所述彩色可见光图像中各像素的Y通道数值及所述亮度修正后的黑白全光谱图像中各像素的Y通道数值进行亮度融合，得到所述融合图像中各像素的Y通道数值。

可选的，在采集所述彩色可见光图像的摄像机未启动高动态模式时，所述预设亮度权重表为第一亮度权重表，其中，所述第一亮度权重表中各亮度权重是根据彩色可见光图像中像素的亮度、亮度修正后的黑白全光谱图像中像素的亮度确定的；在所述摄像机启动高动态模式后，所述预设亮度权重表为第二亮度权重表，所述第二亮度权重表中各亮度权重是根据平均亮度、所述彩色可见光图像中像素的亮度、所述亮度修正后的黑白全光谱图像中像素的亮度确定的，其中，所述平均亮度为所述彩色可见光图像及所述亮度修正后的黑白全光谱图像中各像素的亮度的平均值。

可选的，预先建立预设颜色比例因子表的过程包括：

通过公式：Ycf(Ym,Yc)＝clip(Y_pix_factor*fac_m(Ym)/64,4,32)，计算不同数值的Ym Yc组合对应的颜色比例不变性因子，其中，Ycf(Ym,Yc)为颜色比例不变性因子，Y_pix_factor＝clip(y_pix_factor*fac_c(Yc)/64,4,64)，y_pix_factor＝clip((Ym*16)/(Yc+1),10,64)，Ym为黑白全光谱图像中像素的亮度，Yc为彩色可见光图像中像素的亮度，fac_c(Yc)代表彩色可见光图像中像素的亮度为Yc时预设彩色权重曲线的数值，fac_m(Ym)代表黑白全光谱图像中像素的亮度为Ym时预设黑白权重曲线的数值；

按照YmYc组合与颜色比例不变性因子的对应关系，建立预设颜色比例因子表。

本申请实施例提供的摄像机及图像生成方法，获取彩色可见光图像及黑白全光谱图像，其中，黑白全光谱图像的成像光源包括可见光及红外光；对彩色可见光图像及黑白全光谱图像进行配准；将配准后的黑白全光谱图像及配准后的彩色可见光图像进行图像融合，得到融合图像。黑白全光谱图像的信噪比大于彩色可见光图像的信噪比，通过融合黑白全光谱图像及彩色可见光图像，得到彩色的融合图像，融合图像的信噪比大于彩色可见光图像的信噪比，采用融合图像代替彩色可见光图像，提高了图像质量。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的摄像机的一种示意图；

图2为本申请实施例的摄像机进行图像融合的一种示意图；

图3a为本申请实施例的黑白全光谱图像的一种示意图；

图3b为本申请实施例的彩色可见光图像的一种示意图；

图4为本申请实施例的亮度因子滤波的一种示意图；

图5为本申请实施例的预设黑白权重曲线与预设彩色权重曲线的一种示意图；

图6为本申请实施例的预设颜色比例因子表的一种示意图；

图7为本申请实施例的图像生成方法的一种示意图；

图8为本申请实施例的亮度权重表的第一种示意图；

图9为本申请实施例的亮度权重表的第二种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先，对本申请实施例中的专业术语进行解释：

图像低照度增强：指通过图像采集设备和图像融合的方法提升图像涵盖的信息。

可见光：这里指人眼可见的波段，波长约400nm(纳米)到650nm。

RGB：RGB色彩模式是工业界的一种颜色标准，是通过对红(Red)、绿(Green)、蓝(Blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。

YUV：是一种颜色编码方法。常使用在各个视频处理组件中，“Y”表示明亮度，“U”和“V”分别表示是色度及浓度。

相关技术中，分光融合的图像采集设备会将入射光分集为可见光和红外光两部分，并通过两个sensor(传感器)分别获取可见光图像及红外光图像，并将两张图像的亮度信息融合为一张，再将颜色信息进行融合，最终得到待输出的图像。但是，采用上述方法，在融合过程中，需要将可见光图像及红外光图像的亮度信息融合，融合运算量大。

有鉴于此，本申请实施例提供了一种摄像机，参见图1，该摄像机包括：

可见光镜头101、全光谱镜头102及处理器103。

上述可见光镜头101，用于采集彩色可见光图像。

上述全光谱镜头102，用于采集黑白全光谱图像，其中，上述黑白全光谱图像的成像光源包括可见光及红外光。

上述处理器103，用于对上述彩色可见光图像及上述黑白全光谱图像进行配准；将配准后的黑白全光谱图像及配准后的彩色可见光图像进行图像融合，得到融合图像。

本申请实施例采用双镜头双sensor模式，可见光镜头101的sensor只采集可见光图像；全光谱镜头102的sensor采集全光谱(包括可见光和红外光)图像。在一种可能的实施方式中，参见图2，可见光镜头101采集可见光波段(波长约400nm到650nm)的图像，为更好的采集低照度下的色彩，可以采用大光圈镜头和低照度感光较好的sensor。全光谱镜头102采集全光谱图像，即包括可见光和红外光。可选的，为保障图像的清晰度，全光谱镜头102采用红外光与可见光共焦镜头。在一种可能的实施方式中，上述摄像机还包括红外补光灯，红外补光灯用于进行红外补光，在夜晚时可以开启红外补光灯，从而增加图像质量。

本申请实施例中的处理器103可以是通用处理器，包括CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

通常情况下，在配准之前，处理器103还可以对彩色可见光图像及黑白全光谱图像进行插值、白平衡、CCM(Color Correction Matrix，颜色校正矩阵)校正、gamma校正、降噪、锐化等ISP(Image Signal Processor，图像信号处理)处理。当然，上述ISP处理也可以利用处理器103外的其他计算模块进行处理。

由于可见光镜头101与全光谱镜头102具有视差，在图像融合之前处理器103需要对彩色可见光图像及黑白全光谱图像进行配准。视差与景物到图像采集设备的距离有关。本申请实施例中可以通过任意相关的配准方法对彩色可见光图像及黑白全光谱图像进行配准。在一种可能的实施方式中，预先在光照度较好、信息较为丰富的场景中采集两个摄像头的图片，识别图片中的目标，对相同的目标进行坐标配对。对配对的坐标进行仿射变换，计算出仿射矩阵。在后续实际使用时，利用计算出的仿射矩阵及仿射变换对彩色可见光图像及黑白全光谱图像进行配准。

处理器103将配准后的黑白全光谱图像及配准后的彩色可见光图像进行图像融合，得到融合图像。例如，可以选取黑白全光谱图像的亮度为融合图像的亮度，选取彩色可见光图像的色彩信息作为融合图像颜色。具体的，可以将配准后的黑白全光谱图像及配准后的彩色可见光图像由RGB格式转换为YUV格式，利用配准后的黑白全光谱图像的Y通道和配准后的彩色可见光图像的U、V通道组合得到融合图像。然后将YUV格式的融合图像转换为RGB格式。

本申请实施例中，黑白全光谱图像的信噪比大于彩色可见光图像的信噪比，通过融合黑白全光谱图像及彩色可见光图像，得到彩色的融合图像，融合图像的信噪比大于彩色可见光图像的信噪比，采用融合图像代替彩色可见光图像，提高了图像质量。

在一种可能的实施方式中，上述处理器具体用于：

确定上述可见光镜头的当前照度；在上述可见光镜头的当前照度大于预设照度阈值时，输出上述彩色可见光图像；在上述可见光镜头的当前照度不大于预设照度阈值时，对上述彩色可见光图像及上述黑白全光谱图像进行配准，将配准后的黑白全光谱图像及配准后的彩色可见光图像进行图像融合，得到融合图像，并输出上述融合图像。

预设照度阈值可以按照实际情况进行设定。在本申请实施例中，在白天等照度较好的场景中，摄像机可以使用可见光镜头101采集的彩色可见光图像作为输出。在夜晚等环境照度较低的场景中，摄像机将融合图像作为输出。从而适应不同的应用场景。

可选的，上述定所述可见光镜头的当前照度，包括：

步骤一，获取所述可见光镜头的当前快门参数、当前曝光增益及当前图像亮度值；

步骤二，按照所述可见光镜头的当前快门参数、当前曝光增益及当前图像亮度值，计算所述可见光镜头的当前照度。

具体的，可以通过lux＝log((Y<<5)/(gain*shutter))，计算见光镜头的当前照度。其中，shutter为可见光镜头的当前快门参数、gain可见光镜头的当前曝光增益、Y为可见光镜头的采集的图像的亮度值，即当前图像亮度值。上述参数可以通过彩色路自动曝光模块获得。<<为左移运算符。

可选的，上述摄像机还包括红外补光灯；上述处理器还用于：在上述可见光镜头的当前照度不大于预设照度阈值时，开启上述红外补光灯。具体的，红外补光灯可以采用750nm(纳米)红外光源。

双摄相机有红外补光，由于红外补光具有手电筒效应(中间亮，两边暗)，黑白全光谱图像与彩色可见光图像在亮度上有较大的差异，如图3a和图3b所示，其中，图3a为黑白全光谱图像，图3b为彩色可见光图像。亮度差异导致使彩色可见光图像的颜色融合到黑白全光谱图像后出现较大的失真，融合后的颜色较浅，这种现象即为亮度与色彩不匹配现象。另外，由于人眼看不到红外光，只能观测到彩色的图片，融合后的图片与人眼观测的图片存在较大的亮度差异，没能更够真实的反应现场的场景。因而需要进行局部亮度模糊调整，使其黑白全光谱图像的亮度更接近彩色可见光图像的亮度。

由于局部亮度模糊调整中是对亮度进行大面积的调整，不能完全解决颜色的局部失真的现象。小区域的、局部的亮度差异较大，导致了彩色可见光图像的颜色融合到黑白全光谱图像后出现较大的失真。由于彩色可见光图像在该位置亮度低，颜色较淡，融合到黑白全光谱图像后色彩和亮度不匹配导致。并且融合图像在黑白全光谱图像的极暗区域，会出现较强的彩色噪声。因此，需要进行保色处理，其原理可以解释为：YUV域亮度Y的变化相当于在RGB域中R、G、B值乘以一个因子。该方法也可以理解为保持颜色比例R/G、B/G不变，其推推导过程如下：

假如有RcGcBc、RmGmBm、YcUcVc、YmUmVm，其中，Rc为RGB格式黑白全光谱图像中像素的R值，Gc为RGB格式黑白全光谱图像中像素的G值，Bc为RGB格式黑白全光谱图像中像素的B值；Rm为RGB格式彩色可见光图像中像素的R值，Gc为RGB格式彩色可见光图像中像素的G值，Bc为RGB格式彩色可见光图像中像素的B值；Yc为YUV格式黑白全光谱图像中像素的Y值，Uc为YUV格式黑白全光谱图像中像素的U值，Vc为YUV格式黑白全光谱图像中像素的V值；Ym为YUV格式彩色可见光图像中像素的Y值，Um为YUV格式彩色可见光图像中像素的U值，Vm为YUV格式彩色可见光图像中像素的V值。

亮度变化后：

Gm＝Gc*Ym/Yc (1-1)

保持彩色路的R/G、B/G不变，则有：

Rm/Gm＝Rc/Gc

Bm/Gm＝Bc/Gc

代入上述共式(1-1)，则有：

Rm＝Rc*Ym/Yc (1-2)

Bm＝Bc*Ym/Yc (1-3)

结合公式(1-1)、(1-2)、(1-3)，有：

Rm＝Rc*Yfactor

Gm＝Gc*Yfactor

Bm＝Bc*Yfactor

其中，Yfactor为像素的颜色比例不变性因子。

因此，为了增强融合图像的色彩和减少融合图像的噪声，在一种可能的实施方式中，上述配准后的彩色可见光图像为RGB格式，上述将配准后的黑白全光谱图像及配准后的彩色可见光图像进行图像融合，得到融合图像，包括：

步骤一，将配准后的黑白全光谱图像及配准后的彩色可见光图像转化为YUV格式。

通常情况下，摄像机采集的图像为RGB格式，因此需要将配准后的黑白全光谱图像及配准后的彩色可见光图像转化为YUV格式。本领域人员可以理解的是，若摄像机采集的图像本身为YUV格式，则此步骤可以省略。

步骤二，根据YUV格式的黑白全光谱图像中各像素的Y通道数值及YUV格式的彩色可见光图像中各像素的Y通道数值，确定各像素的亮度因子及颜色比例不变性因子。

可选的，上述根据YUV格式的黑白全光谱图像中各像素的Y通道数值及YUV格式的彩色可见光图像中各像素的Y通道数值，确定各像素的亮度因子及颜色比例不变性因子，包括：

步骤A，分别计算YUV格式的黑白全光谱图像中各像素的Y通道数值，与YUV格式的彩色可见光图像中相应位置像素的Y通道数值的比值，得到各像素的亮度因子。

首先，对亮度因子的确定过程进行举例说明。

本申请以彩色可见光图像进行导向，给出了一种局部亮度模糊调整方法。为了在调整局部亮度的同时，不引入导向图(彩色可见光图像)的噪声。分别利用黑白全光谱图像的各像素的亮度除以彩色可见光图像中对应像素亮度，得到与图片分辨率同样大小的亮度因子。

亮度因子可以采用如下公式计算：

Yf＝Ym/(Yc+1) (1)

其中，Yf为亮度因子，Ym为黑白全光谱图像中像素的亮度，Yc为彩色可见光图像中像素的亮度，为防止Yc为0，则取Yc+1。对亮度因子进行最值限制，综合考虑噪声匹配问题，这里取值范围为：0.6到10。

针对黑白全光谱图像与彩色可见光图像中各位置相同的像素，均通过上述公式(1)，分别计算各像素的亮度因子。

为了进一步减少误差，在一种可能的实施方式中，在上述分别计算YUV格式的黑白全光谱图像中各像素的Y通道数值，与YUV格式的彩色可见光图像中相应位置像素的Y通道数值的比值，得到各像素的亮度因子之后，上述方法还包括：对各像素的亮度因子进行滤波。例如图4所示，对亮度因子进行大范围的滤波。

步骤B，根据YUV格式的黑白全光谱图像中各像素的Y通道数值及YUV格式的彩色可见光图像中各像素的Y通道数值，查询预设颜色比例因子表，得到各像素的颜色比例不变性因子。

其次，对颜色比例不变性因子的确定过程进行举例说明。

为达到降低彩噪和高亮颜色溢出现象的目的，颜色比例不变性因子Yfactor随黑白全光谱图像中像素亮度Ym和彩色可见光图像中像素亮度Yc的变化而变化，是以Yc和Ym为变量的函数Ycf。

颜色比例不变性因子可以采用如下公式计算：

Yfactor＝Ycf(Yc，Ym) (2)

上述公式(2)的计算过程如下：

根据公式：y_pix_factor＝clip((Ym*16)/(Yc+1),10,64)计算初级颜色比例因子，其中，y_pix_factor为初级颜色比例因子，Ym为黑白全光谱图像中像素的亮度，Yc为彩色可见光图像中像素的亮度。

通过公式：Y_pix_factor＝clip(y_pix_factor*fac_c(Yc)/64,4,64)计算中级颜色比例因子，其中，Y_pix_factor为中级颜色比例因子，fac_c(Yc)代表彩色可见光图像中像素的亮度为Yc时预设彩色权重曲线的数值。

通过公式：Ycf(Ym,Yc)＝clip(Y_pix_factor*fac_m(Ym)/64,4,32)计算颜色比例不变性因子，其中，fac_m(Ym)代表黑白全光谱图像中像素的亮度为Ym时预设黑白权重曲线的数值。在一种可能的实施方式中，预设黑白权重曲线与预设彩色权重曲线可以如图5所示，其中，曲线1为预设彩色权重曲线，曲线2为预设黑白权重曲线，横轴代表亮度，纵轴代表曲线的数值。从图5可以看出随着亮度的增加，预设彩色权重曲线数值逐渐增加，最终趋近持平；随着亮度的增加，预设黑白权重曲线数值线增加后降低。

处理器103可以通过上述公式2计算各像素的颜色比例不变性因子，但是为了减少处理器103的计算压力，在一种可能的实施方式中，预先建立颜色比例不变性因子的预设颜色比例因子表。处理器103查询预设颜色比例因子表中，根据YUV格式的黑白全光谱图像中各像素的亮度Ym和YUV格式的彩色可见光图像中各像素的Yc进行查表，分别得到各像素的颜色比例不变性因子。利用颜色比例不变性因子调整UV分量，使亮度与色彩更加匹配。在一种可能的实施方式中，预设颜色比例因子表可以如图6所示。

为了进一步减少误差，在一种可能的实施方式中，在上述根据YUV格式的黑白全光谱图像中各像素的Y通道数值及YUV格式的彩色可见光图像中各像素的Y通道数值，查询预设颜色比例因子表，得到各像素的颜色比例不变性因子之后，上述方法还包括：对各像素的颜色比例不变性因子组成的因子图进行滤波。

步骤三，根据YUV格式的黑白全光谱图像中各像素的Y通道数值及各像素的亮度因子，得到亮度修正后的黑白全光谱图像中各像素的Y通道数值。

用YUV格式的黑白全光谱图像中各像素的亮度，分别除以各像素对应的亮度因子，得到亮度修正后的黑白全光谱图像中各像素的Y通道数值。

例如，根据公式：Yma＝Ym/Yf，分别修正黑白全光谱图像中各像素的Y通道数值，其中，Yma为亮度修正后的黑白全光谱图像中像素的亮度，Ym为YUV格式的黑白全光谱图像中像素的亮度，Yf为像素对应的亮度因子。

步骤四，根据上述彩色可见光图像中各像素的Y通道数值及上述亮度修正后的黑白全光谱图像中各像素的Y通道数值，进行亮度融合，得到融合图像中各像素的Y通道数值。

摄像机将彩色可见光图像及亮度修正后的黑白全光谱图像中相同位置处像素的亮度(Y通道数值)进行融合，作为融合图像中各像素的Y通道数值。例如，可以通过将相同位置像素的Y通道数值相加取平均的方法，但该方法会带来较大的信噪比损失。为保证较高的信噪比或较好的颜色真实性，还可以使用权重融合的方法。

可选的，上述根据上述彩色可见光图像中各像素的Y通道数值及上述亮度修正后的黑白全光谱图像中各像素的Y通道数值，进行亮度融合，得到融合图像中各像素的Y通道数值，包括：

步骤A，根据上述彩色可见光图像中各像素的Y通道数值及上述亮度修正后的黑白全光谱图像中各像素的Y通道数值，查询预设亮度权重表，分别确定融合图像中各像素的亮度权重，其中，上述预设亮度权重表中记录了亮度权重与亮度参数的对应关系，上述亮度参数包括彩色可见光图像中像素的亮度及亮度修正后的黑白全光谱图像中像素的亮度。

预设亮度权重表中记录了不同彩色可见光图像中像素亮度与修正后的黑白全光谱图像中像素亮度组合，对应的亮度权重。

为使融合后图像颜色真实，在彩色与黑白差异较大时，需要融入更多的彩色，即黑白与彩色亮度差异越大，红外权重越小，在一种可能的实施方式中，可以通过ymff_def(Yc,Yma)＝256-|Yc–Yma|，计算亮度权重，其中，Yma为亮度修正后的黑白全光谱图像中像素的亮度，Yc为彩色可见光图像中像素的亮度，ymff_def(Yc,Yma)为Yma与Yc对应的亮度权重，经过滤波及抽样后得到第一初始亮度权重表。例如一种可能的第一初始亮度权重表可以如图8所示。

在一种可能的实施方式中，为了实现增加针对快速运动物体的图像的图像信息，增加图像动态范围，可以将靠近图像平均亮度的图像的权重加大，即：

dfyc＝|Yc-avg_Y|+1；

dfym＝|Yma-avg_Y|+1；

ymff_def(Yc,Yma)＝256*dfym/(dfym+dfyc)；

其中，avg_Y为亮度修正后的黑白全光谱图像与彩色可见光图像中各像素的平均亮度。例如，在平均亮度为128的情况下，亮度权重经过滤波及抽样后的第二初始亮度权重表可以如图9所示。

在得到初始亮度权重表后(可以为第一初始亮度权重表也可以为第二初始亮度权重表)，可以通过与预设最大值表(预设最大值表中各亮度权重均为256)和最小值表(预设最小值表中各亮度权重均为0)加权得到预设亮度权重表。在一种可能的实施方式中加权方式如下：

如果alpha不小于128，则令α＝alpha–128；

ymff＝(256*α+(128-α)*ymff_def(Yc,Yma))/128；

如果alpha小于128，则ymff＝(ymff_def(Yc,Yma)*alpha)/128；

其中，alpha可以按照实际需求进行设定，alpha用于控制低照度下融合图像的信噪比，alpha越大信噪比越大，颜色失真也越大；反之，alpha越小则信噪比越小，颜色越真实。Ymff为预设亮度权重表中的亮度权重，ymff_def(Yc,Yma)为初始亮度权重表中的亮度权重。

步骤B，根据上述融合图像中各像素的亮度权重，分别对上述彩色可见光图像中各像素的Y通道数值及上述亮度修正后的黑白全光谱图像中各像素的Y通道数值进行亮度融合，得到上述融合图像中各像素的Y通道数值。

具体的，可以按照公式Y＝(Yc*(256–ymff)+ymff*Yma)/256计算融合图像中各像素的Y通道数值。其中，其中，Yc为彩色可见光图像中像素的亮度，Yma为亮度修正后的黑白全光谱图像中像素的亮度，ymff为亮度权重。Ymff的取值范围为(0-256)。权重ymff为根据Yc及Yma的数值确定，具体可以通过查预设亮度权重表获取。

步骤五，根据上述配准后的彩色可见光图像中各像素的R、G、B的数值，及各像素的颜色比例不变性因子，得到颜色调整后的彩色可见光图像。

配准后的彩色可见光图像中各像素的R、G、B的数值，分别乘以各像素各自对应的颜色比例不变性因子，得到颜色调整后的彩色可见光图像。例如，配准后的彩色可见光图像中第N个像素对应颜色比例不变性因子的数值为M，用第N个像素的R、G、B的数值分别乘以M，得到颜色调整后的彩色可见光图像中第N个像素的R、G、B的数值。

步骤六，将上述颜色调整后的彩色可见光图像转换为YUV格式，得到目标彩色可见光图像，将上述目标彩色可见光图像中各像素的U通道数值分别作为融合图像中各像素的U通道数值，将上述目标彩色可见光图像中各像素的V通道数值分别作为融合图像中各像素的V通道数值。

综上可以得到融合图像各像素的Y通道数值、U通道数值及V通道数值，从而得到完整的融合图像。

在一种可能的实施方式中，在摄像机为未启动高动态模式时，上述预设亮度权重表为第一亮度权重表，上述第一亮度权重表中各亮度权重是根据彩色可见光图像中像素的亮度、亮度修正后的黑白全光谱图像中像素的亮度确定的；在摄像机启动高动态模式后，上述预设亮度权重表为第二亮度权重表，上述第二亮度权重表中各亮度权重是根据平均亮度、彩色可见光图像中像素的亮度、亮度修正后的黑白全光谱图像中像素的亮度确定的，其中，上述平均亮度为彩色可见光图像及亮度修正后的黑白全光谱图像中各像素的亮度的平均值。

具体的，第一亮度权重表中各亮度权重可以通过将第一初始亮度权重表与与预设最大值表和最小值表加权得到；第二亮度权重表中各亮度权重可以通过将第二初始亮度权重表与与预设最大值表和最小值表加权得到。

可选的，上述处理器还用于，在接收到高动态模式启动指令时，启动摄像机的高动态模式；在接收到高动态模式关闭指令时，关闭摄像机的高动态模式。在摄像机启动高动态模式后，处理器还可以开启红外补光灯，从而触发增加采集的图像信息。

本申请实施例还提供了一种图像生成方法，参见图7，该方法包括：

S701，获取拍摄场景的彩色可见光图像及黑白全光谱图像，其中，上述黑白全光谱图像的成像光源包括可见光及红外光。

本申请实施例的图像生成方法可以通过电子设备实现，该电子设备可以为摄像机也可以为硬盘录像机等。摄像机可以通过可见光镜头及全光谱镜头获取拍摄场景的彩色可见光图像及黑白全光谱图像。硬盘录像机可以通过前端摄像机获取拍摄场景的彩色可见光图像及黑白全光谱图像。

S702，对上述彩色可见光图像及上述黑白全光谱图像进行配准。

S703，将配准后的黑白全光谱图像及配准后的彩色可见光图像进行图像融合，得到融合图像。

本申请实施例中，黑白全光谱图像的信噪比大于彩色可见光图像的信噪比，通过融合黑白全光谱图像及彩色可见光图像，得到彩色的融合图像，融合图像的信噪比大于彩色可见光图像的信噪比，采用融合图像代替彩色可见光图像，提高了图像质量。

可选的，在上述对上述彩色可见光图像及上述黑白全光谱图像进行配准之前，上述方法还包括：

确定采集上述彩色可见光图像的可见光镜头的当前照度；

在上述可见光镜头的当前照度大于预设照度阈值时，输出上述彩色可见光图像；

上述对上述彩色可见光图像及上述黑白全光谱图像进行配准，包括：

在上述可见光镜头的当前照度不大于预设照度阈值时，对上述彩色可见光图像及上述黑白全光谱图像进行配准。

可选的，上述确定采集上述彩色可见光图像的可见光镜头的当前照度，包括：

获取采集上述彩色可见光图像的可见光镜头的当前快门参数、当前曝光增益及当前图像亮度值；

按照上述可见光镜头的当前快门参数、当前曝光增益及当前图像亮度值，计算上述可见光镜头的当前照度。

可选的，上述方法还包括：

在上述可见光镜头的当前照度不大于预设照度阈值时，开启红外补光灯。

可选的，上述配准后的彩色可见光图像为RGB格式，上述将配准后的黑白全光谱图像及配准后的彩色可见光图像进行图像融合，得到融合图像，包括：

将配准后的黑白全光谱图像及配准后的彩色可见光图像转化为YUV格式；

根据YUV格式的黑白全光谱图像中各像素的Y通道数值及YUV格式的彩色可见光图像中各像素的Y通道数值，确定各像素的亮度因子及颜色比例不变性因子；

根据YUV格式的黑白全光谱图像中各像素的Y通道数值及各像素的亮度因子，得到亮度修正后的黑白全光谱图像中各像素的Y通道数值；

根据上述彩色可见光图像中各像素的Y通道数值及上述亮度修正后的黑白全光谱图像中各像素的Y通道数值，进行亮度融合，得到融合图像中各像素的Y通道数值；

根据上述配准后的彩色可见光图像中各像素的R、G、B的数值，及各像素的颜色比例不变性因子，得到颜色调整后的彩色可见光图像；

将上述颜色调整后的彩色可见光图像转换为YUV格式，得到目标彩色可见光图像，将上述目标彩色可见光图像中各像素的U通道数值分别作为融合图像中各像素的U通道数值，将上述目标彩色可见光图像中各像素的V通道数值分别作为融合图像中各像素的V通道数值。

可选的，上述根据YUV格式的黑白全光谱图像中各像素的Y通道数值及YUV格式的彩色可见光图像中各像素的Y通道数值，确定各像素的亮度因子及颜色比例不变性因子，包括：

分别计算YUV格式的黑白全光谱图像中各像素的Y通道数值，与YUV格式的彩色可见光图像中相应位置像素的Y通道数值的比值，得到各像素的亮度因子；

根据YUV格式的黑白全光谱图像中各像素的Y通道数值及YUV格式的彩色可见光图像中各像素的Y通道数值，查询预设颜色比例因子表，得到各像素的颜色比例不变性因子。

可选的，预先建立预设颜色比例因子表的过程包括：

通过公式：Ycf(Ym,Yc)＝clip(Y_pix_factor*fac_m(Ym)/64,4,32)，计算不同数值的Ym Yc组合对应的颜色比例不变性因子，其中，Ycf(Ym,Yc)为颜色比例不变性因子，Y_pix_factor＝clip(y_pix_factor*fac_c(Yc)/64,4,64)，y_pix_factor＝clip((Ym*16)/(Yc+1),10,64)，Ym为黑白全光谱图像中像素的亮度，Yc为彩色可见光图像中像素的亮度，fac_c(Yc)代表彩色可见光图像中像素的亮度为Yc时预设彩色权重曲线的数值，fac_m(Ym)代表黑白全光谱图像中像素的亮度为Ym时预设黑白权重曲线的数值；

按照YmYc组合与颜色比例不变性因子的对应关系，建立预设颜色比例因子表。

可选的，上述根据上述彩色可见光图像中各像素的Y通道数值及上述亮度修正后的黑白全光谱图像中各像素的Y通道数值，进行亮度融合，得到融合图像中各像素的Y通道数值，包括：

根据上述彩色可见光图像中各像素的Y通道数值及上述亮度修正后的黑白全光谱图像中各像素的Y通道数值，查询预设亮度权重表，分别确定融合图像中各像素的亮度权重，其中，上述预设亮度权重表中记录了亮度权重与亮度参数的对应关系，上述亮度参数包括彩色可见光图像中像素的亮度及亮度修正后的黑白全光谱图像中像素的亮度；

根据上述融合图像中各像素的亮度权重，分别对上述彩色可见光图像中各像素的Y通道数值及上述亮度修正后的黑白全光谱图像中各像素的Y通道数值进行亮度融合，得到上述融合图像中各像素的Y通道数值。

可选的，在采集上述彩色可见光图像的摄像机未启动高动态模式时，上述预设亮度权重表为第一亮度权重表，其中，上述第一亮度权重表中各亮度权重是根据彩色可见光图像中像素的亮度、亮度修正后的黑白全光谱图像中像素的亮度确定的；在上述摄像机启动高动态模式后，上述预设亮度权重表为第二亮度权重表，上述第二亮度权重表中各亮度权重是根据平均亮度、上述彩色可见光图像中像素的亮度、上述亮度修正后的黑白全光谱图像中像素的亮度确定的，其中，上述平均亮度为上述彩色可见光图像及上述亮度修正后的黑白全光谱图像中各像素的亮度的平均值。

需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法、电子设备及存储介质的实施例而言，由于其基本相似于摄像机的实施例，所以描述的比较简单，相关之处参见摄像机实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (8)

1.一种摄像机，其特征在于，所述摄像机包括：

可见光镜头、全光谱镜头及处理器；

所述可见光镜头，用于采集彩色可见光图像；

所述全光谱镜头，用于采集黑白全光谱图像，其中，所述黑白全光谱图像的成像光源包括可见光及红外光；

所述处理器，用于对所述彩色可见光图像及所述黑白全光谱图像进行配准；在配准后的彩色可见光图像为RGB格式的情况下，将配准后的黑白全光谱图像及配准后的彩色可见光图像转化为YUV格式；

分别计算YUV格式的黑白全光谱图像中各像素的Y通道数值，与YUV格式的彩色可见光图像中相应位置像素的Y通道数值的比值，得到各像素的亮度因子；

根据YUV格式的黑白全光谱图像中各像素的Y通道数值及YUV格式的彩色可见光图像中各像素的Y通道数值，查询预设颜色比例因子表，得到各像素的颜色比例不变性因子；

根据YUV格式的黑白全光谱图像中各像素的Y通道数值及各像素的亮度因子，得到亮度修正后的黑白全光谱图像中各像素的Y通道数值；

根据所述彩色可见光图像中各像素的Y通道数值及所述亮度修正后的黑白全光谱图像中各像素的Y通道数值，进行亮度融合，得到融合图像中各像素的Y通道数值；

根据所述配准后的彩色可见光图像中各像素的R、G、B的数值，及各像素的颜色比例不变性因子，得到颜色调整后的彩色可见光图像；

将所述颜色调整后的彩色可见光图像转换为YUV格式，得到目标彩色可见光图像，将所述目标彩色可见光图像中各像素的U通道数值分别作为融合图像中各像素的U通道数值，将所述目标彩色可见光图像中各像素的V通道数值分别作为融合图像中各像素的V通道数值。

2.根据权利要求1所述的摄像机，其特征在于，所述全光谱镜头为红外光与可见光共焦镜头。

3.根据权利要求1所述的摄像机，其特征在于，所述处理器具体用于：确定所述可见光镜头的当前照度；在所述可见光镜头的当前照度大于预设照度阈值时，输出所述彩色可见光图像；在所述可见光镜头的当前照度不大于预设照度阈值时，对所述彩色可见光图像及所述黑白全光谱图像进行配准，将配准后的黑白全光谱图像及配准后的彩色可见光图像进行图像融合，得到融合图像，并输出所述融合图像。

4.根据权利要求3所述的摄像机，其特征在于，所述确定所述可见光镜头的当前照度，包括：

获取所述可见光镜头的当前快门参数、当前曝光增益及当前图像亮度值；

按照所述可见光镜头的当前快门参数、当前曝光增益及当前图像亮度值，计算所述可见光镜头的当前照度。

5.根据权利要求3所述的摄像机，其特征在于，所述摄像机还包括红外补光灯；所述处理器还用于：在所述可见光镜头的当前照度不大于预设照度阈值时，开启所述红外补光灯。

6.根据权利要求1所述的摄像机，其特征在于，所述根据所述彩色可见光图像中各像素的Y通道数值及所述亮度修正后的黑白全光谱图像中各像素的Y通道数值，进行亮度融合，得到融合图像中各像素的Y通道数值，包括：

根据所述彩色可见光图像中各像素的Y通道数值及所述亮度修正后的黑白全光谱图像中各像素的Y通道数值，查询预设亮度权重表，分别确定融合图像中各像素的亮度权重，其中，所述预设亮度权重表中记录了亮度权重与亮度参数的对应关系，所述亮度参数包括彩色可见光图像中像素的亮度及亮度修正后的黑白全光谱图像中像素的亮度；

根据所述融合图像中各像素的亮度权重，分别对所述彩色可见光图像中各像素的Y通道数值及所述亮度修正后的黑白全光谱图像中各像素的Y通道数值进行亮度融合，得到所述融合图像中各像素的Y通道数值。

7.根据权利要求6所述的摄像机，其特征在于，在所述摄像机为未启动高动态模式时，所述预设亮度权重表为第一亮度权重表，其中，所述第一亮度权重表中各亮度权重是根据彩色可见光图像中像素的亮度、亮度修正后的黑白全光谱图像中像素的亮度确定的；在所述摄像机启动高动态模式后，所述预设亮度权重表为第二亮度权重表，所述第二亮度权重表中各亮度权重是根据平均亮度、所述彩色可见光图像中像素的亮度、所述亮度修正后的黑白全光谱图像中像素的亮度确定的，其中，所述平均亮度为所述彩色可见光图像及所述亮度修正后的黑白全光谱图像中各像素的亮度的平均值。

8.一种图像生成方法，其特征在于，所述方法包括：

获取拍摄场景的彩色可见光图像及黑白全光谱图像，其中，所述黑白全光谱图像的成像光源包括可见光及红外光；

对所述彩色可见光图像及所述黑白全光谱图像进行配准；

在配准后的彩色可见光图像为RGB格式的情况下，将配准后的黑白全光谱图像及配准后的彩色可见光图像转化为YUV格式；

分别计算YUV格式的黑白全光谱图像中各像素的Y通道数值，与YUV格式的彩色可见光图像中相应位置像素的Y通道数值的比值，得到各像素的亮度因子；

根据YUV格式的黑白全光谱图像中各像素的Y通道数值及YUV格式的彩色可见光图像中各像素的Y通道数值，查询预设颜色比例因子表，得到各像素的颜色比例不变性因子；

根据YUV格式的黑白全光谱图像中各像素的Y通道数值及各像素的亮度因子，得到亮度修正后的黑白全光谱图像中各像素的Y通道数值；

根据所述彩色可见光图像中各像素的Y通道数值及所述亮度修正后的黑白全光谱图像中各像素的Y通道数值，进行亮度融合，得到融合图像中各像素的Y通道数值；

根据所述配准后的彩色可见光图像中各像素的R、G、B的数值，及各像素的颜色比例不变性因子，得到颜色调整后的彩色可见光图像；

将所述颜色调整后的彩色可见光图像转换为YUV格式，得到目标彩色可见光图像，将所述目标彩色可见光图像中各像素的U通道数值分别作为融合图像中各像素的U通道数值，将所述目标彩色可见光图像中各像素的V通道数值分别作为融合图像中各像素的V通道数值。

Images