CN110490187B - 车牌识别设备和方法 - Google Patents

Abstract

本申请提供一种车牌识别设备和方法，该车牌识别设备包括：滤光组件、单个图像传感器、补光器、图像处理单元；图像传感器用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，第一图像信号是根据第一预设曝光产生的图像信号，第二图像信号是根据第二预设曝光产生的图像信号；所述补光器用于进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内存在近红外补光，在第二预设曝光的曝光时间段内不存在近红外补光；滤光组件用于通过可见光波段和部分近红外光；图像处理单元，用于根据所述第一图像信号和所述第二图像信号对所述待识别车牌进行识别，车牌识别效果较好。

Description

车牌识别设备和方法

技术领域

本申请涉及图像处理技术领域，尤其涉及一种车牌识别设备和方法。

背景技术

在交通管理中，通过抓拍车辆的视频图像，识别出车牌，已经成为目前最为常用的一种交通管理手段。为了得到质量较高的抓拍图像，通常会在抓拍时进行补光。

相关技术中，从红外补光图像中获取车牌图像，分割出车牌背景区域调整图像颜色后进行车牌识别，输出识别车牌，但是上述方案中在进行红外补光后，会造成图像偏色，影响车牌识别效果。

发明内容

本申请提供一种车牌识别设备和方法，以提高车牌识别效果。

第一方面，本申请提供一种车牌识别设备，包括：

滤光组件、图像传感器、补光器、图像处理单元，所述图像传感器位于所述滤光组件的出光侧；

所述图像传感器，用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；所述第一图像信号和所述第二图像信号包括待识别车牌的信息；

所述补光器包括第一补光装置，所述第一补光装置用于以频闪方式进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；

所述滤光组件用于通过可见光波段和部分近红外光；

图像处理单元，用于根据所述第一图像信号和所述第二图像信号对所述待识别车牌进行识别。

第二方面，本申请提供一种车牌识别方法，应用于车牌识别设备，所述车牌识别设备包括图像传感器、补光器和滤光组件，所述图像传感器位于所述滤光组件的出光侧，所述方法包括：

通过补光器包括的第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为图像传感器的多次曝光中的其中两次曝光；

通过所述滤光组件使可见光波段的光和部分近红外光通过；

通过所述图像传感器进行多次曝光，以产生并输出第一图像信号和第二图像信号，所述第一图像信号是根据所述第一预设曝光产生的图像信号，所述第二图像信号是根据所述第二预设曝光产生的图像信号；所述第一图像信号和所述第二图像信号包括待识别车牌的信息；

所述图像处理单元根据所述第一图像信号和所述第二图像信号对所述待识别车牌进行识别。

本申请实施例提供的车牌识别设备和方法，包括：滤光组件、单个图像传感器、补光器、图像处理单元；图像传感器用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，第一图像信号是根据第一预设曝光产生的图像信号，第二图像信号是根据第二预设曝光产生的图像信号；所述补光器用于进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内存在近红外补光，在第二预设曝光的曝光时间段内不存在近红外补光；滤光组件用于通过可见光波段和部分近红外光；图像处理单元，用于根据所述第一图像信号和所述第二图像信号对所述待识别车牌进行识别，可以在任一时间段内通过第一预设曝光和第二预设曝光同时采集到包含近红外光信息的第一图像信号和包含可见光信息的第二图像信号，后续根据该第一图像信号和第二图像信号进行识别的效果较好。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本申请实施例提供的一种车牌识别设备的结构示意图；

图2是本申请实施例提供的一种第一补光装置进行近红外补光的波长和相对强度之间的关系示意图；

图3是本申请实施例提供的一种第一滤光片通过的光线的波长与通过率之间的关系示意图；

图4是本申请实施例提供的另一种车牌识别设备的结构示意图；

图5是本申请实施例提供的一种RGB传感器的示意图；

图6是本申请实施例提供的一种RGBW传感器的示意图；

图7是本申请实施例提供的一种RCCB传感器的示意图；

图8是本申请实施例提供的一种RYYB传感器的示意图；

图9是本申请实施例提供的一种图像传感器的感应曲线示意图；

图10是本申请实施例提供的一种卷帘曝光方式的示意图；

图11是本申请实施例提供的第一种第一预设曝光和第二预设曝光的示意图；

图12是本申请实施例提供的第二种第一预设曝光和第二预设曝光的示意图；

图13是本申请实施例提供的第三种第一预设曝光和第二预设曝光的示意图；

图14是本申请实施例提供的第一种卷帘曝光方式和近红外补光的示意图；

图15是本申请实施例提供的第二种卷帘曝光方式和近红外补光的示意图；

图16是本申请实施例提供的第三种卷帘曝光方式和近红外补光的示意图；

图17是本申请实施例提供的一种图像处理单元的结构示意图；

图18是本申请实施例提供的一种图像预处理单元的结构示意图；

图19是本申请实施例提供的另一种图像预处理单元的结构示意图；

图20是本申请实施例提供的一种图像融合处理原理示意图；

图21是本申请实施例提供的一种图像识别单元的原理示意图；

图22是本申请实施例提供的另一种图像识别单元的原理示意图；

图23是本申请实施例提供的一种车牌识别方法的流程示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本申请的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是本申请实施例提供的一种车牌识别设备的结构示意图，参见图1，该车牌识别设备包括图像传感器01、补光器02、滤光组件03以及图像处理单元，图像传感器01位于滤光组件03的出光侧。图像传感器01用于通过多次曝光产生并输出第一图像信号和第二图像信号。其中，第一图像信号是根据第一预设曝光产生的图像信号，第二图像信号是根据第二预设曝光产生的图像信号，第一预设曝光和第二预设曝光为该多次曝光中的其中两次曝光。补光器02包括第一补光装置021，第一补光装置021用于进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光。

图像处理单元，用于根据图像传感器输出的第一图像信号和第二图像信号对所述待识别车牌进行识别；其中，第一图像信号和第二图像信号包括待识别车牌的信息。

参见图4，滤光组件03包括第一滤光片031，第一滤光片031使可见光波段的光和部分近红外光通过，其中，第一补光装021进行近红外光补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。通过所述第一滤光片(031)的近红外光波段可以是部分近红外光波段。

在本申请实施例中，参见图1，车牌识别设备还可以包括镜头04，此时，滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧。或者，镜头04位于滤光组件03与图像传感器01之间，且图像传感器01位于镜头04的出光侧。作为一种示例，第一滤光片031可以是滤光薄膜，这样，当滤光组件03位于镜头04和图像传感器01之间时，第一滤光片031可以贴在镜头04的出光侧的表面，或者，当镜头04位于滤光组件03与图像传感器01之间时，第一滤光片031可以贴在镜头04的入光侧的表面。

需要说明的一点是，补光器02可以位于车牌识别设备内，也可以位于图车牌识别设备的外部。也即是，补光器02可以为车牌识别设备的一部分，也可以为独立于车牌识别设备的一个器件。当补光器02位于车牌识别设备的外部时，补光器02可以与车牌识别设备进行通信连接，从而可以保证车牌识别设备中的图像传感器01的曝光时序与补光器02包括的第一补光装置021的近红外补光时序存在一定的关系，如至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光。

可以保证车牌识别设备中的图像传感器01的曝光时序与补光器02包括的第一补光装置021的近红外补光时序存在一定的关系，如至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光。

另外，第一补光装置021为可以发出近红外光的装置，例如近红外补光灯等，第一补光装置021可以以频闪方式进行近红外补光，也可以以类似频闪的其他方式进行近红外补光，本申请实施例对此不做限定。在一些示例中，当第一补光装置021以频闪方式进行近红外补光时，可以通过手动方式来控制第一补光装置021以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一补光装置021以频闪方式进行近红外补光，本申请实施例对此不做限定。其中，第一补光装置021进行近红外补光的时间段可以与第一预设曝光的曝光时间段重合，也可以大于第一预设曝光的曝光时间段或者小于第一预设曝光的曝光时间段，只要在第一预设曝光的整个曝光时间段或者部分曝光时间段内进行近红外补光，而在第二预设曝光的曝光时间段内不进行近红外补光即可。

需要说明的是，第二预设曝光的曝光时间段内不进行近红外补光，对于全局曝光方式来说，第二预设曝光的曝光时间段可以是开始曝光时刻和结束曝光时刻之间的时间段，对于卷帘曝光方式来说，第二预设曝光的曝光时间段可以是第二图像信号第一行有效图像的开始曝光时刻与最后一行有效图像的结束曝光时刻之间的时间段，但并不局限于此。例如，第二预设曝光的曝光时间段也可以是第二图像信号中目标图像对应的曝光时间段，目标图像为第二图像信号中与目标对象或目标区域所对应的若干行有效图像，这若干行有效图像的开始曝光时刻与结束曝光时刻之间的时间段可以看作第二预设曝光的曝光时间段。

需要说明的另一点是，由于第一补光装置021在对外部场景进行近红外补光时，入射到物体表面的近红外光可能会被物体反射，从而进入到第一滤光片031中。并且由于通常情况下，环境光可以包括可见光和近红外光，且环境光中的近红外光入射到物体表面时也会被物体反射，从而进入到第一滤光片031中。因此，在进行近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，在不进行近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021未进行近红外补光时经物体反射进入第一滤光片031的近红外光。也即是，在进行近红外补光时通过第一滤光片031的近红外光包括第一补光装置021发出的且经物体反射后的近红外光，以及环境光中经物体反射后的近红外光，在不进行近红外补光时通过第一滤光片031的近红外光包括环境光中经物体反射后的近红外光。

以车牌识别设备中，滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧的结构特征为例，车牌识别设备采集第一图像信号和第二图像信号的过程为：在图像传感器01进行第一预设曝光时，第一补光装置021进行近红外补光，此时拍摄场景中的环境光和第一补光装置进行近红外补光时被场景中物体反射的近红外光经由镜头04、第一滤光片031之后，由图像传感器01通过第一预设曝光产生第一图像信号；在图像传感器01进行第二预设曝光时，第一补光装置021不进行近红外补光，此时拍摄场景中的环境光经由镜头04、第一滤光片031之后，由图像传感器01通过第二预设曝光产生第二图像信号，在图像采集的一个帧周期内可以有M个第一预设曝光和N个第二预设曝光，第一预设曝光和第二预设曝光之间可以有多种组合的排序，在图像采集的一个帧周期中，M和N的取值以及M和N的大小关系可以根据实际需求设置，例如，M和N的取值可相等，也可不相同。

另外，由于环境光中的近红外光的强度低于第一补光装置021发出的近红外光的强度，因此，第一补光装置021进行近红外补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。

其中，第一补光装置021进行近红外补光的波段范围可以为第二参考波段范围，第二参考波段范围可以为700纳米～800纳米，或者900纳米～1000纳米，这样，可以减轻常见的850纳米的近红灯造成的干扰。另外，入射到第一滤光片031的近红外光的波段范围可以为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。

由于在进行近红外补光时，通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外光补光时经物体反射进入第一滤光片031的近红外光，以及环境光中的经物体反射后的近红外光。所以此时进入滤光组件03的近红外光的强度较强。但是，在不进行近红外补光时，通过第一滤光片031的近红外光包括环境光中经物体反射进入滤光组件03的近红外光。由于没有第一补光装置021进行补光的近红外光，所以此时通过第一滤光片031的近红外光的强度较弱。因此，根据第一预设曝光产生并输出的第一图像信号包括的近红外光的强度，要高于根据第二预设曝光产生并输出的第二图像信号包括的近红外光的强度。

第一补光装置021进行近红外补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一补光装置021和第一滤光片031有更好的配合，可以对第一补光装置021进行近红外补光的中心波长进行设计，以及对第一滤光片031的特性进行选择，从而使得在第一补光装置021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一滤光片031的近红外光的中心波长尽可能准确，以及通过第一滤光片031的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。

其中，第一补光装置021进行近红外补光的中心波长可以为第一补光装置021发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一补光装置021发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。

其中，设定特征波长或者设定特征波长范围可以预先设置。作为一种示例，第一补光装置021进行近红外补光的中心波长可以为750±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。也即是，设定特征波长范围可以为750±10纳米的波长范围、或者780±10纳米的波长范围、或者940±10纳米的波长范围。示例性地，第一补光装置021进行近红外补光的中心波长为940纳米，第一补光装置021进行近红外补光的波长和相对强度之间的关系如图2所示。从图2可以看出，第一补光装置021进行近红外补光的波段范围为900纳米～1000纳米，其中，在940纳米处，近红外光的相对强度最高。

由于在进行近红外补光时，通过第一滤光片031的近红外光大部分为第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的中心波长与第一补光装置021进行近红外补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。

其中，通过第一滤光片031的近红外补光的中心波长可以为第一滤光片031的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一滤光片031的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。

为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一滤光片031的近红外光的波段宽度，第二波段宽度是指被第一滤光片031阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光片031的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。

例如，参见图3，图3为第一滤光片031可以通过的光的波长与通过率之间的关系的一种示意图。入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，第一滤光片031可以使波长位于380纳米～650纳米的可见光通过，以及波长位于900纳米～1100纳米的近红外光通过，阻挡波长位于650纳米～900纳米的近红外光。也即是，第一波段宽度为1000纳米减去900纳米，即100纳米。第二波段宽度为900纳米减去650纳米，加上1100纳米减去1000纳米，即350纳米。100纳米小于350纳米，即通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。以上关系曲线仅是一种示例，对于不同的滤光片，能够通过滤光片的近红光波段的波段范围可以有所不同，被滤光片阻挡的近红外光的波段范围也可以有所不同。

为了避免在非近红外补光的时间段内，通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的半带宽小于或等于50纳米。其中，半带宽是指通过率大于50％的近红外光的波段宽度。

为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第三波段宽度可以小于参考波段宽度。其中，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，作为一种示例，参考波段宽度可以为50纳米～100纳米的波段范围内的任一波段宽度。设定比例可以为30％～50％中的任一比例，当然设定比例还可以根据使用需求设置为其他比例，本申请实施例对此不做限定。换句话说，通过率大于设定比例的近红外光的波段宽度可以小于参考波段宽度。

例如，参见图3，入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，设定比例为30％，参考波段宽度为100纳米。从图3可以看出，在650纳米～1100纳米的近红外光的波段中，通过率大于30％的近红外光的波段宽度明显小于100纳米。

由于第一补光装置021至少在第一预设曝光的部分曝光时间段内提供近红外补光，在第二预设曝光的整个曝光时间段内不提供近红外补光，而第一预设曝光和第二预设曝光为图像传感器01的多次曝光中的其中两次曝光，也即是，第一补光装置021在图像传感器01的部分曝光的曝光时间段内提供近红外补光，在图像传感器01的另外一部分曝光的曝光时间段内不提供近红外补光。所以，第一补光装置021在单位时间长度内的补光次数可以低于图像传感器01在该单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。

示例性地，由于人眼容易将第一补光装置021进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，参见图4，补光器02还可以包括第二补光装置022，第二补光装置022用于进行可见光补光。这样，如果第二补光装置022至少在第一预设曝光的部分曝光时间提供可见光补光，也即是，至少在第一预设曝光的部分曝光时间段内存在近红外补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将补光器02进行近红外补光的颜色与交通灯中的红灯的颜色混淆。另外，如果第二补光装置022在第二预设曝光的曝光时间段内提供可见光补光，由于第二预设曝光的曝光时间段内可见光的强度不是特别高，因此，在第二预设曝光的曝光时间段内进行可见光补光时，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。

在一些实施例中，第二补光装置022可以用于以常亮方式进行可见光补光；或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内进行可见光补光，在第二预设曝光的整个曝光时间段内不进行可见光补光；或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不进行可见光补光，在第二预设曝光的部分曝光时间段内存在可见光补光。当第二补光装置022常亮方式进行可见光补光时，不仅可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。当第二补光装置022以频闪方式进行可见光补光时，可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，或者，可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量，而且还可以减少第二补光装置022的补光次数，从而延长第二补光装置022的使用寿命。

需要说明的是，切换部件033用于将第二滤光片032切换到图像传感器01的入光侧，也可以理解为第二滤光片032替换第一滤光片031在图像传感器01的入光侧的位置。在第二滤光片032切换到图像传感器01的入光侧之后，第一补光装置021可以处于关闭状态也可以处于开启状态。

在一些实施例中，上述多次曝光是指一个帧周期内的多次曝光，也即是，图像传感器01在一个帧周期内进行多次曝光，从而产生并输出至少一帧第一图像信号和至少一帧第二图像信号。例如，1秒内包括25个帧周期，图像传感器01在每个帧周期内进行多次曝光，从而产生至少一帧第一图像信号和至少一帧第二图像信号，将一个帧周期内产生的第一图像信号和第二图像信号称为一组图像信号，这样，25个帧周期内就会产生25组图像信号。其中，第一预设曝光和第二预设曝光可以是一个帧周期内多次曝光中相邻的两次曝光，也可以是一个帧周期内多次曝光中不相邻的两次曝光，本申请实施例对此不做限定。

第一图像信号是第一预设曝光产生并输出的，第二图像信号是第二预设曝光产生并输出的，在产生并输出第一图像信号和第二图像信号之后，可以对第一图像信号和第二图像信号进行处理。在某些情况下，第一图像信号和第二图像信号的用途可能不同，所以在一些实施例中，第一预设曝光与第二预设曝光的至少一个曝光参数可以不同。作为一种示例，该至少一个曝光参数可以包括但不限于曝光时间、模拟增益、数字增益、光圈大小中的一种或多种。其中，曝光增益包括模拟增益和/或数字增益。

在一些实施例中。可以理解的是，与第二预设曝光相比，在进行近红外补光时，图像传感器01感应到的近红外光的强度较强，相应地产生并输出的第一图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而且在一些实施例中，曝光增益越大，图像传感器01输出的图像信号的亮度越高，曝光增益越小，图像传感器01输出的图像信号的亮度越低，因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。

在另一些实施例中，曝光时间越长，图像传感器01得到的图像信号包括的亮度越高，并且外部场景中的运动的对象在图像信号中的运动拖尾越长；曝光时间越短，图像传感器01得到的图像信号包括的亮度越低，并且外部场景中的运动的对象在图像信号中的运动拖尾越短。因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，且外部场景中的运动的对象在第一图像信号中的运动拖尾较短。在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。并且较短的曝光时间使外部场景中的运动的对象在第一图像信号中出现的运动拖尾较短，从而有利于对运动对象的识别。示例性地，第一预设曝光的曝光时间为40毫秒，第二预设曝光的曝光时间为60毫秒等。

值得注意的是，在一些实施例中，当第一预设曝光的曝光增益小于第二预设曝光的曝光增益时，第一预设曝光的曝光时间不仅可以小于第二预设曝光的曝光时间，还可以等于第二预设曝光的曝光时间。同理，当第一预设曝光的曝光时间小于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。

在另一些实施例中，第一图像信号和第二图像信号的用途可以相同，例如第一图像信号和第二图像信号都用于智能分析时，为了能使进行智能分析的人脸或目标在运动时能够有同样的清晰度，第一预设曝光与第二预设曝光的至少一个曝光参数可以相同。作为一种示例，第一预设曝光的曝光时间可以等于第二预设曝光的曝光时间，如果第一预设曝光的曝光时间和第二预设曝光的曝光时间不同，会出现曝光时间较长的一路图像信号存在运动拖尾，导致两路图像信号的清晰度不同。同理，作为另一种示例，第一预设曝光的曝光增益可以等于第二预设曝光的曝光增益。

值得注意的是，在一些实施例中，当第一预设曝光的曝光时间等于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。同理，当第一预设曝光的曝光增益等于第二预设曝光的曝光增益时，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间，也可以等于第二预设曝光的曝光时间。

其中，图像传感器01可以包括多个感光通道，每个感光通道可以用于感应至少一种可见光波段的光，以及感应近红外波段的光。也即是，每个感光通道既能感应至少一种可见光波段的光，又能感应近红外波段的光，这样，可以保证第一图像信号和第二图像信号中具有完整的分辨率，不缺失像素值。示例性地，该多个感光通道可以用于感应至少两种不同的可见光波段的光。

在一些实施例中，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光。由于在一些实施例中，可以用W来表示用于感应全波段的光的感光通道，在另一些实施例中，可以用C来表示用于感应全波段的光的感光通道，所以当该多个感光通道包括用于感应全波段的光的感光通道时，这个感光通道可以是W感光通道，也可以是C感光通道。也即是，在实际应用中，可以根据使用需求来选择用于感应全波段的光的感光通道。示例性地，图像传感器01可以为RGB传感器、RGBW传感器，或RCCB传感器，或RYYB传感器。其中，RGB传感器中的R感光通道、G感光通道和B感光通道的分布方式可以参见图5，RGBW传感器中的R感光通道、G感光通道、B感光通道和W感光通道的分布方式可以参见图6，RCCB传感器中的R感光通道、C感光通道和B感光通道分布方式可以参见图7，RYYB传感器中的R感光通道、Y感光通道和B感光通道分布方式可以参见图8。

在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光，这样，可以保证第一图像信号中具有完整的分辨率，不缺失像素值。作为一种示例，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、IR感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，IR感光通道用于感应近红外波段的光。

示例地，图像传感器01可以为RGBIR传感器，其中，RGBIR传感器中的每个IR感光通道都可以感应近红外波段的光，而不感应可见光波段的光。

其中，当图像传感器01为RGB传感器时，相比于其他图像传感器，如RGBIR传感器等，RGB传感器采集的RGB信息更完整，RGBIR传感器有一部分的感光通道采集不到可见光，所以RGB传感器采集的图像的色彩细节更准确。

值得注意的是，图像传感器01包括的多个感光通道可以对应多条感应曲线。示例性地，参见图9，图9中的R曲线代表图像传感器01对红光波段的光的感应曲线，G曲线代表图像传感器01对绿光波段的光的感应曲线，B曲线代表图像传感器01对蓝光波段的光的感应曲线，W(或者C)曲线代表图像传感器01感应全波段的光的感应曲线，NIR(Near infrared，近红外光)曲线代表图像传感器01感应近红外波段的光的感应曲线。

作为一种示例，图像传感器01可以采用全局曝光方式，也可以采用卷帘曝光方式。其中，全局曝光方式是指每一行有效图像的曝光开始时刻均相同，且每一行有效图像的曝光结束时刻均相同。换句话说，全局曝光方式是所有行有效图像同时进行曝光并且同时结束曝光的一种曝光方式。卷帘曝光方式是指不同行有效图像的曝光时间不完全重合，也即是，一行有效图像的曝光开始时刻都晚于上一行有效图像的曝光开始时刻，且一行有效图像的曝光结束时刻都晚于上一行有效图像的曝光结束时刻。另外，卷帘曝光方式中每一行有效图像结束曝光后可以进行数据输出，因此，从第一行有效图像的数据开始输出时刻到最后一行有效图像的数据结束输出时刻之间的时间可以表示为读出时间。

示例性地，参见图10，图10为一种卷帘曝光方式的示意图。从图10可以看出，第1行有效图像在T1时刻开始曝光，在T3时刻结束曝光，第2行有效图像在T2时刻开始曝光，在T4时刻结束曝光，T2时刻相比于T1时刻向后推移了一个时间段，T4时刻相比于T3时刻向后推移了一个时间段。另外，第1行有效图像在T3时刻结束曝光并开始输出数据，在T5时刻结束数据的输出，第n行有效图像在T6时刻结束曝光并开始输出数据，在T7时刻结束数据的输出，则T3～T7时刻之间的时间即为读出时间。

在一些实施例中，当图像传感器01采用全局曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外补光的子集。这样，即可实现至少在第一预设曝光的部分曝光时间段内存在近红外补光，在第二预设曝光的整个曝光时间段内不存在近红外补光，从而不会对第二预设曝光造成影响。

例如，参见图11，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集。参见图12，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段与第一预设曝光的曝光时间段存在交集。参见图13，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，第一预设曝光的曝光时间段是近红外补光的子集。图11至图13仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。

在另一些实施例中，当图像传感器01采用卷帘曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集。并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

例如，参见图14，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。参见图15，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。参见图16，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。图14至图16中，针对第一预设曝光和第二预设曝光，倾斜虚线表示曝光开始时刻，倾斜实线表示曝光结束时刻，针对第一预设曝光，竖直虚线之间表示第一预设曝光对应的近红外补光的时间段，图14至图16仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。

其中，多次曝光可以包括奇数次曝光和偶数次曝光，这样，第一预设曝光和第二预设曝光可以包括但不限于如下几种方式：

第一种可能的实现方式，第一预设曝光为奇数次曝光中的一次曝光，第二预设曝光为偶数次曝光中的一次曝光。这样，多次曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第一预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第二预设曝光。

第二种可能的实现方式，第一预设曝光为偶数次曝光中的一次曝光，第二预设曝光为奇数次曝光中的一次曝光，这样，多次曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第二预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第一预设曝光。

第三种可能的实现方式，第一预设曝光为指定的奇数次曝光中的一次曝光，第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次曝光中的奇数次曝光，也可以为多次曝光中的偶数次曝光。

第四种可能的实现方式，第一预设曝光为指定的偶数次曝光中的一次曝光，第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次曝光中的奇数次曝光，也可以为多次曝光中的偶数次曝光。

第五种可能的实现方式，第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光。

第六种可能的实现方式，第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为第一曝光序列中的一次曝光。

其中，上述多次曝光包括多个曝光序列，第一曝光序列和第二曝光序列为该多个曝光序列中的同一个曝光序列或者两个不同的曝光序列，每个曝光序列包括N次曝光，该N次曝光包括1次第一预设曝光和N-1次第二预设曝光，或者，该N次曝光包括1次第二预设曝光和N-1次第二预设曝光，N为大于2的正整数。

例如，每个曝光序列包括3次曝光，这3次曝光可以包括1次第一预设曝光和2次第二预设曝光，这样，每个曝光序列的第1次曝光可以为第一预设曝光，第2次和第3次曝光为第二预设曝光。也即是，每个曝光序列可以表示为：第一预设曝光、第二预设曝光、第二预设曝光。或者，这3次曝光可以包括1次第二预设曝光和2次第一预设曝光，这样，每个曝光序列的第1次曝光可以为第二预设曝光，第2次和第3次曝光为第一预设曝光。也即是，每个曝光序列可以表示为：第二预设曝光、第一预设曝光、第一预设曝光。

上述仅提供了六种第一预设曝光和第二预设曝光的可能的实现方式，实际应用中，不限于上述六种可能的实现方式，本申请实施例对此不做限定。

综上，当环境光中的可见光强度较弱时，例如夜晚，可以通过第一补光装置021频闪式的补光，使图像传感器01产生并输出包含近红外亮度信息的第一图像信号，以及包含可见光亮度信息的第二图像信号，且由于第一图像信号和第二图像信号均由同一个图像传感器01获取，所以第一图像信号的视点与第二图像信号的视点相同，从而通过第一图像信号和第二图像信号可以获取完整的外部场景的信息。在可见光强度较强时，例如白天，白天近红外光的占比比较强，采集的图像的色彩还原度不佳，可以通过图像传感器01产生并输出的包含可见光亮度信息的第三图像信号，这样即使白天，也可以采集到色彩还原度比较好的图像，也可达到不论可见光强度的强弱，或者说不论白天还是夜晚，均能高效、简便地获取外部场景的真实色彩信息，提高了图像采集装置的使用灵活性，并且还可以方便地与其他图像采集装置进行兼容。

本申请利用图像传感器的曝光时序来控制补光装置的近红外补光时序，以便在第一预设曝光的过程中进行近红外补光并产生第一图像信号，在第二预设曝光的过程中不进行近红外补光并产生第二图像信号，这样的数据采集方式，可以在结构简单、降低成本的同时直接采集到亮度信息不同的第一图像信号和第二图像信号，也即通过一个图像传感器就可以获取两种不同的图像信号，使得该车牌识别设备更加简便，进而使得获取第一图像信号和第二图像信号也更加高效。并且，第一图像信号和第二图像信号均由同一个图像传感器产生并输出，所以第一图像信号对应的视点与第二图像信号对应的视点相同。因此，通过第一图像信号和第二图像信号可以共同获取外部场景的信息，且不会存在因第一图像信号对应的视点与第二图像信号对应的视点不相同，而导致根据第一图像信号和第二图像信号生成的图像不对齐。

在本申请一实施例中，参见图17，图像处理单元，包括：

图像预处理单元、图像融合单元和图像识别单元；

其中，所述图像预处理单元，用于将所述第一图像信号经预处理后生成灰度灰度图像，将所述第二图像信号经预处理后生成彩色图像；

所述图像融合单元，用于将所述彩色图像和所述灰度图像进行融合处理，得到彩色融合图像；

所述图像识别单元，用于根据所述图像融合单元输出的彩色融合图像对所述待识别车牌进行识别，或，根据所述灰度图像，对所述待识别车牌进行识别。

具体的，获取到传感器输出的第一图像信号和第二图像信号之后，可以通过图像预处理单元先对第一图像信号和第二图像信号进行预处理，分别得到预处理后的灰度图像和彩色图像，然后通过图像融合单元对彩色图像和灰度图像进行融合处理，得到彩色融合图像；通过图像识别单元对图像融合单元输出的彩色融合图像或灰度图像进行识别，得到待识别车牌的车牌号。

可以在任一时间段内通过第一预设曝光和第二预设曝光同时采集到包含近红外光信息的第一图像信号和包含可见光信息的第二图像信号，后续根据该第一图像信号和第二图像信号进行处理得到的图像的质量更高，因此车牌识别的效果较好。

示例性的，在一些实施例中，如图18所示，图像预处理单元还可以包括：

第一预处理单元、第二预处理单元，以及分别与所述第一预处理单元和第二预处理单元连接的联合降噪单元；

其中，所述第一预处理单元，用于对所述第一图像信号进行第一预处理操作，得到预处理后的灰度图像；

所述第二预处理单元，用于对所述第二图像信号进行第二预处理操作，得到彩色图像；

所述联合降噪单元，用于对所述彩色图像和所述灰度图像进行滤波处理，得到降噪后的彩色图像和灰度图像；或，

如图19所示，所述图像预处理单元，包括：

联合降噪单元，以及分别与所述联合降噪单元连接的第一预处理单元和第二预处理单元；

其中，所述联合降噪单元，用于对所述第一图像信号和所述第二图像信号进行滤波处理，得到降噪后的第一图像信号和第二图像信号；

所述第一预处理单元，用于对降噪后的第一图像信号进行第一预处理操作，得到预处理后的灰度图像；所述第二预处理单元，用于对降噪后的第二图像信号进行第二预处理操作，得到彩色图像。

其中，第一预处理操作例如包括以下至少一项操作：黑电平处理、坏点校正、亮度计算、伽马校正、降噪和锐化处理；

第二预处理操作例如包括以下至少一项操作：黑电平处理、坏点校正、白平衡校正、色彩插值、伽马校正、色彩校正、RGB转YUV操作、降噪和锐化处理。

联合降噪单元，用于利用第一图像信号和第二图像信号之间信息的相关性，对第一图像信号或第二图像信号进行联合降噪处理，例如联合双边滤波处理，得到信噪比提升的降噪后的第一图像信号和第二图像信号。

在本申请的一些实施例中，根据所述彩色图像和所述灰度图像之间的相关性，对所述彩色图像和所述灰度图像分别进行联合滤波处理，得到所述降噪后的彩色图像和灰度图像；

或，所述联合降噪单元，具体用于：

根据第一图像信号和第二图像信号之间的相关性，对所述第一图像信号和第二图像信号分别进行联合滤波处理，得到所述降噪后的第一图像信号和第二图像信号。

示例性的，在本申请一实施例中，当图像传感器为以bayer方式排列的传感器时，输出的图像信号将为马赛克图像信号。第一预处理单元还可以对第一图像信号进行去马赛克处理，从而得到修复后的第一图像信号。

需要说明的是，在对第一图像信号进行去马赛克处理时，可以采用双线性插值法或自适应插值法等方法来进行处理，此处不再赘述。进一步的，图像融合单元包括：色彩提取单元、亮度提取单元，分别与所述色彩提取单元和所述亮度提取单元连接的融合处理单元；

其中，所述色彩提取单元，用于提取所述彩色图像的色彩信号；

所述亮度提取单元，用于提取所述彩色图像的亮度信号；

所述融合处理单元，用于对所述灰度图像进行高通滤波，得到滤波后的高频信号；

对所述彩色图像的亮度信号进行低通滤波，得到滤波后的低频信号；

对所述高频信号、所述低频信号和所述色彩信号进行融合处理，得到所述彩色融合图像。

其中，所述融合处理单元，具体用于：

对所述高频信号和所述低频信号进行加权融合处理，得到融合亮度图像；

对所述融合亮度图像和所述彩色图像的色彩信号进行融合处理，得到所述彩色融合图像。

具体的，图17中图像融合单元的功能，是将彩色图像的亮度信号和灰度图像的亮度信号进行加权融合，得到融合亮度图像，然后再与彩色图像的色彩信号合成，得到彩色融合图像。

图20中，在加权融合之前可以对亮度信号进行低通滤波得到低频信号，对灰度图像进行高频滤波得到高频信号，将低频信号和高频信号进行加权融合得到融合亮度图像。

示例性的，假设灰度图像为Y，彩色图像的亮度信号为W，利用高通滤波和低通滤波，提取彩色图像的亮度信号W的高频信号和灰度图像Y的低频信息，如下式所述，

W_high＝HPF(W)

Y_low＝LPF(Y)

其中，HPF表示高通滤波器，LPF表示低通滤波器，W_high表示灰度图像的高频信号，Y_low表示彩色图像的亮度信号的低频信号。将彩色图像的亮度信号的低频信号与灰度图像的高频信号相加，得到融合亮度图像，即FUS＝W_high+VIS_low。最后将融合亮度图像与彩色图像的色彩信号合成，得到彩色融合图像。

示例性的，如图21所示，在本申请的一实施例中，图像识别单元，包括：

车牌定位单元，与所述车牌定位单元连接的车牌识别单元；

其中，所述车牌定位单元，用于根据所述图像融合单元输出的彩色融合图像，采用深度学习算法提取所述待识别车牌的彩色车牌区域图像；

所述车牌识别单元，用于对所述彩色车牌区域图像进行字符识别，获取所述待识别车牌的车牌号码。

具体的，车牌定位时，可基于深度学习算法提取车牌区域图像，首先将彩色融合图像输入车牌定位单元，将彩色融合图像生成多个候选区域，分别计算多个候选区域的特征，最后通过分类将多个候选区域中的一个作为车牌区域图像，此时的车牌区域图像为彩色车牌区域图像。

通过车牌识别单元对彩色车牌区域图像进行字符识别，例如可以先进行字符分割、然后再进行字符识别，得到识别出的车牌号码。字符分割例如可采用垂直投影法，根据车牌字符间具有间隔相等的特点，对二值图像进行垂直投影，分割出字符信息；字符识别通常采用模板匹配方法，识别出最终字符信息。

在本申请的另一实施例中，如图22所示，所述图像识别单元，包括：

车牌定位单元，分别与所述车牌定位单元连接的车牌识别单元和图像截取单元；

其中，所述车牌定位单元，用于根据所述图像预处理单元输出的灰度图像，采用深度学习算法提取所述待识别车牌的灰度车牌区域图像，并获取所述车牌区域图像中车牌位置坐标；

所述图像截取单元，用于根据所述图像融合单元输出的彩色融合图像以及所述车牌定位单元输出的车牌位置坐标，提取所述待识别车牌的彩色车牌区域图像；

所述车牌识别单元，用于根据所述车牌定位单元输出的灰度车牌区域图像进行字符识别，获取所述待识别车牌的车牌号码。

具体的，第一图像信号和第二图像信号经过图像预处理单元和图像融合单元可以输出灰度图像和彩色融合图像，灰度图像用于车牌定位和车牌识别(灰度图像中车牌更清晰，更利于车牌定位和识别)，输出车牌号；同时车牌定位单元将得到的车牌位置坐标输入到图像截取单元，从彩色融合图像中抠取彩色车牌区域图像，即除车牌号，还可输出彩色车牌区域图像、彩色融合图像等。

在本申请的一实施例中，根据参考如下公式(1)，对所述彩色图像进行降噪处理，得到降噪后的彩色图像；

根据如下公式(2)，对所述灰度图像进行降噪处理，得到降噪后的灰度图像；

其中，x、y表示任一当前像素点的坐标，img_vis(x+i,y+j)表示彩色图像中当前像素点对应的邻域内的像素点的像素值，img_vis'(x,y)表示彩色图像中当前像素点降噪后的像素值，img_nir(x+i,y+j)表示灰度图像中当前像素点对应的邻域内的像素点的像素值，img_nir'(x,y)表示灰度图像中当前像素点降噪后的像素值，S表示当前像素点对应的邻域大小，weight(x+i,y+j)＝weight_vis(x+i,y+j)+weight_nir(x+i,y+j)，weight_vis(x+i,y+j)为彩色图像中当前像素点对应的权重，weight_nir(x+i,y+j)为灰度图像中当前像素点对应的权重，weight_nir(x+i,y+j)和weight_vis(x+i,y+j)均可以通过

计算，f_xy表示当前像素点的像素值，f_ij表示当前像素点的邻域像素点的像素值，i、j为邻域像素点坐标，δ₁，δ₂表示高斯分布标准差。

在本申请的一实施例中，可以参考如下公式(3)，对所述第一图像信号进行降噪处理，得到降噪后的第一图像信号；

可以参考如下公式(4)，对所述第二图像信号进行降噪处理，得到降噪后的第二图像信号；

其中，x、y表示任一当前像素点的坐标，img1(x+i,y+j)表示第一图像信号中当前像素点对应的邻域内的像素点的像素值，img1'(x,y)表示第一图像信号中当前像素点降噪后的像素值，img2(x+i,y+j)表示第二图像信号中当前像素点对应的邻域内的像素点的像素值，img2'(x,y)表示第二图像信号中当前像素点降噪后的像素值，S表示当前像素点对应的邻域大小，weight(x+i,y+j)＝weight_vis(x+i,y+j)+weight_nir(x+i,y+j)，weight_vis(x+i,y+j)为第一图像信号中当前像素点对应的权重，weight_nir(x+i,y+j)为第二图像信号中当前像素点对应的权重，weight_nir(x+i,y+j)和weight_vis(x+i,y+j)均可以通过

计算，f_xy表示当前像素点的像素值，f_ij表示当前像素点的邻域像素点的像素值，i、j为邻域像素点坐标，δ₁，δ₂表示高斯分布标准差。

本申请实施例中还提供一种车牌识别方法，基于上述图1-22所示的实施例提供的车牌识别设备来对车牌识别方法进行说明。参见图23该方法包括：

步骤240、通过补光器包括的第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为图像传感器的多次曝光中的其中两次曝光；

步骤241、在所述第一补光装置进行近红外外补光的过程中，通过所述滤光组件使可见光波段的光和部分近红外光通过；

步骤242、在所述滤光组件通过可见光波段的光和部分近红外光之后，通过所述图像传感器进行多次曝光，以产生并输出第一图像信号和第二图像信号，所述第一图像信号是根据所述第一预设曝光产生的图像信号，所述第二图像信号是根据所述第二预设曝光产生的图像信号；所述第一图像信号和所述第二图像信号包括待识别车牌的信息；

步骤243、所述图像处理单元根据所述第一图像信号和所述第二图像信号对所述待识别车牌进行识别。

示例性的，所述第一补光装置进行近红外补光时通过所述滤光组件的近红外光的强度高于所述第一补光装置未进行近红外补光时通过所述滤光组件的近红外光强度。

示例性的，还包括：

通过补光器包括的第二补光装置进行可见光补光。

示例性的，所述第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一滤光片的近红外光的中心波长和/或波段宽度达到约束条件。

示例性的，所述图像处理单元根据所述第一图像信号和所述第二图像信号对所述待识别车牌进行识别，包括：

图像预处理单元将所述第一图像信号经预处理后生成灰度图像，将所述第二图像信号经预处理后生成彩色图像灰度；

图像融合单元将所述彩色图像和所述灰度图像进行融合处理，得到彩色融合图像；

图像识别单元根据所述图像融合输出的彩色融合图像对所述待识别车牌进行识别，或，根据所述图像预处理单元输出的灰度图像，对所述待识别车牌进行识别。

示例性的，图像预处理单元将所述第一图像信号经预处理后生成灰度图像，将所述第二图像信号经预处理后生成彩色图像灰度，包括：

第一预处理单元对所述第一图像信号进行第一预处理操作，得到预处理后的灰度图像；

第二预处理单元对所述第二图像信号进行第二预处理操作，得到彩色图像；

联合降噪单元对所述彩色图像和所述灰度图像进行滤波处理，得到降噪后的彩色图像和灰度图像；或，

联合降噪单元对所述第一图像信号和所述第二图像信号进行滤波处理，得到降噪后的第一图像信号和第二图像信号；

第一预处理单元对降噪后的第一图像信号进行第一预处理操作，得到预处理后的灰度图像；

第二预处理单元对降噪后的第二图像信号进行第二预处理操作，得到彩色图像。

示例性的，所述图像识别单元根据所述图像融合输出的彩色融合图像对所述待识别车牌进行识别，包括：

车牌定位单元根据所述图像融合单元输出的彩色融合图像，采用深度学习算法提取所述待识别车牌的彩色车牌区域图像；

车牌识别单元对所述彩色车牌区域图像进行字符识别，获取所述待识别车牌的车牌号码。

示例性的，所述图像识别单元根据所述图像预处理单元输出的灰度图像，对所述待识别车牌进行识别，包括：

所述车牌定位单元根据所述图像预处理单元输出的灰度图像，采用深度学习算法提取所述待识别车牌的灰度车牌区域图像，并获取所述车牌区域图像中车牌位置坐标；

所述图像截取单元根据所述图像融合单元输出的彩色融合图像以及所述车牌定位单元输出的车牌位置坐标，提取所述待识别车牌的彩色车牌区域图像；

所述车牌识别单元根据所述车牌定位单元输出的灰度车牌区域图像进行字符识别，获取所述待识别车牌的车牌号码。

示例性的，图像融合单元将所述彩色图像和所述灰度图像进行融合处理，得到彩色融合图像，包括：

所述色彩提取单元提取所述彩色图像的色彩信号；

所述亮度提取单元提取所述彩色图像的亮度信号；

所述融合处理单元对所述灰度图像进行高通滤波，得到滤波后的高频信号；对所述彩色图像的亮度信号进行低通滤波，得到滤波后的低频信号；对所述高频信号、所述低频信号和所述色彩信号进行融合处理，得到所述彩色融合图像。

示例性的，所述融合处理单元对所述高频信号、所述低频信号和所述色彩信号进行融合处理，得到所述彩色融合图像：

对所述高频信号和所述低频信号进行加权融合处理，得到融合亮度图像；

对所述融合亮度图像和所述彩色图像的色彩信号进行融合处理，得到所述彩色融合图像。

示例性的，所述联合降噪单元对所述彩色图像和所述灰度图像进行滤波处理，得到降噪后的彩色图像和灰度图像，包括：

根据所述彩色图像和所述灰度图像之间的相关性，对所述彩色图像和所述灰度图像分别进行联合滤波处理，得到所述降噪后的彩色图像和灰度图像。

示例性的，所述联合降噪单元对所述第一图像信号和所述第二图像信号进行滤波处理，得到降噪后的第一图像信号和第二图像信号，包括：

根据所述第一图像信号和第二图像信号之间的相关性，对所述第一图像信号和第二图像信号分别进行联合滤波处理，得到所述降噪后的第一图像信号和第二图像信号。

示例性的，滤光组件还可以包括第二滤光片和切换部件，此时，还可以通过切换部件将第二滤光片切换到图像传感器的入光侧。在第二滤光片切换到图像传感器的入光侧之后，通过第二滤光片使可见光波段的光通过，阻挡近红外光波段的光，在第二滤光片通过可见光波段的光且阻挡近红外光波段的光之后，通过图像传感器进行曝光，以产生并输出第三图像信号。

可选地，入射到第一滤光片的近红外光的波段范围为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。

可选地，第一补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者

第一补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者

第一补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

可选地，约束条件包括：

通过第一滤光片的近红外光的中心波长与第一补光装置进行近红外补光的中心波长之间的差值位于波长波动范围内，波长波动范围为0～20纳米。

可选地，约束条件包括：

通过第一滤光片的近红外光的半带宽小于或等于50纳米。

可选地，约束条件包括：

第一波段宽度小于第二波段宽度；其中，第一波段宽度是指通过第一滤光片的近红外光的波段宽度，第二波段宽度是指被第一滤光片阻挡的近红外光的波段宽度。

可选地，约束条件为：

第三波段宽度小于参考波段宽度，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度。

可选地，设定比例为30％～50％的比例范围内的任一比例。

可选地，第一预设曝光与第二预设曝光的至少一个曝光参数不同，至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，曝光增益包括模拟增益，和/或，数字增益。

可选地，第一预设曝光的曝光增益小于第二预设曝光的曝光增益。

可选地，第一预设曝光和所述第二预设曝光的至少一个曝光参数相同，至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，曝光增益包括模拟增益，和/或，数字增益。

可选地，第一预设曝光的曝光时间等于第二预设曝光的曝光时间。

可选地，图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。

可选地，多个感光通道用于感应至少两种不同的可见光波段的光。

可选地，多个感光通道包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种；

其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光，W感光通道用于感应全波段的光，C感光通道用于感应全波段的光。

可选地，图像传感器为RGB传感器、RGBW传感器，或RCCB传感器，或RYYB传感器。

可选地，第二补光装置用于以常亮方式进行可见光补光；或者

第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行可见光补光，在第二预设曝光的整个曝光时间段内不进行可见光补光；或者

第二补光装置用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不进行可见光补光，在第二预设曝光的部分曝光时间段内进行可见光补光。

可选地，第一补光装置在单位时间长度内的补光次数低于图像传感器在单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。

可选地，图像传感器采用全局曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外补光的子集。

可选地，图像传感器采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集；

近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻；

或者，

近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者

近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

可选地，多次曝光包括奇数次曝光和偶数次曝光；

第一预设曝光为奇数次曝光中的一次曝光，第二预设曝光为偶数次曝光中的一次曝光；或者

第一预设曝光为偶数次曝光中的一次曝光，第二预设曝光为奇数次曝光中的一次曝光；或者

第一预设曝光为指定的奇数次曝光中的一次曝光，第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光；或者

第一预设曝光为指定的偶数次曝光中的一次曝光，第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光；或者，

第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光；或者

第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为第一曝光序列中的一次曝光；

其中，多次曝光包括多个曝光序列，第一曝光序列和第二曝光序列为多个曝光序列中的一个曝光序列或者两个曝光序列，每个曝光序列包括N次曝光，N次曝光包括1次第一预设曝光和N-1次第二预设曝光，或者，N次曝光包括1次第二预设曝光和N-1次第二预设曝光，N为大于2的正整数。

需要说明的是，由于本实施例与上述图1-23所示的实施例可以采用同样的发明构思，因此，关于本实施例内容的解释可以参考上述图1-23所示实施例中相关内容的解释，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (24)

1.一种车牌识别设备，其特征在于，包括：

滤光组件、图像传感器、补光器、图像处理单元，所述图像传感器位于所述滤光组件的出光侧；

所述图像传感器，用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光，所述第一预设曝光和所述第二预设曝光为连续的两次曝光，所述第一预设曝光和所述第二预设曝光交替进行；所述第一图像信号和所述第二图像信号包括待识别车牌的信息，所述第一图像信号和所述第二图像信号均是一帧图像信号；

所述补光器包括第一补光装置，所述第一补光装置用于进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集；

所述滤光组件用于通过可见光波段和部分近红外光；

图像处理单元，用于根据所述第一图像信号和所述第二图像信号对所述待识别车牌进行识别。

2.根据权利要求1所述的设备，其特征在于，所述第一补光装置进行近红外补光时通过所述滤光组件的近红外光的强度高于所述第一补光装置未进行近红外补光时通过所述滤光组件的近红外光强度。

3.根据权利要求1或2所述的设备，其特征在于，所述补光器还包括第二补光装置，所述第二补光装置用于进行可见光补光。

4.根据权利要求3所述的设备，其特征在于，所述第二补光装置用于以常亮方式进行可见光补光；

或者

所述第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行可见光补光，在所述第二预设曝光的整个曝光时间段内不进行可见光补光；

或者

所述第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的整个曝光时间段内不进行可见光补光，在所述第二预设曝光的部分曝光时间段内进行可见光补光。

5.根据权利要求1或2所述的设备，其特征在于，

所述第一预设曝光与所述第二预设曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

6.根据权利要求1或2所述的设备，其特征在于，

所述第一预设曝光和所述第二预设曝光的至少一个曝光参数相同，所述至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

7.根据权利要求1或2所述的设备，其特征在于，

所述图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。

8.根据权利要求1或2所述的设备，其特征在于，

所述图像传感器采用全局曝光方式进行多次曝光，近红外补光的时间段是所述第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与所述第一预设曝光的曝光时间段存在交集，或者所述第一预设曝光的曝光时间段是近红外补光的子集。

9.根据权利要求1或2所述的设备，其特征在于，

所述图像传感器采用卷帘曝光方式进行多次曝光，

近红外补光的开始时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻；

或者，

近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者

近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

10.根据权利要求1或2所述的设备，其特征在于，

所述第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述滤光组件的近红外光的中心波长和/或波段宽度达到约束条件。

11.根据权利要求10所述的设备，其特征在于，所述约束条件包括如下任意一种：

通过所述滤光组件的近红外光的中心波长与所述第一补光装置进行近红外补光的中心波长之间的差值位于波长波动范围内，所述波长波动范围为0～20纳米；

或者

通过所述滤光组件的近红外光的半带宽小于或等于50纳米；

或者

第一波段宽度小于第二波段宽度；其中，所述第一波段宽度是指通过所述滤光组件的近红外光的波段宽度，所述第二波段宽度是指被所述滤光组件阻挡的近红外光的波段宽度；

或者

第三波段宽度小于参考波段宽度，所述第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，所述参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度，所述设定比例为30％～50％的比例范围内的任一比例。

12.根据权利要求1或2所述的设备，其特征在于，所述图像处理单元，包括：

图像预处理单元、图像融合单元和图像识别单元；

其中，所述图像预处理单元，用于将所述第一图像信号经预处理后生成灰度图像，将所述第二图像信号经预处理后生成彩色图像；

所述图像融合单元，用于将所述彩色图像和所述灰度图像进行融合处理，得到彩色融合图像；

所述图像识别单元，用于根据所述图像融合输出的彩色融合图像对所述待识别车牌进行识别，或，根据所述图像预处理单元输出的灰度图像，对所述待识别车牌进行识别。

13.根据权利要求12所述的设备，其特征在于，所述图像预处理单元，包括：

第一预处理单元、第二预处理单元，以及联合降噪单元；

其中，所述第一预处理单元，用于对所述第一图像信号进行第一预处理操作，得到预处理后的灰度图像；

所述第二预处理单元，用于对所述第二图像信号进行第二预处理操作，得到彩色图像；

所述联合降噪单元，用于对所述彩色图像和所述灰度图像进行滤波处理，得到降噪后的彩色图像和灰度图像；或，

所述图像预处理单元，包括：

联合降噪单元、第一预处理单元和第二预处理单元；

其中，所述联合降噪单元，用于对所述第一图像信号和所述第二图像信号进行滤波处理，得到降噪后的第一图像信号和第二图像信号；

所述第一预处理单元，用于对降噪后的第一图像信号进行第一预处理操作，得到预处理后的灰度图像；

所述第二预处理单元，用于对降噪后的第二图像信号进行第二预处理操作，得到彩色图像。

14.根据权利要求12所述的设备，其特征在于，所述图像识别单元，包括：

车牌定位单元，车牌识别单元；

其中，所述车牌定位单元，用于根据所述图像融合单元输出的彩色融合图像，采用深度学习算法提取所述待识别车牌的彩色车牌区域图像；

所述车牌识别单元，用于对所述彩色车牌区域图像进行字符识别，获取所述待识别车牌的车牌号码。

15.根据权利要求12所述的设备，其特征在于，所述图像识别单元，包括：

车牌定位单元，车牌识别单元，图像截取单元；

其中，所述车牌定位单元，用于根据所述图像预处理单元输出的灰度图像，采用深度学习算法提取所述待识别车牌的灰度车牌区域图像，并获取所述车牌区域图像中车牌位置坐标；

所述图像截取单元，用于根据所述图像融合单元输出的彩色融合图像以及所述车牌定位单元输出的车牌位置坐标，提取所述待识别车牌的彩色车牌区域图像；

所述车牌识别单元，用于根据所述车牌定位单元输出的灰度车牌区域图像进行字符识别，获取所述待识别车牌的车牌号码。

16.根据权利要求12所述的设备，其特征在于，图像融合单元包括：色彩提取单元、亮度提取单元，分别与所述色彩提取单元和所述亮度提取单元连接的融合处理单元；

其中，所述色彩提取单元，用于提取所述彩色图像的色彩信号；

所述亮度提取单元，用于提取所述彩色图像的亮度信号；

所述融合处理单元，用于对所述灰度图像进行高通滤波，得到滤波后的高频信号；

对所述彩色图像的亮度信号进行低通滤波，得到滤波后的低频信号；

对所述高频信号、所述低频信号和所述色彩信号进行融合处理，得到所述彩色融合图像。

17.根据权利要求16所述的设备，其特征在于，所述融合处理单元，具体用于：

对所述高频信号和所述低频信号进行加权融合处理，得到融合亮度图像；

对所述融合亮度图像和所述彩色图像的色彩信号进行融合处理，得到所述彩色融合图像。

18.根据权利要求13所述的设备，其特征在于，所述联合降噪单元，具体用于：

根据所述彩色图像和所述灰度图像之间的相关性，对所述彩色图像和所述灰度图像分别进行联合滤波处理，得到所述降噪后的彩色图像和灰度图像。

19.根据权利要求13所述的设备，其特征在于，所述联合降噪单元，具体用于：

根据所述第一图像信号和第二图像信号之间的相关性，对所述第一图像信号和第二图像信号分别进行联合滤波处理，得到所述降噪后的第一图像信号和第二图像信号。

20.一种车牌识别方法，其特征在于，应用于车牌识别设备，所述车牌识别设备包括图像传感器、补光器和滤光组件，所述图像传感器位于所述滤光组件的出光侧，其特征在于，所述方法包括：

通过补光器包括的第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为图像传感器的多次曝光中的其中两次曝光，所述第一预设曝光和所述第二预设曝光为连续的两次曝光，所述第一预设曝光和所述第二预设曝光交替进行；对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集；

通过所述滤光组件使可见光波段的光和部分近红外光通过；

通过所述图像传感器进行多次曝光，以产生并输出第一图像信号和第二图像信号，所述第一图像信号是根据所述第一预设曝光产生的图像信号，所述第二图像信号是根据所述第二预设曝光产生的图像信号；所述第一图像信号和所述第二图像信号包括待识别车牌的信息，所述第一图像信号和所述第二图像信号均是一帧图像信号；

所述图像处理单元根据所述第一图像信号和所述第二图像信号对所述待识别车牌进行识别。

21.根据权利要求20所述的方法，其特征在于，

所述第一补光装置进行近红外补光时通过所述滤光组件的近红外光的强度高于所述第一补光装置未进行近红外补光时通过所述滤光组件的近红外光强度。

22.根据权利要求20或21所述的方法，其特征在于，还包括：

通过补光器包括的第二补光装置进行可见光补光。

23.根据权利要求20或21所述的方法，其特征在于，

所述第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述滤光组件的近红外光的中心波长和/或波段宽度达到约束条件。

24.根据权利要求20或21所述的方法，其特征在于，所述图像处理单元根据所述第一图像信号和所述第二图像信号对所述待识别车牌进行识别，包括：

将所述第一图像信号经预处理后生成灰度图像，将所述第二图像信号经预处理后生成彩色图像；

将所述彩色图像和所述灰度图像进行融合处理，得到彩色融合图像；

根据所述彩色融合图像对所述待识别车牌进行识别，或，根据所述灰度图像，对所述待识别车牌进行识别。

Images