CN113657427B - 一种车内多源图像融合识别方法及装置 - Google Patents

Abstract

本发明公开了一种车内多源图像融合识别方法及装置，所述方法包括：控制车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换；获取车内摄像头输出的当前帧图像；若当前帧图像适用于第一图像识别则根据所述当前帧图像进行第一图像识别；若当前帧图像适用于第二图像识别则根据所述当前帧图像进行第二图像识别。本发明使用曝光时间长的图像对距离摄像头较远的识别目标进行识别，可保证距离摄像头较远的识别目标的识别准确率；使用曝光时间短的图像对距离摄像头较近的识别目标进行识别，可保证距离摄像头较近的识别目标的识别准确率；从而保证了车内各项识别功能的识别准确率。

Description

一种车内多源图像融合识别方法及装置

技术领域

本发明涉及图像识别技术领域，尤其涉及一种车内多源图像融合识别方法及装置。

背景技术

随着汽车智能化的发展，摄像头在汽车上的应用越来越多。按照安装位置，可分为车外摄像头和车内摄像头，车外摄像头用于360全景影像、电子外后视镜等，车内摄像头主要用于算法识别，如人脸识别、驾驶员状态监测、手势识别等。影响摄像头成像效果的摄像头参数很多，主要有曝光时间、光圈大小、焦距、动态范围、增益和信噪比等。

目前汽车座舱内应用的各项计算机视觉技术，对车内摄像头获取的图像都有特定要求，要求各项功能都要使用不同的摄像头来实现，例如使用同一个摄像头进行人脸识别、驾驶员状态监测，使用另一个摄像头进行手势识别。另外，也有部分座舱内使用单个摄像头实现人脸识别、驾驶员状态监测、手势识别等功能。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

车内至少使用两个摄像头实现人脸识别、驾驶员状态监测、手势识别等功能时，使用的摄像头数量多，零部件成本高，也存在布置困难、影响内饰美观的问题。车内使用单个摄像头实现人脸识别、驾驶员状态监测、手势识别等功能时，由于摄像头的曝光时间固定，若曝光时间长，可保证人脸识别、驾驶员状态监测等功能的准确率，但图像中的背景会影响手势检测效果，会降低手势识别的准确率；若曝光时间短，可保证手势识别的准确率，但会降低人脸识别、驾驶员状态监测等功能的准确率；也即无法同时保证各项识别功能的准确率。

发明内容

本申请实施例通过提供一种车内多源图像融合识别方法及装置，解决了现有技术中车内使用单个摄像头时无法同时保证各项识别功能准确率的技术问题，实现了保证了车内各项识别功能的识别准确率的技术效果。

一方面，本申请通过本申请的一实施例提供如下技术方案：

一种车内多源图像融合识别方法，包括：

控制车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换，所述第一时间范围大于所述第二时间范围；

获取车内摄像头输出的当前帧图像；

若所述当前帧图像的曝光时间在所述第一时间范围内或所述当前帧图像的图像灰度平均值大于第一灰度阈值，则根据所述当前帧图像进行第一图像识别；

若所述当前帧图像的曝光时间在所述第二时间范围内或所述当前帧图像的图像灰度平均值小于第二灰度阈值，则根据所述当前帧图像进行第二图像识别；

所述第一图像识别及所述第二图像识别满足：所述第一图像识别的识别目标与车内摄像头的距离大于所述第二图像识别的识别目标与车内摄像头的距离。

优选的，所述第一图像识别包括驾驶员状态识别和/或人脸识别。

优选的，所述第二图像识别包括手势识别。

优选的，所述控制车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换，包括：

获取车内摄像头输出的上一帧图像；

若所述上一帧图像的曝光时间在所述第一时间范围内或所述上一帧图像的图像灰度平均值大于所述第一灰度阈值，则控制车内摄像头拍摄所述当前帧图像的曝光时间在所述第二时间范围内；

若所述上一帧图像的曝光时间在所述第二时间范围内或所述上一帧图像的图像灰度平均值小于所述第二灰度阈值，则控制车内摄像头拍摄所述当前帧图像的曝光时间在所述第一时间范围内。

优选的，所述获取车内摄像头输出的当前帧图像，之后包括：

根据预设识别过程中的目标参数判断所述当前帧图像的时序是否正常；

若是则执行图像识别，否则进入异常处理过程。

优选的，所述目标参数为第三灰度阈值，根据预设识别过程中的目标参数判断所述当前帧图像的时序是否正常，包括：

获取所述预设识别过程中的所述第三灰度阈值；

若所述第三灰度阈值等于所述第一灰度阈值，则判断所述当前帧图像的图像灰度平均值是否大于所述第三灰度阈值，若是则判断所述当前帧图像的时序正常，否则判断所述当前帧图像的时序异常；

若所述第三灰度阈值等于所述第二灰度阈值，则判断所述当前帧图像的图像灰度平均值是否小于所述第三灰度阈值，若是则判断所述当前帧图像的时序正常，否则判断所述当前帧图像的时序异常。

优选的，所述目标参数为第三时间范围，根据预设识别过程中的目标参数判断所述当前帧图像的时序是否正常，包括：

获取所述预设识别过程中的所述第三时间范围；

若所述第三时间范围等于所述第一时间范围，则判断所述当前帧图像的曝光时间是否处于所述第三时间范围内，若是则判断所述当前帧图像的时序正常，否则判断所述当前帧图像的时序异常；

若所述第三时间范围等于所述第二时间范围，则判断所述当前帧图像的曝光时间是否处于所述第三时间范围内，若是则判断所述当前帧图像的时序正常，否则判断所述当前帧图像的时序异常。

优选的，所述异常处理过程包括：待获取车内摄像头输出的下一帧图像后，若所述下一帧图像的时序正常，则执行所述图像识别，否则进入初始化。

另一方面，本申请通过本申请的一实施例，提供如下技术方案：

一种车内多源图像融合识别装置，包括：

曝光时间控制模块，用于控制车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换，所述第一时间范围大于所述第二时间范围；

图像获取模块，用于获取车内摄像头输出的当前帧图像；

第一图像识别模块，用于若所述当前帧图像的曝光时间在所述第一时间范围内或所述当前帧图像的图像灰度平均值大于第一灰度阈值，则根据所述当前帧图像进行第一图像识别；

第二图像识别模块，用于若所述当前帧图像的曝光时间在所述第二时间范围内或所述当前帧图像的图像灰度平均值小于第二灰度阈值，则根据所述当前帧图像进行第二图像识别；

所述第一图像识别及所述第二图像识别满足：所述第一图像识别的识别目标与车内摄像头的距离大于所述第二图像识别的识别目标与车内摄像头的距离。

另一方面，本申请还通过本申请的一实施例，提供如下技术方案：

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述方法。

另一方面，本申请还通过本申请的一实施例，提供如下技术方案：

一种计算机可读存储介质，所述计算机可读存储介质被执行时实现上述任一项所述的车内多源图像融合识别方法。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

使用曝光时间长的图像对距离摄像头较远的识别目标进行识别，可保证距离摄像头较远的识别目标的识别准确率；使用曝光时间短的图像对距离摄像头较近的识别目标进行识别，可以排除背景对目标识别的影响，提高了对距离摄像头较近的识别目标的识别准确率，可保证距离摄像头较近的识别目标的识别准确率；从而保证了车内各项识别功能的识别准确率。另外，通过单个摄像头实现了各项识别功能，实现了传统方案多个摄像头的功能，减少了车内摄像头的安装数量，降低了零部件成本，便于摄像头布置，避免影响内饰美观。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的车内多源图像融合识别方法的流程图；

图2为本发明的车内摄像头的原理图；

图3为车内摄像头曝光时间长时输出的图像；

图4为车内摄像头曝光时间短时输出的图像；

图5为本发明的步骤S1的流程图；

图6为本发明的车内多源图像融合识别装置的结构框图；

图7为本发明的电子设备的结构框图。

附图标记说明：

400-总线；401-接收器；402-处理器；403-发送器；404-存储器；406-总线接口。

具体实施方式

本申请实施例通过提供一种车内多源图像融合识别方法及装置，解决了现有技术中车内使用单个摄像头时无法同时保证各项识别功能准确率的技术问题。

本申请实施例的技术方案为解决上述技术问题，总体思路如下：

一种车内多源图像融合识别方法，包括：

控制车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换，第一时间范围大于第二时间范围；

获取车内摄像头输出的当前帧图像；

若当前帧图像的曝光时间在第一时间范围内或当前帧图像的图像灰度平均值大于第一灰度阈值，则根据当前帧图像进行第一图像识别；

若当前帧图像的曝光时间在第二时间范围内或当前帧图像的图像灰度平均值小于第二灰度阈值，则根据当前帧图像进行第二图像识别；

第一图像识别及第二图像识别满足：第一图像识别的识别目标与车内摄像头的距离大于第二图像识别的识别目标与车内摄像头的距离。

一种车内多源图像融合识别装置，包括：

曝光时间控制模块，用于控制车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换，第一时间范围大于第二时间范围；

图像获取模块，用于获取车内摄像头输出的当前帧图像；

第一图像识别模块，用于若当前帧图像的曝光时间在第一时间范围内或当前帧图像的图像灰度平均值大于第一灰度阈值，则根据当前帧图像进行第一图像识别；

第二图像识别模块，用于若当前帧图像的曝光时间在第二时间范围内或当前帧图像的图像灰度平均值小于第二灰度阈值，则根据当前帧图像进行第二图像识别；

第一图像识别及第二图像识别满足：第一图像识别的识别目标与车内摄像头的距离大于第二图像识别的识别目标与车内摄像头的距离。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

首先说明，本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

如图1所示，本实施例的车内多源图像融合识别方法包括：

步骤S1，控制车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换，第一时间范围大于第二时间范围；

步骤S2，获取车内摄像头输出的当前帧图像；

步骤S3，若当前帧图像的曝光时间在第一时间范围内或当前帧图像的图像灰度平均值大于第一灰度阈值，则根据当前帧图像进行第一图像识别；

步骤S4，若当前帧图像的曝光时间在第二时间范围内或当前帧图像的图像灰度平均值小于第二灰度阈值，则根据当前帧图像进行第二图像识别；

第一图像识别及第二图像识别满足：第一图像识别的识别目标与车内摄像头的距离大于第二图像识别的识别目标与车内摄像头的距离。

需要说明的是，本实施例所述的车内摄像头自始至终指代同一个摄像头，也认为是车内唯一的摄像头。

本实施例的应用场景可以理解为：车内的算法识别功能可分为两类，即第一图像识别和第二图像识别，第一图像识别的识别目标与车内摄像头的距离大于第二图像识别的识别目标与车内摄像头的距离。一般可以认为，当驾驶员正常驾驶时脸部、手部距离摄像头较远，而在进行手势交互操作时，会自然将手前伸靠近摄像头。基于上述理论，可认为驾驶员状态识别和人脸识别属于第一图像识别这一类，手势识别属于第二图像识别这一类，驾驶员状态识别和人脸识别的识别目标主要为人脸，手势识别的识别目标为手部，满足人脸与车内摄像头的距离大于手部与车内摄像头的距离。即本实施例的第一图像识别包括驾驶员状态识别和/或人脸识别，第二图像识别包括手势识别。第一图像识别和第二图像识别也可包括其他未提及的识别功能，但无论车内具有多少种识别功能，均认为可归为第一图像识别和第二图像识别中的一种。

为了保证摄像头在白天、晚上都能全天候工作，本实施例选择主动式红外摄像头用于车内算法识别，其基本结构如图2所示，成像原理是红外LED灯发射的波长为940nm的近红外光照射到物体后发生反射，返回摄像头镜头进行成像，其中红外滤光片只允许940nm的近红外光通过，而可见光(390nm-780nm)不可通过。当有红外光返回时，图像为白色，反之为黑色。曝光时间可以理解为：为了将光投射到感光材料的感光面上快门所要打开的时间；曝光时间长，进的光就多，图像整体偏亮；反之，图像整体偏暗。这样，通过控制摄像头的曝光时间就可以调整成像效果，当摄像头曝光时间正常时，整幅图像明暗一致；当摄像头曝光时间较短时，整幅图像大部分都为黑色，只有离摄像头较近的物体为正常的白色，即此时只能看清距离摄像头较近的物体。红外摄像头中有两个发射近红外光线的LED灯，发出的红外光照射到物体后反射回镜头中，红外摄像头中的CMOS芯片将光信号转换为图像信号，ISP芯片对图像信号进行处理，之后图像经LVDS传输到控制器中进行算法识别，最后根据识别结果执行相应的车辆功能，包括驾驶员状态监测、人脸识别和手势识别。

基于上述理论，本实施例中，第一时间范围可设为正常曝光时间或靠近正常曝光时间的时间范围，如若正常曝光时间为1，第一时间范围可为1或0.9～1.1；第二时间范围可设为小于正常曝光时间的一个值或范围，如第二时间范围可为0.5或0.4～0.6。由于第一时间范围大于第二时间范围，若摄像头输出的图像的曝光时间在第一时间范围内，则可认为此图像明暗一致，可以清楚的看到驾驶员脸部、身体躯干等，如图3所示，适用于进行驾驶员状态识别或人脸识别，识别的准确率高；若摄像头输出的图像的曝光时间在第二时间范围内，则可认为此图像只能看清距离摄像头较近的物体，如图4所示，适用于进行手势识别，识别的准确率高。

另外，如图3所示，若摄像头输出的图像的曝光时间在第一时间范围内，可认为此图像整体的灰度值高，从而其图像灰度平均值高；反过来看，第一灰度阈值可设为曝光时间为第一时间范围的最小值时对应的图像灰度平均值，则当输出图像的图像灰度平均值大于第一灰度阈值时，可推断此图像的曝光时间在第一时间范围内，适用于进行驾驶员状态识别或人脸识别。如图4所示，若摄像头输出的图像的曝光时间在第二时间范围内，可认为此图像整体的灰度值低，从而其图像灰度平均值低；反过来看，第二灰度阈值可设为曝光时间为第二时间范围的最大值时对应的图像灰度平均值，当输出图像的图像灰度平均值小于第一灰度阈值时，可推断此图像的曝光时间在第二时间范围内，适用于进行手势识别。

其中，图像灰度平均值等于图像每个像素点的像素值相加后除以像素点个数。

以上，本实施例可从曝光时间和图像灰度平均值两个角度判断当前输出的图像适合进行第一图像识别还是第二图像识别。

步骤S1中，车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换，可以为：第一帧图像的曝光时间在第一时间范围、第二帧图像的曝光时间在第二时间范围、第三帧图像的曝光时间在第一时间范围、第四帧图像的曝光时间在第二时间范围......不断循环，如曝光时间依次为1、0.5、1、0.5、1、0.5、1......；还可以为第一帧图像的曝光时间在第一时间范围、第二帧图像的曝光时间在第一时间范围、第三帧图像的曝光时间在第二时间范围、第四帧图像的曝光时间在第二时间范围......不断循环，如曝光时间依次为1、1、0.5、0.5、1、1、0.5、0.5......；还可以为第一帧图像的曝光时间在第一时间范围、第二帧图像的曝光时间在第二时间范围、第三帧图像的曝光时间在第二时间范围、第四帧图像的曝光时间在第一时间范围......没有规律，如曝光时间依次为1、0.5、0.5、1、1、1、0.5、1、0.5、0.5......曝光时间的切换规则多种多样。

步骤S3中，当前帧图像的曝光时间在第一时间范围内或当前帧图像的图像灰度平均值大于第一灰度阈值时，当前帧图像可以清楚的看到距离摄像头较远的识别目标，如驾驶员脸部、身体躯干等，根据当前帧图像进行第一图像识别，如驾驶员状态识别和/或人脸识别，则可保证识别的准确率高。当判断出当前帧图像适用于第一图像识别，则可直接调用第一图像识别。

步骤S4中，当前帧图像的曝光时间在第二时间范围内或当前帧图像的图像灰度平均值小于第二灰度阈值时，当前帧图像可以清楚的看到距离摄像头较近的识别目标，如手部等，根据当前帧图像进行第二图像识别，如手势识别，则可保证识别的准确率高。当判断出当前帧图像适用于第二图像识别，则可直接调用第二图像识别。

这样，本实施例使用曝光时间长的图像对距离摄像头较远的识别目标进行识别，可保证距离摄像头较远的识别目标的识别准确率；使用曝光时间短的图像对距离摄像头较近的识别目标进行识别，可以排除背景对目标识别的影响，提高了对距离摄像头较近的识别目标的识别准确率，可保证距离摄像头较近的识别目标的识别准确率；从而保证了车内各项识别功能的识别准确率。另外，通过单个摄像头实现了各项识别功能，实现了传统方案多个摄像头的功能，减少了车内摄像头的安装数量，降低了零部件成本，便于摄像头布置，避免影响内饰美观。

容易想到，对于车内摄像头的曝光时间的切换，最优选择为根据实际需求来控制，即若判断需要进行第一图像识别则可控制车内摄像头的曝光时间处于第一时间范围，若判断需要进行第二图像识别则可控制车内摄像头的曝光时间处于第二时间范围，但实际情况中，基本无法判断何时需要进行第一图像识别或第二图像识别。据此，本实施例想到设置曝光时间的切换规则，切换规则也可以多种多样，但若曝光时间在第一时间范围与第二时间范围之间的切换间隔大，容易导致无法及时满足识别功能的需求，例如若曝光时间的切换规则为：1、1、0.5、0.5、1、1、0.5、0.5，若此时输出的图像为适用于第一图像识别的第一帧，但此时的实际需求为第二图像识别，则最少需等待两帧图像的时间。

因此，为了平衡两类识别功能的延迟时间，如图5所示，本实施例优选步骤S1包括：

步骤S11，获取车内摄像头输出的上一帧图像；

步骤S12，若上一帧图像的曝光时间在第一时间范围内或上一帧图像的图像灰度平均值大于第一灰度阈值，则控制车内摄像头拍摄当前帧图像的曝光时间在第二时间范围内；

步骤S13，若上一帧图像的曝光时间在第二时间范围内或上一帧图像的图像灰度平均值小于第二灰度阈值，则控制车内摄像头拍摄当前帧图像的曝光时间在第一时间范围内。

具体的，某刻需要控制切换车内摄像头的曝光时间时，若上一帧图像的曝光时间在第一时间范围内或上一帧图像的图像灰度平均值大于第一灰度阈值，则认为上一帧图像的曝光时间为正常曝光时间，那么控制车内摄像头拍摄当前帧图像的曝光时间在第二时间范围内，则可降低曝光时间；若上一帧图像的曝光时间在第二时间范围内或上一帧图像的图像灰度平均值小于第二灰度阈值，则认为上一帧图像的曝光时间较短，那么控制车内摄像头拍摄当前帧图像的曝光时间在第一时间范围内，则可提高曝光时间到正常曝光时间。这样会使得车内摄像头的曝光时间以一帧为周期在第一时间范围与第二时间范围之间反复切换，如上文提到的1、0.5、1、0.5、1、0.5、1......，这样可平衡第一图像识别和第二图像识别的等待时间，实用效果最好。本实施例通过配置红外摄像头的寄存器参数，实现隔帧自动切换曝光时间的策略。

上面提到，通过步骤S3～S4，当判断出当前帧图像适用于第一图像识别，则可直接调用第一图像识别；当判断出当前帧图像适用于第二图像识别，则可直接调用第二图像识别。本实施例中，考虑到控制曝光时间有规律的切换，如1、0.5、1、0.5、1、0.5、1......，可将第一图像识别和第二图像识别综合为一个总的预设识别过程，预设识别过程的程序段对应的功能依次为第一图像识别、第二图像识别、第一图像识别、第二图像识别...预设识别过程的时序为第一帧第一图像识别、第二帧第二图像识别、第三帧第一图像识别、第四帧第二图像识别......这样只需要判断输出的第一帧图像适用于第一图像识别，而后第二帧图像直接调用第二图像识别，第三帧图像直接调用第一图像识别，第四帧图像直接调用第二图像识别，以此类推。本实施例的图像采用串行传输的方式。从而本实施例优选步骤S2之后，车内多源图像融合识别方法还包括：

根据预设识别过程中的目标参数判断当前帧图像的时序是否正常；

若是则执行图像识别，否则进入异常处理过程。

其中，当前帧图像的时序是否正常，可以理解为：若预设识别过程在当前帧图像输出时正在执行的功能为第一图像识别，若当前帧图像为曝光时间长的图像，则认为当前帧图像的时序正常；若预设识别过程在当前帧图像输出时正在执行的功能为第一图像识别，若当前帧图像为曝光时间短的图像，则认为当前帧图像的时序异常；若预设识别过程在当前帧图像输出时正在执行的功能为第二图像识别，若当前帧图像为曝光时间长的图像，则认为当前帧图像的时序异常；若预设识别过程在当前帧图像输出时正在执行的功能为第二图像识别，若当前帧图像为曝光时间短的图像，则认为当前帧图像的时序正常。

其中，若当前帧图像的时序正常，执行图像识别指的是执行预设识别过程在当前帧图像输出时正在执行的功能，即执行对应的图像识别程序，这样可省略判断输出的图像适用于哪一类识别功能的步骤，降低了程序的复杂性；若当前帧图像的时序异常，则进行下一步处理，比如直接初始化，以使当前帧图像的时序回归正常。

本实施例中，判断当前帧图像的时序是否正常，首先需要判断预设识别过程在当前帧图像输出时正在执行的功能为第一图像识别还是第二图像识别。上面提到，可从曝光时间和图像灰度平均值两个角度判断当前输出的图像适合进行第一图像识别还是第二图像识别，可以想到，可以从曝光时间和图像灰度平均值两个角度判断预设识别过程在当前帧图像输出时正在执行的功能为第一图像识别还是第二图像识别。

本实施例可设置所述目标参数为第三灰度阈值，从而根据预设识别过程中的目标参数判断当前帧图像的时序是否正常，可包括：

获取预设识别过程中的第三灰度阈值；

若第三灰度阈值等于第一灰度阈值，则判断当前帧图像的图像灰度平均值是否大于第三灰度阈值，若是则判断当前帧图像的时序正常，否则判断当前帧图像的时序异常；

若第三灰度阈值等于第二灰度阈值，则判断当前帧图像的图像灰度平均值是否小于第三灰度阈值，若是则判断当前帧图像的时序正常，否则判断当前帧图像的时序异常。

这里是通过图像灰度平均值来进行判断，可以认为本实施例的预设识别过程中的所有第一图像识别功能对应的程序段中设置了一个用于判别的灰度阈值，此灰度阈值的大小与第一灰度阈值相等；预设识别过程中的所有第二图像识别功能对应的程序段中设置了一个用于判别的灰度阈值，此灰度阈值的大小与第二灰度阈值相等。两个用于判别的灰度阈值统称为第三灰度阈值。

则在当前帧图像输出时，可提取预设识别过程中对应的第三灰度阈值，若预设识别过程在当前帧图像输出时正在执行的功能对应第一图像识别，则提取到的第三灰度阈值与第一灰度阈值相等，若预设识别过程在当前帧图像输出时正在执行的功能对应第二图像识别，则提取到的第三灰度阈值与第二灰度阈值相等。从而若第三灰度阈值等于第一灰度阈值，则证明预设识别过程在当前帧图像输出时正在执行的功能为第一图像识别，此时若当前帧图像的图像灰度平均值大于第三灰度阈值，则证明当前帧图像为曝光时间长的图像，当前帧图像的时序正常；此时若当前帧图像的图像灰度平均值不大于第三灰度阈值，则证明当前帧图像为曝光时间短的图像，当前帧图像的时序异常。若第三灰度阈值等于第二灰度阈值，则证明预设识别过程在当前帧图像输出时正在执行的功能为第二图像识别，此时若当前帧图像的图像灰度平均值小于第三灰度阈值，则证明当前帧图像为曝光时间短的图像，当前帧图像的时序正常；此时若当前帧图像的图像灰度平均值不小于第三灰度阈值，则证明当前帧图像为曝光时间长的图像，当前帧图像的时序异常。

另外，本实施例可设置所述目标参数为第三时间范围，从而根据预设识别过程中的目标参数判断当前帧图像的时序是否正常，还可以包括：

获取预设识别过程中的第三时间范围；

若第三时间范围等于第一时间范围，则判断当前帧图像的曝光时间是否处于第三时间范围内，若是则判断当前帧图像的时序正常，否则判断当前帧图像的时序异常；

若第三时间范围等于第二时间范围，则判断当前帧图像的曝光时间是否处于第三时间范围内，若是则判断当前帧图像的时序正常，否则判断当前帧图像的时序异常。

这里是通过曝光时间来进行判断，可以认为本实施例的预设识别过程中的所有第一图像识别功能对应的程序段中设置了一个用于判别的时间范围，此时间范围的大小与第一时间范围相等；预设识别过程中的所有第二图像识别功能对应的程序段中设置了一个用于判别的时间范围，此时间范围的大小与第二时间范围相等。两个用于判别的时间范围统称为第三时间范围。

则在当前帧图像输出时，可提取预设识别过程中对应的第三时间范围，若预设识别过程在当前帧图像输出时正在执行的功能对应第一图像识别，则提取到的第三时间范围与第一时间范围相等，若预设识别过程在当前帧图像输出时正在执行的功能对应第二图像识别程序，则提取到的第三时间范围与第二时间范围相等。从而若第三时间范围等于第一时间范围，则证明预设识别过程在当前帧图像输出时正在执行的功能为第一图像识别，此时若当前帧图像的曝光时间处于第三时间范围内，则证明当前帧图像为曝光时间长的图像，当前帧图像的时序正常；此时若当前帧图像的曝光时间处于第三时间范围外，则证明当前帧图像为曝光时间短的图像，当前帧图像的时序异常。若第三时间范围等于第二时间范围，则证明预设识别过程在当前帧图像输出时正在执行的功能为第二图像识别，此时当前帧图像的曝光时间处于第三时间范围内，则证明当前帧图像为曝光时间短的图像，当前帧图像的时序正常；此时若当前帧图像的曝光时间处于第三时间范围外，则证明当前帧图像为曝光时间长的图像，当前帧图像的时序异常。

进一步的，本实施例优选异常处理过程包括：待获取车内摄像头输出的下一帧图像后，若下一帧图像的时序正常，则执行所述图像识别，否则进入初始化。上面提到，本实施例还可在当前帧图像的时序异常时便进入初始化，但一帧异常便进入初始化，可能存在误判。本实施例优选下一帧图像的时序正常时执行所述图像识别，可避免误判一帧异常导致的初始化，保证预设识别过程的正常运行；在两帧图像连续异常时进入初始化，以纠正图像时序错误。

本申请还提供一种车内多源图像融合识别装置，如图6所示，包括：

曝光时间控制模块，用于控制车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换，第一时间范围大于第二时间范围；

图像获取模块，用于获取车内摄像头输出的当前帧图像；

第一图像识别模块，用于若当前帧图像的曝光时间在第一时间范围内或当前帧图像的图像灰度平均值大于第一灰度阈值，则根据当前帧图像进行第一图像识别；

第二图像识别模块，用于若当前帧图像的曝光时间在第二时间范围内或当前帧图像的图像灰度平均值小于第二灰度阈值，则根据当前帧图像进行第二图像识别；

第一图像识别及第二图像识别满足：第一图像识别的识别目标与车内摄像头的距离大于第二图像识别的识别目标与车内摄像头的距离。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

使用曝光时间长的图像对距离摄像头较远的识别目标进行识别，可保证距离摄像头较远的识别目标的识别准确率；使用曝光时间短的图像对距离摄像头较近的识别目标进行识别，可以排除背景对目标识别的影响，提高了对距离摄像头较近的识别目标的识别准确率，可保证距离摄像头较近的识别目标的识别准确率；从而保证了车内各项识别功能的识别准确率。另外，通过单个摄像头实现了各项识别功能，实现了传统方案多个摄像头的功能，减少了车内摄像头的安装数量，降低了零部件成本，便于摄像头布置，避免影响内饰美观。

基于与前述实施例中车内多源图像融合识别方法同样的发明构思，本说明书实施例还提供一种电子装置，如图7所示，包括存储器404、处理器402及存储在存储器404上并可在处理器402上运行的计算机程序，所述处理器402执行所述程序时实现前文所述车内多源图像融合识别方法的任一方法的步骤。

其中，在图7中，总线架构(用总线400来代表)，总线400可以包括任意数量的互联的总线和桥，总线400将包括由处理器402代表的一个或多个处理器和存储器404代表的存储器的各种电路链接在一起。总线400还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口406在总线400和接收器401和发送器403之间提供接口。接收器401和发送器403可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器402负责管理总线400和通常的处理，而存储器404可以被用于存储处理器402在执行操作时所使用的数据。

基于与前述实施例中车内多源图像融合识别方法同样的发明构思，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质被执行时实现上述任一项所述的车内多源图像融合识别方法。所述计算机可读存储介质被执行时，使用曝光时间长的图像对距离摄像头较远的识别目标进行识别，可保证距离摄像头较远的识别目标的识别准确率；使用曝光时间短的图像对距离摄像头较近的识别目标进行识别，可以排除背景对目标识别的影响，提高了对距离摄像头较近的识别目标的识别准确率，可保证距离摄像头较近的识别目标的识别准确率；从而保证了车内各项识别功能的识别准确率。另外，通过单个摄像头实现了各项识别功能，实现了传统方案多个摄像头的功能，减少了车内摄像头的安装数量，降低了零部件成本，便于摄像头布置，避免影响内饰美观。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种车内多源图像融合识别方法，其特征在于，包括：

控制车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换，所述第一时间范围大于所述第二时间范围；

所述控制车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换，包括：获取车内摄像头输出的上一帧图像；若所述上一帧图像的曝光时间在所述第一时间范围内或所述上一帧图像的图像灰度平均值大于第一灰度阈值，则控制车内摄像头拍摄当前帧图像的曝光时间在所述第二时间范围内；若所述上一帧图像的曝光时间在所述第二时间范围内或所述上一帧图像的图像灰度平均值小于第二灰度阈值，则控制车内摄像头拍摄所述当前帧图像的曝光时间在所述第一时间范围内；

获取车内摄像头输出的当前帧图像；

若所述当前帧图像的曝光时间在所述第一时间范围内或所述当前帧图像的图像灰度平均值大于第一灰度阈值，则根据所述当前帧图像进行第一图像识别；

若所述当前帧图像的曝光时间在所述第二时间范围内或所述当前帧图像的图像灰度平均值小于第二灰度阈值，则根据所述当前帧图像进行第二图像识别；

所述第一图像识别及所述第二图像识别满足：所述第一图像识别的识别目标与车内摄像头的距离大于所述第二图像识别的识别目标与车内摄像头的距离。

2.如权利要求1所述的车内多源图像融合识别方法，其特征在于，所述第一图像识别包括驾驶员状态识别和/或人脸识别。

3.如权利要求1所述的车内多源图像融合识别方法，其特征在于，所述第二图像识别包括手势识别。

4.如权利要求1所述的车内多源图像融合识别方法，其特征在于，所述获取车内摄像头输出的当前帧图像，之后包括：

根据预设识别过程中的目标参数判断所述当前帧图像的时序是否正常；

若是则执行图像识别，否则进入异常处理过程。

5.如权利要求4所述的车内多源图像融合识别方法，其特征在于，所述目标参数为第三灰度阈值，根据预设识别过程中的目标参数判断所述当前帧图像的时序是否正常，包括：

获取所述预设识别过程中的所述第三灰度阈值；

若所述第三灰度阈值等于所述第一灰度阈值，则判断所述当前帧图像的图像灰度平均值是否大于所述第三灰度阈值，若是则判断所述当前帧图像的时序正常，否则判断所述当前帧图像的时序异常；

若所述第三灰度阈值等于所述第二灰度阈值，则判断所述当前帧图像的图像灰度平均值是否小于所述第三灰度阈值，若是则判断所述当前帧图像的时序正常，否则判断所述当前帧图像的时序异常。

6.如权利要求4所述的车内多源图像融合识别方法，其特征在于，所述目标参数为第三时间范围，根据预设识别过程中的目标参数判断所述当前帧图像的时序是否正常，包括：

获取所述预设识别过程中的所述第三时间范围；

若所述第三时间范围等于所述第一时间范围，则判断所述当前帧图像的曝光时间是否处于所述第三时间范围内，若是则判断所述当前帧图像的时序正常，否则判断所述当前帧图像的时序异常；

若所述第三时间范围等于所述第二时间范围，则判断所述当前帧图像的曝光时间是否处于所述第三时间范围内，若是则判断所述当前帧图像的时序正常，否则判断所述当前帧图像的时序异常。

7.一种车内多源图像融合识别装置，其特征在于，包括：

曝光时间控制模块，用于控制车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换，所述第一时间范围大于所述第二时间范围；

所述控制车内摄像头的曝光时间在第一时间范围与第二时间范围之间切换，包括：获取车内摄像头输出的上一帧图像；若所述上一帧图像的曝光时间在所述第一时间范围内或所述上一帧图像的图像灰度平均值大于第一灰度阈值，则控制车内摄像头拍摄当前帧图像的曝光时间在所述第二时间范围内；若所述上一帧图像的曝光时间在所述第二时间范围内或所述上一帧图像的图像灰度平均值小于第二灰度阈值，则控制车内摄像头拍摄所述当前帧图像的曝光时间在所述第一时间范围内；

图像获取模块，用于获取车内摄像头输出的当前帧图像；

第一图像识别模块，用于若所述当前帧图像的曝光时间在所述第一时间范围内或所述当前帧图像的图像灰度平均值大于第一灰度阈值，则根据所述当前帧图像进行第一图像识别；

第二图像识别模块，用于若所述当前帧图像的曝光时间在所述第二时间范围内或所述当前帧图像的图像灰度平均值小于第二灰度阈值，则根据所述当前帧图像进行第二图像识别；

所述第一图像识别及所述第二图像识别满足：所述第一图像识别的识别目标与车内摄像头的距离大于所述第二图像识别的识别目标与车内摄像头的距离。

8.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-6中任一权利要求所述方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质被执行时实现如权利要求1-6任一项所述的方法。