CN115465182A - 基于夜间目标检测的自动远近光灯切换方法及*** - Google Patents

Abstract

本申请公开了一种基于夜间目标检测的自动远近光灯切换方法和***，该方法包括：获取摄像头拍摄图像以及摄像头和车灯之间的位置关系；根据所述位置关系确定在所述图像中车灯的照射区域；通过图像识别模型搜寻所述照射区域中的目标对象，当所述照射区域中出现目标对象时，将远光灯切换成近光灯。通过这样的方式可以在保障安全驾驶的情况下减少对新人和车辆的干扰。

Description

基于夜间目标检测的自动远近光灯切换方法及***

技术领域

本申请涉及图像识别技术，特别是一种基于夜间目标检测的自动远近光灯切换方法及***。

背景技术

现阶段大部分自动大灯不会自动切换远近光且不能根据当前所处环境来避免对行人对象或者车辆目标直射造成炫目，一般自动大灯默认为近光灯，使用远光灯时需要车主手动调节。当前的自动大灯为前大灯安装了感光控制***，当汽车行驶中光线变暗时前大灯会自动亮起，当光线变亮时会自动熄灭，自动大灯在过隧道时比较实用。但是对于夜间遇到会车或者夜间路过人行道等情况下的远近光切换自动大灯目前并未有相关的发明。而夜间环境由于光线较暗，对于夜间通过人行道的场景，从车辆角度出发：由于车灯***造成的场景照明不均匀导致车辆感知***对于行人目标识别能力较弱，从行人角度出发，由于车辆大灯直射造成的行人炫目可以使得行人丧失对环境的感知能力，从而造成不必要的事故发生。作为汽车在夜间场景下的唯一主动照明设施，车灯与摄像头等传感器的联合控制能够大幅提高夜间感知效果，提高行车的安全性。所以优化夜间汽车照明可以避免大约一半的交通事故。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于夜间目标检测的自动远近光灯切换方法及***，以在保障驾驶安全的状态下减少远光灯对路人或者车辆的影响。

一方面，本申请实施例提供了：一种基于夜间目标检测的自动远近光灯切换方法，包括：

获取摄像头拍摄图像以及摄像头和车灯之间的位置关系；

根据所述位置关系确定在所述图像中车灯的照射区域；

通过图像识别模型搜寻所述照射区域中的目标对象，当所述照射区域中出现目标对象时，将远光灯切换成近光灯。

在一些实施例中，所述方法应用于安装有ADB车灯的车辆中；

所述根据所述位置关系确定在所述图像中车灯的照射区域，具体是：

获取方向盘的转向角度；

根据所述方向盘的转向角度确定所述车灯的转向角度；

根据所述车灯的转向角度以及所述位置关系确定在所述图像中车灯的照射区域。

在一些实施例中，所述远光灯数量有至少两个，所述将远光灯切换成近光灯是指，将与目标对象重叠区域对应的远光灯切换为近光灯。

在一些实施例中，所述图像识别模型通过以下步骤获得：

通过训练集对YOLO-V4模型进行训练后，将YOLO-V4模型的权重文件转换成ONNX文件，所述ONNX文件包含YOLO-V4模型中每个神经元的权重值，以及YOLO-V4模型中数据流动的信息和方向，以及每一层神经元的输入输出信息；

根据所述ONNX文件进行TensorRT模型压缩与优化，并根据压缩和优化的结果得到优化后的YOLO-V4模型作为图像识别模型。

在一些实施例中，所述通过训练集对YOLO-V4模型进行训练后，将YOLO-V4模型的权重文件转换成ONNX文件具体是：

解析YOLO-V4所采用的DarkNet的网络配置信息，然后基于其配置信息，创建ONNX的图文件，当YOLO-V4所有网络层的配置都转移到ONNX后，处理各个卷积层及其权重，创建ONNX文件。

在一些实施例中，在所述根据所述ONNX文件进行TensorRT模型压缩与优化的步骤中，采用8位整型的TensorRT模型对YOLO-V4模型进行压缩与优化。

在一些实施例中，在所述根据所述ONNX文件进行TensorRT模型压缩与优化的步骤中，将32位浮点数的权重与变量转换成8位整型数，将转换成8位整型数的权重与变量进行卷积运算，得到32位整型数的输出变量后进行激活，通过量化的方式将32位整型数转换为8位整型，将8位整型数通过反量化的方式转换成32位浮点数。

在一些实施例中，所述YOLO-V4模型通过训练集合进行训练，其中，所述训练集合通过以下方式得到：

收集若干不同天气下的交通场景图片，对所述交通场景图片进行标注，得到训练样本；

利用Zero-DCE图像增强网对训练样本进行数据增强。

另一方面，本申请实施例公开了一种基于夜间目标检测的自动远近光灯切换***，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的基于夜间目标检测的自动远近光灯切换方法。

另一方面，本申请实施例公开了一种基于夜间目标检测的自动远近光灯切换***，包括：

获取单元，用于获取摄像头拍摄图像以及摄像头和车灯之间的位置关系；

确定单元，用于根据所述位置关系确定在所述图像中车灯的照射区域；

切换单元，用于通过图像识别模型搜寻所述照射区域中的目标对象，当所述照射区域中出现目标对象时，将远光灯切换成近光灯。

本申请实施例通过获取摄像头拍摄图像以及摄像头和车灯之间的位置关系；然后根据所述位置关系确定在所述图像中车灯的照射区域；接着通过图像识别模型搜寻所述照射区域中的目标对象，当所述照射区域中出现目标对象时，将远光灯切换成近光灯；本申请实施例通过目标检测的自动远近光切换大灯，能够在夜间会车等场景下自动完成车灯远近光切换，能够在不影响车辆夜间行车的情况下，减少对于行人和对向来车的炫目程度，进而避免夜间行车事故的发生。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种基于夜间目标检测的自动远近光切换方法的流程图；

图2是本申请实施例提供的一种基于夜间目标检测的自动远近光切换方法的应用过程流程图；

图3是本申请实施例提供的一种样本统计分布图；

图4是本申请实施例提供的另一种样本统计分布图；

图5是本申请实施例提供的一种坐标系变换的示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下将参照本申请实施例中的附图，通过实施方式清楚、完整地描述本申请的技术方案，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

参照图1，本申请实施例提供了一种基于夜间目标检测的自动远近光灯切换方法，包括，步骤S1～S3。

S1、获取摄像头拍摄图像以及摄像头和车灯之间的位置关系。

其中，需要理解的是，摄像头会在行车过程(包括实际部署和训练过程)中拍摄车辆前方的映像，摄像头的数量可以是多个，获得的图像可以是由一个摄像头拍摄的图像，也可以由多个摄像头拍摄的图像融合得到。摄像头和车灯的关系在车上是固定的。因此，只需要确定两者之间的关系，就可以计算(估算)车灯照射位置对应于图像中的位置。从而，可以通过图像确定车灯当前照射的是什么对象。

S2、根据所述位置关系确定在所述图像中车灯的照射区域。

在一般固定不动的车灯上，车灯照射的位置在图像中理论上的固定的，因此可以通过出厂的标定关系即可完成计算。

在本实施例中，当边缘设备(车载设备，例如可以通过树莓派板卡作为边缘设备)接收到云端服务器计算的夜间周围目标感知结果后，需要根据摄像头坐标系到车灯坐标系的外参关系，将图像坐标系下的目标位置转换到车灯坐标系下的目标位置，然后依照车灯照射的原理，确定车灯应该关闭的像素区域，其过程如图5所示。在本实施例中，可以将车灯的远光灯配置为由若干个灯珠组成，每个灯珠会对应图像中的部分区域，在控制远光灯关闭时，可以关闭若干个照射目标对象的灯珠，而不用全部关闭。可见在车灯照向前方的场景下，车灯坐标系与相机坐标系即存在平移关系，XYZ坐标轴方向都相同。坐标系之间的变换矩阵可以由直接测量输出。

设检测到的目标在图像坐标系上的坐标为(u,v)，而估计出来的距离为Z，目标在摄像头坐标系上的坐标为(X,Y,Z)，那么由于摄像头的小孔成像原理，通过摄像头的内参数矩阵K，有：

其中f_x,f_y,c_x,c_y为内参数矩阵K的参数，一般在相机出厂后即固定。这样即可以得到带有深度的图像点在相机坐标系下的坐标。而由于在车上安装时，摄像头一般安装在车辆前挡风玻璃中间靠上部分，而车灯安装在车头部分。且车灯的照射以车灯坐标系为基础。所以为了实现准确有效的关闭目标相关区域，需要将相机坐标系下的目标转换到车灯坐标系下。由于车灯坐标系与相机坐标系有可能同时存在平移与旋转操作，那么从相机坐标系转换到车灯坐标系下的位姿变换用旋转矩阵R和平移向量t表示。设车灯坐标系下目标点为P_L＝(X_L,Y_L,Z_L)，则有：

这里的旋转矩阵R和平移向量t即相机与车灯坐标系之间的外参数。

在安装有ADB车灯的车辆中，由于车灯会在转向是发生转向，因此需要根据方向盘的转向角来确定车灯的转向状态；在这些实施例中，步骤S2具体是：

S21、获取方向盘的转向角度。转向角度可以通过中控获取，也可以通过传感器直接获取。

S22、根据所述方向盘的转向角度确定所述车灯的转向角度。该换算关系根据ADB车灯的设计确定。

S23、根据所述车灯的转向角度以及所述位置关系确定在所述图像中车灯的照射区域。

当车辆左转或者右转时，ADB车灯具有随方向盘旋转而转动的功能，此时方向盘的旋转角度将会传输到车灯的旋转机构和边缘设备。边缘设备根据方向盘旋转角度，计算车灯旋转角度，最后计算车灯坐标系旋转后与相机坐标系的变换矩阵。由于摄像头的可视角度比车灯的照射角度大，而摄像头固定不动，则可以将车灯照射的区域划定为感知的感兴趣区域，仅在此区域进行目标检测。这样可以避免在大量无效区域浪费算力进行检测，且将有限的资源放在当前场景重要的区域中。通过计算车灯坐标系与相机坐标系的坐标变换，以及根据车灯旋转划定摄像头感兴趣区域能够实现ADB车灯与摄像头感知***的有效联控。

S3、通过图像识别模型搜寻所述照射区域中的目标对象，当所述照射区域中出现目标对象时，将远光灯切换成近光灯。

如前面所述的内容，当检测到照射区域中出现目标对象时，可以通过关闭远光灯的方式来减少对对象的不良影响。所述远光灯数量有至少两个，所述将远光灯切换成近光灯是指，将与目标对象重叠区域对应的远光灯切换为近光灯，相当于关闭对应的远光灯。这里需要理解的是，远光灯至少有两个(左右灯)，在每个灯之中可以包括多个远光灯单元，这些远光灯单元对应照射某些区域。通过确定目标的位置和照射区域的关系，就可以有选择地关闭远光灯(相当于切换成近光灯)，或者有选择地关闭部分远光灯单元。

本实施例中选择YOLO-V4模型训练作为目标识别模型。而上述场景中训练模型需要获取训练样本，相关类型的训练样本数量较少，而且需要模拟灯光照射的情形。因此，本申请通过搜索夜间行车数据集，并通过数据增强的方式来足够的样本。参照图2，可以参考图2中的步骤对模型进行训练和部署。

所述YOLO-V4模型通过训练集合进行训练，其中，所述训练集合通过以下方式得到：

收集若干不同天气下的交通场景图片，对所述交通场景图片进行标注，得到训练样本；

利用Zero-DCE图像增强网对训练样本进行数据增强。

鉴于当前缺少足够的夜间交通场景图像，因此，本实施例在夜间收集了不同国家不同交通场景的图像数据，并构建原创数据集，方便后续使得夜间目标检测效果达到最佳。本实施例的目标是将Zero-DCE(零参考深度曲线估计)图像增强网与目标检测相结合，并在原始数据集中使用它们，以验证检测方法。

为了使图像数据广泛且具有代表性，本实施例在多个不同城市进行了数据收集。收集了在可见光下捕获的29.3小时的视频序列。它由郊区、城市、雪、雨等各种低光交通场景组成。捕获图像的分辨率为RGB格式的1920*1080。首先进行了图像质量评估，并分析了数据集的图像质量。分析结果表明，数据集能够可靠地支持夜间目标检测和分类的研究。从大量的视频序列中，以人工的方式挑选出代表性的了100张夜间图像，包括不同的夜间驾驶场景和不同的天气情况来进行实验。所构建的数据集统计特性如附图3和图4所示，散点图用于表示注释框的宽度和高度的二元分布。同时，直方图用于表示单变量分布。可以看出，数据集中物体的宽度和高度集中在一个相对较小的区域，这意味着夜间驾驶场景中的大部分物体只占据整个图像的一小部分区域。即夜间驾驶的目标检测可能为小物体检测。如右图所示，本发明使用直方图用于表示注释框的纵横比分布。在数据集中，大约20％的注释框集中在0.7纵横比附近，这可能表明存在许多纵横比较小的目标，如车辆。

下面对模型的获取方式进行说明，本申请基于YOLO模型实施目标检测：所述图像识别模型通过以下步骤获得：

S31、通过训练集对YOLO-V4模型进行训练后，将YOLO-V4模型的权重文件转换成ONNX文件。具体地，解析YOLO-V4所采用的DarkNet(一种开源神经网络)的网络配置信息，然后基于其配置信息，创建ONNX的图文件，当YOLO-V4所有网络层的配置都转移到ONNX后，处理各个卷积层及其权重，创建ONNX文件。所述ONNX文件包含YOLO-V4模型中每个神经元的权重值，以及YOLO-V4模型中数据流动的信息和方向，以及每一层神经元的输入输出信息。

S32、根据所述ONNX文件进行TensorRT模型压缩与优化，并根据压缩和优化的结果得到优化后的YOLO-V4模型作为图像识别模型。

具体地，在本步骤中，采用8位整型的TensorRT模型对YOLO-V4模型进行压缩与优化。在所述根据所述ONNX文件进行TensorRT模型压缩与优化的步骤中，将32位浮点数的权重与变量转换成8位整型数，将转换成8位整型数的权重与变量进行卷积运算，得到32位整型数的输出变量后进行激活，通过量化的方式将32位整型数转换为8位整型，将8位整型数通过反量化的方式转换成32位浮点数。

从上述实施例可知，为了使目标检测网络能部署在边缘设备上，本实施例首先简化夜间感知***结构。在选择模型上，由于YOLOX采用了更复杂的检测头和网络模型来实现性能提升，但是其提升效果相较于YOLO-V4并不明显。而YOLO-V4可以很好地进行模型转化与量化加速。所以本发明在边缘部署环节，采用YOLO-V4来进行目标检测。通过采集的夜间目标检测数据集对YOLO-V4进行训练后，本实施例需要对YOLO-V4的权重模型进行转换。首先需要将其权重文件转换为ONNX文件，以方便进行模型量化与压缩。ONNX(ONNX是一种针对机器学习所设计的开放式的文件格式,用于存储训练好的模型)是模型权重文件。其不仅包含了深度学习网络中每个神经元的权重值，也包括了网络中数据流动的信息与方向，以及每一层神经元的输入输出信息。首先解析YOLO-V4所采用的DarkNet的网络配置信息，然后基于其配置信息，创建ONNX的图文件。当YOLO-V4所有网络层的配置都转移到ONNX后，处理各个卷积层及其权重，创建ONNX权重文件。

得到ONNX文件后，即可对其进行标准的TensorRT模型(TensorRT是一款高性能深度学习推理SDK，可为深度学习推理应用提供低延迟和高吞吐量。)压缩与优化。为了提升模型在边缘设备的运行速度，本实施例采用INT8(8位整型)的数据类型来对模型进行量化。要使用INT8 TensorRT模型，需要首先准备一些图像以进行校准。这些图片应该覆盖算法推理时，所有目标输入的分布。可以使用500张图片用于校准。首先将FP32(32位浮点数)转换为INT8，通过线性映射实现变换。在INT8的权重与变量进行卷积运算，得到INT32的输出变量然后进行激活。激活后再通过量化的方式，将INT32转换为INT8变量。最后再使用反量化的方法，将输出变量转换为FP32。整个量化过程，使用KL散度校准法来评判数据分布差异。这样通过使用校准数据集进行量化的模型上进行网络推理，然后不断调整阈值，计算KL散度，以得到最优解。

根据实验测试，将网络模型由原始的FP32转换成INT8类型后，可以大幅提升推理速度，而准确率降低很少，可以实现本研究所期望的要求。

本申请实施例公开了一种基于夜间目标检测的自动远近光灯切换***，包括：

获取单元，用于获取摄像头拍摄图像以及摄像头和车灯之间的位置关系；

确定单元，用于根据所述位置关系确定在所述图像中车灯的照射区域；

切换单元，用于通过图像识别模型搜寻所述照射区域中的目标对象，当所述照射区域中出现目标对象时，将远光灯切换成近光灯。

本申请实施例公开了一种基于夜间目标检测的自动远近光灯切换***，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的基于夜间目标检测的自动远近光灯切换方法。

在本申请中所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于夜间目标检测的自动远近光灯切换方法，其特征在于，包括：

获取摄像头拍摄图像以及摄像头和车灯之间的位置关系；

根据所述位置关系确定在所述图像中车灯的照射区域；

通过图像识别模型搜寻所述照射区域中的目标对象，当所述照射区域中出现目标对象时，将远光灯切换成近光灯。

2.根据权利要求1所述的一种基于夜间目标检测的自动远近光灯切换方法，其特征在于，所述方法应用于安装有ADB车灯的车辆中；

所述根据所述位置关系确定在所述图像中车灯的照射区域，具体是：

获取方向盘的转向角度；

根据所述方向盘的转向角度确定所述车灯的转向角度；

根据所述车灯的转向角度以及所述位置关系确定在所述图像中车灯的照射区域。

3.根据权利要求1所述的一种基于夜间目标检测的自动远近光灯切换方法，其特征在于，所述远光灯数量有至少两个，所述将远光灯切换成近光灯是指，将与目标对象重叠区域对应的远光灯切换为近光灯。

4.根据权利要求2所述的一种基于夜间目标检测的自动远近光灯切换方法，其特征在于，所述图像识别模型通过以下步骤获得：

通过训练集对YOLO-V4模型进行训练后，将YOLO-V4模型的权重文件转换成ONNX文件，所述ONNX文件包含YOLO-V4模型中每个神经元的权重值，以及YOLO-V4模型中数据流动的信息和方向，以及每一层神经元的输入输出信息；

根据所述ONNX文件进行TensorRT模型压缩与优化，并根据压缩和优化的结果得到优化后的YOLO-V4模型作为图像识别模型。

5.根据权利要求4所述的一种基于夜间目标检测的自动远近光灯切换方法，其特征在于，所述通过训练集对YOLO-V4模型进行训练后，将YOLO-V4模型的权重文件转换成ONNX文件具体是：

解析YOLO-V4所采用的DarkNet的网络配置信息，然后基于其配置信息，创建ONNX的图文件，当YOLO-V4所有网络层的配置都转移到ONNX后，处理各个卷积层及其权重，创建ONNX文件。

6.根据权利要求4所述的一种基于夜间目标检测的自动远近光灯切换方法，其特征在于，在所述根据所述ONNX文件进行TensorRT模型压缩与优化的步骤中，采用8位整型的TensorRT模型对YOLO-V4模型进行压缩与优化。

7.根据权利要求5所述的一种基于夜间目标检测的自动远近光灯切换方法，其特征在于，在所述根据所述ONNX文件进行TensorRT模型压缩与优化的步骤中，将32位浮点数的权重与变量转换成8位整型数，将转换成8位整型数的权重与变量进行卷积运算，得到32位整型数的输出变量后进行激活，通过量化的方式将32位整型数转换为8位整型，将8位整型数通过反量化的方式转换成32位浮点数。

8.根据权利要求4所述的一种基于夜间目标检测的自动远近光灯切换方法，其特征在于，所述YOLO-V4模型通过训练集合进行训练，其中，所述训练集合通过以下方式得到：

收集若干不同天气下的交通场景图片，对所述交通场景图片进行标注，得到训练样本；

利用Zero-DCE图像增强网对训练样本进行数据增强。

9.一种基于夜间目标检测的自动远近光灯切换***，其特征在于，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如权利要求1-8任一项所述的基于夜间目标检测的自动远近光灯切换方法。

10.一种基于夜间目标检测的自动远近光灯切换***，其特征在于，包括：

获取单元，用于获取摄像头拍摄图像以及摄像头和车灯之间的位置关系；

确定单元，用于根据所述位置关系确定在所述图像中车灯的照射区域；

切换单元，用于通过图像识别模型搜寻所述照射区域中的目标对象，当所述照射区域中出现目标对象时，将远光灯切换成近光灯。

Images