CN117238143B - 基于雷达双光谱相机的交通数据融合方法、***和装置 - Google Patents

Abstract

本发明公开了一种基于雷达双光谱相机的交通数据融合方法、***和装置，涉及交通数据分析技术领域，方法包括：对目标可见光相机采集的预设区域的可见光图像或目标红外光相机采集的预设区域的红外图像进行识别，并得到每个通过图像识别出的车辆的GPS坐标，使目标雷达利用不规则多边形对目标雷达识别出的预设区域内的车辆进行误检过滤；基于每个通过图像识别出的车辆的GPS坐标以及由目标雷达得到的误检过滤后的每个车辆的GPS坐标，对通过图像识别出的车辆和误检过滤后的车辆进行轨迹融合，确定匹配融合后的车辆。本发明能够在白天、夜晚、下雪、大雾、室外或隧道等各种场景下，无障碍地检测交通情况，还能够提高融合匹配精度。

Description

基于雷达双光谱相机的交通数据融合方法、***和装置

技术领域

本发明涉及交通数据分析技术领域，尤其涉及一种基于雷达双光谱相机的交通数据融合方法、***和装置。

背景技术

目前实际应用的雷达视频融合方法和装置，多以毫米波雷达和可见光谱视频事件融合为主，雷达和相机安装在不同位置，雷达检测后上报事件，并融合视频的图像数据效果，比较流行的融合方式为图像像素坐标融合，如图1所示，雷达和可见光相机安装在同一相邻位置，在地面特殊点位取点进行米坐标距离测量和GPS标定，具体对雷达进行米坐标和GPS坐标测量，把雷达的米坐标和相机的图像坐标进行转换，转换后把目标统一到二维像素坐标或米坐标系，然后按照欧式距离判定是否为同一目标距离进行融合，融合后，从米坐标换算到GPS坐标，然后进行事件判断(如是否停车)，若是，生成报警录像，记录事件信息，若否，当前帧目标融合结束，进行下一循环，图像像素坐标融合的效果如图2所示，但具有如下技术缺点：

1)目前实际应用的雷达视频融合方法和装置中，一个单元通常是单个雷达和单个相机进行数据融合，融合前需要对雷达和相机进行标定，把雷达和可见光相机的目标统一到像素坐标或米坐标进行融合，融合后的目标从米坐标转换到GPS坐标输出进行展示，标定时需要确定雷达的坐标原点，取几个有一定标记的标定点，如在地面路标的顶角进行米坐标和GPS坐标测量，进行米坐标测量时间较长，对取点要求比较高，方法较为复杂，施工要求偏高，需考虑实施的可行性。

2)可见光相机对光线有一定要求，雷达主要依赖目标的远近运动距离进行检测，白天或有照明场景下，雷达和相机目标目标融合较好，通常适用于和雷达相机照射方向相同或相反的运动目标；对于卡车等大型目标，雷达容易误检测出现融合不上的问题，且在路口场景时，卡车拐弯时容易被雷达误检测***为多个目标，雷达和视频检测的目标出现融合不上的情况，影响车辆目标在数字孪生地图上的展示效果。

3)可见光谱视频分析，以检测目标训练为前提，检测前训练大量的检测目标，考虑到安防的特殊性，对检测区域的安全性要求较高，如隧道场景光线异常或夜晚时，无法检测到车辆行驶的状态，对检测目标影响较大，误检率较高，可见光谱视频分析基本无法运转。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，具体提供了一种基于雷达双光谱相机的交通数据融合方法、***和装置，具体如下：

1)第一方面，本发明提供一种基于雷达双光谱相机的交通数据融合方法，具体技术方案如下：

利用训练好的一体化识别模型，对目标可见光相机采集的预设区域的可见光图像或目标红外光相机采集的预设区域的红外图像进行识别，识别出预设区域内的多个车辆，并得到每个通过图像识别出的车辆的GPS坐标，其中，目标可见光相机指：经GPS标定后的可见光相机，目标红外光相机指：经GPS标定后的红外光相机；

使目标雷达利用不规则多边形对目标雷达识别出的预设区域内的车辆进行误检过滤，其中，目标雷达指：经GPS标定后的雷达；

基于每个通过图像识别出的车辆的GPS坐标以及由目标雷达得到的误检过滤后的每个车辆的GPS坐标，对通过图像识别出的车辆和误检过滤后的车辆进行轨迹融合，确定匹配融合后的车辆。

本发明提供的一种基于雷达双光谱相机的交通数据融合方法的有益效果如下：

通过目标可见光相机与目标雷达相结合的方式，以及目标红外光相机与目标雷达相结合的方式，能够在白天、夜晚、下雪、大雾、室外或隧道等各种场景下，无障碍地检测交通情况，而且，使目标雷达利用不规则多边形进行误检过滤，能够进一步提高融合匹配精度，为辅助自动驾驶提供较全面的交通信息。

在上述方案的基础上，本发明的一种基于雷达双光谱相机的交通数据融合方法还可以做如下改进。

进一步，得到每个通过图像识别出的车辆的GPS坐标的过程，包括：

对可见光相机进行GPS标定时，得到目标可见光相机采集的预设区域的可见光图像与真实GPS坐标之间的第一转换关系；

对红外光相机进行GPS标定时，得到目标红外光相机采集的预设区域的红外图像与真实GPS坐标之间的第二转换关系；

当利用训练好的一体化识别模型识别出预设区域内的多个车辆时，输出每个识别出的车辆的检测框，并根据第一转换关系或第二转换关系，得到每个通过图像识别出的车辆的GPS坐标。

进一步，还包括：

当匹配融合后的任一车辆被遮挡时，预测该车辆在被遮挡时段内的轨迹。

进一步，当匹配融合后的任一车辆被遮挡时，预测该车辆在被遮挡时段内的轨迹，包括：

当匹配融合后的任一车辆被遮挡时，基于该车辆的车辆参数和行驶数据，建立目标轨迹模型，根据目标轨迹模型，并结合KCF算法和卡尔曼滤波器，预测该车辆在被遮挡时段内的轨迹。

进一步，还包括：

根据预设区域的光线强度，确定对目标可见光相机采集的预设区域的可见光图像或对目标红外光相机采集的预设区域的红外图像进行识别。

进一步，还包括：

利用温度感应模块识别预设区域内的温度事件。

进一步，温度感应模块集成在目标红外光相机上。

采用上述进一步方案的有益效果是：随着自动驾驶场景需求的越来越明确，对道路事件检测要求较高，特别是隧道场景，如太湖湖底隧道，一般的雷达和相机检测，基本无法检测出火焰、结冰的交通事件，而且，火焰、结冰等交通温度事件，其目标形状基本不固定，没有关联温度信息，很难通过深度学习的方式进行目标检测，对雷视融合效果影响较大，本发明中，通过温度感应模块能够对火焰、结冰等的交通事件进行感知识别，对温度事件感应好。

2)第二方面，本发明还提供一种基于雷达双光谱相机的交通数据融合***，具体技术方案如下：

包括图像检测模块、雷达检测模块和融合模块；

图像检测模块用于：利用训练好的一体化识别模型，对目标可见光相机采集的预设区域的可见光图像或目标红外光相机采集的预设区域的红外图像进行识别，识别出预设区域内的多个车辆，并得到每个通过图像识别出的车辆的GPS坐标，其中，目标可见光相机指：经GPS标定后的可见光相机，目标红外光相机指：经GPS标定后的红外光相机；

雷达检测模块用于：使目标雷达利用不规则多边形对目标雷达识别出的预设区域内的车辆进行误检过滤，其中，目标雷达指：经GPS标定后的雷达；

融合模块用于：基于每个通过图像识别出的车辆的GPS坐标以及由目标雷达得到的误检过滤后的每个车辆的GPS坐标，对通过图像识别出的车辆和误检过滤后的车辆进行轨迹融合，确定匹配融合后的车辆。

在上述方案的基础上，本发明的一种基于雷达双光谱相机的交通数据融合***还可以做如下改进。

进一步，图像检测模块得到每个通过图像识别出的车辆的GPS坐标的过程，包括：

对可见光相机进行GPS标定时，得到目标可见光相机采集的预设区域的可见光图像与真实GPS坐标之间的第一转换关系；

对红外光相机进行GPS标定时，得到目标红外光相机采集的预设区域的红外图像与真实GPS坐标之间的第二转换关系；

当利用训练好的一体化识别模型识别出预设区域内的多个车辆时，输出每个识别出的车辆的检测框，并根据第一转换关系或第二转换关系，得到每个通过图像识别出的车辆的GPS坐标。

进一步，还包括轨迹预测模块，轨迹预测模块用于：

当匹配融合后的任一车辆被遮挡时，预测该车辆在被遮挡时段内的轨迹。

进一步，轨迹预测模块具体用于：

当匹配融合后的任一车辆被遮挡时，基于该车辆的车辆参数和行驶数据，建立目标轨迹模型，根据目标轨迹模型，并结合KCF算法和卡尔曼滤波器，预测该车辆在被遮挡时段内的轨迹。

进一步，还包括确定模块，确定模块用于：

根据预设区域的光线强度，确定对目标可见光相机采集的预设区域的可见光图像或对目标红外光相机采集的预设区域的红外图像进行识别。

进一步，还包括温度事件感知模块，温度事件感知模块用于：利用温度感应模块识别预设区域内的温度事件。

进一步，温度感应模块集成在目标红外光相机上。

3)第三方面，本发明还提供一种计算机设备，计算机设备包括处理器，处理器与存储器耦合，存储器中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行，以使计算机设备实现上述任一项基于雷达双光谱相机的交通数据融合方法。

4)第四方面，本发明还提供一种基于雷达双光谱相机的交通数据融合装置，包括目标可见光相机、目标红外光相机、目标雷达和上述的一种计算机设备，其中，目标可见光相机指：经GPS标定后的可见光相机，目标红外光相机指：经GPS标定后的红外光相机，目标雷达指：经GPS标定后的雷达。

5)第五方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一项基于雷达双光谱相机的交通数据融合方法。

需要说明的是，本发明的第二方面至第五方面的技术方案及对应的可能的实现方式所取得的有益效果，可以参见上述对第一方面及其对应的可能的实现方式的技术效果，此处不再赘述。

附图说明

通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为图像像素坐标融合的流程示意图；

图2为图像像素坐标融合的效果图；

图3为本发明实施例的一种基于雷达双光谱相机的交通数据融合方法的流程示意图；

图4为双光谱雷达一体机的结构示意图；

图5为：在白天场景下，雷达和可见光相机进行目标轨迹融合的示意图；

图6为：在夜晚无照明场景下，雷达和红外相机进行目标轨迹融合的示意图；

图7为利用不规则多边形进行误检的示意图；

图8为：当雷达设备异常时，可见光相机的目标数字孪生效果示意图；

图9为本发明实施例的一种基于雷达双光谱相机的交通数据融合***的结构示意图；

图10为本发明实施例的一种计算机设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图3所示，本发明实施例的一种基于雷达双光谱相机的交通数据融合方法，包括如下步骤：

S1、利用训练好的一体化识别模型，对目标可见光相机采集的预设区域的可见光图像或目标红外光相机采集的预设区域的红外图像进行识别，识别出预设区域内的多个车辆，并得到每个通过图像识别出的车辆的GPS坐标，其中，目标可见光相机指：经GPS标定后的可见光相机，目标红外光相机指：经GPS标定后的红外光相机。

其中，为了算法推理调用统一化，收集包括车辆的可见光图像和红外图像，对预设模型进行训练，得到训练好的一体化识别模型，训练好的一体化识别模型能够兼容识别可见光图像和红外图像，对采集的预设区域的可见光图像或红外图像进行识别后，输出每个识别出的车辆的检测框，检测框具体为多边形检测框或平面矩形检测框，其中，预设模型为神经网络模型等，可根据时间情况设置。

其中，预设区域可根据实际情况设置。

S2、使目标雷达利用不规则多边形对目标雷达识别出的预设区域内的车辆进行误检过滤，其中，目标雷达指：经GPS标定后的雷达；

其中，对雷达进行GPS标定后，得到目标雷达，目标雷达能够直接得到误检过滤后的每个车辆的GPS坐标。

目前，当雷达对车辆进行识别检测时，若车辆接近路边栏杆等金属物体，容易出现误检测情况，而且，部分道路并不是直线形状，但目前常见的雷达的过滤区域为矩形区域，较难过滤弯曲道路上的车辆等目标，也容易出现误检测情况，本发明中，使目标雷达利用不规则多边形对目标雷达识别出的预设区域内的车辆进行误检过滤，提高了适用的灵活性，其中，根据道路的实际形状设置相应的不规则多边形，例如，道路转弯部分，其不规则多边形为道路转弯部分的外轮廓相一致。可以理解的是，根据实际情况设置和调整不规则多边形的具体形状。

S3、基于每个通过图像识别出的车辆的GPS坐标以及由目标雷达得到的误检过滤后的每个车辆的GPS坐标，对通过图像识别出的车辆和误检过滤后的车辆进行轨迹融合，确定匹配融合后的车辆。

可选地，S1中，得到每个通过图像识别出的车辆的GPS坐标的过程，包括：

S10、对可见光相机进行GPS标定时，得到目标可见光相机采集的预设区域的可见光图像与真实GPS坐标之间的第一转换关系；

S11、对红外光相机进行GPS标定时，得到目标红外光相机采集的预设区域的红外图像与真实GPS坐标之间的第二转换关系；

S10和S11中，通过4个共用的位置点，对可见光相机、红外光相机分别进行4点GPS标定，得到目标可见光相机采集的预设区域的可见光图像与真实GPS坐标之间的第一转换关系，以及得到目标红外光相机采集的预设区域的红外图像与真实GPS坐标之间的第二转换关系，对第一转换关系和第二转换关系进行如下说明：

1)对第一转换关系进行举例说明，例如，将目标可见光相机采集的预设区域的可见光图像进行网格划分，得到每个网格内的真实区域的真实GPS坐标，并得到每个网格相对于可见光图像的位置，通过转换，得到第一转换关系。

其中，网格的大小可根据实际情况设置，例如，每个网格中包括一个像素、4个像素等。

2)对第二转换关系进行举例说明，例如，将目标红外光相机采集的预设区域的红外图像进行网格划分，得到每个网格内的真实区域的真实GPS坐标，并得到每个网格相对于红外图像的位置，通过转换，得到第二转换关系，其中，网格的大小可根据实际情况设置，如，每个网格中包括1个像素、4个像素等。

S12、当利用训练好的一体化识别模型识别出预设区域内的多个车辆时，输出每个识别出的车辆的检测框，并根据第一转换关系或第二转换关系，得到每个通过图像识别出的车辆的GPS坐标。

当利用训练好的一体化识别模型识别出预设区域内的多个车辆时，输出每个识别出的车辆的检测框，通过识别检测框所在网格的位置，并结合第一转换关系或第二转换关系，能够得到每个通过图像识别出的车辆的GPS坐标。

在另外一个实施例中，当检测框为多边形检测框时，将任一通过图像识别出的车辆的多边形检测框的底面中心点像素所在位置的GPS坐标，作为该通过图像识别出的车辆的GPS坐标，当检测框为平面矩形检测框时，将任一通过图像识别出的车辆的平面矩形检测框的底面中心点像素所在位置的GPS坐标，作为该通过图像识别出的车辆的GPS坐标，效率更高效，还能够满足精度要求。

对S3的具体阐述如下：

1)采用动态坐标融合机制，按照默认的目标雷达检测和目标可见光相机检测之间的固定时间差，在固定时间差前后的预设时间范围内，进行GPS坐标匹配，计算每个通过图像识别出的车辆以及误检过滤后的每个车辆之间的最小GPS坐标距离，最小GPS坐标距离小于预设距离阈值时，则判定匹配成功。匹配成功最多时，匹配效果最好，预设距离阈值可为1米等，可根据实际情况设置。

2)采用动态坐标融合机制，按照默认的目标雷达检测和目标红外光相机检测之间的固定时间差，在固定时间差前后的预设时间范围内，进行GPS坐标匹配，计算每个通过图像识别出的车辆以及误检过滤后的每个车辆之间的最小GPS坐标距离，最小GPS坐标距离小于预设距离阈值时，则判定匹配成功。匹配成功最多时，匹配效果最好，预设距离阈值可为1米等，可根据实际情况设置。

目前，雷达和可见光相机安装在同一位置照射同一方向，白天场景或灯光较好的环境下，车辆目标行驶方向和照射方向相同或相反时，融合较好；车辆拐弯时，由于毫米波雷达探测横向目标敏感度较低，容易出现融合不上的情况；车辆目标行驶到远处直线距离200米左右时，被遮挡后融合轨迹消失，因此，本发明通过S4预测车辆在被遮挡时段内的轨迹，具体地：

S4、当匹配融合后的任一车辆被遮挡时，预测该车辆在被遮挡时段内的轨迹，具体包括：

当匹配融合后的任一车辆被遮挡时，基于该车辆的车辆参数和行驶数据，建立目标轨迹模型，根据目标轨迹模型，并结合KCF算法和卡尔曼滤波器，预测该车辆在被遮挡时段内的轨迹。

多目标如车辆的场景下，匹配融合后的车辆，可能偶发地被其它车辆等遮挡一定时间后再出现，通常遮挡时间小于6秒，通过目标的颜色、形状、速度、行驶方向、坐标等建立目标轨迹模型，在KCF算法的基础上和卡尔曼滤波器相结合，可有效提高融合目标的轨迹长度和完整性。

可选地，在上述技术方案中，还包括：

S01、根据预设区域的光线强度，确定对目标可见光相机采集的预设区域的可见光图像或对目标红外光相机采集的预设区域的红外图像进行识别，具体地：

1)白天光线较好时，确定采用目标可见光相机采集的预设区域的可见光图像，利用训练好的一体化识别模型，对目标可见光相机采集的预设区域的可见光图像进行识别，并得到每个通过可见光图像识别出的车辆的GPS坐标，并结合由目标雷达得到的误检过滤后的每个车辆的GPS坐标，进行轨迹融合。

2)夜晚无照明环境下，确定采用目标红外光相机采集的预设区域的可见光图像，利用训练好的一体化识别模型，对目标红外光相机采集的预设区域的红外图像进行识别，并得到每个通过红外图像识别出的车辆的GPS坐标，并结合由目标雷达得到的误检过滤后的每个车辆的GPS坐标，进行轨迹融合。

由于，白天可能存在天气不好等情况，因此，统一根据预设区域的光线强度，确定对目标可见光相机采集的预设区域的可见光图像或对目标红外光相机采集的预设区域的红外图像进行识别。

在另外一个实施例中，当目标雷达发生异常时，根据预设区域的当前环境下的目标检测情况，自动选择目标可见光相机或红外相机进行识别检测，识别出预设区域内的多个车辆，并得到每个通过图像识别出的车辆的GPS坐标，根据每个通过图像识别出的车辆的GPS坐标，得到每个通过图像识别出的车辆的轨迹。

在另外一个实施例中，当目标可见光相机或红外相机均发生异常时，使目标雷达利用不规则多边形对目标雷达识别出的预设区域内的车辆进行误检过滤，并得到误检过滤后的每个车辆的GPS坐标，根据误检过滤后的每个车辆的GPS坐标，得到误检过滤后的每个车辆的轨迹。

可选地，在上述技术方案中，还包括：

利用温度感应模块识别预设区域内的温度事件，其中，温度感应模块集成在目标红外光相机上，也可根据实际情况进行设置。

随着自动驾驶场景需求的越来越明确，对道路事件检测要求较高，特别是隧道场景，如太湖湖底隧道，一般的雷达和相机检测，基本无法检测出火焰、结冰的交通事件，而且，火焰、结冰等交通温度事件，其目标形状基本不固定，没有关联温度信息，很难通过深度学习的方式进行目标检测，对雷视融合效果影响较大，本发明中，通过温度感应模块能够对火焰、结冰等的交通事件进行感知识别，对温度事件感应好。

在另外一个实施例中，目标雷达、目标红外光相机和目标可见光相机可集成在一起，作为一体式硬件进行应用，该一体式硬件可定义为双光谱雷达一体机。双光谱雷达一体机中，目标红外光相机和目标可见光相机在上方，目标雷达在下方，但不限于该结构，简易装置版本时，双光谱雷达一体机在一竖型平面板即可，双光谱雷达一体机的整体结构如图4所示，大大提高安装的便捷性。

在另外一个实施例中，包括：双光谱雷达一体机通过可见光检测，输出目标的GPS坐标等信息、通过红外检测，输出目标的GPS坐标等信息及红外事件，以及通过雷达检测，输出的目标GPS坐标/事件，然后在融合区域内进行目标轨迹融合和事件融合，输出融合后的目标轨迹坐标、判定的事件和报警录像等，并在页面显示目标数字孪生效果及事件信息及录像。

通过如下实施例，对本发明的一种基于雷达双光谱相机的交通数据融合方法进行解释说明，具体地：

对双光谱雷达一体机中的可见光相机、红外光相机进行4点GPS标定，并对雷达进行GPS标定后，采用融合互补型检测模式，对于同一检测区域，可见光和红外相机同时输出目标，雷达检测目标进行输出，按预先配置的过滤区域和融合区域，在融合区域进行目标融合。

为了算法推理调用统一化，收集可见光和红外光谱下的图像数据，统一训练，最终得到唯一兼容可见光和红外图像的一体化大模型,检测后输出目标的立体多边形检测框或平面矩形框，如上图5和图6所示。

红外相机或可见光相机，按立体多边形检测框底面中心点或平面矩形框底边中心点像素转换成目标的GPS坐标输出，立体多边形检测框底面中心点转换更为精准，按平面矩形框底边中心点转换时效率更高效，默认模式下按平面矩形框底边中心点转换GPS输出即可满足精度要求。

雷达检测时，车辆接近路边栏杆等金属物体时，容易出现误报；部分道路非直线形状，常见的雷达过滤区域为矩形区域，较难过滤弯曲道路的误检目标，本方法利用不规则多边形进行误检目标过滤，提高了适用的灵活性，如图7黑框所示；另外，雷达和双光谱相机为一体式硬件时，车辆目标距离设备较近时，优化以相机检测目标为准，有效过滤货车拐弯引起的雷达误检。

本融合方法，采用动态坐标融合机制，按默认的雷达检测和相机检测目标固定时间差，在时间差前后的一定的时间范围内，进行目标GPS坐标匹配，计算两者目标的最小GPS坐标距离，最小距离小于1米时，且匹配目标最多时，匹配效果最好。

本装置雷达和双光谱相机为一体式硬件，雷达和双光谱相机安装在不同位置也可以融合，由于雷达和双光谱相机检测目标具有GPS属性，利用GPS坐标融合，降低了雷达和相机的安装要求，增加了雷视融合的通用性，适用于各种场景要求。

多目标的场景下的融合后的目标，偶发的被其它目标遮挡一定时间再出现，通常遮挡时间小于6秒，通过目标的颜色、形状、速度、行驶方向、坐标等建立目标轨迹模型，在KCF算法的基础上和卡尔曼滤波器相结合，可有效提高融合目标的轨迹长度和完整性。

白天光线较好时，可见光相机检测目标和雷达目标按GPS坐标和融合区域进行目标轨迹融合，事件逻辑判定报警事件，融合输出目标轨迹坐标及报警事件，同时兼容红外相机检测的温度事件，如图5左图中的场景；夜晚无照明环境下，自动切换为红外相机检测目标和雷达目标按GPS坐标和融合区域进行目标轨迹融合，事件逻辑判定报警事件，融合输出目标轨迹坐标及报警事件，同时兼容红外相机本身检测的温度事件，如图6右图中的场景；雷达异常时，根据该环境下检测目标情况，自动优先选择可见光或红外相机检测较好的相机，单独输出该相机检测的目标轨迹GPS坐标及事件等信息，如图8所示。

2个相机异常时，单独输出雷达检测的目标轨迹GPS坐标及事件等信息，直接通过页面地图的方式实时浏览目标轨迹，在页面查询界面查询浏览报警事件信息。

从上面的流程图可以看出，可见光谱主要检测：异常变道、非法停止、非法逆行、抛洒物、拥堵、行人、大货车禁行、应急车道占道、非法走机动车道、施工、交通事故、车牌号遮挡等常规事件；红外光谱检测除了可以检测上面常规交通事件外，还可以检测：路面结冰、烟火等事件；雷达主要检测超速、慢速等速度事件，三者形成互补，发挥其各自优点。

本发明中，红外可见光统一的大模型训练检测，适用于白天和夜晚，为全天候不间断检测提供了数据基础条件，检测输出目标的立体检测框或矩形平面检测框，利用双光谱相机的立体检测框底面中心点，计算车辆目标GPS位置信息校准，相机实时GPS目标轨迹和报警事件信息在页面实时展示；雷达和双光谱相机检测分别支持GPS坐标输出，没有雷达或相机数据，目标仍可以单独在GIS地图上显示数字孪生轨迹和事件。雷达检测区域过滤误检目标时，采用不规则多边形，大大提高了场景的适应性，提升了数字孪生的展示效果；雷达双光谱一体机，车辆目标距离设备较近时，优化以相机检测目标为准，有效过滤货车拐弯引起的雷达误检。动态GPS融合机制，匹配效果最好，有效避免了网络波动的影响。本装置雷达和双光谱相机为一体式硬件，雷达和双光谱相机安装在不同位置也可以融合，由于利用车辆GPS坐标融合，降低了雷达和相机的安装要求；通过融合后目标的颜色、形状、速度、行驶方向、坐标等建立目标轨迹模型，在KCF算法的基础上，和卡尔曼滤波器相结合，进行遮挡跟踪和盲区补偿，可有效提高融合目标的轨迹长度和完整性。雷视一体机融合了红外火焰、结冰等温度事件、雷达的速度事件和双光谱相机的常见报警事件，为智慧交通出行提供了更安全的保障，具有如下有益效果：

1)在坐标标定方面，施工操作性更强，简化了操作流程，增加了雷达和双光谱相机安装位置的灵活性；适用于白天和夜晚全天候不间断检测，一设备异常时，不影响整体的功能需求，正常输出数字孪生目标轨迹和报警事件；雷达检测区域过滤规则，提升了数字孪生的展示效果；通过建立融合后的目标轨迹模型，优化了雷达融合后的目标遮挡跟踪和盲区补偿；检测报警事件类型兼顾了雷达、可见光和红外相机的优点，为今后的自动驾驶场景提供更安全的保障。

2)从现有技术分析出发，保留了其已有的主要技术特点，另外提出雷达双光谱融合方法，红外可见光双光谱图像大模型检测，不论白天还是夜晚，可以全天候不间断目标融合后输出，在前端web页面数字孪生展示，实时浏览当前的交通状况，另外弥补了通常雷视融合的缺点，对温度事件感应较好，火警预防及处理效率大大提高。

3)本检测方法雷达和相机重叠覆盖视野，只需4个GPS标定点即可，双光谱相机和雷达可以共用这几个GPS标定点，双光谱相机检测输出的目标轨迹坐标和雷达检测的目标轨迹坐标同时统一到GPS坐标系下，大大简化了双光谱相机和雷达融合时坐标换算的复杂性，支持雷达和可见光相机目标轨迹融合，或者雷达和红外相机目标轨迹融合，雷达或双光谱相机其中一个出现异常时，前端数字孪生地图上仍可以实时看到车辆目标的轨迹；雷达，彩色和热红外视频流模式同时检测后进行融合，雷达目标轨迹在各种气候条件下，如白天、夜晚、下雪、大雾，室外或隧道场景下，可以无障碍的检测各种交通事件，为辅助自动驾驶提供较全面的交通信息。

在上述各实施例中，虽然对步骤进行了编号S1、S2等，但只是本发明给出的具体实施例，本领域的技术人员可根据实际情况调整S1、S2等的执行顺序，此也在本发明的保护范围内，可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。

如图9所示，本发明实施例的一种基于雷达双光谱相机的交通数据融合***200，包括图像检测模块201、雷达检测模块202和融合模块203；

图像检测模块201用于：利用训练好的一体化识别模型，对目标可见光相机采集的预设区域的可见光图像或目标红外光相机采集的预设区域的红外图像进行识别，识别出预设区域内的多个车辆，并得到每个通过图像识别出的车辆的GPS坐标，其中，目标可见光相机指：经GPS标定后的可见光相机，目标红外光相机指：经GPS标定后的红外光相机；

雷达检测模块202用于：使目标雷达利用不规则多边形对目标雷达识别出的预设区域内的车辆进行误检过滤，其中，目标雷达指：经GPS标定后的雷达；

融合模块203用于：基于每个通过图像识别出的车辆的GPS坐标以及由目标雷达得到的误检过滤后的每个车辆的GPS坐标，对通过图像识别出的车辆和误检过滤后的车辆进行轨迹融合，确定匹配融合后的车辆。

可选地，在上述技术方案中，图像检测模块201得到每个通过图像识别出的车辆的GPS坐标的过程，包括：

对可见光相机进行GPS标定时，得到目标可见光相机采集的预设区域的可见光图像与真实GPS坐标之间的第一转换关系；

对红外光相机进行GPS标定时，得到目标红外光相机采集的预设区域的红外图像与真实GPS坐标之间的第二转换关系；

当利用训练好的一体化识别模型识别出预设区域内的多个车辆时，输出每个识别出的车辆的检测框，并根据第一转换关系或第二转换关系，得到每个通过图像识别出的车辆的GPS坐标。

可选地，在上述技术方案中，还包括轨迹预测模块，轨迹预测模块用于：

当匹配融合后的任一车辆被遮挡时，预测该车辆在被遮挡时段内的轨迹。

可选地，在上述技术方案中，轨迹预测模块具体用于：

当匹配融合后的任一车辆被遮挡时，基于该车辆的车辆参数和行驶数据，建立目标轨迹模型，根据目标轨迹模型，并结合KCF算法和卡尔曼滤波器，预测该车辆在被遮挡时段内的轨迹。

可选地，在上述技术方案中，还包括确定模块，确定模块用于：

根据预设区域的光线强度，确定对目标可见光相机采集的预设区域的可见光图像或对目标红外光相机采集的预设区域的红外图像进行识别。

可选地，在上述技术方案中，还包括温度事件感知模块，温度事件感知模块用于：利用温度感应模块识别预设区域内的温度事件。

进一步，温度感应模块集成在目标红外光相机上。

需要说明的是，上述实施例提供的一种基于雷达双光谱相机的交通数据融合***200的有益效果与上述一种基于雷达双光谱相机的交通数据融合方法的有益效果相同，在此不再赘述。此外，上述实施例提供的***在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将***根据实际情况划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的***与方法实施例属于同一构思，其具体实现过程详见方法实施例，在此不再赘述。

如图10所示，本发明实施例的一种计算机设备300，计算机设备300包括处理器320，处理器320与存储器310耦合，存储器310中存储有至少一条计算机程序330，至少一条计算机程序330由处理器320加载并执行，以使计算机设备300实现上述任一项基于雷达双光谱相机的交通数据融合方法，具体地：

计算机设备300可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器320(Central Processing Units，CPU)和一个或多个存储器310，其中，该一个或多个存储器310中存储有至少一条计算机程序330，该至少一条计算机程序330由该一个或多个处理器320加载并执行，以使该计算机设备300实现上述实施例提供的任一项基于雷达双光谱相机的交通数据融合方法。当然，该计算机设备300还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备300还可以包括其他用于实现设备功能的部件，在此不做赘述。

本发明实施例的一种基于雷达双光谱相机的交通数据融合装置，包括目标可见光相机、目标红外光相机、目标雷达和上述的一种计算机设备300，其中，目标可见光相机指：经GPS标定后的可见光相机，目标红外光相机指：经GPS标定后的红外光相机，目标雷达指：经GPS标定后的雷达，其具体实现过程详见方法实施例，在此不再赘述。

本发明实施例的一种计算机可读存储介质，计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一项基于雷达双光谱相机的交通数据融合方法。

可选地，计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一项基于雷达双光谱相机的交通数据融合方法。

需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”、等是用于区别类似的对象，而代表对特定的顺序或先后次序进行限定。在适当情况下对于类似的对象的使用顺序可以互换，以便这里描述的本申请的实施例能够以除了图示或描述的顺序以外的顺序实施。

所属技术领域的技术人员知道，本发明可以实现为***、方法或计算机程序产品，因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“***”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于雷达双光谱相机的交通数据融合方法，其特征在于，包括：

利用训练好的一体化识别模型，对目标可见光相机采集的预设区域的可见光图像或目标红外光相机采集的所述预设区域的红外图像进行识别，识别出所述预设区域内的多个车辆，并得到每个通过图像识别出的车辆的GPS坐标，其中，所述目标可见光相机指：经GPS标定后的可见光相机，所述目标红外光相机指：经GPS标定后的红外光相机；

使目标雷达利用不规则多边形对所述目标雷达识别出的预设区域内的车辆进行误检过滤，其中，根据道路的实际形状设置相应的不规则多边形，所述目标雷达指：经GPS标定后的雷达；

基于每个通过图像识别出的车辆的GPS坐标以及由所述目标雷达得到的误检过滤后的每个车辆的GPS坐标，对通过图像识别出的车辆和误检过滤后的车辆进行轨迹融合，确定匹配融合后的车辆；

采用动态坐标融合机制，按照默认的目标雷达检测和目标可见光相机检测之间的固定时间差，在固定时间差前后的预设时间范围内，进行GPS坐标匹配，计算每个通过图像识别出的车辆以及误检过滤后的每个车辆之间的最小GPS坐标距离，最小GPS坐标距离小于预设距离阈值时，则判定匹配成功；

采用动态坐标融合机制，按照默认的目标雷达检测和目标红外光相机检测之间的固定时间差，在固定时间差前后的预设时间范围内，进行GPS坐标匹配，计算每个通过图像识别出的车辆以及误检过滤后的每个车辆之间的最小GPS坐标距离，最小GPS坐标距离小于预设距离阈值时，则判定匹配成功；

得到每个通过图像识别出的车辆的GPS坐标的过程，包括：

对所述可见光相机进行GPS标定时，得到所述目标可见光相机采集的预设区域的可见光图像与真实GPS坐标之间的第一转换关系；

将目标可见光相机采集的预设区域的可见光图像进行网格划分，得到每个网格内的真实区域的真实GPS坐标，并得到每个网格相对于可见光图像的位置，通过转换，得到第一转换关系；

对所述红外光相机进行GPS标定时，得到所述目标红外光相机采集的预设区域的红外图像与真实GPS坐标之间的第二转换关系；

将目标红外光相机采集的预设区域的红外图像进行网格划分，得到每个网格内的真实区域的真实GPS坐标，并得到每个网格相对于红外图像的位置，通过转换，得到第二转换关系；

当利用训练好的一体化识别模型识别出所述预设区域内的多个车辆时，输出每个识别出的车辆的检测框，并根据所述第一转换关系或所述第二转换关系，得到每个通过图像识别出的车辆的GPS坐标。

2.根据权利要求1所述的一种基于雷达双光谱相机的交通数据融合方法，其特征在于，还包括：

当匹配融合后的任一车辆被遮挡时，预测该车辆在被遮挡时段内的轨迹。

3.根据权利要求1所述的一种基于雷达双光谱相机的交通数据融合方法，其特征在于，还包括：

根据所述预设区域的光线强度，确定对所述目标可见光相机采集的预设区域的可见光图像或对所述目标红外光相机采集的所述预设区域的红外图像进行识别。

4.根据权利要求1所述的一种基于雷达双光谱相机的交通数据融合方法，其特征在于，还包括：

利用温度感应模块识别所述预设区域内的温度事件。

5.一种基于雷达双光谱相机的交通数据融合***，其特征在于，包括图像检测模块、雷达检测模块和融合模块；

所述图像检测模块用于：利用训练好的一体化识别模型，对目标可见光相机采集的预设区域的可见光图像或目标红外光相机采集的所述预设区域的红外图像进行识别，识别出所述预设区域内的多个车辆，并得到每个通过图像识别出的车辆的GPS坐标，其中，所述目标可见光相机指：经GPS标定后的可见光相机，所述目标红外光相机指：经GPS标定后的红外光相机；

所述雷达检测模块用于：使目标雷达利用不规则多边形对所述目标雷达识别出的预设区域内的车辆进行误检过滤，其中，根据道路的实际形状设置相应的不规则多边形，所述目标雷达指：经GPS标定后的雷达；

所述融合模块用于：基于每个通过图像识别出的车辆的GPS坐标以及由所述目标雷达得到的误检过滤后的每个车辆的GPS坐标，对通过图像识别出的车辆和误检过滤后的车辆进行轨迹融合，确定匹配融合后的车辆；

采用动态坐标融合机制，按照默认的目标雷达检测和目标可见光相机检测之间的固定时间差，在固定时间差前后的预设时间范围内，进行GPS坐标匹配，计算每个通过图像识别出的车辆以及误检过滤后的每个车辆之间的最小GPS坐标距离，最小GPS坐标距离小于预设距离阈值时，则判定匹配成功；

采用动态坐标融合机制，按照默认的目标雷达检测和目标红外光相机检测之间的固定时间差，在固定时间差前后的预设时间范围内，进行GPS坐标匹配，计算每个通过图像识别出的车辆以及误检过滤后的每个车辆之间的最小GPS坐标距离，最小GPS坐标距离小于预设距离阈值时，则判定匹配成功；

所述图像检测模块得到每个通过图像识别出的车辆的GPS坐标的过程，包括：

对所述可见光相机进行GPS标定时，得到所述目标可见光相机采集的预设区域的可见光图像与真实GPS坐标之间的第一转换关系；

将目标可见光相机采集的预设区域的可见光图像进行网格划分，得到每个网格内的真实区域的真实GPS坐标，并得到每个网格相对于可见光图像的位置，通过转换，得到第一转换关系；

对所述红外光相机进行GPS标定时，得到所述目标红外光相机采集的预设区域的红外图像与真实GPS坐标之间的第二转换关系；

将目标红外光相机采集的预设区域的红外图像进行网格划分，得到每个网格内的真实区域的真实GPS坐标，并得到每个网格相对于红外图像的位置，通过转换，得到第二转换关系；

当利用训练好的一体化识别模型识别出所述预设区域内的多个车辆时，输出每个识别出的车辆的检测框，并根据所述第一转换关系或第二转换关系，得到每个通过图像识别出的车辆的GPS坐标。

6.根据权利要求5所述的一种基于雷达双光谱相机的交通数据融合***，其特征在于，还包括轨迹预测模块，所述轨迹预测模块用于：

当匹配融合后的任一车辆被遮挡时，预测该车辆在被遮挡时段内的轨迹。

7.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器与存储器耦合，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现如权利要求1至4任一项权利要求所述的一种基于雷达双光谱相机的交通数据融合方法。

8.一种基于雷达双光谱相机的交通数据融合装置，其特征在于，包括目标可见光相机、目标红外光相机、目标雷达和权利要求7所述的一种计算机设备，其中，所述目标可见光相机指：经GPS标定后的可见光相机，所述目标红外光相机指：经GPS标定后的红外光相机，所述目标雷达指：经GPS标定后的雷达。