CN117611638A - 一种基于图像处理的车辆行人多目标跟踪方法 - Google Patents

Abstract

本发明涉及智能交通与信息感知技术领域，尤其涉及一种基于图像处理的车辆行人多目标跟踪方法，包括，实时获取图像采集传感器与毫米波雷达传感器的原始数据；对所述原始数据进行帧同步处理，获取当前传感器的同步帧数据；对所述同步帧数据进行目标信息提取，获取当前视觉目标信息、雷达目标信息；根据所述当前视觉目标信息对所述毫米波雷达传感器和所述图像采集传感器进行安装角度矫正；对所述同步帧视觉目标进行视觉测距，得到目标距离信息；根据所述目标距离信息结合所述雷达目标信息进行车辆和行人融合跟踪。本发明通过结合毫米波雷达与视觉传感器的优点，做到多维度的识别与跟踪，且对雷达和监控摄像头安装位置没有固定要求。

Description

一种基于图像处理的车辆行人多目标跟踪方法

技术领域

本发明涉及智能交通与信息感知技术领域，尤其涉及一种基于图像处理的车辆行人多目标跟踪方法。

背景技术

智慧交通***作为解决交通拥挤、交通事故救援、交通管理、环境污染等问题的重要手段，其发展一直颇受瞩目。其中，交通信息采集***作为智能交通***的数据来源和基础设施，其核心的底层感知技术，决定了智能交通***的公共服务能力的强弱。车辆行人多目标跟踪方法作为交通信息采集***中部署的关键底层感知技术之一，被广泛应用于车流量检测、异常行驶行为分析、违章取证、交通拥堵分析等各大交通管理环节中，其方法本身的高可靠性和高准确度至关重要。

车辆行人检测方法往往是通过摄像头采集道路区域的视频数据，再通过后端的服务器***或者边缘计算***进行车辆行人目标的跟踪，可准确识别车辆类型、车牌信息等，但受限于摄像头物理特性的限制，在常见的灯光反射、夜间时段、雨雪雾等交通场景中表现不佳，可靠性不高，存在较大程度的漏检与误检，甚至失效等，难以满足全时段全天候的交通应用，并且摄像头难以直接准确测量车辆、行人的位置与速度信息。另一种方式是通过毫米波雷达，依靠多普勒原理可以准确检测车辆与行人的位置与速度，并且毫米波雷达属于物理信号感知技术，可以适应白天、夜间以及各种光照环境。毫米波信号穿透性好，不受雨雾等气候条件影响，但是毫米波对目标类型分辨率低，无法准确的反应交通实体信息。

正是由于单纯依赖于视觉传感器存在着诸多的现实问题，如何应用现有技术手段和理论算法来解决这些棘手的问题，提升视觉传感器在诸如逆光和夜间的恶劣环境下的感知能力，改善跟踪目标速度与位置的识别精度。而以往的融合方案往往需要传感器安装位置相对固定、需要预先标定且对传感器连接方式有一定要求，并且在已安装有其中一种传感器情况下升级部署困难。

中国专利公开号CN109615870A，公开了一种基于毫米波雷达和视频的交通检测***，属于智能交通中的数据采集和处理技术领域。本发明通过毫米波雷达传感器和视频传感器采集目标信息，进行世界坐标转换成图像平面坐标，确定出毫米波雷达传感器采集检测到的目标投影在图像平面上的位置，通过图像机器学***面上会牺牲雷达高精度测距的特性，影响融合后距离以及速度等信息精度。

发明内容

为此，本发明提供一种基于图像处理的车辆行人多目标跟踪方法，用以克服现有技术中雷达与摄像头的位置不适合分体式部署以及后端部署，传感器角度位置需要预先或者在现场测量角度及距离参数，导致融合方式受到影响，摄像头受镜头畸变的影响导致测距精度不足，并且，雷达目标投影到视觉平面上会牺牲雷达高精度测距的特性，影响融合后距离以及速度等信息精度的问题。

为实现上述目的，本发明提供一种基于图像处理的车辆行人多目标跟踪方法，包括，

实时获取图像采集传感器与毫米波雷达传感器的原始数据；

对所述原始数据进行帧同步处理，获取当前传感器的同步帧数据；

对所述同步帧数据进行目标信息提取，获取当前视觉目标信息、雷达目标信息；

根据所述当前视觉目标信息对所述毫米波雷达传感器和所述图像采集传感器进行安装角度矫正；

对所述同步帧视觉目标进行视觉测距，得到目标距离信息；

根据所述目标距离信息结合所述雷达目标信息进行车辆和行人融合跟踪。

进一步地，实时获取图像采集传感器与毫米波雷达传感器的原始数据的方法为，

通过多线程技术同时采集所述图像采集传感器与所述毫米波雷达传感器的数据；

使用线程调度机制进行非阻塞实时采集。

进一步地，通过帧率为25帧、图像分辨率为3840x2160的网络监控摄像头获取所述图像采集传感器的原始数据；

将无线电工作频段为80GHz、最大检测跟踪目标256个、最大探测距离为250米的交通流量雷达作为所述毫米波雷达传感器。

进一步地，对所述同步帧数据进行目标信息提取的过程包括，

对所述同步帧数据中所述毫米波雷达传感器的信息进行数据解析，获得所述毫米波雷达传感器采集到的雷达目标信息；

对所述同步帧数据中所述图像采集传感器采集到的图像进行目标检测与跟踪，获取图像中的视觉目标信息；

根据所述视觉目标信息对当前图像进行bbox视觉目标检测框绘制、视觉ID绘制，并将绘制后的图像以及各目标信息添加帧ID组成数据包发送至上位机；

所述雷达目标信息包括，雷达目标ID、雷达目标距离、雷达目标速度；

所述视觉目标信息包括，视觉目标ID、视觉目标类型、视觉目标检测框bbox、视觉目标距离。

进一步地，根据提取出的视觉目标信息及图像组包发送至上位机还包括：

将当前视觉算法检测、绘制后的图像编码为RTSP视频流，以及当前帧ID作为SEI数据包添加到H264编码数据包中，与带当前帧ID的目标信息通过数据处理器传输至上位机；

所述上位机解析数据处理器生成的RTSP流、并解码出图像与帧ID，与所述目标信息中的帧ID一一匹配，并同步显示。

进一步地，根据所述当前视觉目标信息对所述毫米波雷达传感器和所述图像采集传感器进行安装角度矫正的过程包括，

通过上位机程序实时接收数据包，在视频窗口以及雷达图界面同步显示图像以及雷达目标信息，缓存当前视觉目标信息以及雷达目标信息；

通过上位机实时显示界面调整相机与毫米波雷达的安装角度。

进一步地，对所述同步帧视觉目标进行视觉测距的过程包括，

上位机对当前帧图像进行逆透视变换，将透视图像转换为俯视图像；

根据缓存的目标信息以及俯视图像计算变换矩阵，计算俯视图像像素到物理距离的转换系数以及坐标偏移，并将变换矩阵与转换系数下发至数据处理器；

根据当前帧视觉目标bbox、变换矩阵、坐标偏移在所述数据处理器内进行视觉测距，得到视觉目标距离信息。

进一步地，根据所述目标距离信息结合所述雷达目标信息进行车辆、行人融合跟踪的过程包括，

将所述图像采集传感器和所述毫米波雷达传感器内的同一目标，通过视觉目标距离与雷达目标距离进行空间融合，再结合视觉检测算法的目标准确类型以及雷达多普勒原理检测的再次确定此目标的位置以及速度信息。

进一步地，基于所述视觉目标距离信息与雷达目标信息进行车辆、行人融合跟踪还包括：

依据融合结果生成融合ID映射表，对融合目标对应的视觉目标ID和雷达目标ID做一一映射，以加速后续融合过程，后续目标融合直接进行查表。

与现有技术相比，本发明的有益效果在于，本发明提供的车辆行人多目标跟踪方法，在***连接方式上，不受空间以及位置限制，在原先已有摄像头或者雷达的地点新增传感器进行融合也不受硬件连接上的限制，缩减方案部署成本，并满足实际部署场景的同步精度。

进一步地，本发明可选的摄像头与雷达都采用网络方式传输数据，数据处理器可集成放置在边缘处理也可放置后端服务器机房，使得***连接方式不受空间以及位置限制，在原先已有摄像头或者雷达的地点新增传感器进行融合也不受硬件连接上的限制。

进一步地，本发明中使用的时间同步机制相较于硬件同步方案，可以缩减方案部署成本，并满足实际部署场景的同步精度。

进一步地，本发明中视觉检测跟踪算法使用int8量化、模型压缩等优化方法，可以做到实时检测，根据雷达图标尺与雷达目标距离调整雷达安装角度，以使雷达探测范围覆盖更多的车道，有效检测距离更远，相应的可根据上位机左右实时图像界面调整摄像头采集区域，使摄像头采集区域与雷达检测范围重叠，同时使摄像头具有良好的视野。

进一步地，本发明使用融合目标对应的视觉目标ID、雷达目标ID生成融合映射表，数据处理器对同步帧图像和雷达数据进行目标提取后直接安装映射表ID生成融合目标，不需要进行遍历筛选，提高融合效率。

附图说明

图1为本实施例自由场景下所述基于图像处理的车辆行人多目标跟踪方法的流程示意图；

图2为本实施例自由场景下所述基于图像处理的车辆行人多目标跟踪方法的S2步骤中数据处理器进行帧同步获取当前传感器同步帧数据的流程示意图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

对于已有的视觉传感器与雷达传感器融合方法需要事先对摄像头与雷达进行标定，并且对摄像头与雷达的相对位置基本固定，对事先已安装好的雷达和摄像头在现场往往难以矫正标定，本发明实现了一种不限安装位置，只需要摄像头与雷达检测范围具有重叠区域即可，通过数据处理器以及上位机软件进行标定融合，本实施例采用雷达工作频段运行在80GHz，满足国家无线电管理规范，但不限于此类型雷达，对已安装的24GHz以及77GHz交通雷达同样有效，也可以采用CAN接口等不同连接方式雷达，不限制连接方式，数据采集周期为15Hz，满足快速行驶的车辆检测需求，应当理解的是摄像头分辨率越高图像越清晰，摄像头帧率越高跟踪效果越好，本实施例采用视觉传感器为图像分辨率3840x2160，帧率25fps的网络监控摄像头，视频传输方式为RTSP协议，但本方法不限制摄像头类型，也不限制摄像头连接方式。

请参阅图1所示，图1为本实施例自由场景下所述基于图像处理的车辆行人多目标跟踪方法的流程示意图。

一种基于图像处理的车辆行人多目标跟踪方法，包括，

S1、实时获取图像采集传感器与毫米波雷达传感器的原始数据。

具体而言，本实施例中，数据处理器创建雷达数据采集线程与图像数据采集线程分别同时接收传感器原始数据，以满足非阻塞无延迟数据接收，视觉采集线程采集到当前视觉传感器数据后将RTSP数据解码为原始图像数据进行保存，雷达采集线程采集到当前雷达传感器数据后保存当前雷达数据，由于视觉传感器采集周期为40ms，雷达传感器采集周期为66ms，雷达接收线程在接收新的一帧数据时需要缓存当前已接收数据帧。

可选的摄像头与雷达都采用网络方式传输数据，数据处理器可集成放置在边缘处理也可放置后端服务器机房，使得***连接方式不受空间以及位置限制，在原先已有摄像头或者雷达的地点新增传感器进行融合也不受硬件连接上的限制。

S2、对基于当前获取的所述图像传感器与毫米波雷达传感器原始数据，数据处理器进行帧同步，获取当前传感器同步帧数据。

具体而言，本实施例中，参阅图2所示，图2为本实施例自由场景下所述基于图像处理的车辆行人多目标跟踪方法的S2步骤中数据处理器进行帧同步获取当前传感器同步帧数据的流程示意图以已解码出当前图像帧为基准，通过线程信号机制查询雷达是否接收到当前帧数据，如果是，将图像采集线程采集到当前图像与雷达采集线程采集当前数据帧组合为同步帧数据，进而进行目标提取，如果否，将图像采集线程采集到当前图像与雷达采集线程缓存上一帧雷达数据组合为同步帧数据，进行目标提取。

由于摄像头采集周期与雷达采集周期相差为20ms左右，对于时速150公里的高速车辆来说，图像与数据时间差内目标移动距离小于1米，满足融合精度要求的时间同步阈值，对于与本实施例不同采集频率传感器，也可以进行同步。此时间同步机制相较于硬件同步方案，可以缩减方案部署成本，并满足实际部署场景的同步精度。

S3、对所述同步帧数据中各所述传感器数据，数据处理器进行目标信息提取，分别获得当前视觉目标信息、雷达目标信息。

数据处理器按雷达输出协议解析同步帧中雷达原始数据，毫米波雷达基本工作原理是利用高频电路产生特定调制频率(FMCW)的电磁波，并通过天线发送电磁波和接收从目标反射回来的电磁波，可以同时对多个目标进行测距、测速以及方位角测量。

测速是根据多普勒效应，通过计算返回接收天线的雷达波的频率变化就可以得到目标相对于雷达的运动速度和飞行时间，来得到目标物距离。而方位测量(包括水平角度和垂直角度)是通过天线的阵列收到同一目标反射的雷达波的相位差计算得到目标的方位角，测距精度通常可达到±0.5米，测速精度通常可达到±0.4米/秒。

具体而言，本实施例中，数据处理器提取出当前帧雷达数据中所有目标信息，生成雷达目标数据列表RAD[RAD₁,RAD₂,RAD₃,RAD_N]，其中每一个雷达目标RAD_N包含雷达检测跟踪的目标ID，类型，雷达物理坐标系下横向坐标D_x，纵向坐标D_y，单位为米，以及目标横向速度V_x，纵向速度V_y，单位为米/秒。

数据处理器对同步帧中视觉原始图像进行目标检测，本实施例中使用yolov5检测算法，通过预训练模型对图像进行目标检测，本实施例采用模型可识别目标检测框位置BBOX，车辆类型，包括小轿车、公交车、SUV、小型货车、中型货车等多种类型，并可识别车辆品牌以及车辆年款等车辆型号信息，通过deepsort算法对检测目标进行跟踪，生成视觉跟踪目标ID，生成视觉目标信息列表CAM[CAM₁,CAM₂,CAM₃,CAM_N]，包含视觉检测跟踪的目标ID、bbox检测框、车型行人类别与车牌等属性信息。

视觉检测算法必须保证能够实时处理原始图像，如果处理速度慢于图像采集速度，会造成帧累计延迟，会影响数据实时性，本实施例中视觉检测跟踪算法使用int8量化、模型压缩等优化方法，可以做到实时检测。

数据处理器依据视觉目标信息列表CAM在当前图像上绘制相应目标检测矩阵框标注检测目标，并在目标框上面绘制视觉目标ID；将雷达目标数据列表RAD与视觉目标信息列表中的目标信息加上当前帧ID进行协议组包为目标信息数据包通过网络发送至上位机。本实施例中使用TCP通信，数据处理器为TCP服务器，上位机为TCP客户端，同时数据处理器将当前图像编码压缩为RTSP视频流传输至上位机，由于RTSP网络延迟以及H264编解码延迟，上位机收到RTSP视频帧会晚于目标信息数据包，通过在编码时使用H264 SEI用户自定义数据规范将当前同步帧ID编码进H264数据包中，上位机可在解码时获取图像附带的帧ID进行同步显示。

S4、根据所述目标信息对雷达传感器以及视觉传感器进行安装角度矫正；

具体而言，本实施例中，上位机创建目标信息接收线程主动连接数据处理器TCP服务器端口，实时接收包含视觉目标信息列表与雷达目标信息列表的协议数据，按照协议格式解析保存雷达目标信息列表、视觉目标信息列表以及帧ID。

由于接收目标信息比图像数据快，同时创建缓存队列缓存每一帧目标数据；

上位机创建图像接收线程主动连接数据处理RTSP服务器端口，将接收到的RTSP视频流解码为原始图像并从H264数据包中解析SEI报文获得附带的帧ID字段。本实施例中上位机在界面左侧图像显示窗口实时显示视频流图像，并以图像附带的帧ID在目标信息队列中查找相同帧ID的目标数据列表，并缓存当前图像对应的目标数据。本实施例中在上位机右侧笛卡尔二维坐标雷达图中实时显示雷达目标运动轨迹，根据雷达图标尺与雷达目标距离可调整雷达安装角度，以使雷达探测范围覆盖更多的车道，有效检测距离更远，相应的可根据上位机左右实时图像界面调整摄像头采集区域，使摄像头采集区域与雷达检测范围重叠，同时使摄像头具有良好的视野，可以理解的是视觉传感器与雷达传感器采集区域没有重叠区域时无法对目标进行有效融合。

S5、对所述同步帧视觉目标进行视觉测距，得到视觉检测目标距离信息；

具体而言，本实施例中，传感器融合既需要进行时间同步，还需要进行空间上的数据融合，从相同目标采集时间、相同目标位置进而判断不同传感器检测到的目标是否属于同一目标，进而将传感器不同维度的检测信息融合在一起形成融合目标数据，所以需要对视觉目标进行单独测距。

已有的视觉测距方式是事先固定雷达和摄像头为同一角度，并需要标定相机内参与外参，再根据与雷达固定的角度关系结合雷达进行像素坐标系到世界坐标的转换，这种方式需要事先固定摄像头与雷达，对安装角度、安装方式有要求，无法适用不同部署模式，对已安装的传感器更是难以在线升级。

本发明中采用图像逆变换原理结合视觉目标检测、雷达测距对图像目标进行测距可以很好的解决上述问题。现有摄像头成像原理都可以用针孔相机模型进行解释，世界坐标系中一点变换到图像像素坐标系上，丢失了深度信息，形成二维像素图像坐标系。现实视觉中相平行的直线在图像变得相交于灭点，形成近大远小的效果，无法对像素坐标直接物理测距，而实施例中采用逆透视变换生成道路鸟瞰图的方式进行测距。

鸟瞰图通常通过逆透视变换得到特定百分比缩放后形成的图像，其像素坐标系x轴方向上各像素点距离相等，像素坐标系y轴方向上各像素点距离亦相等，可以通过目标与摄像头之间的像素点差值来计算距离。由逆透视变换原理可知，针孔相机的内参矩阵与外参矩阵均为满秩的可逆矩阵，能够利用其逆矩阵把图像的像素点坐标转换成世界坐标，逆透视变换的本质是将图像投影到一个新的视平面，其通用变换公式如下：

(u，v)为原始图像像素坐标，(u‘/w′，v′/w′)为变换之后的图像像素坐标。

透视变换矩阵图解如下：

表示图像线性变换。

T₂＝[a₁₃ a₂₃]^T用于产生图像透视变换。

T₃＝[a₃₁ a₃₂]表示图像平移。

结合上述公式，逆透视变换公式可总结为：

给定透视变换对应的四对像素点坐标，即可求得透视变换矩阵；反之，给定透视变换矩阵，即可对图像或像素点坐标完成透视变换。鸟瞰图相当于从空中俯视道路，即相当于将透视图中各直线不平行但在世界坐标系中平面各直线平行的道路地面转换为经逆透视变换的各像素点距离成比例的另一平面。

具体而言，本实施例中，通过上位机对当前帧图像P进行暂停截图显示，人为在图像上点击选取变换原点P1、P2、P3、P4，通过沿着一段直行车道区域左右车道线的边缘或者人行横道区域选择一个梯形区域，这个区域在真实的道路中应该是一个矩形，因此我们选择将这个梯形区域投影成为一个矩形，具体地还包括：

预设目标投影图像，像素尺寸为600x960，得到变换后矩形目标点坐标P5、P6、P7、P8，其中P5像素坐标为(0，0),P6像素坐标为(600，0),P7像素坐标为(600，960),P8像素坐标为(0，960)，其中原图矩形点P1对应预设图像顶点P5，P2对应图像顶点P6，P3对应图像顶点P7，P4对应图像顶点P8，具体的还包括：

本实施例中所述上位机使用opencv库使用上述变换原点与变换后矩形目标点计算逆透视矩阵M，并同步显示当前原始图像与变换后鸟瞰图，通过观察原图中车道线、斑马线、或者车辆顶部在变换后平直关系判断原图矩形区域4个点选取的是否准确，如果转换后鸟瞰图贴近现实世界中鸟瞰图形状则原点选择准确，如果否则根据参照物调整矩形原点坐标直到变换后鸟瞰图符合预期为止，得到精确的转换矩阵M，上述步骤还包括：

所述上位机通过已绘制视觉目标bbox、视觉目标ID的图像与显示雷达目标ID的雷达图界面，选择至少2个对应目标。

可选的，可通过在图像以及雷达界面中通过图像和雷达检测距离分别绘制车道线进行辅助判断图像中视觉目标对应雷达界面中的雷达目标。

上位机根据当前图像上2个相对应目标绘制的目标ID在缓存的当前同步帧视觉目标信息列表中查询目标ID所对应bbox检测框信息，获得bbox检测框下边缘中心P1(u₁，v₁，1)，P2(u₂，v₂，1)，通过中心点像素坐标得到当前目标点P1，P2在鸟瞰图中对应的点P3(u₃，v₃，1)，P4(u₄，v₄，1)，其中，i，v均为图像像素坐标，根据当前雷达界面上2个相对应目标ID在缓存的当前同步帧雷达目标信息列表中查询目标ID所对应物理距离，获得雷达对应目标坐标(RADd_x1，RADd_y1)，(RADd_x2，RADd_y2)，其中，

对转后点坐标P3(u₃，v₃，1)，P4(i₄，v₄，1)进行归一化，得到鸟瞰图对应二维坐标(u₃，v₃)以及(u₄，v₄)，根据所述选取图像目标与雷达选取目标(RADd_x1，RADd_y1)，(RADd_x2，RADd_y2)在现实世界为一一对应，其中，d_x1、d_x2为雷达坐标系下横向距离，d_y1、d_y2为纵向距离，单位为米，且俯视图上横轴上每个像素点代表物理距离相等，纵轴上每个像素点代表物理距离亦相等具体的通过二元方程解出俯视图x轴对应的物理距离系数k_x与y轴方向对应的物理距离系数k_y，由于相机与雷达安装位置可能存在偏移，同时求解出相机与雷达安装位置原点偏移，x轴原偏移量Δ_x，y轴原偏移量Δ_y，其中：

u₃·k_x+Δ_x＝RADd_x1；

v₃·k_y+Δ_y＝RADd_y1；

u₄·k_x+Δ_x＝RADd_x2；

v₄·k_y+Δ_y＝RADd_y2。

通过上述计算可得到视觉测距系数k_x、k_y，传感器原点偏移量Δ_x、Δ_y，上位机将这4个参数下发至数据处理器，数据处理器根据同步帧视觉目标信息计算视觉目标物理坐标，具体的还包括：

数据处理器通过目标bbox检测框下边缘中心点坐标(u_n，v_n，1)与转换矩阵M，计算俯视图坐标系中对应点坐标，执行归一化操作得到二维平面像素坐标(u_n，u_n)，结合测距系数k_x、k_y，与传感器坐标系偏移量Δ_x、Δ_y，计算视觉目标物理坐标(CAMd_xn，CAMd_yn)，其中：

CAMd_xn＝u_n*k_x+Δ_x；

CAMd_yn＝v_n*k_y+Δ_y。

采用所述视觉测距方法，经多次现场实际部署经验，同一目标视觉与雷达测出相应的距离值，其横向差值|CAMd_xn-RADd_xn|在0.5米以内，纵向差值|CAMd_yn-RADd_yn|在1米以内，视觉测距高，数据融合稳定可靠，并且通过可视化上位机实时调整视觉矫正系数，调试方便，易于***部署。

S6、基于所述包含测距信息的视觉目标信息与雷达目标信息进行车辆、行人融合跟踪。

具体而言，本实施例中，数据处理器根据同步帧中雷达目标物理坐标、视觉目标物理坐标进行空间上的融合：

设定空间融合阈值θ_x、θ_y，θ_x为x轴空间融合阈值，θ_y为y轴空间融合阈值，应当理解的是阈值设置大小与传感器测距精度有关，设置过大容易造成误匹配，设置过小可能影响目标融合成功率。基于本实施例中传感器测距精度，θ_x设置为1米，θ_y设置为1.5米，所述数据处理器遍历当前帧视觉目标数据列表，对每一个待融合视觉目标遍历雷达目标数据，刷选出同时小于距离阈值θ_x，θ_y的待融合雷达目标。

具体而言，本实施例中，基于刷选出的待融合雷达目标进行最优度量值刷选，刷选出差值最小的待融合雷达目标，与当前待融合视觉目标组唯一的融合目标对象，使用待融合视觉目标中目标类型、车辆型号、车辆品牌、年款等目标属性结合待融合雷达目标测的物理距离坐标、行驶速度等填充当前融合目标对象信息，获取到融合目标。

本发明使用融合目标对应的视觉目标ID、雷达目标ID生成融合映射表，数据处理器对同步帧图像和雷达数据进行目标提取后直接安装映射表ID生成融合目标，不需要进行遍历筛选，提高融合效率。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像处理的车辆行人多目标跟踪方法，其特征在于，包括，

实时获取图像采集传感器与毫米波雷达传感器的原始数据；

对所述原始数据进行帧同步处理，获取当前传感器的同步帧数据；

对所述同步帧数据进行目标信息提取，获取当前视觉目标信息、雷达目标信息；

根据所述当前视觉目标信息对所述毫米波雷达传感器和所述图像采集传感器进行安装角度矫正；

对所述同步帧视觉目标进行视觉测距，得到目标距离信息；

根据所述目标距离信息结合所述雷达目标信息进行车辆和行人融合跟踪。

2.根据权利要求1所述的基于图像处理的车辆行人多目标跟踪方法，其特征在于，实时获取图像采集传感器与毫米波雷达传感器的原始数据的方法为，

通过多线程技术同时采集所述图像采集传感器与所述毫米波雷达传感器的数据；

使用线程调度机制进行非阻塞实时采集。

3.根据权利要求2所述的基于图像处理的车辆行人多目标跟踪方法，其特征在于，通过帧率为25帧、图像分辨率为3840x2160的网络监控摄像头获取所述图像采集传感器的原始数据；

将无线电工作频段为80GHz、最大检测跟踪目标256个、最大探测距离为250米的交通流量雷达作为所述毫米波雷达传感器。

4.根据权利要求1所述的基于图像处理的车辆行人多目标跟踪方法，其特征在于，对所述原始数据进行帧同步处理，获取当前传感器的同步帧数据的过程为，

通过帧缓存更新机制使所述图像采集传感器与所述毫米波雷达传感器时间一致；

保存同步后的所述图像采集传感器的图像以及所述毫米波雷达传感器的帧数据，组成同步帧数据。

5.根据权利要求1所述的基于图像处理的车辆行人多目标跟踪方法，其特征在于，对所述同步帧数据进行目标信息提取的过程包括，

对所述同步帧数据中所述毫米波雷达传感器的信息进行数据解析，获得所述毫米波雷达传感器采集到的雷达目标信息；

对所述同步帧数据中所述图像采集传感器采集到的图像进行目标检测与跟踪，获取图像中的视觉目标信息；

根据所述视觉目标信息对当前图像进行bbox视觉目标检测框绘制、视觉ID绘制，并将绘制后的图像以及各目标信息添加帧ID组成数据包发送至上位机；

所述雷达目标信息包括，雷达目标ID、雷达目标距离、雷达目标速度；

所述视觉目标信息包括，视觉目标ID、视觉目标类型、视觉目标检测框bbox、视觉目标距离。

6.根据权利要求5所述的基于图像处理的车辆行人多目标跟踪方法，其特征在于，根据提取出的视觉目标信息及图像组包发送至上位机还包括：

将当前视觉算法检测、绘制后的图像编码为RTSP视频流，以及当前帧ID作为SEI数据包添加到H264编码数据包中，与带当前帧ID的目标信息通过数据处理器传输至上位机；

所述上位机解析数据处理器生成的RTSP流、并解码出图像与帧ID，与所述目标信息中的帧ID一一匹配，并同步显示。

7.根据权利要求1所述的基于图像处理的车辆行人多目标跟踪方法，其特征在于，根据所述当前视觉目标信息对所述毫米波雷达传感器和所述图像采集传感器进行安装角度矫正的过程包括，

通过上位机程序实时接收数据包，在视频窗口以及雷达图界面同步显示图像以及雷达目标信息，缓存当前视觉目标信息以及雷达目标信息；

通过上位机实时显示界面调整相机与毫米波雷达的安装角度。

8.根据权利要求1所述的基于图像处理的车辆行人多目标跟踪方法，其特征在于，对所述同步帧视觉目标进行视觉测距的过程包括，

上位机对当前帧图像进行逆透视变换，将透视图像转换为俯视图像；

根据缓存的目标信息以及俯视图像计算变换矩阵，计算俯视图像像素到物理距离的转换系数以及坐标偏移，并将变换矩阵与转换系数下发至数据处理器；

根据当前帧视觉目标bbox、变换矩阵、坐标偏移在所述数据处理器内进行视觉测距，得到视觉目标距离信息。

9.根据权利要求1所述的基于图像处理的车辆行人多目标跟踪方法，其特征在于，根据所述目标距离信息结合所述雷达目标信息进行车辆、行人融合跟踪的过程包括，

将所述图像采集传感器和所述毫米波雷达传感器内的同一目标，通过视觉目标距离与雷达目标距离进行空间融合，再结合视觉检测算法的目标准确类型以及雷达多普勒原理检测的再次确定此目标的位置以及速度信息。

10.根据权利要求9所述的基于图像处理的车辆行人多目标跟踪方法，其特征在于，基于所述视觉目标距离信息与雷达目标信息进行车辆、行人融合跟踪还包括：

依据融合结果生成融合ID映射表，对融合目标对应的视觉目标ID和雷达目标ID做一一映射，以加速后续融合过程，后续目标融合直接进行查表。