CN117749830A - 一种基于边缘计算的车路协同云平台***及其方法 - Google Patents

一种基于边缘计算的车路协同云平台***及其方法 Download PDF

Info

Publication number
CN117749830A
CN117749830A CN202311740716.0A CN202311740716A CN117749830A CN 117749830 A CN117749830 A CN 117749830A CN 202311740716 A CN202311740716 A CN 202311740716A CN 117749830 A CN117749830 A CN 117749830A
Authority
CN
China
Prior art keywords
vehicle
platform
bus
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311740716.0A
Other languages
English (en)
Other versions
CN117749830B (zh
Inventor
刘晟
张春梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Intelligent Transportation Information Co ltd
Original Assignee
Nanjing Intelligent Transportation Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Intelligent Transportation Information Co ltd filed Critical Nanjing Intelligent Transportation Information Co ltd
Priority to CN202311740716.0A priority Critical patent/CN117749830B/zh
Publication of CN117749830A publication Critical patent/CN117749830A/zh
Application granted granted Critical
Publication of CN117749830B publication Critical patent/CN117749830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Train Traffic Observation, Control, And Security (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于边缘计算的车路协同云平台***及其方法,由双视角视觉信息处理模块、公交驶入提醒模块、危险区域划定模块、碰撞预警模块以及公交线路预测模块五部分构成。采用端‑边‑云一体化的架构,对站台附近危险区域进行实时划分和预警提示,对站台附近的公交车‑乘客碰撞风险进行识别和预警,可以提升公交车站区域安全性以及公交车运营的安全性;当公交即将驶入站台时,根据接收到的当前车次和车辆负载信息计算车辆载客拥挤程度,并通过驱动显示站台荧幕与广播的形式告知候车人员;通过边缘计算和人工智能技术,对乘客进行特征识别,统计乘客出行链和车辆或线路的关联关系,有助于宏观调控公交线路,提高智能公交的出行效率。

Description

一种基于边缘计算的车路协同云平台***及其方法
技术领域
本发明涉及智慧交通技术领域,具体涉及一种基于边缘计算的车路协同云平台***及其方法。
背景技术
随着汽车保有量的逐年增加,结合目前的交通状况,发展智慧道路和智能交通显得十分重要。车路协同(Cooperation Vehicle Infrastructure System,CVIS)是传统汽车行业、交通行业与信息通信行业加速融合发展的产物,车路协同业务的部署能很大程度地提升城市道路的智慧化,给道路通行效率的提升带来了巨大转机,并应用在道路通行效率、驾驶安全性和车辆能耗改善等方面。
公共交通是城市交通的核心和重点,公共交通以其运量大、方便快捷的特点成为最佳选择。其中,公交站台是乘客上下车的唯一场所,人流集中、场景复杂,易发生人车安全风险事故。以车路协同为技术背景,将道路交通情况与智能网联公交车运营状况相匹配,可以节省出行时间以提高道路交通效率。
发明内容
针对公交站台人流集中、场景复杂,易发生人车安全风险事故等问题,本发明提出一种基于边缘计算的车路协同云平台***及其方法,采用端-边-云一体化的架构,能够满足智能公交***实时业务、智能管控、安全可靠、本地自治方面的关键需求。
为了实现上述目的,本发明通过如下的技术方案来实现:
一种基于边缘计算的车路协同云平台***,所述***包括:
双视角视觉信息处理模块,包括布设于车端的高清摄像头、边缘计算设备和车载OBU,以及布设于站台侧的高清摄像头、边缘计算设备和站台侧RSU;所述高清摄像头用于实时采集车端视频流和站台侧视频流,并发送至边缘计算设备;所述边缘计算设备用于通过人工智能算法对所述车端视频流和站台侧视频流分别进行处理,实现车、站台双视角下图像信息识别处理,并联动语音广播进行预警提示;所述车载OBU和站台侧RSU均设有射频模块和LTE模块,用于同时支持直连通信接口和蜂窝网络通信接口,实现C-V2X通信;
公交驶入提醒模块,用于车辆与站台距离小于预设阈值时,驱动显示站台荧幕与广播的形式告知候车人员,提醒乘客做好上车选择和准备;
危险区域划定模块,用于根据高清摄像头采集的站台侧视频流实时划定危险区域,当站台侧高清摄像头检测到候车人员在所述危险区域候车时,广播提醒乘客在安全线内等候;
碰撞预警模块,用于根据车辆的运行轨迹和位置,以及行人的位置和行动轨迹,检测出行人与车辆碰撞的风险,当风险存在时及时广播预警;
公交线路预测模块,用于自动识别站台乘客的上下车行为,并结合历史数据和实时数据,预测乘客出行的公交线路信息。
作为本发明的一种优选方案,所述公交驶入提醒模块具体为:车载OBU实时获取当前车次和车辆负载信息,当车辆驶入站台侧RSU的信号覆盖区域且车辆与站台距离小于预设阈值时,车载OBU通过直连通信接口将所述当前车次和车辆负载信息实时发送至站台侧RSU,站台侧的边缘计算设备根据接收到的当前车次和车辆负载信息计算车辆载客拥挤程度,并通过驱动显示站台荧幕与广播的形式告知候车人员,候车人员根据当前车次和车辆载客拥挤程度做好上车选择和准备。
作为本发明的一种优选方案,所述根据接收到的当前车次和车辆负载信息计算车辆载客拥挤程度,具体包括:
车辆负载信息包括车辆座位底部或站立区域的压力传感器信息,以及每一站的上下客人员统计;
通过车端高清摄像头采集公交车前后车门打开时的图像信息,由车端边缘计算设备通过codebook对背景建模,通过SURF算法提取图像前景特征点,对前景进行形态学处理得到运动目标,并对运动目标大小和数量进行匹配分析,统计特征点信息,当车门关闭时,完成运动目标计数,统计上下车客流信息;根据每一站的上下车客流信息计算车辆当前实际载客数;
根据所述压力传感器信息判断每个压力传感器的受压状态,当压力传感器的数值达到设定的压力阈值时,判定为压力传感器处于受压状态;计算处于受压状态的压力传感器的数量与车辆内压力传感器的总数量的比值;
将车辆当前实际载客数与所述比值相结合,计算拥挤程度指标C:C=p÷Mp×a+r×b,p为车辆当前实际载客数,Mp为车辆最大载客能力;r为所述处于受压状态的压力传感器的数量与车辆内压力传感器的总数量的比值;a、b均为权重系数;
当所述拥挤程度指标小于第一预设拥挤值时,判定车辆载客拥挤程度为:车辆较空;
当所述拥挤程度指标大于所述第一预设拥挤值且小于第二预设拥挤值时,判定车辆载客拥挤程度为:车辆较拥挤;
当所述拥挤程度指标大于所述第二预设拥挤值时,判定车辆载客拥挤程度为:车辆非常拥挤;
其中,所述第一预设拥挤值小于所述第二拥挤预设值;
当判定车辆载客拥挤程度为车辆非常拥挤时,语音提示站台乘客注意安全及该线路下一车次预计到达本站时间。
作为本发明的一种优选方案,所述根据高清摄像头采集的站台侧视频流实时划定危险区域,具体包括:
收集站台侧的历史事故数据并进行数据清洗和预处理,所述历史事故数据包括历史时间内站台侧事故发生的事故类型、事故区域、发生时间,以及发生站台周围的人群密度、流动速度和异常行为;
通过ADF检验法对处理后的数据进行平稳性检验,若数据不平稳,则进行差分处理;
绘制历史事故数据的时序图并进行数据分析,根据数据平稳性和所述时序图的分析结果构建SARIMA模型,通过历史事故数据进行参数估计,得到SARIMA模型的参数值,并检查SARIMA模型的残差是否满足白噪声假设;
基于站台侧视频流实时监测站台周围的人群密度、流动速度和异常行为,输入建立好的SARIMA模型进行预测分析,根据预测的事故发生率和事故发生时间确定事故频发区域,进而实时划定危险区域。
作为本发明的一种优选方案,当站台有车时,通过目标检测算法确定公交车外部轮廓,自动将车头1.2米范围内、右前柱3米范围内、右后视镜下方2米范围内、前后车门的中间位置1米范围内、车尾3米范围内以及车尾、后车轮附近1.2米范围内实时划定为危险区域,直至车辆驶离站台。
作为本发明的一种优选方案,所述碰撞预警模块通过建立车-人碰撞风险检测模型检测行人与车辆是否存在碰撞风险,所述车-人碰撞风险检测模型具体为:采用目标检测算法检测出车辆与行人的位置,利用多目标跟踪算法获取行人的行动轨迹和车辆的运行轨迹并预测行人和车辆的位置,根据预测的行人和车辆的位置是否存在重叠判断是否存在碰撞风险。
作为本发明的一种优选方案,所述目标检测算法具体包括:
通过毫米波雷达和高清摄像头分别采集射频图像和视觉图像,并进行图像预处理;
对预处理后的所述射频图像和视觉图像通过ResNet50分别进行特征提取,生成两个具有相同大小的低分辨率特征图,将所述两个低分辨率特征图沿通道维度拼接,生成融合的低分辨率特征图;
将融合的低分辨率特征图通过反卷积生成高分辨率特征图,压缩高分辨率特征图冗余通道数生成目标类型和位置的热力图;
对所述热力图使用基于位置的非极大值抑制,过滤置信度低于阈值的目标并找出局部峰值点,输出目标类型与位置,完成目标检测。
作为本发明的一种优选方案,所述多目标跟踪算法具体包括:
初始化目标检测器YOLOv5和卡尔曼滤波器,并对卡尔曼滤波器的参数进行设定;
通过YOLOv5对视频序列中的车辆和行人进行检测,得到每一帧图像中车辆和行人的位置及边界框尺寸;
将每个行人或车辆视为一个独立的跟踪的目标,使用OC-Sort算法对每个检测到的目标进行轨迹跟踪,利用IOU计算将检测到的目标与卡尔曼滤波器跟踪到的目标进行关联,若关联成功,则更新卡尔曼滤波器的状态,并更新轨迹信息;若关联失败,则初始化新的卡尔曼滤波器用于跟踪该目标,得到每个目标的轨迹;
根据卡尔曼滤波器的状态和轨迹信息,对行人和车辆的位置进行预测,预测未来时间段内行人和车辆的位置。
作为本发明的一种优选方案,所述公交线路预测模块通过公交线路预测模型实现,具体包括:
收集历史时间内乘客的上下车行为数据并进行特征提取,包括上/下车人员性别、年龄、上/下车时间、上/下车地点及当前线路车次,将特征提取后的上下车行为数据、上下车客流信息以及拥挤程度指标经由车载OBU上传至云服务器,由云服务器进行数据预处理后作为公交线路预测模型的基础数据集,存储在云端数据库中;
通过LSTM对所述基础数据集中的数据进行训练并进行参数调优,构建公交线路预测模型,训练过程如下所示:
式中,Y(t)为t时刻输入的数据;σ为激活函数;ft为遗忘门的输出,Wf、bf为相应的遗忘门矩阵;it为输入门的输出,Wi、bi为相应的输入门权重矩阵;Ct-1为旧细胞状态信息,为选择添加候选状态信息,Ct为更新的细胞信息,WC、bC为对应的神经元矩阵;ot为输出门的输出,Wo、bo为相应的输出门矩阵;ht为输出结果;
站台侧的高清摄像头采集候车人员特征并上传至云服务器,云服务器进行数据库内的信息比对,并输入至公交线路预测模型预测乘客出行的公交线路信息,包括乘客的预计到达时间、预计离开时间和预计使用的公交线路;
将预测结果与实际数据进行比较,并根据比较结果实时对公交线路预测模型进行参数优化。
一种基于边缘计算的车路协同云平台方法,所述方法包括:
通过车端和站台侧的高清摄像头分别实时采集车端视频流和站台侧视频流,并分别发送至车端和站台侧的边缘计算设备;
基于站台侧视频流实时监测站台周围的人群密度、流动速度和异常行为,输入建立好的SARIMA模型进行预测分析,根据预测的事故发生率和事故发生时间确定事故频发区域,进而实时划定危险区域;当站台有车时,通过目标检测算法确定公交车外部轮廓,自动将车头1.2米范围内、右前柱3米范围内、右后视镜下方2米范围内、前后车门的中间位置1米范围内、车尾3米范围内以及车尾、后车轮附近1.2米范围内实时划定为危险区域;
当车辆驶入站台侧RSU的信号覆盖区域且车辆与站台距离小于预设阈值时,车载OBU通过直连通信接口将所述当前车次和车辆负载信息实时发送至站台侧RSU,站台侧的边缘计算设备根据接收到的当前车次和车辆负载信息计算车辆载客拥挤程度,并通过驱动显示站台荧幕与广播的形式告知候车人员,候车人员根据当前车次和车辆载客拥挤程度做好上车选择和准备;
采用目标检测算法检测出车辆与行人的位置,利用多目标跟踪算法获取行人的行动轨迹和车辆的运行轨迹并预测行人和车辆的位置,根据预测的行人和车辆的位置是否存在重叠判断是否存在碰撞风险;
自动识别站台乘客的上下车行为,并结合历史数据和实时数据,预测乘客出行的公交线路信息,具体为:
收集历史时间内乘客的上下车行为数据并进行特征提取,包括上/下车人员性别、年龄、上/下车时间、上/下车地点及当前线路车次,将特征提取后的上下车行为数据、上下车客流信息以及拥挤程度指标经由车载OBU上传至云服务器,由云服务器进行数据预处理后作为公交线路预测模型的基础数据集,存储在云端数据库中;
通过LSTM对所述基础数据集中的数据进行训练并进行参数调优,构建公交线路预测模型;
站台侧的高清摄像头采集候车人员特征并上传至云服务器,云服务器进行数据库内的信息比对,并输入至公交线路预测模型预测乘客出行的公交线路信息,包括乘客的预计到达时间、预计离开时间和预计使用的公交线路;
将预测结果与实际数据进行比较,并根据比较结果实时对公交线路预测模型进行参数优化。
与现有技术相比,本发明的有益效果是:采用端-边-云一体化的架构,满足智能公交***实时业务、智能管控、安全可靠、本地自治方面的关键需求。对站台附近危险区域进行实时划分,对公交车站区域的公交车-乘客碰撞风险进行识别和预警,可以提升公交车站区域安全性以及公交车运营的安全性;当公交即将驶入站台时,根据接收到的当前车次和车辆负载信息计算车辆载客拥挤程度,并通过驱动显示站台荧幕与广播的形式告知候车人员,让候车人员根据当前车次和车辆载客拥挤程度提前做好上车选择和准备;通过边缘计算和人工智能技术,对乘客进行特征识别,统计乘客出行链和车辆或线路的关联关系,有助于宏观调控公交线路,提高智能公交的出行效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为本发明实施例中***的场景示意图;
图2为本发明实施例中***的端-边-云架构示意图;
图3为本发明实施例中端-边-云通讯方式示意图;
图4为本发明实施例中的方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
如图1-图3所示,为本发明的一个实施例,该实施例提供了一种基于边缘计算的车路协同云平台***,主要由感知设备(高清电子摄像头)、RSU路侧单元、OBU车载单元、边缘计算设备以及云服务器五部分构成。引入边云协同技术和C-V2X通信技术,融合网络、计算、存储应用核心能力的开放平台,就近提供边缘计算服务,采用端-边-云一体化的架构,能够满足智能公交***实时业务、智能管控、安全可靠、本地自治方面的关键需求。
具体包括:
(1)双视角视觉信息处理模块,包括布设于车端的高清摄像头、边缘计算设备和车载OBU,以及布设于站台侧的高清摄像头、边缘计算设备和站台侧RSU;
高清摄像头用于实时采集车端视频流和站台侧视频流,并发送至边缘计算设备;
边缘计算设备用于通过人工智能算法对所述车端视频流和站台侧视频流分别进行处理,实现车、站台双视角下图像信息识别处理,并联动语音广播进行预警提示;
车载OBU和站台侧RSU均设有射频模块和LTE模块,用于同时支持直连通信接口和蜂窝网络通信接口,实现C-V2X通信;
本***中车载OBU和站台侧RSU为实现端-边-云一体化关键所在,车载OBU和站台侧RSU均配置射频模块和LTE模块,车载OBU通过LTE模块进行V2N通信以完成车端消息集推送至云服务器,并通过射频模块完成车载OBU与站台侧RSU的直连通信。对于路侧端,当公交车即将进站时,部署在站台侧的边缘计算设备通过行人、车辆轨迹来判断上下客行为及碰撞风险估计,采用多目标跟踪算法获取及预测目标的移动轨迹,当边缘计算设备判断存在碰撞风险时,通过站台侧RSU的射频模块将碰撞风险估计结果推送至车载OBU,并提示站台乘客。身份特征提取模型采用深度学习算法,并与数据库存储的身份特征进行比对。对于车端,当公交车到站时,利用身份特征提取模型提取乘客身份特征,并将特征、乘车时间、公交线路等OD消息集通过车载OBU搭载的LTE模块完成公网的接入,进而将数据上传至云服务器并录入数据库。
(2)公交驶入提醒模块,用于车辆与站台距离小于预设阈值时,驱动显示站台荧幕与广播的形式告知候车人员,提醒乘客做好上车选择和准备;
在其中一个实施例中,公交驶入提醒模块具体为:车载OBU实时获取当前车次和车辆负载信息,当车辆驶入站台侧RSU的信号覆盖区域且车辆与站台距离小于预设阈值时,车载OBU通过直连通信接口将当前车次和车辆负载信息实时发送至站台侧RSU,站台侧的边缘计算设备根据接收到的当前车次和车辆负载信息计算车辆载客拥挤程度,并通过驱动显示站台荧幕与广播的形式告知候车人员,候车人员根据当前车次和车辆载客拥挤程度做好上车选择和准备。
根据接收到的当前车次和车辆负载信息计算车辆载客拥挤程度,具体包括:
车辆负载信息包括车辆座位底部或站立区域的压力传感器信息,以及每一站的上下客人员统计;
通过车端高清摄像头采集公交车前后车门打开时的图像信息,由车端边缘计算设备通过codebook对背景建模,通过SURF算法提取图像前景特征点,对前景进行形态学处理得到运动目标,并对运动目标大小和数量进行匹配分析,统计特征点信息,当车门关闭时,完成运动目标计数,统计上下车客流信息;根据每一站的上下车客流信息计算车辆当前实际载客数;
根据压力传感器信息判断每个压力传感器的受压状态,当压力传感器的数值达到设定的压力阈值时,判定为压力传感器处于受压状态;计算处于受压状态的压力传感器的数量与车辆内压力传感器的总数量的比值;
将车辆当前实际载客数与比值相结合,计算拥挤程度指标C:C=p÷Mp×a+r×b,p为车辆当前实际载客数,Mp为车辆最大载客能力;r为所述处于受压状态的压力传感器的数量与车辆内压力传感器的总数量的比值;a、b均为权重系数;
当拥挤程度指标小于第一预设拥挤值时,判定车辆载客拥挤程度为:车辆较空;
当拥挤程度指标大于第一预设拥挤值且小于第二预设拥挤值时,判定车辆载客拥挤程度为:车辆较拥挤;
当拥挤程度指标大于第二预设拥挤值时,判定车辆载客拥挤程度为:车辆非常拥挤;
其中,第一预设拥挤值所述第二拥挤预设值;
当判定车辆载客拥挤程度为车辆非常拥挤时,语音提示站台乘客注意安全及该线路下一车次预计到达本站时间。
(3)危险区域划定模块,用于根据高清摄像头采集的站台侧视频流实时划定危险区域,当站台侧高清摄像头检测到候车人员在危险区域候车时,广播提醒乘客在安全线内等候;在站台有车和无车时进行区分,与公交驶入提醒模块联动。
在一个具体的实施例中,根据高清摄像头采集的站台侧视频流实时划定危险区域,具体包括:
收集历史时间内站台侧事故发生的事故类型、事故区域、发生时间,以及发生站台周围的人群密度、流动速度和异常行为等历史事故数据,并进行数据清洗和预处理,;
通过ADF检验法对处理后的数据进行平稳性检验,若数据不平稳,则进行差分处理;
绘制历史事故数据的时序图并进行数据分析,根据数据平稳性和时序图的分析结果构建SARIMA模型,通过历史事故数据进行参数估计,得到SARIMA模型的参数值,并检查SARIMA模型的残差是否满足白噪声假设;
基于站台侧视频流实时监测站台周围的人群密度、流动速度和异常行为,输入建立好的SARIMA模型进行预测分析,根据预测的事故发生率和事故发生时间确定事故频发区域,进而实时划定危险区域。
进一步地,当站台有车时,通过目标检测算法确定公交车外部轮廓,自动将车头1.2米范围内、右前柱3米范围内、右后视镜下方2米范围内、前后车门的中间位置1米范围内、车尾3米范围内以及车尾、后车轮附近1.2米范围内实时划定为危险区域,直至车辆驶离站台。
(4)碰撞预警模块,用于根据车辆的运行轨迹和位置,以及行人的位置和行动轨迹,检测出行人与车辆碰撞的风险,当风险存在时及时广播预警;
在其中一个实施例中,建立车-人碰撞风险检测模型检测行人与车辆是否存在碰撞风险,具体为:采用目标检测算法检测出车辆与行人的位置,利用多目标跟踪算法获取行人的行动轨迹和车辆的运行轨迹并预测行人和车辆的位置,根据预测的行人和车辆的位置是否存在重叠判断是否存在碰撞风险。
目标检测算法具体包括:
通过毫米波雷达和高清摄像头分别采集射频图像和视觉图像,并进行图像预处理;
对预处理后的射频图像和视觉图像通过ResNet50分别进行特征提取,生成两个具有相同大小的低分辨率特征图,将两个低分辨率特征图沿通道维度拼接,生成融合的低分辨率特征图;
将融合的低分辨率特征图通过反卷积生成高分辨率特征图,压缩高分辨率特征图冗余通道数生成目标类型和位置的热力图;
对热力图使用基于位置的非极大值抑制,过滤置信度低于阈值的目标并找出局部峰值点,输出目标类型与位置,完成目标检测;
多目标跟踪算法具体包括:
初始化目标检测器YOLOv5和卡尔曼滤波器,并对卡尔曼滤波器的参数进行设定;
通过YOLOv5对视频序列中的车辆和行人进行检测,得到每一帧图像中车辆和行人的位置及边界框尺寸;
将每个行人或车辆视为一个独立的跟踪的目标,使用OC-Sort算法对每个检测到的目标进行轨迹跟踪,利用IOU计算将检测到的目标与卡尔曼滤波器跟踪到的目标进行关联,若关联成功,则更新卡尔曼滤波器的状态,并更新轨迹信息;若关联失败,则初始化新的卡尔曼滤波器用于跟踪该目标,得到每个目标的轨迹;
根据卡尔曼滤波器的状态和轨迹信息,对行人和车辆的位置进行预测,预测未来时间段内行人和车辆的位置。
OC-Sort算法是一种改进的目标跟踪方法,它通过将目标跟踪的重点放在观测上,而不是仅仅关注目标本身,以提高目标关联和跟踪的准确性和鲁棒性,能够有效地跟踪多个目标。对于Sort算法中的误差积累问题,OC-Sort算法将非活动轨迹与检测到的目标重新关联的框架中,为该对象构建一条虚拟轨迹,从跟踪丢失之前的最后一个检测开始,到新匹配到检测结束,沿着这个虚拟轨迹,平滑卡尔曼滤波器参数,以获得更好的目标位置估计;
最后一次观测到的轨迹记录为再次链接到的轨迹记录为/>于是虚拟的轨迹/>记为:/>
沿着这个虚拟轨迹,可以从t1时的状态开始,来回交替反向检查卡尔曼滤波器的参数,使得误差积累的现象不在发生。
(5)公交线路预测模块,用于自动识别站台乘客的上下车行为,并结合历史数据和实时数据,预测乘客出行的公交线路信息,主要分为两阶段:第一阶段为数据库扩充阶段,公交车外侧摄像头采集上车人员信息,包括上车人员特征、上车时间及公交线路等,通过边缘计算设备处理得到特征数据,通过车载OBU的Uu接口上传至云服务器,由云服务器完成数据管理、数据分析等任务;第二阶段为预测阶段,站台侧的摄像头采集候车人员特征,上报至云服务器,云服务器进行数据库内的信息比对,通过统计学习方法预测出未来乘坐的公交线路,当乘客上车后,重复第一阶段内容,依次迭代出新的统计模型,并进行分析以提供公交运营优化建议。
具体包括:
收集历史时间内乘客的上下车行为数据并进行特征提取,包括上/下车人员性别、年龄、上/下车时间、上/下车地点及当前线路车次,将特征提取后的上下车行为数据、上下车客流信息以及拥挤程度指标经由车载OBU上传至云服务器,由云服务器进行数据预处理后作为公交线路预测模型的基础数据集,存储在云端数据库中;
通过LSTM对基础数据集中的数据进行训练并进行参数调优,构建公交线路预测模型,训练过程如下所示:
式中,Y(t)为t时刻输入的数据;σ为激活函数;ft为遗忘门的输出,Wf、bf为相应的遗忘门矩阵;it为输入门的输出,Wi、bi为相应的输入门权重矩阵;Ct-1为旧细胞状态信息,为选择添加候选状态信息,Ct为更新的细胞信息,WC、bC为对应的神经元矩阵;ot为输出门的输出,Wo、bo为相应的输出门矩阵;ht为输出结果;
站台侧的高清摄像头采集候车人员特征并上传至云服务器,云服务器进行数据库内的信息比对,并输入至公交线路预测模型预测乘客出行的公交线路信息,包括乘客的预计到达时间、预计离开时间和预计使用的公交线路;
将预测结果与实际数据进行比较,并根据比较结果实时对公交线路预测模型进行参数优化。
该***的试验方法分为实验室环境测试、车辆在环测试和道路在环测试三个维度,实验室环境测试负责完成高清摄像头、定位模块、决策规划、通信模块等测试,保证图像信息识别的准确性、直连通信和网络通信的可靠性与实时性;车辆在环测试以数据驱动的方式集成链条测试,打通端到端的智能公交离线测试能力;道路在环测试阶段,需要在道路人驾车辆规模较小路段为智能公交***提供专用车道,完成智能公交在半开放路段的运营测试,对车路协同智能安全与运营***工作情况、公交路线规划、各模块功能等各维度综合测试。
经过测试,本发明在区域信号优化方面可以提升区域交通能力,缓解拥堵;对于关键路口的信息优化,可以减少平峰空放时间7.53%。
如图4所示,为本发明的另一实施例,该实施例提供了一种基于边缘计算的车路协同云平台方法,包括:
S1:通过车端和站台侧的高清摄像头分别实时采集车端视频流和站台侧视频流,并分别发送至车端和站台侧的边缘计算设备;
S2:基于站台侧视频流实时监测站台周围的人群密度、流动速度和异常行为,输入建立好的SARIMA模型进行预测分析,根据预测的事故发生率和事故发生时间确定事故频发区域,进而实时划定危险区域;当站台有车时,通过目标检测算法确定公交车外部轮廓,自动将车头1.2米范围内、右前柱3米范围内、右后视镜下方2米范围内、前后车门的中间位置1米范围内、车尾3米范围内以及车尾、后车轮附近1.2米范围内实时划定为危险区域;
S3:当车辆驶入站台侧RSU的信号覆盖区域且车辆与站台距离小于预设阈值时,车载OBU通过直连通信接口将所述当前车次和车辆负载信息实时发送至站台侧RSU,站台侧的边缘计算设备根据接收到的当前车次和车辆负载信息计算车辆载客拥挤程度,并通过驱动显示站台荧幕与广播的形式告知候车人员,候车人员根据当前车次和车辆载客拥挤程度做好上车选择和准备;
S4:采用目标检测算法检测出车辆与行人的位置,利用多目标跟踪算法获取行人的行动轨迹和车辆的运行轨迹并预测行人和车辆的位置,根据预测的行人和车辆的位置是否存在重叠判断是否存在碰撞风险;
S5:自动识别站台乘客的上下车行为,并结合历史数据和实时数据,预测乘客出行的公交线路信息,具体为:
收集历史时间内乘客的上下车行为数据并进行特征提取,包括上/下车人员性别、年龄、上/下车时间、上/下车地点及当前线路车次,将特征提取后的上下车行为数据、上下车客流信息以及拥挤程度指标经由车载OBU上传至云服务器,由云服务器进行数据预处理后作为公交线路预测模型的基础数据集,存储在云端数据库中;
通过LSTM对所述基础数据集中的数据进行训练并进行参数调优,构建公交线路预测模型;
站台侧的高清摄像头采集候车人员特征并上传至云服务器,云服务器进行数据库内的信息比对,并输入至公交线路预测模型预测乘客出行的公交线路信息,包括乘客的预计到达时间、预计离开时间和预计使用的公交线路;
将预测结果与实际数据进行比较,并根据比较结果实时对公交线路预测模型进行参数优化。
综上所述,本发明采用端-边-云一体化的架构,满足智能公交***实时业务、智能管控、安全可靠、本地自治方面的关键需求。对站台附近危险区域进行实时划分,对公交车站区域的公交车-乘客碰撞风险进行识别和预警,可以提升公交车站区域安全性以及公交车运营的安全性;当公交即将驶入站台时,根据接收到的当前车次和车辆负载信息计算车辆载客拥挤程度,并通过驱动显示站台荧幕与广播的形式告知候车人员,让候车人员根据当前车次和车辆载客拥挤程度提前做好上车选择和准备;通过边缘计算和人工智能技术,对乘客进行特征识别,统计乘客出行链和车辆或线路的关联关系,有助于宏观调控公交线路,提高智能公交的出行效率。
应理解的是,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于边缘计算的车路协同云平台***,其特征在于,所述***包括:
双视角视觉信息处理模块,包括布设于车端的高清摄像头、边缘计算设备和车载OBU,以及布设于站台侧的高清摄像头、边缘计算设备和站台侧RSU;所述高清摄像头用于实时采集车端视频流和站台侧视频流,并发送至边缘计算设备;所述边缘计算设备用于通过人工智能算法对所述车端视频流和站台侧视频流分别进行处理,实现车、站台双视角下图像信息识别处理,并联动语音广播进行预警提示;所述车载OBU和站台侧RSU均设有射频模块和LTE模块,用于同时支持直连通信接口和蜂窝网络通信接口,实现C-V2X通信;
公交驶入提醒模块,用于车辆与站台距离小于预设阈值时,驱动显示站台荧幕与广播的形式告知候车人员,提醒乘客做好上车选择和准备;
危险区域划定模块,用于根据高清摄像头采集的站台侧视频流实时划定危险区域,当站台侧高清摄像头检测到候车人员在所述危险区域候车时,广播提醒乘客在安全线内等候;
碰撞预警模块,用于根据车辆的运行轨迹和位置,以及行人的位置和行动轨迹,检测出行人与车辆碰撞的风险,当风险存在时及时广播预警;
公交线路预测模块,用于自动识别站台乘客的上下车行为,并结合历史数据和实时数据,预测乘客出行的公交线路信息。
2.根据权利要求1所述的一种基于边缘计算的车路协同云平台***,其特征在于,所述公交驶入提醒模块具体为:车载OBU实时获取当前车次和车辆负载信息,当车辆驶入站台侧RSU的信号覆盖区域且车辆与站台距离小于预设阈值时,车载OBU通过直连通信接口将所述当前车次和车辆负载信息实时发送至站台侧RSU,站台侧的边缘计算设备根据接收到的当前车次和车辆负载信息计算车辆载客拥挤程度,并通过驱动显示站台荧幕与广播的形式告知候车人员,候车人员根据当前车次和车辆载客拥挤程度做好上车选择和准备。
3.根据权利要求2所述的一种基于边缘计算的车路协同云平台***,其特征在于,所述根据接收到的当前车次和车辆负载信息计算车辆载客拥挤程度,具体包括:
车辆负载信息包括车辆座位底部或站立区域的压力传感器信息,以及每一站的上下客人员统计;
通过车端高清摄像头采集公交车前后车门打开时的图像信息,由车端边缘计算设备通过codebook对背景建模,通过SURF算法提取图像前景特征点,对前景进行形态学处理得到运动目标,并对运动目标大小和数量进行匹配分析,统计特征点信息,当车门关闭时,完成运动目标计数,统计上下车客流信息;根据每一站的上下车客流信息计算车辆当前实际载客数;根据所述压力传感器信息判断每个压力传感器的受压状态,当压力传感器的数值达到设定的压力阈值时,判定为压力传感器处于受压状态;计算处于受压状态的压力传感器的数量与车辆内压力传感器的总数量的比值;
将车辆当前实际载客数与所述比值相结合,计算拥挤程度指标C:C=p÷Mp×a+r×b,p为车辆当前实际载客数,Mp为车辆最大载客能力;r为所述处于受压状态的压力传感器的数量与车辆内压力传感器的总数量的比值;a、b均为权重系数;
当所述拥挤程度指标小于第一预设拥挤值时,判定车辆载客拥挤程度为:车辆较空;
当所述拥挤程度指标大于所述第一预设拥挤值且小于第二预设拥挤值时,判定车辆载客拥挤程度为:车辆较拥挤;
当所述拥挤程度指标大于所述第二预设拥挤值时,判定车辆载客拥挤程度为:车辆非常拥挤;其中,所述第一预设拥挤值小于所述第二拥挤预设值;
当判定车辆载客拥挤程度为车辆非常拥挤时,语音提示站台乘客注意安全及该线路下一车次预计到达本站时间。
4.根据权利要求1所述的一种基于边缘计算的车路协同云平台***,其特征在于,所述根据高清摄像头采集的站台侧视频流实时划定危险区域,具体包括:
收集站台侧的历史事故数据并进行数据清洗和预处理,所述历史事故数据包括历史时间内站台侧事故发生的事故类型、事故区域、发生时间,以及发生站台周围的人群密度、流动速度和异常行为;
通过ADF检验法对处理后的数据进行平稳性检验,若数据不平稳,则进行差分处理;
绘制历史事故数据的时序图并进行数据分析,根据数据平稳性和所述时序图的分析结果构建SARIMA模型,通过历史事故数据进行参数估计,得到SARIMA模型的参数值,并检查SARIMA模型的残差是否满足白噪声假设;
基于站台侧视频流实时监测站台周围的人群密度、流动速度和异常行为,输入建立好的SARIMA模型进行预测分析,根据预测的事故发生率和事故发生时间确定事故频发区域,进而实时划定危险区域。
5.根据权利要求4所述的一种基于边缘计算的车路协同云平台***,其特征在于,当站台有车时,通过目标检测算法确定公交车外部轮廓,自动将车头1.2米范围内、右前柱3米范围内、右后视镜下方2米范围内、前后车门的中间位置1米范围内、车尾3米范围内以及车尾、后车轮附近1.2米范围内实时划定为危险区域,直至车辆驶离站台。
6.根据权利要求1所述的一种基于边缘计算的车路协同云平台***,其特征在于,所述碰撞预警模块通过建立车-人碰撞风险检测模型检测行人与车辆是否存在碰撞风险,所述车-人碰撞风险检测模型具体为:采用目标检测算法检测出车辆与行人的位置,利用多目标跟踪算法获取行人的行动轨迹和车辆的运行轨迹并预测行人和车辆的位置,根据预测的行人和车辆的位置是否存在重叠判断是否存在碰撞风险。
7.根据权利要求6所述的一种基于边缘计算的车路协同云平台***,其特征在于,所述目标检测算法具体包括:
通过毫米波雷达和高清摄像头分别采集射频图像和视觉图像,并进行图像预处理;
对预处理后的所述射频图像和视觉图像通过ResNet50分别进行特征提取,生成两个具有相同大小的低分辨率特征图,将所述两个低分辨率特征图沿通道维度拼接,生成融合的低分辨率特征图;
将融合的低分辨率特征图通过反卷积生成高分辨率特征图,压缩高分辨率特征图冗余通道数生成目标类型和位置的热力图;
对所述热力图使用基于位置的非极大值抑制,过滤置信度低于阈值的目标并找出局部峰值点,输出目标类型与位置,完成目标检测。
8.根据权利要求6所述的一种基于边缘计算的车路协同云平台***,其特征在于,所述多目标跟踪算法具体包括:
初始化目标检测器YOLOv5和卡尔曼滤波器,并对卡尔曼滤波器的参数进行设定;
通过YOLOv5对视频序列中的车辆和行人进行检测,得到每一帧图像中车辆和行人的位置及边界框尺寸;
将每个行人或车辆视为一个独立的跟踪的目标,使用OC-Sort算法对每个检测到的目标进行轨迹跟踪,利用IOU计算将检测到的目标与卡尔曼滤波器跟踪到的目标进行关联,若关联成功,则更新卡尔曼滤波器的状态,并更新轨迹信息;若关联失败,则初始化新的卡尔曼滤波器用于跟踪该目标,得到每个目标的轨迹;
根据卡尔曼滤波器的状态和轨迹信息,对行人和车辆的位置进行预测,预测未来时间段内行人和车辆的位置。
9.根据权利要求3所述的一种基于边缘计算的车路协同云平台***,其特征在于,所述公交线路预测模块通过公交线路预测模型实现,具体包括:
收集历史时间内乘客的上下车行为数据并进行特征提取,包括上/下车人员性别、年龄、上/下车时间、上/下车地点及当前线路车次,将特征提取后的上下车行为数据、上下车客流信息以及拥挤程度指标经由车载OBU上传至云服务器,由云服务器进行数据预处理后作为公交线路预测模型的基础数据集,存储在云端数据库中;
通过LSTM对所述基础数据集中的数据进行训练并进行参数调优,构建公交线路预测模型,训练过程如下所示:
式中,Y(t)为t时刻输入的数据;σ为激活函数;ft为遗忘门的输出,Wf、bf为相应的遗忘门矩阵;it为输入门的输出,Wi、bi为相应的输入门权重矩阵;Ct-1为旧细胞状态信息,为选择添加候选状态信息,Ct为更新的细胞信息,WC、bC为对应的神经元矩阵;ot为输出门的输出,Wo、bo为相应的输出门矩阵;ht为输出结果;
站台侧的高清摄像头采集候车人员特征并上传至云服务器,云服务器进行数据库内的信息比对,并输入至公交线路预测模型预测乘客出行的公交线路信息,包括乘客的预计到达时间、预计离开时间和预计使用的公交线路;
将预测结果与实际数据进行比较,并根据比较结果实时对公交线路预测模型进行参数优化。
10.根据权利要求1-9任一项所述的一种基于边缘计算的车路协同云平台***的实现方法,其特征在于,所述方法包括:
通过车端和站台侧的高清摄像头分别实时采集车端视频流和站台侧视频流,并分别发送至车端和站台侧的边缘计算设备;
基于站台侧视频流实时监测站台周围的人群密度、流动速度和异常行为,输入建立好的SARIMA模型进行预测分析,根据预测的事故发生率和事故发生时间确定事故频发区域,进而实时划定危险区域;当站台有车时,通过目标检测算法确定公交车外部轮廓,自动将车头1.2米范围内、右前柱3米范围内、右后视镜下方2米范围内、前后车门的中间位置1米范围内、车尾3米范围内以及车尾、后车轮附近1.2米范围内实时划定为危险区域;
当车辆驶入站台侧RSU的信号覆盖区域且车辆与站台距离小于预设阈值时,车载OBU通过直连通信接口将所述当前车次和车辆负载信息实时发送至站台侧RSU,站台侧的边缘计算设备根据接收到的当前车次和车辆负载信息计算车辆载客拥挤程度,并通过驱动显示站台荧幕与广播的形式告知候车人员,候车人员根据当前车次和车辆载客拥挤程度做好上车选择和准备;
采用目标检测算法检测出车辆与行人的位置,利用多目标跟踪算法获取行人的行动轨迹和车辆的运行轨迹并预测行人和车辆的位置,根据预测的行人和车辆的位置是否存在重叠判断是否存在碰撞风险;
自动识别站台乘客的上下车行为,并结合历史数据和实时数据,预测乘客出行的公交线路信息,具体为:
收集历史时间内乘客的上下车行为数据并进行特征提取,包括上/下车人员性别、年龄、上/下车时间、上/下车地点及当前线路车次,将特征提取后的上下车行为数据、上下车客流信息以及拥挤程度指标经由车载OBU上传至云服务器,由云服务器进行数据预处理后作为公交线路预测模型的基础数据集,存储在云端数据库中;
通过LSTM对所述基础数据集中的数据进行训练并进行参数调优,构建公交线路预测模型;站台侧的高清摄像头采集候车人员特征并上传至云服务器,云服务器进行数据库内的信息比对,并输入至公交线路预测模型预测乘客出行的公交线路信息,包括乘客的预计到达时间、预计离开时间和预计使用的公交线路;
将预测结果与实际数据进行比较,并根据比较结果实时对公交线路预测模型进行参数优化。
CN202311740716.0A 2023-12-18 2023-12-18 一种基于边缘计算的车路协同云平台***及其方法 Active CN117749830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311740716.0A CN117749830B (zh) 2023-12-18 2023-12-18 一种基于边缘计算的车路协同云平台***及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311740716.0A CN117749830B (zh) 2023-12-18 2023-12-18 一种基于边缘计算的车路协同云平台***及其方法

Publications (2)

Publication Number Publication Date
CN117749830A true CN117749830A (zh) 2024-03-22
CN117749830B CN117749830B (zh) 2024-07-16

Family

ID=90278793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311740716.0A Active CN117749830B (zh) 2023-12-18 2023-12-18 一种基于边缘计算的车路协同云平台***及其方法

Country Status (1)

Country Link
CN (1) CN117749830B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427582A (zh) * 2015-11-18 2016-03-23 中国科学院上海微***与信息技术研究所 一种公交线路的智能管理方法
JP2018002037A (ja) * 2016-07-06 2018-01-11 株式会社日立製作所 混雑率予想システム及び方法
CN109671244A (zh) * 2018-12-25 2019-04-23 张鸿青 一种基于公交站的危险提示方法及装置
CN114677848A (zh) * 2022-03-16 2022-06-28 北京车网科技发展有限公司 感知预警***、方法、装置及计算机程序产品
CN114882700A (zh) * 2022-04-26 2022-08-09 江苏未来都市出行科技集团有限公司 一种基于v2x车路协同的精准公交实现方式
CN117058910A (zh) * 2023-09-27 2023-11-14 深圳市城市交通规划设计研究中心股份有限公司 一种公交车调度方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427582A (zh) * 2015-11-18 2016-03-23 中国科学院上海微***与信息技术研究所 一种公交线路的智能管理方法
JP2018002037A (ja) * 2016-07-06 2018-01-11 株式会社日立製作所 混雑率予想システム及び方法
CN109671244A (zh) * 2018-12-25 2019-04-23 张鸿青 一种基于公交站的危险提示方法及装置
CN114677848A (zh) * 2022-03-16 2022-06-28 北京车网科技发展有限公司 感知预警***、方法、装置及计算机程序产品
CN114882700A (zh) * 2022-04-26 2022-08-09 江苏未来都市出行科技集团有限公司 一种基于v2x车路协同的精准公交实现方式
CN117058910A (zh) * 2023-09-27 2023-11-14 深圳市城市交通规划设计研究中心股份有限公司 一种公交车调度方法

Also Published As

Publication number Publication date
CN117749830B (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
CN110738857B (zh) 一种车辆违章取证方法、装置及设备
CN113706737B (zh) 基于自动驾驶车辆的路面巡检***及方法
CN112700470A (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN110356412A (zh) 用于自主驾驶的自动规则学习的方法和设备
CN112614373B (zh) 一种基于BiLSTM周车换道意图预测方法
CN114694060B (zh) 一种道路抛洒物检测方法、电子设备及存储介质
CN114387785A (zh) 一种基于智慧公路的安全管控方法、***及可存储介质
CN110263623A (zh) 列车攀爬监测方法、装置、终端及存储介质
CN111914691A (zh) 一种轨道交通车辆定位方法及***
CN114612860A (zh) 基于计算机视觉的轨道交通站内客流识别与预测方法
CN115600124A (zh) 地铁隧道巡检***及巡检方法
JP3502156B2 (ja) 交通監視システム
CN111856441B (zh) 一种基于视觉与毫米波雷达融合的列车定位方法
CN117749830B (zh) 一种基于边缘计算的车路协同云平台***及其方法
CN117172461A (zh) 自动驾驶公交调度***及基于客流预测的公交调度方法
CN113256014B (zh) 一种5g通信工程智能检测***
CN112949598B (zh) 一种公路建筑施工安全智能识别***
Kaur et al. RFID based Intelligent Transport System with RSU Communication for Emergency Vehicles in Urbanization
Tschürtz et al. System of systems safety analysis and evaluation in ZalaZONE
Prarthana et al. A Comparative Study of Artificial Intelligence Based Vehicle Classification Algorithms Used to Provide Smart Mobility
CN113128847A (zh) 一种基于激光雷达的出入口匝道实时风险预警***及方法
Oh et al. Towards defensive autonomous driving: Collecting and probing driving demonstrations of mixed qualities
CN117612140B (zh) 道路场景的识别方法、装置和存储介质及电子设备
Minnikhanov et al. Modeling of the effective environment in the Republic of Tatarstan using transport data
Aminmansour Video analytics for the detection of near-miss incidents at railway level crossings and signal passed at danger events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant