CN115050177A - 一种基于时空多头注意力机制的高速公路拥堵预测方法 - Google Patents
一种基于时空多头注意力机制的高速公路拥堵预测方法 Download PDFInfo
- Publication number
- CN115050177A CN115050177A CN202210510848.3A CN202210510848A CN115050177A CN 115050177 A CN115050177 A CN 115050177A CN 202210510848 A CN202210510848 A CN 202210510848A CN 115050177 A CN115050177 A CN 115050177A
- Authority
- CN
- China
- Prior art keywords
- time
- lane
- state
- information
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000007246 mechanism Effects 0.000 title claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 53
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 12
- 230000005284 excitation Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000011161 development Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于时空多头注意力机制的高速公路拥堵预测方法。首先,针对特征信息编码问题,采用正弦余弦编码方式将批量的公路历史拥堵信息编码为时序信息和空间信息用于网络的训练;其次,针对同时对空间信息和时间信息进行建模的问题,设计了高效的时空注意力机制来提升算法对道路拥堵持续变化过程的识别和理解能力,且多头注意力机制能实现高效的信息并行处理,以提高算法运行效率;然后,利用卡尔曼滤波器对交通拥堵状态测量值和算法模型检测值进行动态比较修正,避免模型在突发情况下的误判,以获得最佳估计值,降低交通参数动态变化对预测效果的干扰。本发明提高了交通拥堵预测的准确率的同时提高了算法的运行效率。
Description
技术领域
本发明涉及的是智慧交通领域,具体涉及一种基于时空多头注意力机制的高速公路拥堵预测方法。
背景技术
随着交通的高速发展,日常出行中交通拥堵问题变得日益严重。尤其是节假日,高速公路趋于饱和,道路网交通压力巨大,不仅影响了出行效率,浪费人们出行的时间,同时增加油耗及汽车尾气的排放,污染环境。若要从供需方面解决高速公路交通拥堵问题,一般通过改扩建的方式扩大道路本身的交通容量,或者新建道路网,分散交通流。对于已有高速公路来说,此举需要巨额的人力、物力及财力,并且涉及到复杂的政策问题。此外,高速公路拥堵情况也严重影响高速公路交通安全,2019年中国交通发生数量为24.8万起,其中交通事故死亡人数为62763人,事故受伤人数为256101人,交通事故直接财产损失为13.46亿元。交通事故引发的严重后果已经不容忽视。
综上,智能交通***有效集成了先进的信息技术、通讯技术、传感技术、控制技术以及计算机技术等,是一种可适用于大范围的、全面的、实时、准确、高效的综合运输和管理控制***。智能交通***一方面着重于交通信息的应用及信息的服务,给用户提供全面、便捷、实时的交通出行信息,另一方面提高道路的运行效率,为道路管理者提供运营管理所需的交通状态信息及应急救援方案,使得交通管理朝着有效缓解交通拥堵、高效率运行、低环境污染、有效保障出行安全的方向发展。
高速公路交通拥堵状况形成的根本原因有两种:1)日常交通流量超过道路通行最大容量而造成的拥堵;2)发生交通事故堵塞道路而造成的拥堵。前者是缓慢形成的,若要避免则需提前预知交通状态的变化趋势,若预测得知道路趋于阻塞,交通流开始缓行,则采取相应的交通量控制措施,即可有效避免交通拥堵。而后者属于突发小概率事件,拥堵的形成不可避免,对于此种情况,高效率的应急救援极为重要。这些都需要道路管理者能够实时、直观地掌握高速公路的拥堵状况,从而科学制定高速公路管理方法。
随着交通智能化需求的增长,高速公路管理中心采用传统的人力监管来管理日常通行事务,明显效率低下。若拥堵的形成或事故的发生没有引起监管人员的注意,则会因为应急处置、应急救援的不及时,增加交通拥堵的严重程度,甚至引起二次事故,造成社会资源的巨大浪费。在交通拥堵形成后,决策者不能掌握拥堵的发展趋势,只能凭借自身的经验选择应急处置预案,若没有科学应对,很容易造成应急处置的不及时。因此,摒弃传统的人力监管,通过智能化的手段预测交通运行状态,将拥堵发生的可能性及事故影响下拥堵的影响范围和程度保持在可控范围,化被动处理为主动预防,是现今高速公路管理和决策的趋势所向。当前,我国的高速公路已经基本实现了视频监控设备全覆盖,并且利用先进、智能的设备进行交通数据采集,为基于交通大数据的各项研究提供了数据支撑。本发明在此前提下旨在解决高速公路交通拥堵状况预的问题,使得高速公路管理者能够实时掌握交通运行状态及发展态势,预知交通拥堵发生的时间、地点,从而做好交通诱导、交通流管控等措施,预防拥堵的发生,保证了高速公路日常平稳、高效地运行。
发明内容
针对现有技术上存在的不足,本发明目的是在于提供一种基于时空多头注意力机制的高速公路拥堵预测方法,使得高速公路管理者能够实时掌握交通运行状态及发展态势,预知交通拥堵发生的时间、地点,从而做好交通诱导、交通流管控等措施,预防拥堵的发生,保证了高速公路日常平稳、高效地运行。
为了实现上述目的,本发明是通过如下的技术方案来实现:一种基于时空多头注意力机制的高速公路拥堵预测方法,包括以下步骤:
1、获取采集的视频文件,将其转换成序列图像,并按照时间顺序将帧图像输入轻量级的Faster-RCNN网络,得到每一帧图像中车辆和车道的检测结果;
2、得到上一步的检测结果后,考虑到不同大小车辆在摄像头可视区域内占比不同,并且存在摄像头视角差异、车辆相互遮挡等因素,如果直接采用车辆数来判别道路拥堵状态会造成较大的误差,并且算法的泛化性能很差。因此,本发明用车道空间占有率S对道路通行状态进行判断,计算如下:
其中,si为步骤2中计算的第i车道的空间占有率,t为时间序列t={t|t=1,2,3,…|,T},i表示当前监控摄像头画面第i车道,dt表示时间间隔。最终得到本发明中模型输入的交通参数特征向量为其中,k为交通参数特征向量在数据集中的位置。
4、经过数据预处理后获得交通特征向量
同时隐含了车道占有率的时序信息和空间信息,为了同时捕获向量集中的时空信息,本发明设计了高效且新颖的时空多头注意力机制。在理论上期望编码器能够有效学习到连续时间内不同车道内部潜在的状态变化,例如若发生拥堵或是堵塞,车辆会出现减速、变道等情况导致的车道拥堵。在学习到预测状态变化的能力后,通过大量的训练,在此基础上记忆和理解车辆运动状态,并分析车道内车辆状态,并进行预测。首先将交通特征向量集按照时间-车道信息进行划分,同一时序t中的特征向量划分为同一行,同一车道i的特征向量划分为同一列。假设经过划分后获得特征张量Y∈RH×W×D,其中H是输入时序信息的长度,W为某一公路的车道数,D为特征向量的维度。对于输入的的特征张量Y∈RH×W×D,先被划分为空间信息特征Zs∈RH×W×D和时间信息特征ZT∈RH ×W×D,然后分别转换为和然后分别根据多头注意力机制MHSA获得空间关联特征和时间关联特征和最终输出
其中,为三个全连接层以帮助模型获得查询、键、值三个特征,Concat(A,B)表示将A和B按照通道进行合并,MHSA(·)为一般的多头注意力。多头注意力机制把h个不同的自注意力模块集成,可以在参数总量不变的情况下将(Q,K,V)映射到高维空间的不同子空间进行Self-Attention(SA)计算,有效防止过拟合。同时,由于Attention分布在不同子空间,可以获得h组权重矩阵然后采用Concat将不同的Attention结果按通道拼接在一起:
MHSA(Q,K,V)=Concat(Attention1,Attention2,...,Attentionh)
其中,计算输入的特征向量的目标向量Q(qusery)∈RL×D和键值K∈RL×D的相似度,通过激活函数Softmax进行归一化处理,最后点乘V∈RL×D进行加权求和,实现对输入样本的关注度分配。具体实现如下:
其中,dK=D,为目标向量的维度。
5、编码过程。为了防止梯度消失并加快收敛,在多头注意力层(MHSA)的输出进入前馈神经网络和编码器输出进入解码器前包含一个基于残差链接算法的求和归一化处理的子层,残差链接算法可以有效解决网络退化问题并且增强对样本中细微变化的注意力分配,每个子层(SubLayer)的输出:
其中,LN表示归一化处理:
其中,L表示网络层数,μL表示输入XL的均值,σL表示XL的方差,ε表示一个很小的小数防止除数为0,β表示偏移量:
其中,M表示一层中的隐藏节点的数量。
经过多头注意力层以及求和归一化处理后样本进入全链接的前馈神经网络FFN,前馈神经网络由两个全连接层和一个ReLU激励函数
φ(x)组成:
通过上式的激励函数可以得到前馈神经网络的输出FFN(M)为:
FFN(M)=max(0r,MW1+b1)W2+b2
其中,M为多头注意力层的输出(MHSA),W1和W2为权重矩阵,b1和b2为偏置。
7、卡尔曼滤波修正过程:卡尔曼滤波是一种线性最优滤波算法,可以从一组测量值中获得所需的信息,过滤数值中的噪声和偏差等问题。模型状态方程与***测量方程分别为:
φ(t)=Aφ(t-1)+W(t-1)
Z(t)=HX(t)+V(t)
其中,φ(t)为t时刻状态值,Z(t)为t时刻测量值,A为状态转移矩阵,H为测量矩阵,W(t)和V(t)为过程噪声和测量噪声,且均为相互独立均值为0的高斯白噪声。
根据状态转移矩阵A和过程激励噪声协方差矩阵Q,可以得到t时刻车道空间占有率状态估计协方差P:
P(t|t-1)=AP(t-1|t-1)AT+Q
根据测量矩阵H、测量噪声协方差矩阵R和P(t|t-1)计算增益Kg:
所述步骤2中:输入数据的时序信息一定程度决定了模型预测的鲁棒性,Transformer没有使用LSTM结构,而是直接关联全局特征的亲密度关系,这就需要额外设计一种标记方式为每一项输入编码时序信息。在本文方法中,位置编码器通过使用不同频率的正弦和余弦函数编码每一项输入数据:
所述的步骤(4)中:定义为交通参数特征向量时间序列数据集。其中k为数据集中特征向量数据集中的位置,t={t|t=1,2,3,...,T)为时间序列。令:为训练数据集,为验证数据集。模型训练过程通过相似度匹配结果对特征权重进行分配和调整并更新模型参数,再经过卡尔曼滤波器动态修正拥堵状态预测结果,直到训练结束。
拥堵状态预测过程,根据t时刻的第i车道的道路交通参数特征向量集构建查询向量以及(t-1)时刻的第i车道的道路交通参数特征向量构建键值对经过训练好的权重文件计算,并通过卡尔曼滤波器增益修正,输出道路拥堵状态结果为由于高速公路道路通行状态体现的是基于时序的变化趋势,即在非拥堵和拥堵状态间的转变过程,但当道路高密度拥堵时即车道空间占有率超过检测阈值时,道路拥堵状态无法通过车道空间占有率的线性变化进行描述,需通过车辆行驶速度进行辅助判断;因此对于t时刻车道i的拥堵状态定义如下:
其中,ConT为拥堵状态判定阈值。
本发明具有以下技术效果:本发明在基于交通大数据丰富的基础上,对其进行综合有效的利用和分析,联合时空多头注意力机制与卡尔曼滤波进行高速公路交通拥堵状况进行预测,使得高速公路管理者能够实时掌握交通运行状态及发展态势,预知交通拥堵发生的时间、地点,从而做好交通诱导、交通流管控等措施,预防拥堵的发生,保证了高速公路日常平稳、高效地运行。
附图说明
下面结合附图和具体实施方式来详细说明本发明;
图1为本发明的整体框架图;
图2为本发明的时空多头注意力逻辑框图;
图3为本发明的步骤流程图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
参照图1-3,本具体实施方式采用以下技术方案:一种基于时空多头注意力机制的高速公路拥堵预测方法包括以下步骤:
1、获取采集的视频文件,将其转换成序列图像,并按照时间顺序将帧图像输入轻量级的Faster-RCNN网络,得到每一帧图像中车辆和车道的检测结果。用于分析的交通数据来源于杭州绕城高速公路的32个监控摄像机,每个摄像机检测区域不超过250m。同时,由于日常23:00-5:30时间段内,绕城高速公路多用于进行路面清扫和养护维修等工作,道路通行的随机性较大不利于进行预测,因此去除该时间段的相关数据。经过预处理从3000小时的监控视频中筛选出24000条时间序列数据制作本次实验数据集(命名JT001);其中16000条用于历史交通数据进行模型训练,4000条用于对训练好的模型进行验证,剩余4000条作为测试数据用于与预测值进行比较分析。
2、得到上一步的检测结果后,考虑到不同大小车辆在摄像头可视区域内占比不同,并且存在摄像头视角差异、车辆相互遮挡等因素,如果直接采用车辆数来判别道路拥堵状态会造成较大的误差,并且算法的泛化性能很差。因此,本发明用车道空间占有率S对道路通行状态进行判断,计算如下:
其中,si为步骤2中计算的第i车道的空间占有率,t为时间序列t={t|t=1,2,3,…,T},i表示当前监控摄像头画面第i车道,dt表示时间间隔。最终得到本发明中模型输入的交通参数特征向量为其中,k为交通参数特征向量在数据集中的位置。
4、如图2所示,经过数据预处理后获得交通特征向量
同时隐含了车道占有率的时序信息和空间信息,为了同时捕获向量集中的时空信息,本发明设计了高效且新颖的时空多头注意力机制。在理论上期望编码器能够有效学习到连续时间内不同车道内部潜在的状态变化,例如若发生拥堵或是堵塞,车辆会出现减速、变道等情况导致的车道拥堵。在学习到预测状态变化的能力后,通过大量的训练,在此基础上记忆和理解车辆运动状态,并分析车道内车辆状态,并进行预测。首先将交通特征向量集按照时间-车道信息进行划分,同一时序t中的特征向量划分为同一行,同一车道i的特征向量划分为同一列。假设经过划分后获得特征张量Y∈RH×W×D,其中H是输入时序信息的长度,W为某一公路的车道数,D为特征向量的维度。对于输入的的特征张量Y∈RH×W×D,先被划分为空间信息特征Zs∈RH×W×D和时间信息特征ZT∈RH ×W×D,然后分别转换为和然后分别根据多头注意力机制MHSA获得空间关联特征和时间关联特征和最终输出
其中,为三个全连接层以帮助模型获得查询、键、值三个特征,Concat(A,B)表示将A和B按照通道进行合并,MHSA(·)为一般的多头注意力。多头注意力机制把h个(编解码器个数N=6,时空多头注意力机制中自注意力个数h=8,隐藏节点数量M=512,batchsize为500;梯度因子dmodel为64。)不同的自注意力模块集成,可以在参数总量不变的情况下将(Q,K,V)映射到高维空间的不同子空间进行Self-Attention(SA)计算,有效防止过拟合。同时,由于Attention分布在不同子空间,可以获得h组权重矩阵然后采用Concat将不同的Attention结果按通道拼接在一起:
MHSA(Q,K,V)=Concat(Attention1,Attention2,...,A (7)其中,计算输入的特征向量的目标向量Q(qusery)∈RL×D和键值K∈RL×D的相似度,通过激活函数Softmax进行归一化处理,最后点乘V∈RL×D进行加权求和,实现对输入样本的关注度分配。具体实现如下:
其中,dK=D,为目标向量的维度。
本发明使用Adam为模型训练优化器,其中β1=0.9,β2=0.98,∈=1e-9,设置学习率(LR)如下:
其中,warmupsteps=4000。
5、编码过程。为了防止梯度消失并加快收敛,在多头注意力层(MHSA)的输出进入前馈神经网络和编码器输出进入解码器前包含一个基于残差链接算法的求和归一化处理的子层,残差链接算法可以有效解决网络退化问题并且增强对样本中细微变化的注意力分配[28][29],每个子层(SubLayer)的输出:
其中,LN表示归一化处理:
其中,L表示网络层数,μL表示输入XL的均值,σL表示XL的方差,ε表示一个很小的小数防止除数为0,β表示偏移量:
其中,M表示一层中的隐藏节点的数量。
经过多头注意力层以及求和归一化处理后样本进入全链接的前馈神经网络FFN,前馈神经网络由两个全连接层和一个ReLU激励函数φ(x)组成:
通过上式的激励函数可以得到前馈神经网络的输出FFN(M)为:
FFN(M)=max(0,MW1+b1)W2+b2
其中,M为多头注意力层的输出(MHSA),W1和W2为权重矩阵,b1和b2为偏置。
7、卡尔曼滤波修正过程。卡尔曼滤波器参数设置:测量噪声协方差矩阵R=[10,0;0,10],过程激励噪声协方差矩阵Q=[10,0,0,0;0,10,0,0;0,0,10,0;0,0,0,10]。卡尔曼滤波是一种线性最优滤波算法,可以从一组测量值中获得所需的信息,过滤数值中的噪声和偏差等问题。模型状态方程与***测量方程分别为:
φ(t)=Aφ(t-1)+W(t-1)
Z(t)=HX(t)+V(t)
其中,φ(t)为t时刻状态值,Z(t)为t时刻测量值,A为状态转移矩阵,H为测量矩阵,W(t)和V(t)为过程噪声和测量噪声,且均为相互独立均值为0的高斯白噪声。
根据状态转移矩阵A和过程激励噪声协方差矩阵Q,可以得到t时刻车道空间占有率状态估计协方差P:
P(t|t-1)=AP(t-1|t-1)AT+Q
根据测量矩阵H、测量噪声协方差矩阵R和P(t|t-1)计算增益Kg:
在***运行阶段,通过训练好的***模型对高速摄像头对采集的图像进行计算输出当前高速公路路段交通拥堵参数,进而实现高速公路智能拥堵预测。
本具体实施方式借鉴transformer中的多头注意力机制将图像中各点特征交互的思想,提出了一种基于时空多头注意力机制的交通状态预测算法。首先,针对特征信息编码问题,采用正弦余弦编码方式将批量的公路历史拥堵信息(连续时间的车道空间占有率)编码为时序信息和空间信息用于网络的训练;其次,针对同时对空间信息(不同车道的占有率)和时间信息(不同时间的拥堵情况)进行建模的问题,设计了高效的时空注意力机制来提升算法对道路拥堵持续变化过程的识别和理解能力,且多头注意力机制能实现高效的信息并行处理,以提高算法运行效率;然后,利用卡尔曼滤波器对交通拥堵状态测量值和算法模型检测值进行动态比较修正,避免模型在突发情况下的误判,以获得最佳估计值,降低交通参数动态变化对预测效果的干扰。本发明的优点在于利用时空多头注意力机制可以有效的融合当前和历史帧的信息,结合卡尔曼滤波进行修正,提高交通拥堵预测的准确率的同时提高了算法的运行效率。此外,本发明适用于隧道、立交、互通等复杂场景且计算帧率达到20FPS。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (3)
1.一种基于时空多头注意力机制的高速公路拥堵预测方法,其特征在于,包括以下步骤:
(1)、获取采集的视频文件,将其转换成序列图像,并按照时间顺序将帧图像输入轻量级的Faster-RCNN网络,得到每一帧图像中车辆和车道的检测结果;
(2)、得到上一步的检测结果后,考虑到不同大小车辆在摄像头可视区域内占比不同,并且存在摄像头视角差异、车辆相互遮挡等因素,如果直接采用车辆数来判别道路拥堵状态会造成较大的误差,并且算法的泛化性能很差;因此,本发明用车道空间占有率S对道路通行状态进行判断,计算如下:
其中,Si为步骤(2)中计算的第i车道的空间占有率,t为时间序列t={t|t=1,2,3,…|,T},i表示当前监控摄像头画面第i车道,dt表示时间间隔;最终得到本发明中模型输入的交通参数特征向量为其中,k为交通参数特征向量在数据集中的位置;
(4)、经过数据预处理后获得交通特征向量同时隐含了车道占有率的时序信息和空间信息,为了同时捕获向量集中的时空信息,本发明设计了高效且新颖的时空多头注意力机制;在理论上期望编码器能够有效学习到连续时间内不同车道内部潜在的状态变化,例如若发生拥堵或是堵塞,车辆会出现减速、变道等情况导致的车道拥堵;在学习到预测状态变化的能力后,通过大量的训练,在此基础上记忆和理解车辆运动状态,并分析车道内车辆状态,并进行预测;首先将交通特征向量集按照时间-车道信息进行划分,同一时序t中的特征向量划分为同一行,同一车道i的特征向量划分为同一列;假设经过划分后获得特征张量Y∈RH×W×D,其中H是输入时序信息的长度,W为某一公路的车道数,D为特征向量的维度;对于输入的的特征张量Y∈RH×W×D,先被划分为空间信息特征Zs∈RH×W×D和时间信息特征ZT∈RH×W×D,然后分别转换为和ZT∈RH×(W*D);然后分别根据多头注意力机制MHSA获得空间关联特征和时间关联特征和最终输出
其中,为三个全连接层以帮助模型获得查询、键、值三个特征,Concat(A,B)表示将A和B按照通道进行合并,MHSA(·)为一般的多头注意力;多头注意力机制把h个不同的自注意力模块集成,可以在参数总量不变的情况下将(Q,K,V)映射到高维空间的不同子空间进行Self-Attention(SA)计算,有效防止过拟合;同时,由于Attention分布在不同子空间,可以获得h组权重矩阵然后采用Concat将不同的Attention结果按通道拼接在一起:
MHSA(Q,K,V)=Concat(Attention1,Attention2,...,Attentionh)
其中,计算输入的特征向量的目标向量Q(qusery)∈RL×D和键值K∈RL×D的相似度,通过激活函数Softmax进行归一化处理,最后点乘V∈RL×D进行加权求和,实现对输入样本的关注度分配;具体实现如下:
其中,dK=D,为目标向量的维度;
(5)、编码过程;为了防止梯度消失并加快收敛,在多头注意力层(MHSA)的输出进入前馈神经网络和编码器输出进入解码器前包含一个基于残差链接算法的求和归一化处理的子层,残差链接算法可以有效解决网络退化问题并且增强对样本中细微变化的注意力分配,每个子层(SubLayer)的输出:
其中,LN表示归一化处理:
其中,L表示网络层数,μL表示输入XL的均值,σL表示XL的方差,ε表示一个很小的小数防止除数为0,β表示偏移量:
其中,M表示一层中的隐藏节点的数量;
经过多头注意力层以及求和归一化处理后样本进入全链接的前馈神经网络FFN,前馈神经网络由两个全连接层和一个ReLU激励函数φ(x)组成:
通过上式的激励函数可以得到前馈神经网络的输出FFN(M)为:
FFN(M)=max(0,MW1+b1)W2+b2
其中,M为多头注意力层的输出(MHSA),W1和W2为权重矩阵,b1和b2为偏置;
(6)、解码过程;解码器包含两个时空多头注意力层,第一个时空多头注意力层将初始的特征编码全局信息后输出基于的目标向量集结合根据编码器处理后得到的键值向量集经过第二个时空多头注意力层以及求和与归一化计算后,输出到前馈神经网络然后经过Softmax函数进行标准化处理,产生解码器的输出结果;
(7)、卡尔曼滤波修正过程:卡尔曼滤波是一种线性最优滤波算法,可以从一组测量值中获得所需的信息,过滤数值中的噪声和偏差等问题;模型状态方程与***测量方程分别为:
φ(t)=Aφ(t-1)+W(t-1)
Z(t)=HX(t)+V(t)
其中,φ(t)为t时刻状态值,Z(t)为t时刻测量值,A为状态转移矩阵,H为测量矩阵,W(t)和V(t)为过程噪声和测量噪声,且均为相互独立均值为0的高斯白噪声;
根据状态转移矩阵A和过程激励噪声协方差矩阵Q,可以得到t时刻车道空间占有率状态估计协方差P:
P(t|t-1)=AP(t-1|t-1)AT+Q
根据测量矩阵H、测量噪声协方差矩阵R和P(t|t-1)计算增益Kg:
3.根据权利要求1所述的一种基于时空多头注意力机制的高速公路拥堵预测方法,其特征在于,所述步骤4中:定义
t={t|t=1,2,3,...,T}为时间序列;令:为训练数据集,为验证数据集;模型训练过程通过相似度匹配结果对特征权重进行分配和调整并更新模型参数,再经过卡尔曼滤波器动态修正拥堵状态预测结果,直到训练结束;
拥堵状态预测过程,根据t时刻的第i车道的道路交通参数特征向量集构建查询向量以及(t-1)时刻的第i车道的道路交通参数特征向量构建键值对经过训练好的权重文件计算,并通过卡尔曼滤波器增益修正,输出道路拥堵状态结果为由于高速公路道路通行状态体现的是基于时序的变化趋势,即在非拥堵和拥堵状态间的转变过程,但当道路高密度拥堵时即车道空间占有率超过检测阈值时,道路拥堵状态无法通过车道空间占有率的线性变化进行描述,需通过车辆行驶速度进行辅助判断;因此对于t时刻车道i的拥堵状态定义如下:
其中,ConT为拥堵状态判定阈值;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210510848.3A CN115050177B (zh) | 2022-05-11 | 2022-05-11 | 一种基于时空多头注意力机制的高速公路拥堵预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210510848.3A CN115050177B (zh) | 2022-05-11 | 2022-05-11 | 一种基于时空多头注意力机制的高速公路拥堵预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115050177A true CN115050177A (zh) | 2022-09-13 |
CN115050177B CN115050177B (zh) | 2023-04-25 |
Family
ID=83157181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210510848.3A Active CN115050177B (zh) | 2022-05-11 | 2022-05-11 | 一种基于时空多头注意力机制的高速公路拥堵预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115050177B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115834310A (zh) * | 2023-02-15 | 2023-03-21 | 四川轻化工大学 | 一种基于LGTransformer的通信信号调制识别方法 |
CN116129651A (zh) * | 2023-03-13 | 2023-05-16 | 东南大学 | 一种基于居民出行行为选择的交通容量计算方法 |
CN116246492A (zh) * | 2023-03-16 | 2023-06-09 | 东南大学 | 一种基于时空注意力lstm和超阈值模型的车辆换道碰撞风险预测方法 |
CN116597657A (zh) * | 2023-07-17 | 2023-08-15 | 四川省商投信息技术有限责任公司 | 基于人工智能的城市交通预测方法、设备及介质 |
CN116740946A (zh) * | 2023-08-14 | 2023-09-12 | 山东华夏高科信息股份有限公司 | 一种公路车流量大数据分析处理方法 |
CN116824868A (zh) * | 2023-08-30 | 2023-09-29 | 国交空间信息技术(北京)有限公司 | 车辆非法停驻点识别及拥堵预测方法、装置、设备及介质 |
CN117710755A (zh) * | 2024-02-04 | 2024-03-15 | 江苏未来网络集团有限公司 | 一种基于深度学习的车辆属性识别***及方法 |
CN117831287A (zh) * | 2023-12-29 | 2024-04-05 | 北京大唐高鸿数据网络技术有限公司 | 高速公路拥堵指数的确定方法、装置、设备和存储介质 |
CN117922576A (zh) * | 2024-03-22 | 2024-04-26 | 山东科技大学 | 一种基于数据和知识双驱动的自动驾驶车辆换道决策方法 |
CN118135802A (zh) * | 2024-05-10 | 2024-06-04 | 四川高路文化旅游发展有限责任公司 | 一种基于深度学习网络的桥梁道路管控***及方法 |
CN118230554A (zh) * | 2024-05-23 | 2024-06-21 | 无锡学院 | 基于物联网与边缘计算的车载实时道路信息采集*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020040411A1 (ko) * | 2018-08-21 | 2020-02-27 | 한국과학기술정보연구원 | 교통상태정보를 예측하는 장치, 교통상태정보를 예측하는 방법 및 교통상태정보를 예측하는 프로그램을 저장하는 저장매체 |
US20210209939A1 (en) * | 2020-12-08 | 2021-07-08 | Harbin Engineering University | Large-scale real-time traffic flow prediction method based on fuzzy logic and deep LSTM |
CN113449905A (zh) * | 2021-05-21 | 2021-09-28 | 浙江工业大学 | 一种基于门控循环单元神经网络的交通拥堵预警方法 |
-
2022
- 2022-05-11 CN CN202210510848.3A patent/CN115050177B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020040411A1 (ko) * | 2018-08-21 | 2020-02-27 | 한국과학기술정보연구원 | 교통상태정보를 예측하는 장치, 교통상태정보를 예측하는 방법 및 교통상태정보를 예측하는 프로그램을 저장하는 저장매체 |
US20210209939A1 (en) * | 2020-12-08 | 2021-07-08 | Harbin Engineering University | Large-scale real-time traffic flow prediction method based on fuzzy logic and deep LSTM |
CN113449905A (zh) * | 2021-05-21 | 2021-09-28 | 浙江工业大学 | 一种基于门控循环单元神经网络的交通拥堵预警方法 |
Non-Patent Citations (2)
Title |
---|
沈小军等: "基于LVQ神经网络的交通拥堵预测研究", 《交通运输工程与信息学报》 * |
邢珊珊等: "基于速度的城市快速路交通拥堵预测研究", 《交通信息与安全》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115834310A (zh) * | 2023-02-15 | 2023-03-21 | 四川轻化工大学 | 一种基于LGTransformer的通信信号调制识别方法 |
CN116129651A (zh) * | 2023-03-13 | 2023-05-16 | 东南大学 | 一种基于居民出行行为选择的交通容量计算方法 |
CN116129651B (zh) * | 2023-03-13 | 2023-11-24 | 东南大学 | 一种基于居民出行行为选择的交通容量计算方法 |
CN116246492A (zh) * | 2023-03-16 | 2023-06-09 | 东南大学 | 一种基于时空注意力lstm和超阈值模型的车辆换道碰撞风险预测方法 |
CN116246492B (zh) * | 2023-03-16 | 2024-01-16 | 东南大学 | 一种基于时空注意力lstm和超阈值模型的车辆换道碰撞风险预测方法 |
CN116597657A (zh) * | 2023-07-17 | 2023-08-15 | 四川省商投信息技术有限责任公司 | 基于人工智能的城市交通预测方法、设备及介质 |
CN116740946A (zh) * | 2023-08-14 | 2023-09-12 | 山东华夏高科信息股份有限公司 | 一种公路车流量大数据分析处理方法 |
CN116740946B (zh) * | 2023-08-14 | 2023-11-03 | 山东华夏高科信息股份有限公司 | 一种公路车流量大数据分析处理方法 |
CN116824868B (zh) * | 2023-08-30 | 2023-11-24 | 国交空间信息技术(北京)有限公司 | 车辆非法停驻点识别及拥堵预测方法、装置、设备及介质 |
CN116824868A (zh) * | 2023-08-30 | 2023-09-29 | 国交空间信息技术(北京)有限公司 | 车辆非法停驻点识别及拥堵预测方法、装置、设备及介质 |
CN117831287A (zh) * | 2023-12-29 | 2024-04-05 | 北京大唐高鸿数据网络技术有限公司 | 高速公路拥堵指数的确定方法、装置、设备和存储介质 |
CN117831287B (zh) * | 2023-12-29 | 2024-05-31 | 北京大唐高鸿数据网络技术有限公司 | 高速公路拥堵指数的确定方法、装置、设备和存储介质 |
CN117710755A (zh) * | 2024-02-04 | 2024-03-15 | 江苏未来网络集团有限公司 | 一种基于深度学习的车辆属性识别***及方法 |
CN117710755B (zh) * | 2024-02-04 | 2024-05-03 | 江苏未来网络集团有限公司 | 一种基于深度学习的车辆属性识别***及方法 |
CN117922576A (zh) * | 2024-03-22 | 2024-04-26 | 山东科技大学 | 一种基于数据和知识双驱动的自动驾驶车辆换道决策方法 |
CN117922576B (zh) * | 2024-03-22 | 2024-05-17 | 山东科技大学 | 一种基于数据和知识双驱动的自动驾驶车辆换道决策方法 |
CN118135802A (zh) * | 2024-05-10 | 2024-06-04 | 四川高路文化旅游发展有限责任公司 | 一种基于深度学习网络的桥梁道路管控***及方法 |
CN118230554A (zh) * | 2024-05-23 | 2024-06-21 | 无锡学院 | 基于物联网与边缘计算的车载实时道路信息采集*** |
Also Published As
Publication number | Publication date |
---|---|
CN115050177B (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115050177B (zh) | 一种基于时空多头注意力机制的高速公路拥堵预测方法 | |
CN109697852B (zh) | 基于时序交通事件的城市道路拥堵程度预测方法 | |
Wu et al. | A combined deep learning method with attention‐based LSTM model for short‐term traffic speed forecasting | |
Yin et al. | Urban traffic flow prediction using a fuzzy-neural approach | |
CN113487061A (zh) | 一种基于图卷积-Informer模型的长时序交通流量预测方法 | |
Yan et al. | Spatial-temporal chebyshev graph neural network for traffic flow prediction in iot-based its | |
CN113159364A (zh) | 一种大型交通场站的客流预测方法及*** | |
Han et al. | Short-term traffic prediction based on deepcluster in large-scale road networks | |
CN111126658A (zh) | 一种基于深度学习的煤矿瓦斯预测方法 | |
CN112270355A (zh) | 基于大数据技术与sae-gru的主动安全预测方法 | |
Liu et al. | Fedgru: Privacy-preserving traffic flow prediction via federated learning | |
CN113051811B (zh) | 一种基于gru网络的多模式短期交通拥堵预测方法 | |
Yang et al. | Truck parking pattern aggregation and availability prediction by deep learning | |
CN114913447B (zh) | 基于场景识别的警务智慧指挥室***及方法 | |
Shen et al. | An attention-based digraph convolution network enabled framework for congestion recognition in three-dimensional road networks | |
CN112927507B (zh) | 一种基于LSTM-Attention的交通流量预测方法 | |
CN117456730A (zh) | 一种基于自适应部分注意力扩散图卷积神经网络的交通流量预测方法 | |
CN116167625B (zh) | 一种基于深度学习的踩踏风险评估方法 | |
CN116386020A (zh) | 多源数据融合的高速公路收费站出口流量预测方法及*** | |
CN115565388A (zh) | 基于多通道车辆检测与立体特征标注的交通灯控制方法 | |
Zhu et al. | Research on spatio-temporal network prediction model of parallel–series traffic flow based on Transformer and GCAT | |
Chen et al. | Multitime Resolution Hierarchical Attention‐Based Recurrent Highway Networks for Taxi Demand Prediction | |
Das et al. | A Comparative Analysis on Traffic Flow Prediction | |
Rasaizadi et al. | The ensemble learning process for short-term prediction of traffic state on rural roads | |
Sun et al. | A Graph Convolution Network with Temporal Convolution for Long-term Traffic Flow Forecasting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |