CN117218157A - 一种基于空地协同的目标跟踪方法及*** - Google Patents
一种基于空地协同的目标跟踪方法及*** Download PDFInfo
- Publication number
- CN117218157A CN117218157A CN202311184693.XA CN202311184693A CN117218157A CN 117218157 A CN117218157 A CN 117218157A CN 202311184693 A CN202311184693 A CN 202311184693A CN 117218157 A CN117218157 A CN 117218157A
- Authority
- CN
- China
- Prior art keywords
- time sequence
- target
- detection result
- ground
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 194
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000010586 diagram Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002195 synergetic effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 16
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012937 correction Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000008447 perception Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000006855 networking Effects 0.000 description 8
- 230000003068 static effect Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 241000725585 Chicken anemia virus Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000009133 cooperative interaction Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于空地协同的目标跟踪方法及***，涉及智能空地协同***和人工智能/深度学习交叉领域，方法包括：空地端分别拍摄目标区域的图像数据；天空端采用跨时序特征提取网络对相邻时序的本地图像数据进行相似特征提取，利用自适应时序融合编解码模块进行修正，进而预测目标检测结果；地面端采用自适应锚检测模块预测目标检测结果；天空端和地面端分别将异地目标检测结果和本地目标检测结果进行融合。本发明在空地端交互时，采用的是目标检测结果；天空端进行目标检测时，采用神经网络提取跨时序相似特征图，又采用自适应时序融合编解码模块进行修正；既解决了天空端本地计算资源和通信带宽受限的问题，又提高了目标检测结果的质量。
Description
技术领域
本发明涉及智能空地协同***和人工智能/深度学习交叉领域，尤其涉及一种基于空地协同的目标跟踪方法及***。
背景技术
随着智能交通***架构不断拓展和迭代，协同式智能交通技术逐渐成为领域的前沿发展方向。地面协同平台按照“人-车-路-云”的总体架构，依托专用短程通信(DedicatedShort Range Communications,DSRC)或蜂窝车联网(Cellular Vehicle-to-Everything，C-V2X)通信技术，形成交通各要素子***如车-车(Vehicle-to-Vehicle,V2V)***、车-路(Vehicle-to-Infrastructure,V2I)***，各个子模块间能够共享多视角环境信息，进行长距离、大范围的数据交互，从而自动驾驶网联车辆能够基于数据驱动在环境感知、预测规划、决策控制等环节进行迭代优化，助力传统车企和自动驾驶解决方案供应商进行信息化探索和产业化落地。但是单一地面交通组网依然存在诸如机动性差，视野有限的问题，难以充分及时地调度空余资源以适应复杂多变的道路环境。
空地协同网联***建立在单一地面智能***的基础上，联合空天一体化通信、车路协同、车辆网等技术实现智能网联自动驾驶车辆同智能网联无人机集群间的感知交互，而环境立体态势感知可以进一步结合立体视角、广视域时序多目标轨迹，克服平面视野盲区、运动模糊感知失准、超远视距目标丢失等问题，提升应对复杂地形场景的感知鲁棒性和立体大范围的识别准确性。现有的空地协同异构时序数据融合感知方法包括传感器元数据共享协同方法：传感器元数据共享协同，将邻域协同单元(网联车辆和无人机集群)视感知图像双向传输，并在本地直接融合；然而，考虑到无人机群由于保证高机动，因此计算资源紧张，而传感数据又需要占用高额的通信带宽，这些因素导致在实际落地部署时是很困难的。如何在有限的本地计算资源和通信链路条件下，设计合理的空地异构时序数据协同及融合感知方案，提高检测框的质量，有效地利用跨视域时序多目标信息，解决单一地面协同平台在平面视野盲区、运动模糊感知失准、超远视距目标丢失等挑战，是当下空地协同网联***亟待解决的主要问题。
发明内容
本发明的目的是提供一种基于空地协同的目标跟踪方法及***。
为实现上述目的，本发明提供了如下方案：
一种基于空地协同的目标跟踪方法，所述方法包括：
天空端拍摄目标区域的图像数据，得到天空端图像数据；
地面端拍摄目标区域的图像数据，得到地面端图像数据；
天空端采用跨时序特征提取网络对相邻时序的所述天空端图像数据进行相似特征提取，得到跨时序相似特征图，利用自适应时序融合编解码模块修正所述跨时序相似特征图，预测修正后的跨时序相似特征图中的目标检测结果，并将所述目标检测结果传输到地面端；
地面端采用自适应锚检测模块预测所述地面端图像数据中的目标检测结果，并将所述目标检测结果传输到天空端；
天空端和地面端分别将异地目标检测结果和本地目标检测结果进行融合，得到协同融合检测结果；所述异地目标检测结果为接收到的目标检测结果。
可选的，所述天空端和地面端用于目标检测结果融合的异地目标检测结果为经坐标转换后的检测结果。
可选的，所述采用跨时序特征提取网络对相邻时序的所述天空端图像数据进行相似特征提取，具体包括：
采用经过预训练的残差卷积神经网络分别提取相邻时序的所述天空端图像数据的高层语义特征；
采用全局平均池化操作分别提取所述高层语义特征的描述子；
将前一时序的描述子作为时序学习模版，将前后时序的高层语义特征和描述子输入时序自适应校准卷积网络，得到当前时序的所述跨时序相似特征图。
可选的，所述利用自适应时序融合编解码模块修正所述跨时序相似特征图，具体包括：
采用跨时序编码器将前一时序的编码先验信息编码到当前时序的跨时序相似特征图中，得到当前时序的编码先验信息；
采用跨时序解码器将当前时序的编码先验信息进行解码，得到修正后的当前时序的跨时序相似特征图。
可选的，所述采用跨时序编码器将前一时序的编码先验信息编码到当前时序的跨时序相似特征图中，具体包括：
利用多头自注意力层聚合前一时序的编码先验信息和当前时序的跨时序相似特征图，得到中间时序特征；
利用时序上下文残差滤波算子和多头自注意力层对所述中间时序特征进行整合，得到所述当前时序的编码先验信息。
可选的，所述采用跨时序解码器将当前时序的编码先验信息进行解码，得到修正后的当前时序的跨时序相似特征图，具体包括：
利用多头自注意力层解码所述当前时序的编码先验信息，得到修正后的当前时序的跨时序相似特征图。
可选的，所述采用自适应锚检测模块预测所述地面端图像数据中的目标检测结果，具体包括：
采用图像池化特征提取分支提取所述地面端图像数据的多尺度图形特征，并融合所述多尺度图形特征，得到深层语义特征；
采用路径特征聚合模块对所述多尺度图形特征和所述深层语义特征进行聚合，得到聚合后的特征图；
基于聚合后的特征图，确定目标检测结果。
可选的，所述将异地目标检测结果和本地目标检测结果进行融合，具体包括：
基于交并比，确定本地目标检测框和异地目标检测框的时空关联度；
基于时空关联度，确定协同融合检测结果。
可选的，在得到协同融合检测结果之后，还包括：
将协同融合检测结果分为高置信度组和低置信度组；
对前后时序的协同融合检测结果中的目标身份进行匹配；
将身份匹配失败的低置信度组的协同融合检测结果作为背景噪声滤除；
将身份匹配失败的高置信度组的协同融合检测结果作为新出现的目标进行保存。
本发明还提供了一种基于空地协同的目标跟踪***，包括天空端和地面段；
天空端，用于拍摄目标区域的图像数据，得到天空端图像数据；采用跨时序特征提取网络对相邻时序的所述天空端图像数据进行相似特征提取，得到跨时序相似特征图，利用自适应时序融合编解码模块修正所述跨时序相似特征图，预测修正后的跨时序相似特征图中的目标检测结果，并将所述目标检测结果传输到地面端；将异地目标检测结果和本地目标检测结果进行融合，得到协同融合检测结果；所述异地目标检测结果为接收到的目标检测结果；
地面端，用于拍摄目标区域的图像数据，得到地面端图像数据；采用自适应锚检测模块预测所述地面端图像数据中的目标检测结果，并将所述目标检测结果传输到天空端；将异地目标检测结果和本地目标检测结果进行融合，得到协同融合检测结果。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于空地协同的目标跟踪方法及***，方法包括：天空端拍摄目标区域的图像数据，得到天空端图像数据；地面端拍摄目标区域的图像数据，得到地面端图像数据；天空端采用跨时序特征提取网络对相邻时序的所述天空端图像数据进行相似特征提取，得到跨时序相似特征图，利用自适应时序融合编解码模块修正所述跨时序相似特征图，预测修正后的跨时序相似特征图中的目标检测结果，并将所述目标检测结果传输到地面端；地面端采用自适应锚检测模块预测所述地面端图像数据中的目标检测结果，并将所述目标检测结果传输到天空端；天空端和地面端分别将异地目标检测结果和本地目标检测结果进行融合，得到协同融合检测结果。相较于现有技术受限于本地计算资源和通信链路，检测框的质量不高，目标识别不够精准的情况，本发明在天空端和地面端数据交互时，传输的是各端计算得到的目标检测结果，而非传感数据，从而节省了大量通信带宽资源；并且天空端采用神经网络提取跨时序相似特征图的方式进行目标检测，解决了天空端本地计算资源受限的问题；另外，在天空端进行目标检测时，采用了自适应时序融合编解码模块修正所述跨时序相似特征图，然后基于修正后的跨时序相似特征图来预测目标检测结果，提高了天空端目标检测结果的质量，进而也使得目标识别的精准度大为提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于空地协同的目标跟踪方法流程图；
图2为本发明实施例提供的另一基于空地协同的目标跟踪方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对于某一目标，车载端在跟踪时，由于地形复杂，障碍物遮挡目标，只能检测到目标的一部分，而不能识别出目标，这时，采用无人机空中配合，对同一空间区域进行拍摄，并检测目标，然后将两者的检测结果进行匹配，从而增加目标的识别精确度。
空地协同技术为新一代智能交通***协同交互范式，依托空天地一体化通信体系，由无人机集群构成的空中交通组网能够辅以鸟瞰视角覆盖地表盲区，***复杂地形中的动静态障碍物。空中协同平台可以充分利用无人机的高速机动性、全域视角性、侦查精确性和通信有效性来辅助地面智能网联自动驾驶车辆及时获取超视距、动态盲区范围内障碍物的位置、速度和方向，提前预判复杂地形(i.e.陡坡、山地)四周环境存在的紧急/异常/潜在风险情况，预留充裕的计算时间处理多视角环境信息，捕获精确的动态轨迹来帮助车身底盘控制车辆姿态完成避障的路径规划和姿态控制，实现车辆自适应巡航跟驰以及提前换道，避免因单一视角下运动模糊、视角盲区遮挡导致的灾难性碰撞事故。
环境立体态势感知是空地协同范式在智能交通感知领域的独有优势，通过安全可靠的低空通信链路，空中的无人机群与地面的智能网联自动驾驶车辆以及布设在路侧的智能设施结合能够覆盖三维立体空间领域的全域目标物，同时依托车载端与机载端的视觉传感器采集三维场景数据，能够充分调度各自计算单元协同分析动静态障碍物的类别、位置、运动状态等信息，辅助车辆控制底盘与机侧飞控***控制智能体姿态，从而更好地执行轨迹预测和路径规划等下游子任务。环境立体态势感知包括静态检测方法和动态跟踪方法对目标状态进行建模。(1)基于静态检测方法，以RGB图像为输入，学***台受限于传感器安装位置、感知范围、视角等因素影响，很难适应动/静态视野盲区、障碍物遮挡、传感器运动模糊、超远视距等复杂交通场景，为无人信息化在军事侦察和自动驾驶任务中大规模落地应用提出了巨大的挑战。
环境立体态势感知是空地协同范式重要的应用部分，立体精确的跨时序目标信息能够给地面协同***中自动驾驶车辆的轨迹规划和决策控制提供必要的支撑。一方面，能够识别立体的动静态障碍物、超远视距车辆、道路交通流状态等态势信息，辅助车辆进行风险规避和事故预警，同时完善车辆编队，巡航定位等功能。另一方面，当道路发生紧急事件或者异常事故时，能够及时调度地面交通资源，帮助车辆组网掌握潜在的不安全区域，同时提前完成轨迹重规划和航向控制。这些都是提升地面协同***安全性和高效性的前提和基础；然而，现有的自动驾驶感知方案均无法满足大规模落地场景的需求，空地协同感知技术仍处于进一步探索阶段。
本发明的目的是提供一种基于空地协同的目标跟踪方法及***。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1和图2，本发明提供一种基于空地协同的目标跟踪方法，方法包括：
天空端拍摄目标区域的图像数据，得到天空端图像数据；
地面端拍摄目标区域的图像数据，得到地面端图像数据；
天空端采用跨时序特征提取网络对相邻时序的所述天空端图像数据进行相似特征提取，得到跨时序相似特征图，利用自适应时序融合编解码模块修正所述跨时序相似特征图，预测修正后的跨时序相似特征图中的目标检测结果，并将所述目标检测结果传输到地面端；
地面端采用自适应锚检测模块预测所述地面端图像数据中的目标检测结果，并将所述目标检测结果传输到天空端；
天空端和地面端分别将异地目标检测结果和本地目标检测结果进行融合，得到协同融合检测结果；所述异地目标检测结果为接收到的目标检测结果。
参见图2，在一些实施例中，在所述天空端拍摄目标区域的图像数据，地面端拍摄目标区域的图像数据之前，还包括：
将邻近区域的UAVs和CAVs视为一个协同单元，其中车端记为v∈(1,…,Nv)，机侧视为a∈(1,…,Na)，其中，Nv和Na分别代表位于可通信范围内CAVs和UAVs的数量，利用无线自组网双端可以通过wifi模组进行数据传输。在2000m的可通信范围内(根据802.11无线通信标准)构建UAV-CAV的通信拓扑图，位于拓扑中的机侧与车端可以相互共享协同原始数据，包括自身位姿信息(pose)，传感器的外参矩阵(extrinsic)，智能体类型(ci∈(v,a)表示协同单元中的UAV或CAV)，以及跟踪区域位置信息，每个协同单元中的双端都会在ti时刻接收原始数据，并计算得到双端异构时序数据共享转矩阵该矩阵可以用于后续异构感知后融合模块的空间投影，实现双端的多目标时序检测数据的传输与共享。
参见图2，在一些实施例中，天空端预测所述天空端图像数据中的目标检测结果，具体还可以包括：
采用两阶段动态校准UAV跨时序特征并自适应编解码前后帧相似特征图。考虑到协同单元中双端的异构性，应当分别在各自的视角下完成时序目标的自适应检测后再进行空地交互融合。首先依据机侧视野相对广阔，与地面目标物相距远，极易受到空中条件的干扰的特性，设计多时序检测动态校准网络(Multi-temporal Dynamic CalibrationNetwork,MDCN)，融合前K帧的历史图像来初步建模得到前后帧时空相似度，然后利用自适应时序融合编解码模块，隐式学习时间先验知识来修正第一阶段的初始相似度图。
参见图2，在一些实施例中，所述采用跨时序特征提取网络对相邻时序的所述天空端图像数据进行相似特征提取，具体可以包括：
采用经过预训练的残差卷积神经网络分别提取相邻时序的所述天空端图像数据的高层语义特征；
采用全局平均池化操作分别提取所述高层语义特征的描述子；
将前一时序的描述子作为时序学习模版，将前后时序的高层语义特征和描述子输入时序自适应校准卷积网络，得到当前时序的所述跨时序相似特征图。
参见图2，在一些实施例中，所述采用跨时序特征提取网络对相邻时序的所述天空端图像数据进行相似特征提取，具体还可以包括：
跨时序特征提取网络(MDCN)主要包含图像特征提取骨干和在线时序自适应校准卷积网络(Temporal Adaptive Calibration Convolution，TAC-Conv)。图像特征提取骨干以无人机的RGB航拍图Ia∈RH×W×3作为网络输入，采用在大模型ImageNet上预训练得到的残差卷积神经网络(ResNet)提取高层语义特征表示第Na架无人机在ti时刻的特征图。然后利用全局平均池化操作(Global Average Pooling,GAP)提取当前帧描述子/> 保留邻近K帧高层语义特征图构成当前时刻的时序上下文序列/>其中Concate(·)表示合并连接操作。定义当前时刻的前一帧/>为时序学习模版Z，将前后帧的上下文序列并行输入在线时序自适应校准卷积网络TAC-Conv，得到ti时刻初始的相似度/>整个过程如下式(1)-(2)所示，这里简化下标Na，
其中，★表示深度互相关操作，σ(·)表示1×1卷积操作，Wa和ba分别是可学习的权重和偏差。
公式(1)描述了将时序学习模版Z、当前帧描述子当前帧语义特征/>以及前一帧语义特征/>作为输入，经过TAC-Conv卷积网络得到相似度S；公式(2)展示了当输入为描述子/>和语义特征X时，TAC-Conv卷积网络的运算过程。
需要注意的是当前时刻跨时序相似度特征
参见图2，在一些实施例中，所述利用自适应时序融合编解码模块修正所述跨时序相似特征图，具体可以包括：
采用跨时序编码器将前一时序的编码先验信息编码到当前时序的跨时序相似特征图中，得到当前时序的编码先验信息；
采用跨时序解码器将当前时序的编码先验信息进行解码，得到修正后的当前时序的跨时序相似特征图。
在一些实施例中，所述采用跨时序编码器将前一时序的编码先验信息编码到当前时序的跨时序相似特征图中，具体可以包括：
利用多头自注意力层聚合前一时序的编码先验信息编码和当前时序的跨时序相似特征图，得到中间时序特征；
利用时序上下文残差滤波算子和多头自注意力层对所述中间时序特征进行整合，得到所述当前时序的编码先验信息。
在一些实施例中，所述采用跨时序编码器将前一时序的编码先验信息编码到当前时序的跨时序相似特征图中，具体还可以包括：
跨时序编码器(CTE)将当前时刻前后帧的相似度特征隐式融入历史时序的编码先验信息中，同时剔除学习过程中先验知识所包含的定位噪声，从而适应在复杂环境下目标物的外观畸变，实现在线更新目标时序特征。具体来说，在ti时刻，采用跨域自注意力架构，将历史的先验时序信息抽象为一组查询词嵌入Query(Q)，当前时刻前后帧的相似度特征抽象为待查询的键Key(K)和值Value(V)，利用两层连续的多头自注意力层MultiHead(·来聚合每一个注意力头的上下文信息，然后通过一层时序上下文残差滤波算子α＝FFN(GAP(σ(·)))，将筛选后的时序特征通过多头自注意力层进一步进行整合得到当前时刻先验时序其中m代表经过编码后的时序信息，具体计算过程如下式(3)-(11)，省略下标Na：
其中，Linear为多层感知机(Multilayer Perceptron，MLP)，为前一时刻先验知识，h表示注意力头的数目，d是指Query(Q)的维度(这里除以它的作用是归一化和防止输入Softmax的值过大)，/>表征可学习的注意力权重，LN表示层正则化操作(layernormalization)，/>和/>分别为前两层多头注意力的输出，/>表示经过滤波算子筛选的时序特征，/>为ti时刻的编码信息，是当前时刻跨时序编码器的输出，同时也是下一时刻的先验时序，作为下一时刻跨时序编码器(CTE)的输入。
公式(6)和公式(7)展示了MultiHead(·)的运算过程，公式(6)是展示公式(7)中的运算过程，后面的公式(8)、(9)和(11)都会使用MultiHead(·)完成计算。同时如公式(8)中的输入到MultiHead(·)的/>和/>都会先经过公示(3)、(4)和(5)转为Q、K和V，再输入到MultiHead(·)中，因此公式(7)中输入写的是Q、K和V。之后的(9)和(11)也是一样，会先转为Q、K和V。
值得注意的是，为了节省编码器的内存资源从而适配计算处理单元性能较差的UAV，模型只存储最近的历史时序编码而不是所有的历史时序编码。
在一些实施例中，所述采用跨时序解码器将当前时序的编码先验信息进行解码，得到修正后的当前时序的跨时序相似特征图，具体可以包括：
利用多头自注意力层解码所述当前时序的编码先验信息，得到修正后的当前时序的跨时序相似特征图。
在一些实施例中，所述采用跨时序解码器将当前时序的编码先验信息进行解码，得到修正后的当前时序的跨时序相似特征图，具体还可以包括：
跨时序解码器(DTE)仅由两层带有正反馈层的多头自注意力网络构成，旨在将编码有时序上下文信息的当前先验特征自适应地解码到当前时刻前后帧的相似度特征中，从而充分利用多帧的时序关联，减少检测对动态环境变化的敏感性，提升机测追踪的准确性和鲁棒性。为了细化和修正ti时刻的初始相似度特征解码器将先验时序信息转换为K和V，初始相似度特征作为Q，来更好地建模跨时序变化与空间相似特征的关联。具体计算过程如下式(12)-(14)：
其中，和/>分别为前两层多头注意力的输出，/>为ti时刻解码修正后的前后帧相似特征图。
在一些实施例中，所述预测修正后的跨时序相似特征图中的目标检测结果，并将所述目标检测结果传输到地面端，具体可以包括：
基于修正后的跨时序相似特征图，通过标准的双分支预测头得到na个融合时序特征的2D目标物回归框和类别置信度其中D表示目标物检测框，C表示目标的置信度。检测框采用的编码格式为(x,y,z,w,l,h,θ)，x,y,z表示目标的空间坐标，w,l,h表示3D尺寸大小，θ表示检测框的朝向角。然后依托空天地Wi-Fi模组，将检测结果传输到车载端。
参见图2，在一些实施例中，所述采用自适应锚检测模块预测所述地面端图像数据中的目标检测结果，具体可以包括：
采用图像池化特征提取分支提取所述地面端图像数据的多尺度图形特征，并融合所述多尺度图形特征，得到深层语义特征；
采用路径特征聚合模块对所述多尺度图形特征和所述深层语义特征进行聚合，得到聚合后的特征图；
基于聚合后的特征图，确定目标检测结果。
参见图2，在一些实施例中，所述采用自适应锚检测模块预测所述地面端图像数据中的目标检测结果，具体还可以包括：
智能网联自动驾驶车上搭载的计算单元相较于UAV能够处理更高帧率的检测模块，此时相邻两帧时隙较短，所以时序上下文信息的作用较小，针对这一特性设计了单阶段的Bottom-up自适应锚检测模块来得到车端低延时高质量的检测框，即使在低性能的GPU运算平台Jetson Nano上测试，该算法也可以达到13～14FPS的处理速度。具体来说，网络包括图像池化特征提取分支、路径特征聚合模块(Path Aggregation Network，PAN)以及自适应锚预测头(Adaptive Anchor Head，AAH)。
在一些实施例中，所述采用图像池化特征提取分支提取所述地面端图像数据的多尺度图形特征，并融合所述多尺度图形特征，得到深层语义特征，具体可以包括：
图像特征提取分支接收车载单目相机传输的RGB图像Iv∈RH×W×3，一般地，输入的图像会被裁剪到640×640的大小，以节省计算内存；然后交叉经过Conv模块、CRC模块得到图像目标在颜色、轮廓、纹理、形状等方面的多尺度特征和/>其中Conv模块由2D卷积层，批正则化层(Batch Normalization,BN)和sigmoid加权线性单元(Sigmoid Linear Unit,SiLU)构成；最后通过空间池化金字塔(SPPF)模块自适应融合多尺度图形特征得到深层语义特征/>具体计算过程如下式(15)-(19)：
CRC(Fv)＝Concate(Conv(Fv),ResNet(Fv)) (18)
SPPF(Fv)＝Concate(GMP1(Fv),GMP2(Fv),GMP3(Fv)) (19)
其中，ResNet表示残差网络中的瓶颈层(Bottleneck layer)结构，GMP*分别表示5×5，9×9，13×13的全局最大池化层来捕获多尺度特征的全局描述子。
参见图2，在一些实施例中，所述采用路径特征聚合模块对所述多尺度图形特征和所述深层语义特征进行聚合，得到聚合后的特征图，具体可以包括：
路径特征聚合模块(PAN)利用两种自上而下和自底而上的级联层级结构，充分增强网络对于小目标物体和遮挡物体的空间定位信息与多分辨率语义信息。路径特征融合主要通过一系列上采样(Upsampling)和下采样(Downsampling)操作来聚合并更新浅层图形特征和深层语义特征/>从而弥补浅层特征上下文信息弱以及深层特征图形边界模糊的不足。具体计算过程如下式(20)-(24)：
其中φ(·)表示对特征图的上采样操作，ψ(·)表示对特征图的下采样操作，表示聚合了深层语义信息的多尺度中间特征图。
在一些实施例中，所述基于聚合后的特征图，确定目标检测结果，具体可以包括：
采用自适应锚预测头(AAH)确定目标检测结果。本实施例改进了传统基于手工采样的方式，采用了K-means聚类和遗传算法相结合的自适应智能模块来放置先验锚框到像素网格中。根据目标物的尺寸和朝向预先设定固定锚框存在对数据集和标注敏感的不足，为了能够让锚框自适应地调节大小以适配跨域数据集，首先使用K-means聚类拟合标注框分布后根据簇群中心点确定n个初始锚框，遗传算法对初始锚框的尺寸进行交叉、变异搜索全局最优解，然后更新锚框尺寸得到最终先验锚框。最后经过标准的双分支预测头得到nv个融合时序特征的2D目标物回归框和类别置信度 依托空天地Wi-Fi模组，将检测结果传输到机载端。
在一些实施例中，所述将异地目标检测结果和本地目标检测结果进行融合，具体可以包括：
基于交并比，确定本地目标检测框和异地目标检测框的时空关联度；
基于时空关联度，确定协同融合检测结果。
在一些实施例中，所述天空端和地面端用于目标检测结果融合的异地目标检测结果为经坐标转换后的检测结果。
在一些实施例中，所述将异地目标检测结果和本地目标检测结果进行融合，具体还可以包括：
采用双端视感知异构时序数据后融合模块来增强目标时空关联性：当双端接受到另一侧的异构时序检测结果后，依托车载和机载上搭载的计算处理单元，会与本地预测结果一同输入到后融合模块进行冗余目标框筛选和高质量目标框更新，从而增强多目标在不同视角下的时空关联性。空地两端在后融合阶段的处理过程相同，这里以车端为例，首先合并机载端传输的检测框注意这里空域的数据已经通过前文实施例计算得到的双端异构时序数据共享转矩阵转换到地面坐标系，即与车载端数据处于同一视角空间，然后利用2D框的交并比(Intersection over Union，IoU)来评估双端异构数据的时空关联度，具体的计算公式如下式：
其中IoUi,j是车端第i个检测框与机侧第j个检测框/>之间的IoU，如果IoUi,j大于设定的阈值0.4，则认为是冗余检测框，需要更新为置信度最大的一端/>最终得到协同融合检测框/> />
在一些实施例中，在得到协同融合检测结果之后，还包括：
将协同融合检测结果分为高置信度组和低置信度组；
对前后时序的协同融合检测结果中的目标身份进行匹配；
将身份匹配失败的低置信度组的协同融合检测结果作为背景噪声滤除；
将身份匹配失败的高置信度组的协同融合检测结果作为新出现的目标进行保存。
参见图2，在一些实施例中，在得到协同融合检测结果之后，还包括：
采用层级目标关联头来捕获并配准多目标的重识别轨迹：基于Tracking-By-Detection的范式，在得到高质量框后，需要将跨时序前后帧中多目标一一关联，并对相同目标分配唯一的ID。为了提高对低置信度检测框(i.e.被遮挡物体和运动模糊目标)的追踪性能，提出了针对视频序列的层级目标关联头，设定置信分数大于Thigh为高置信度组、置信分数在Thigh和Tlow之间为低置信度组，然后分别针对两组数据进行身份匹配。
这里使用欧几里得距离度量来评价Re-ID特征间的相似度，具体来说，首先计算检测框和卡尔曼滤波估计结果/>之间的相似度Similarity，如下式：
之后使用匈牙利算法进行二分图匹配，保留未匹配到卡尔曼滤波估计的高置信度检测框和低置信度检测框。将前后两次身份匹配失败的低置信度检测框作为不包含任何物体的背景噪声滤除，而高置信度边界框则作为新出现的轨迹进行保存。最终输出每个目标的检测框和分配的唯一标识id。
对于采用感知检测框融合的方法实现空地协同异构时序数据融合感知，邻域网联车辆和无人机集群需要分别在本地完成态势感知，并双向传输检测框，在本地进行有机地自适应融合分析。这种方法简单有效，但是对感知检测框的质量和时序性要求较高，因此对网络设计要求较高。
本发明在有限的本地计算资源和通信链路条件下，联合不同协同单元(智能自动驾驶车辆和无人机)提供的跨视域时序多目标信息，分别设计多时序检测动态校准算法和自适应时序融合编解码处理无人机分支，Bottom-up自适应锚检测模块捕获车辆分支，并有机关联不同空间位置、不同时序分布下的检测数据，提升地面协同平台对广视域、大范围场景目标的动态追踪能力和应对不同环境的泛化能力。
本发明还提供了一种基于空地协同的目标跟踪***，包括天空端和地面段；
天空端，用于拍摄目标区域的图像数据，得到天空端图像数据；采用跨时序特征提取网络对相邻时序的所述天空端图像数据进行相似特征提取，得到跨时序相似特征图，利用自适应时序融合编解码模块修正所述跨时序相似特征图，预测修正后的跨时序相似特征图中的目标检测结果，并将所述目标检测结果传输到地面端；将异地目标检测结果和本地目标检测结果进行融合，得到协同融合检测结果；所述异地目标检测结果为接收到的目标检测结果；
地面端，用于拍摄目标区域的图像数据，得到地面端图像数据；采用自适应锚检测模块预测所述地面端图像数据中的目标检测结果，并将所述目标检测结果传输到天空端；将异地目标检测结果和本地目标检测结果进行融合，得到协同融合检测结果。
综上所述，本发明具有以下优点：
1、本发明基于空地协同的异构时序数据协同及融合感知方法，解决了单一地面协同平台在平面视野盲区、运动模糊、超远视距等场景下感知失准问题。在有限的本地计算资源和通信链路条件下，充分利用了来自不同智能网联车辆和无人机提供的跨视域时序多目标信息，实现全方位、大范围的组网协同与目标动态感知，保障了地面自动驾驶车辆行车安全及智能空地协同***应用部署。
2、本发明基于空地协同的异构时序数据协同及融合感知方法，有效地弥补了单一静态检测框缺乏运动关联，预测追踪连续性差等问题。针对空中集群提出的两阶段多时序动态校准和自适应时序融合编解码模块，能够分别在特征提取和相似度图修正两个阶段，自适应地融合不同空间位置和时间跨度下，多目标的姿态和尺度变换，充分学习序列连续帧间固有的强相关性，减少遮挡、运动模糊带来的目标不确定性；而地面车辆采用的Bottom-up自适应锚检测模块能够增强网络对于小目标物体和遮挡物体的空间定位信息与多分辨率语义信息，为后续动态追踪提供高质量的感知结果。
3、本发明基于空地协同的异构时序数据协同及融合感知方法，全面考虑到协同单元(网联车辆和无人机)双端因传感器参数、布设角度等问题带来的数据异构性问题，提出了双端视感知异构时序数据后融合模块，利用双端异构数据的时空关联度，评估不同视角下多目标的数据噪声和位移误差并去除冗余信息。而层级目标关联策略分别匹配低置信度检测框和高置信度检测框，有利于弥补在复杂地形下目标感知精度低，追踪效果差的问题，增强了算法在不同基准任务中的泛化能力。极大程度地缓解了不同智能体(网联车辆和路侧设施)因传感器布设、硬件配置等问题导致的数据异质性问题。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于空地协同的目标跟踪方法，其特征在于，所述方法包括：
天空端拍摄目标区域的图像数据，得到天空端图像数据；
地面端拍摄目标区域的图像数据，得到地面端图像数据；
天空端采用跨时序特征提取网络对相邻时序的所述天空端图像数据进行相似特征提取，得到跨时序相似特征图，利用自适应时序融合编解码模块修正所述跨时序相似特征图，预测修正后的跨时序相似特征图中的目标检测结果，并将所述目标检测结果传输到地面端；
地面端采用自适应锚检测模块预测所述地面端图像数据中的目标检测结果，并将所述目标检测结果传输到天空端；
天空端和地面端分别将异地目标检测结果和本地目标检测结果进行融合，得到协同融合检测结果；所述异地目标检测结果为接收到的目标检测结果。
2.根据权利要求1所述的基于空地协同的目标跟踪方法，其特征在于，所述天空端和地面端用于目标检测结果融合的异地目标检测结果为经坐标转换后的检测结果。
3.根据权利要求1所述的基于空地协同的目标跟踪方法，其特征在于，所述采用跨时序特征提取网络对相邻时序的所述天空端图像数据进行相似特征提取，具体包括：
采用经过预训练的残差卷积神经网络分别提取相邻时序的所述天空端图像数据的高层语义特征；
采用全局平均池化操作分别提取所述高层语义特征的描述子；
将前一时序的描述子作为时序学习模版，将前后时序的高层语义特征和描述子输入时序自适应校准卷积网络，得到当前时序的所述跨时序相似特征图。
4.根据权利要求3所述的基于空地协同的目标跟踪方法，其特征在于，所述利用自适应时序融合编解码模块修正所述跨时序相似特征图，具体包括：
采用跨时序编码器将前一时序的编码先验信息编码到当前时序的跨时序相似特征图中，得到当前时序的编码先验信息；
采用跨时序解码器将当前时序的编码先验信息进行解码，得到修正后的当前时序的跨时序相似特征图。
5.根据权利要求4所述的基于空地协同的目标跟踪方法，其特征在于，所述采用跨时序编码器将前一时序的编码先验信息编码到当前时序的跨时序相似特征图中，具体包括：
利用多头自注意力层聚合前一时序的编码先验信息和当前时序的跨时序相似特征图，得到中间时序特征；
利用时序上下文残差滤波算子和多头自注意力层对所述中间时序特征进行整合，得到所述当前时序的编码先验信息。
6.根据权利要求4所述的基于空地协同的目标跟踪方法，其特征在于，所述采用跨时序解码器将当前时序的编码先验信息进行解码，得到修正后的当前时序的跨时序相似特征图，具体包括：
利用多头自注意力层解码所述当前时序的编码先验信息，得到修正后的当前时序的跨时序相似特征图。
7.根据权利要求1所述的基于空地协同的目标跟踪方法，其特征在于，所述采用自适应锚检测模块预测所述地面端图像数据中的目标检测结果，具体包括：
采用图像池化特征提取分支提取所述地面端图像数据的多尺度图形特征，并融合所述多尺度图形特征，得到深层语义特征；
采用路径特征聚合模块对所述多尺度图形特征和所述深层语义特征进行聚合，得到聚合后的特征图；
基于聚合后的特征图，确定目标检测结果。
8.根据权利要求1所述的基于空地协同的目标跟踪方法，其特征在于，所述将异地目标检测结果和本地目标检测结果进行融合，具体包括：
基于交并比，确定本地目标检测框和异地目标检测框的时空关联度；
基于时空关联度，确定协同融合检测结果。
9.根据权利要求1所述的基于空地协同的目标跟踪方法，其特征在于，在得到协同融合检测结果之后，还包括：
将协同融合检测结果分为高置信度组和低置信度组；
对前后时序的协同融合检测结果中的目标身份进行匹配；
将身份匹配失败的低置信度组的协同融合检测结果作为背景噪声滤除；
将身份匹配失败的高置信度组的协同融合检测结果作为新出现的目标进行保存。
10.一种基于空地协同的目标跟踪***，其特征在于，包括天空端和地面段；
天空端，用于拍摄目标区域的图像数据，得到天空端图像数据；采用跨时序特征提取网络对相邻时序的所述天空端图像数据进行相似特征提取，得到跨时序相似特征图，利用自适应时序融合编解码模块修正所述跨时序相似特征图，预测修正后的跨时序相似特征图中的目标检测结果，并将所述目标检测结果传输到地面端；将异地目标检测结果和本地目标检测结果进行融合，得到协同融合检测结果；所述异地目标检测结果为接收到的目标检测结果；
地面端，用于拍摄目标区域的图像数据，得到地面端图像数据；采用自适应锚检测模块预测所述地面端图像数据中的目标检测结果，并将所述目标检测结果传输到天空端；将异地目标检测结果和本地目标检测结果进行融合，得到协同融合检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311184693.XA CN117218157A (zh) | 2023-09-14 | 2023-09-14 | 一种基于空地协同的目标跟踪方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311184693.XA CN117218157A (zh) | 2023-09-14 | 2023-09-14 | 一种基于空地协同的目标跟踪方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117218157A true CN117218157A (zh) | 2023-12-12 |
Family
ID=89042057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311184693.XA Pending CN117218157A (zh) | 2023-09-14 | 2023-09-14 | 一种基于空地协同的目标跟踪方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218157A (zh) |
-
2023
- 2023-09-14 CN CN202311184693.XA patent/CN117218157A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111137292B (zh) | 经执行器-评价网络架构学习车道变换策略的方法和*** | |
| US10845815B2 (en) | Systems, methods and controllers for an autonomous vehicle that implement autonomous driver agents and driving policy learners for generating and improving policies based on collective driving experiences of the autonomous driver agents | |
| Laddha et al. | Map-supervised road detection | |
| Cui et al. | Deep kinematic models for kinematically feasible vehicle trajectory predictions | |
| Mancini et al. | Toward domain independence for learning-based monocular depth estimation | |
| US20210279640A1 (en) | Systems and Methods for Training Machine-Learned Models with Deviating Intermediate Representations | |
| US11375194B2 (en) | Conditional entropy coding for efficient video compression | |
| CN111462192A (zh) | 一种人行道扫地机器人时空双流融合卷积神经网络动态避障方法 | |
| CN113392725B (zh) | 基于视频数据的行人过街意图识别方法 | |
| JP2024500672A (ja) | 自律エージェントの環境表現を動的に更新するための方法およびシステム | |
| CN114169241A (zh) | 一种端到端的多目标识别、追踪与预测方法 | |
| Zhou et al. | Graph attention guidance network with knowledge distillation for semantic segmentation of remote sensing images | |
| CN113538520A (zh) | 行人轨迹预测方法、装置、电子设备及存储介质 | |
| CN116152768A (zh) | 基于路况识别的智能驾驶预警***及方法 | |
| CN115439507A (zh) | 基于多层次互增强与相关金字塔的三维视频目标跟踪方法 | |
| Wenzel et al. | Modular vehicle control for transferring semantic information between weather conditions using gans | |
| Li et al. | Bev-lgkd: A unified lidar-guided knowledge distillation framework for bev 3d object detection | |
| Zhang et al. | Multi-modal virtual-real fusion based transformer for collaborative perception | |
| Kim et al. | Multi-task learning with future states for vision-based autonomous driving | |
| Li et al. | Cross-modal object detection via UAV | |
| SHAO et al. | A survey of intelligent sensing technologies in autonomous driving | |
| CN117218157A (zh) | 一种基于空地协同的目标跟踪方法及*** | |
| CN113191944B (zh) | 一种多通道图像内容特征融合风格迁移方法及*** | |
| CN113848884B (zh) | 一种基于特征融合和时空约束的无人驾驶工程机械决策方法 | |
| US20220114458A1 (en) | Multimodal automatic mapping of sensing defects to task-specific error measurement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |