CN115683089A - 雷达与视觉航迹预测及修正方法 - Google Patents

雷达与视觉航迹预测及修正方法 Download PDF

Info

Publication number
CN115683089A
CN115683089A CN202211347359.7A CN202211347359A CN115683089A CN 115683089 A CN115683089 A CN 115683089A CN 202211347359 A CN202211347359 A CN 202211347359A CN 115683089 A CN115683089 A CN 115683089A
Authority
CN
China
Prior art keywords
track
data
target
radar
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211347359.7A
Other languages
English (en)
Inventor
尹洁珺
李小柳
魏维伟
付朝伟
王建
席光荣
柯文雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Radio Equipment Research Institute
Original Assignee
Shanghai Radio Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Radio Equipment Research Institute filed Critical Shanghai Radio Equipment Research Institute
Priority to CN202211347359.7A priority Critical patent/CN115683089A/zh
Publication of CN115683089A publication Critical patent/CN115683089A/zh
Priority to PCT/CN2023/126371 priority patent/WO2024093749A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种雷达与视觉航迹预测及修正方法，该方法包括：获取雷达航迹数据和视觉航迹数据，并将雷达航迹数据和视觉航迹数据进行数据关联得到数据关联组；根据数据关联组判定融合航迹起始，并生成融合航迹结构化数据；根据融合航迹结构化数据确定融合航迹；对融合航迹进行检测和航迹修正。本发明能够形成多目标探测合力，提高目标跟踪精度和目标身份一致性，并可应用于复杂交通环境路端感知、城市环境无人机多目标监控等场景。

Description

雷达与视觉航迹预测及修正方法
技术领域
本发明涉及多源异构数据融合与目标跟踪技术领域，尤其涉及一种雷达与视觉航迹预测及修正方法。
背景技术
环境和目标实时感知是道路管理、周界安防、智能驾驶等“新基建”领域的基础和关键环节。毫米波雷达、激光雷达和摄像头是主流的探测设备，能够获得较丰富的目标信息。激光雷达受气象影响大，大气衰减和恶劣天气使作用距离降低，湍流会降低激光雷达测距精度。现阶段，摄像头和微波雷达传感器在价格方面优势依然显著，且激光雷达维护成本高，稳定性、可靠性方面还不足以满足民用需求。视频结合智能算法的方案应用较为普及，但在低照度、雨、雪等异常条件的检测效果不佳，检测目标速度、位置等物理信息的精度不足，检测范围和距离受限于分辨率等。毫米波雷达技术成熟、成本低、穿透粉尘烟雾的能力强，缺点是无法对目标进行精准分类，判别静止目标与地物能力弱。
在道路、安防等应用场景中，连续稳定跟踪目标，获得多目标信息，能够提高管理部门响应速度与处理效率。将视频数据和毫米波雷达数据融合应用，可实现雷达与视觉感知的信息互补，稳定实时地获得目标位置、速度、类型、颜色等信息，支持智能动态信息实时显示，毫米波雷达与视觉融合将在交通管控、智能安防等多个领域中发挥重要作用。
在雷达与视觉空间时间同步后，采用数据关联算法生成雷达与视觉航迹关联组合，由于场景中目标密集，环境物体遮挡和地物杂波等因素导致数据关联方法存在错误，典型错误有三类：一，目标存在同距同速导致雷达航迹数据错误甚至ID交换，雷达与视觉关联组被干扰或错误地判定解除；二，雷达静止目标的位置点不能保持或误差大，错误地判定视觉关联组解除，形成多余航迹；三，同一目标存在多个雷达或视觉航迹，关联组时变导致目标存在多条融合航迹。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提供一种雷达与视觉航迹预测及修正方法，该方法能够形成多目标探测合力，提高目标跟踪精度和目标身份一致性，并可应用于复杂交通环境路端感知、城市环境无人机多目标监控等场景。
为达到上述目的，本发明通过以下技术方案实现：
一种雷达与视觉航迹预测及修正方法，包括：
获取雷达航迹数据和视觉航迹数据，并将所述雷达航迹数据和所述视觉航迹数据进行数据关联得到数据关联组；
根据所述数据关联组，判定融合航迹起始，并生成融合航迹结构化数据；
根据所述融合航迹结构化数据确定融合航迹；
对所述融合航迹进行检测和航迹修正。
可选的，所述融合航迹结构化数据包括：时间戳、帧序号、***ID、所述数据关联组、目标的空间三维坐标、横向速度、纵向速度、前向速度和目标类型，其中，所述数据关联组包括雷达ID和视觉ID。
可选的，根据所述数据关联组，判定融合航迹起始，并生成融合航迹结构化数据的步骤，包括：
在第N+1帧数据关联组中的雷达ID或视觉ID未出现在第1～N帧的数据关联组中时，设置新数据关联组出现的帧数，并在所述帧数满足p/q判据时，判定融合航迹起始，并生成融合航迹结构化数据。
可选的，在检测到融合航迹起始的目标与实际目标不相符时，对航迹进行修正，其中，融合航迹起始的目标与实际目标不相符包括目标的雷达ID或视觉ID变化的状况和目标存在多个雷达ID或视觉ID的状况，并将两种状况分别记为第一错误和第二错误。
可选的，对第N+1帧数据关联组和第1～N帧数据关联组进行比较，以对所述第一错误进行航迹修正，其中，若第N+1帧数据关联组中，只有雷达ID在第1～N帧的数据关联组时，判断当前帧是否有关联视觉ID航迹数据，若有，则判定所述雷达ID对应航迹为干扰航迹，并删除，若没有，则判定出现新目标，无需修正起始航迹；若只有视觉ID在第1～N帧的数据关联组时，则根据视觉目标识别类型计算置信度，并在所述置信度达到预设阈值时，判定新目标出现，无需修正起始航迹，否则，提取第1～N帧数据关联组中与视觉ID关联的***ID，并将所述***ID赋予给起始航迹；若所述雷达ID和所述视觉ID均不在第1～N帧的数据关联组时，则根据雷达速度和目标位置随时间变化状况，判别目标是否朝向/远离传感设备运动，以及是否沿切向方向运动，并根据目标运动状态进行相应分析。
可选的，对所述第二错误进行航迹修正的方式为将同一个目标的多条航迹数据进行融合，并将置信度最高的融合后的航迹数据加入至目标航迹。
可选的，所述方法还包括：对目标是否为航迹暂停等待进行判别。
可选的，目标航迹存在数据帧数大于或者等于预设帧数M1时，若目标航迹N-M1+1～N帧数据中包括雷达数据，则采用所述雷达数据中的速度数据计算目标平均速度，若目标航迹N-M1+1～N帧数据中只包括视频数据，则通过所述视频数据计算目标航迹N-M1+1～N帧位置的标准差，对目标是否为航迹暂停等待进行判别的步骤包括：所述平均速度小于预设速度阈值或者所述标准差小于预设标准差阈值时，则判定目标为停止等待状态，否则为运动状态。
可选的，所述方法还包括航迹终止判别，通过所述航迹终止判别判定目标航迹是否需要进行局部航迹融合处理，所述航迹终止判别的步骤，包括：
从***授时中获取当前时刻T0，并从目标航迹数据中提取最后一帧数据采样时刻Tn，得到时间差Td；
在目标航迹最后一帧数据为雷达数据且时间差Td小于第一预设时间阈值，或者目标航迹最后一帧数据为视频数据且时间差Td小于第二预设时间阈值，以及航迹终止数据点落在雷达探测区间中间时，判定所述目标航迹需要进行局部航迹融合处理。
可选的，局部航迹融合处理的步骤，包括：
根据航迹终止时间确定融合时间窗[Tn-σT，Tn+σT]；
目标航迹第一帧数据采样时刻在所述融合时间窗[Tn-σT，Tn+σT]内，且存在预设帧数M2帧数据时，采用K-最近邻算法将目标航迹与航迹终止数据进行数据关联处理，并对所述融合时间窗[Tn-σT，Tn+σT]内的数据进行平均，以及将终止航迹的***ID赋给目标航迹。
本发明至少具有以下技术效果：
(1)本发明采用基于逻辑规则的航迹融合方法，综合目标运动特征与探测手段特点，实现了毫米波雷达视觉目标航迹融合，解决了毫米波雷达虚假目标干扰和目标多散射点***问题，另外本发明利用毫米波雷达探测距离远弥补了视觉感知距离近和测距能力缺失问题，利用视觉目标检测静止目标精度高弥补了毫米波雷达判别静止目标与地物能力弱的问题。
(2)本发明采用基于目标运动状态的***局部航迹融合方法，可排除静止目标作为终止航迹参与***局部航迹融合，弥补***局部航迹融合中仅仅利用目标时空关系的不足，实现目标维持稳定ID连续跟踪，提升多目标跟踪能力和目标特征提取精度，提高环境态势感知与空间重构精准性，为武器对抗、安防管理、交通管治等应用提供可靠数据。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为本发明一实施例提供的雷达与视觉航迹预测及修正方法的流程图；
图2为本发明一实施例提供的雷达与视觉航迹融合处理流程图；
图3为本发明一实施例提供的检测新航迹与航迹ID修正流程图；
图4为本发明一实施例提供的局部航迹融合流程图。
具体实施方式
下面详细描述本实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
为解决背景技术中的问题，本发明提供了一种雷达与视觉航迹预测及修正方法，该方法可有效利用微波雷达和视觉感知机理，解决微波雷达受环境杂波影响造成虚假目标跟踪，对慢速目标检测率低和基于视觉的跟踪精度与数据率低的问题，该方法通过结合微波雷达测量精度高，数据率高，全天候全天时能力强特点与视觉对静止目标感知稳定性好，目标检测识别准确率高的优势，形成多目标探测合力，从而可提高目标跟踪精度和目标身份(ID)一致性，可应用于复杂交通环境路端感知、城市环境无人机多目标监控等场景。
下面参考附图描述本实施例的雷达与视觉航迹预测及修正方法。
图1为本发明一实施例提供的雷达与视觉航迹预测及修正方法的流程图。如图1所示，该方法包括：
步骤S1：获取雷达航迹数据和视觉航迹数据，并将雷达航迹数据和视觉航迹数据进行数据关联得到数据关联组。
步骤S2：根据数据关联组，判定融合航迹起始，并生成融合航迹结构化数据。
其中，融合航迹结构化数据包括：时间戳、帧序号、***ID、数据关联组、目标的空间三维坐标(x，y，z)、横向速度Vx、纵向速度Vy、前向速度Vz和目标类型，其中，数据关联组包括雷达ID和视觉ID。
在本发明的一个实施例中，根据数据关联组，判定融合航迹起始，并生成融合航迹结构化数据的步骤，包括：在第N+1帧数据关联组中的雷达ID或视觉ID未出现在第1～N帧的数据关联组中时，设置新数据关联组出现的帧数，并在帧数满足p/q判据时，判定融合航迹起始，并生成融合航迹结构化数据。
具体的，当前时刻即第N+1帧关联组中的雷达ID RIDi或视觉ID SIDj未出现在第1～N帧的关联组集合中，则可设置新关联组出现帧数Ncorr，当帧数Ncorr满足p/q判据时，可判定融合航迹起始，生成融合航迹结构化数据。优选的，p/q检测方法，采用参数p＝5，q＝10。
步骤S3：根据融合航迹结构化数据确定融合航迹。
具体的，可根据雷达ID和视觉ID分别提取当前时刻雷达和视觉轨迹数据，计算当前帧的融合轨迹空间三维坐标，其中，计算公式如下：
Figure BDA0003917688960000051
其中，xr(m,n)，yr(m,n)，zr(m,n)为雷达测量目标空间三维坐标；xs(m,n)，ys(m,n)，zs(m,n)为视觉测量值经过坐标转换后得到的三维坐标；m为目标序号；n为帧序号；wr、ws分别为雷达航迹与视频航迹的权重，且wr+ws＝1。
其中，当前时刻***输入目标m的雷达航迹数据时，不论是否输入视觉航迹数据，wr＝1，ws＝0；当前时刻***输入目标m的视觉航迹数据，没有雷达航迹数据时，wr＝0，ws＝1。
进一步的，如图2所示，可进行航迹外推，即采用上一帧目标位置计算当前帧时刻目标的位置。其中，航迹外推采用匀加速运动模型。
进一步的，可对融合航迹进行卡尔曼滤波。具体可根据目标与传感器之间距离，采用不同卡尔曼滤波参数。
步骤S4：对融合航迹进行检测和航迹修正。
在检测到融合航迹起始的目标与实际目标不相符时，对航迹进行修正，其中，融合航迹起始的目标与实际目标不相符包括目标的雷达ID或视觉ID变化的状况和目标存在多个雷达ID或视觉ID的状况，并将两种状况分别记为第一错误和第二错误。
具体的，如果航迹起始的目标与实际目标不相符，包括目标的雷达/视觉ID变化(还是该目标或不是该目标)或目标有多个雷达/视觉ID两种情况，两种情况都导致目标被***为多条航迹。前者称为第一类错误，后者称为第二类错误。
此时，修正第一类错误的方法如下：
如图3所示，通过比较当前时刻即第N+1帧关联组和第1～N帧的关联组集合，进行相应修正，例如，如果只有雷达ID在第1～N帧的关联组中，进一步判断当前帧是否有关联视觉ID航迹数据，如果有则判定雷达ID为干扰航迹，关联组从关联集合中删除，删除航迹数据；如果没有则判定出现新目标，不需要修正起始航迹；如果只有视觉ID在第1～N帧的关联组中，根据视觉目标识别类型区别计算置信度判定是否出现新目标，置信度大于等于0.5，则判定目标为新出现目标，不需要修正起始航迹；否则，提取1～N帧中视觉ID相关的目标***ID，将***ID赋予该起始航迹，实现原目标航迹生存保持。如果雷达ID和视觉ID都不在第1～N帧的关联组中，则进一步分析雷达与视觉航迹数据，具体为：
根据雷达速度和目标位置随时间变化情况，判别目标朝向传感设备运动、远离传感设备运动或沿切向方向运动。
如果雷达测量速度大于等于Tvmin，或根据视觉检测计算v方向位置差小于等于-Tpix1，则判定目标远离传感器运动，若纵向距离大于等于Rymian，则判定目标为新出现目标，不需要修正起始航迹；否则判定航迹数据为干扰目标，关联组从关联集合中删除，删除航迹数据。
如果雷达测量速度小于等于-Tvmin，或根据视觉检测计算v方向位置差大于等于Tpix1，则判定目标朝向传感器运动，判定目标为新出现目标，不需要修正起始航迹。
如果雷达测量速度绝对值小于Tvmin，或根据视觉检测计算v方向位置差绝对值小于Tpix1且u方向位置差大于Tpix2，则判定目标朝向传感器运动，判定目标为新出现目标，不需要修正起始航迹；否则，将目标加入航迹暂停等待目标候选集合，不进行航迹起始。
本实施例中，修正第二类错误方法采用数据关联方法，在局部航迹融合模块将同一个目标的多条航迹数据进行融合，并选择置信度最高的航迹数据加入到目标航迹中。
在本发明的一个实施例中，所述方法还包括：对目标是否为航迹暂停等待进行判别。
由于局部航迹融合的原理是利用目标运动的时空关联性，将满足时间间隔和空间距离的目标航迹合并，但由于雷达和视频都存在测量误差，当其他运动目标接近静止目标时，在一个采样周期内两个目标散射点满足局部航迹融合中的数据关联条件。为避免局部航迹融合阶段，将暂停状态的车辆与其他目标融合，需要判别目标是否为航迹暂停等待。需要注意测量误差导致目标在静止状态时速度不为0，不能仅将目标运动速度作为判别条件。
本实施例中，目标航迹存在数据帧数大于或者等于预设帧数M1时，若目标航迹N-M1+1～N帧数据中包括雷达数据，则采用所述雷达数据中的速度数据计算目标平均速度，若目标航迹N-M1+1～N帧数据中只包括视频数据，则通过所述视频数据计算目标航迹N-M1+1～N帧位置的标准差，对目标是否为航迹暂停等待进行判别的步骤包括：平均速度小于预设速度阈值Vmin或者标准差小于预设标准差阈值时，则判定目标为停止等待状态，否则为运动状态。其中，可选择M1＝5，Vmin为雷达速度测量误差最大值，位置的标准差小于0.5m。
在本发明的一个实施例中，该方法还包括航迹终止判别，通过航迹终止判别判定目标航迹是否需要进行局部航迹融合处理，航迹终止判别的步骤，包括：
从***授时中获取当前时刻T0，并从目标航迹数据中提取最后一帧数据采样时刻Tn，得到时间差Td＝Tn-T0；由于毫米波雷达分析与视频分析的速率不同，需要分别设置目标航迹终止的条件，若目标航迹最后一帧数据为毫米波雷达数据且Td小于第一预设时间阈值Tthreshhold1，或者最后一帧数据为视频数据且Td小于第二预设时间阈值Tthreshhold2，以及若航迹终止数据点落在雷达探测区间的中间，则如图4所示，该航迹需要进行局部航迹融合处理，否则不作处理。
在本发明的一个实施例中，局部航迹融合处理的步骤，包括：根据航迹终止时间确定融合时间窗[Tn-σT，Tn+σT]；目标航迹第一帧数据采样时刻在融合时间窗[Tn-σT，Tn+σT]内，且存在预设帧数M2帧数据时，采用K-最近邻算法将目标航迹与航迹终止数据进行数据关联处理，并对融合时间窗[Tn-σT，Tn+σT]内的数据进行平均，以及将终止航迹的***ID赋给目标航迹。
综上所述，本发明采用基于逻辑规则的航迹融合方法，综合目标运动特征与探测手段特点，实现了毫米波雷达视觉目标航迹融合，解决了毫米波雷达虚假目标干扰和目标多散射点***问题，另外本发明利用毫米波雷达探测距离远弥补了视觉感知距离近和测距能力缺失问题，利用视觉目标检测静止目标精度高弥补了毫米波雷达判别静止目标与地物能力弱的问题；本发明采用基于目标运动状态的***局部航迹融合方法，可排除静止目标作为终止航迹参与***局部航迹融合，弥补***局部航迹融合中仅仅利用目标时空关系的不足，实现目标维持稳定ID连续跟踪，提升多目标跟踪能力和目标特征提取精度，提高环境态势感知与空间重构精准性，为武器对抗、安防管理、交通管治等应用提供可靠数据。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种雷达与视觉航迹预测及修正方法，其特征在于，包括：
获取雷达航迹数据和视觉航迹数据，并将所述雷达航迹数据和所述视觉航迹数据进行数据关联得到数据关联组；
根据所述数据关联组，判定融合航迹起始，并生成融合航迹结构化数据；
根据所述融合航迹结构化数据确定融合航迹；
对所述融合航迹进行检测和航迹修正。
2.如权利要求1所述的雷达与视觉航迹预测及修正方法，其特征在于，所述融合航迹结构化数据包括：时间戳、帧序号、***ID、所述数据关联组、目标的空间三维坐标、横向速度、纵向速度、前向速度和目标类型，其中，所述数据关联组包括雷达ID和视觉ID。
3.如权利要求2所述的雷达与视觉航迹预测及修正方法，其特征在于，根据所述数据关联组，判定融合航迹起始，并生成融合航迹结构化数据的步骤，包括：
在第N+1帧数据关联组中的雷达ID或视觉ID未出现在第1～N帧的数据关联组中时，设置新数据关联组出现的帧数，并在所述帧数满足p/q判据时，判定融合航迹起始，并生成融合航迹结构化数据。
4.如权利要求3所述的雷达与视觉航迹预测及修正方法，其特征在于，在检测到融合航迹起始的目标与实际目标不相符时，对航迹进行修正，其中，融合航迹起始的目标与实际目标不相符包括目标的雷达ID或视觉ID变化的状况和目标存在多个雷达ID或视觉ID的状况，并将两种状况分别记为第一错误和第二错误。
5.如权利要求4所述的雷达与视觉航迹预测及修正方法，其特征在于，对第N+1帧数据关联组和第1～N帧数据关联组进行比较，以对所述第一错误进行航迹修正，其中，若第N+1帧数据关联组中，只有雷达ID在第1～N帧的数据关联组时，判断当前帧是否有关联视觉ID航迹数据，若有，则判定所述雷达ID对应航迹为干扰航迹，并删除，若没有，则判定出现新目标，无需修正起始航迹；若只有视觉ID在第1～N帧的数据关联组时，则根据视觉目标识别类型计算置信度，并在所述置信度达到预设阈值时，判定新目标出现，无需修正起始航迹，否则，提取第1～N帧数据关联组中与视觉ID关联的***ID，并将所述***ID赋予给起始航迹；若所述雷达ID和所述视觉ID均不在第1～N帧的数据关联组时，则根据雷达速度和目标位置随时间变化状况，判别目标是否朝向/远离传感设备运动，以及是否沿切向方向运动，并根据目标运动状态进行相应分析。
6.如权利要求4所述的雷达与视觉航迹预测及修正方法，其特征在于，对所述第二错误进行航迹修正的方式为将同一个目标的多条航迹数据进行融合，并将置信度最高的融合后的航迹数据加入至目标航迹。
7.如权利要求6所述的雷达与视觉航迹预测及修正方法，其特征在于，所述方法还包括：对目标是否为航迹暂停等待进行判别。
8.如权利要求7所述的雷达与视觉航迹预测及修正方法，其特征在于，目标航迹存在数据帧数大于或者等于预设帧数M1时，若目标航迹N-M1+1～N帧数据中包括雷达数据，则采用所述雷达数据中的速度数据计算目标平均速度，若目标航迹N-M1+1～N帧数据中只包括视频数据，则通过所述视频数据计算目标航迹N-M1+1～N帧位置的标准差，对目标是否为航迹暂停等待进行判别的步骤包括：所述平均速度小于预设速度阈值或者所述标准差小于预设标准差阈值时，则判定目标为停止等待状态，否则为运动状态。
9.如权利要求8所述的雷达与视觉航迹预测及修正方法，其特征在于，所述方法还包括航迹终止判别，通过所述航迹终止判别判定目标航迹是否需要进行局部航迹融合处理，所述航迹终止判别的步骤，包括：
从***授时中获取当前时刻T0，并从目标航迹数据中提取最后一帧数据采样时刻Tn，得到时间差Td；
在目标航迹最后一帧数据为雷达数据且时间差Td小于第一预设时间阈值，或者目标航迹最后一帧数据为视频数据且时间差Td小于第二预设时间阈值，以及航迹终止数据点落在雷达探测区间中间时，判定所述目标航迹需要进行局部航迹融合处理。
10.如权利要求9所述的雷达与视觉航迹预测及修正方法，其特征在于，局部航迹融合处理的步骤，包括：
根据航迹终止时间确定融合时间窗[Tn-σT，Tn+σT]；
目标航迹第一帧数据采样时刻在所述融合时间窗[Tn-σT，Tn+σT]内，且存在预设帧数M2帧数据时，采用K-最近邻算法将目标航迹与航迹终止数据进行数据关联处理，并对所述融合时间窗[Tn-σT，Tn+σT]内的数据进行平均，以及将终止航迹的***ID赋给目标航迹。
CN202211347359.7A 2022-10-31 2022-10-31 雷达与视觉航迹预测及修正方法 Pending CN115683089A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211347359.7A CN115683089A (zh) 2022-10-31 2022-10-31 雷达与视觉航迹预测及修正方法
PCT/CN2023/126371 WO2024093749A1 (zh) 2022-10-31 2023-10-25 雷达与视觉航迹预测及修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211347359.7A CN115683089A (zh) 2022-10-31 2022-10-31 雷达与视觉航迹预测及修正方法

Publications (1)

Publication Number Publication Date
CN115683089A true CN115683089A (zh) 2023-02-03

Family

ID=85045340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211347359.7A Pending CN115683089A (zh) 2022-10-31 2022-10-31 雷达与视觉航迹预测及修正方法

Country Status (2)

Country Link
CN (1) CN115683089A (zh)
WO (1) WO2024093749A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024093749A1 (zh) * 2022-10-31 2024-05-10 上海无线电设备研究所 雷达与视觉航迹预测及修正方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317319A (en) * 1992-07-17 1994-05-31 Hughes Aircraft Company Automatic global radar/IR/ESM track association based on ranked candidate pairings and measures of their proximity
CN105807280B (zh) * 2016-04-26 2017-12-22 中国船舶重工集团南京鹏力科技集团有限公司 基于航迹状态估计的回波融合目标的航迹关联方法
CN111860589B (zh) * 2020-06-12 2023-07-18 中山大学 一种多传感器多目标协同探测信息融合方法、***
CN111967498A (zh) * 2020-07-20 2020-11-20 重庆大学 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN113269811A (zh) * 2021-07-20 2021-08-17 苏州挚途科技有限公司 数据融合方法、装置及电子设备
CN115683089A (zh) * 2022-10-31 2023-02-03 上海无线电设备研究所 雷达与视觉航迹预测及修正方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024093749A1 (zh) * 2022-10-31 2024-05-10 上海无线电设备研究所 雷达与视觉航迹预测及修正方法

Also Published As

Publication number Publication date
WO2024093749A1 (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN109212521B (zh) 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN103064086B (zh) 一种基于深度信息的车辆跟踪方法
CN101295405A (zh) 人像与车辆识别报警跟踪方法
Bloisi et al. Argos—A video surveillance system for boat traffic monitoring in Venice
CN114049382B (zh) 一种智能网联环境下目标融合跟踪方法、***和介质
CN112991391A (zh) 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
CN111582130B (zh) 一种基于多源异构信息的交通行为感知融合***及方法
CN115856872A (zh) 一种车辆运动轨迹连续跟踪方法
Gomaa et al. Real-time algorithm for simultaneous vehicle detection and tracking in aerial view videos
Wang et al. A roadside camera-radar sensing fusion system for intelligent transportation
CN115683089A (zh) 雷达与视觉航迹预测及修正方法
CN115965655A (zh) 一种基于雷视一体的交通目标跟踪方法
CN113848545A (zh) 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法
Cordes et al. Roadsaw: A large-scale dataset for camera-based road surface and wetness estimation
CN114693909A (zh) 一种基于多传感器机器视觉融合的微观车辆轨迹感知设备
CN116699602A (zh) 一种基于毫米波雷达和相机融合的目标检测***及方法
CN113988228B (zh) 一种基于rfid和视觉融合的室内监控方法及***
CN112907975B (zh) 一种基于毫米波雷达与视频进行异常停车的检测方法
CN112967320B (zh) 一种基于桥梁防撞的船舶目标检测跟踪方法
KR20090093119A (ko) 움직이는 객체 추적을 위한 다중 정보의 융합 방법
CN111308459B (zh) 一种基于传感器特性和量测来源的多传感器航迹起始方法
CN117173666A (zh) 一种针对非结构化道路的自动驾驶目标识别方法及***
CN117130010A (zh) 用于无人驾驶的障碍物感知方法、***及无人驾驶汽车
CN115471526A (zh) 基于多源异构信息融合的自动驾驶目标检测与跟踪方法
CN115565157A (zh) 一种多摄像头多目标车辆跟踪方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination