CN113095345A - 数据匹配方法、装置和数据处理设备 - Google Patents

Abstract

本申请实施例提供了一种数据匹配方法、装置和数据处理设备，所述数据匹配方法包括：确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹以及当前帧的视频坐标系下视频检测结果中物体的轨迹；根据所述轨迹的相关信息将当前帧的雷达检测结果中未匹配的物体的轨迹与当前帧的视频检测结果中未匹配的物体的轨迹进行匹配；将每个匹配轨迹对应的雷达物体的数据和视频物体的数据记录为同一物体的数据。

Description

数据匹配方法、装置和数据处理设备

技术领域

本申请涉及信息技术领域，尤其涉及一种数据匹配方法、装置和数据处理设备。

背景技术

为了实现对交通的智能监控，例如在道路上或交叉路口，都放置了毫米波雷达和摄像机来检测车辆、行人和其他物体(object)。当物体碰到雷达和摄像机时，雷达和摄像机都会检测到该物体。因此，有必要将雷达数据和摄像机数据融合在一起，以便***可以进行进一步分析。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

发明人发现，在进行数据融合之前，需要对雷达和视频中的物体进行匹配。在常规方法中，匹配过程是手动处理的，这非常耗时。

为了解决上述问题或解决其他类似问题，本申请实施例提供了一种数据匹配方法、装置和数据处理设备。

根据本申请实施例的一方面，提供了一种数据匹配方法，其中，所述方法包括：

确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹以及当前帧的视频坐标系下视频检测结果中物体的轨迹；

根据所述轨迹的相关信息将当前帧的雷达检测结果中未匹配的物体的轨迹与当前帧的视频检测结果中未匹配的物体的轨迹进行匹配；

将每个匹配轨迹对应的雷达物体的数据和视频物体的数据记录为同一物体的数据。

根据本申请实施例的另一方面，提供了一种数据匹配装置，其中，所述装置包括：

确定单元，其确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹以及当前帧的视频坐标系下视频检测结果中物体的轨迹；

匹配单元，其根据所述轨迹的相关信息将当前帧的雷达检测结果中未匹配的物体的轨迹与当前帧的视频检测结果中未匹配的物体的轨迹进行匹配；

记录单元，其将每个匹配轨迹对应的雷达物体的数据和视频物体的数据记录为同一物体的数据。

根据本申请实施例的又一方面，提供了一种数据处理设备，其中，所述数据处理设备包括前述的数据匹配装置。

本申请实施例的有益效果之一在于：本申请根据雷达检测结果和视频检测结果，找到雷达检测结果中物体的轨迹和视频检测结果中物体的轨迹，通过对雷达检测结果中物体的轨迹和视频检测结果中物体的轨迹进行匹配，来对雷达检测结果和视频检测结果进行融合。

参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

在本申请实施例的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。

所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请实施例的数据匹配方法的一个示意图；

图2是图1中确定雷达轨迹的轨迹ID的一个示例的示意图；

图3是图1确定视频轨迹的轨迹ID的一个示例的示意图；

图4是确定第i帧中的轨迹的一个示意图；

图5是对雷达轨迹和视频轨迹进行匹配的一个示意图；

图6是图5中进行匹配的一个示例的示意图；

图7是对雷达轨迹和视频轨迹进行匹配的一个示例的示意图；

图8是对雷达轨迹和视频轨迹进行匹配的另一个示例的示意图；

图9是对雷达轨迹和视频轨迹进行匹配的另一个示意图；

图10是图9中进行匹配的一个示例的示意图；

图11是本申请实施例的数据匹配装置的一个示意图；

图12是本申请实施例的数据处理设备的一个示意图。

具体实施方式

参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附权利要求的范围内的全部修改、变型以及等同物。

在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。

在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。

使用雷达和摄像机检测道路上的物体时，数据会逐帧记录。在雷达检测结果的每一帧中，包含雷达检测到的物体；在视频检测结果的每一帧中，包含摄像机检测到的物体。通过雷达检测可以得到物体的速度和位置，而通过视频检测可以识别物体是车辆还是行人，例如车辆的颜色和品牌等。在雷达坐标系中，物体(简称为雷达物体)的坐标表示为(x，y)，在视频坐标系中，物体(简称为视频物体)的坐标(像素点的位置)表示为(u，v)。

根据本申请实施例，可以找到上述两个坐标系之间的关系，由此，可以知道雷达检测结果中的哪个物体和视频检测结果中的哪个物体是现实世界中的相同物体。例如，根据来自雷达和摄像机的数据，可以知道道路上的信息，使得交通更加智能。

下面结合附图对本申请实施例的各种实施方式进行说明。这些实施方式只是示例性的，不是对本申请实施例的限制。

实施例的第一方面

本申请实施例的第一方面提供了一种数据匹配方法。

图1是本申请实施例的数据匹配方法的一个示例的示意图，请参照图1，该方法包括：

101：确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹以及当前帧的视频坐标系下视频检测结果中物体的轨迹；

102：根据所述轨迹的相关信息将当前帧的雷达检测结果中未匹配的物体的轨迹与当前帧的视频检测结果中未匹配的物体的轨迹进行匹配；

103：将每个匹配轨迹对应的雷达物体的数据和视频物体的数据记录为同一物体的数据。

在本申请实施例中，根据雷达检测结果和视频检测结果，找到雷达检测结果中物体的轨迹和视频检测结果中物体的轨迹，通过对雷达检测结果中物体的轨迹和视频检测结果中物体的轨迹进行匹配，得到雷达坐标系和图像坐标系的转换关系，进而对雷达检测结果和视频检测结果进行融合。

如图1所示，在101中，在雷达和摄像机的时间对齐的帧中，确定雷达坐标系下雷达检测结果中物体的轨迹，以及视频坐标系下视频检测结果中物体的轨迹，也即为检测到的轨迹分配轨迹ID。为方便说明，在本申请实施例中，将雷达和摄像机的时间对齐的帧中待处理的帧称为当前帧。

图2是确定雷达坐标系下雷达检测结果中物体的轨迹的示意图，以当前帧是第i帧为例，如图2所示，该方法包括：

201：对于当前帧(第i帧)中的每个物体(记为物体j)，根据该物体的雷达坐标，在第i帧之前的至少一帧中(例如n帧中)查找与该物体j之间的距离最小的物体(记为物体k)；

202：将上述距离(也即物体j与物体k之间的距离)与预先设定的阈值(记为d)进行比较；

203：如果上述距离小于上述阈值d，则将该物体j的轨迹标识标记为物体k的轨迹ID，否则，为该物体j分配新的轨迹ID。

如图2所示，在201中，物体j和物体k之间的距离可以根据雷达坐标系下的雷达检测结果计算获得。例如，假设物体1的雷达检测结果中的坐标是(x₁,y₁)，物体2的雷达检测结果中的坐标是(x₂,y₂)，则物体1和物体2之间的距离可以通过以下公式计算：

上述距离d表示物体1和物体2在雷达坐标系下的直线距离。

如图2所示，在202中，预先设定的阈值d可以根据实际需要来设定，本申请对此不做限制。

如图2所示，在203中，如果上述距离小于上述阈值d，也即物体j和物体k之间的距离足够小，则说明物体j和物体k可能是现实世界中的同一物体，则为物体j赋予物体k的轨迹ID；反之，如果上述距离不小于上述阈值d，也即物体j和物体k之间的距离相对来说比较大，则说明物体j和物体k可能并非现实世界中的同一物体，则为物体j赋予新的轨迹ID。

图3是确定视频坐标系下视频检测结果中物体的轨迹的示意图，仍然以当前帧是第i帧为例，如图3所示，该方法包括：

301：对于当前帧(第i帧)中的每个物体(记为物体j)，根据该物体的视频坐标，在第i帧之前的至少一帧中(例如n帧中)查找与该物体j之间的距离最小的物体(记为物体k)；

302：将上述距离(也即物体j与物体k之间的距离)与预先设定的阈值(记为d)进行比较；

303：如果上述距离小于上述阈值d，则将该物体j的轨迹标识标记为物体k的轨迹ID，否则，为该物体j分配新的轨迹ID。

如图3所示，在301中，物体j和物体k之间的距离可以根据视频坐标系下的视频检测结果计算获得。例如，假设物体1的视频检测结果中的像素坐标是(u₁,v₁)，物体2的视频检测结果中的像素坐标是(u₂,v₂)，则物体1和物体2之间的距离可以通过以下公式计算：

上述距离D表示物体1和物体2在视频坐标系下的像素距离。

如图3所示，在302中，预先设定的阈值d可以根据实际需要来设定，本申请对此不做限制。

如图3所示，在303中，如果上述像素距离小于上述阈值d，也即物体j和物体k之间的像素距离足够小，则说明物体j和物体k可能是现实世界中的同一物体，则为物体j赋予物体k的轨迹ID；反之，如果上述像素距离不小于上述阈值d，也即物体j和物体k之间的像素距离相对来说比较大，则说明物体j和物体k可能并非现实世界中的同一物体，则为物体j赋予新的轨迹ID。

图4是确定第i帧中的轨迹的一个示意图，如图4所示，对于第i帧中的每个物体j，在其前n帧中找到最近的物体k；如果k和j之间的距离小于预设的d，则为j分配k的轨迹ID；否则，为j分配新的轨迹ID。

如图1所示，在102中，轨迹的相关信息可以是轨迹的方向和数量，也可以是轨迹的方向、数量以及速度，本申请不限于此。

图5是根据轨迹的方向和数量对物体的轨迹进行匹配的一个示例的示意图，如图5所示，该方法包括：

501：确定所述雷达检测结果中物体的轨迹的方向和数量以及所述视频检测结果中物体的轨迹的方向和数量；

502：根据所述轨迹的方向和数量，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配。

如图5所示，在501中，雷达检测结果中物体的轨迹(称为雷达轨迹)方向可能是朝向雷达的方向，也可能是远离雷达的方向，该雷达轨迹方向可以由平均速度方向确定，例如，根据预定时间窗口tw内的该物体的平均速度方向确定该雷达检测结果中物体的轨迹的方向。本申请对具体的确定方法不做限制，前述当前帧可以是该预定时间窗口tw内的最后一帧，也即，从当前帧开始，往前追溯一段时间tw，根据这段时间tw内物体的平均速度方向确定在当前帧的该雷达检测结果中物体的轨迹的方向。

如图5所示，在501中，视频检测结果中物体的轨迹(称为视频轨迹)方向可能是朝向摄像机的方向，也可能是远离摄像机的方法，该视频轨迹方向可以由物体在预定时间窗口的最后一帧和第一帧中的位置确定，例如，根据预定时间窗口tw内最后一帧和第一帧中该物体的位置确定视频检测结果中物体的轨迹的方向。本申请对具体的确定方法不做限制，前述当前帧也可以是该预定时间窗口tw内的最后一帧，也即，从当前帧开始，往前追溯一段时间tw，根据这段时间tw内的第一帧和最后一帧(当前帧)中物体的位置确定在当前帧的该视频检测结果中物体的轨迹的方向。

如图5所示，在502中，可以按照轨迹的位置的排序顺序对轨迹方向相同的雷达轨迹和视频轨迹进行匹配。图6是按照轨迹的位置的排序顺序对轨迹方向相同的雷达轨迹和视频轨迹进行匹配的一个示意图，如图6所示，该方法包括：

601：根据轨迹的位置分别对雷达检测结果中未匹配的物体的轨迹(称为urt)和视频检测结果中未匹配的物体的轨迹(称为uvt)进行排序；

602：如果轨迹方向相同的urt和uvt的数量相等，则按照排序顺序对轨迹方向相同的urt和uvt进行匹配；

603：如果轨迹方向相同的urt和uvt的数量不相等，则认为轨迹方向相同的urt和uvt无法匹配。

如图6所示，在601中，可以基于每个轨迹在各自的坐标系中的位置对雷达轨迹进行排序以及对视频轨迹进行排序，可以根据从左到右的顺序，也可以根据从远到近的顺序，本申请对此不做限制。

如图6所示，在602中，如果轨迹方向相同的未匹配的雷达轨迹(urt)和未匹配的视频轨迹(uvt)的数量相等，则可以按照排序的顺序匹配每个轨迹。例如，雷达坐标系中最左边的雷达轨迹与视频坐标系中最左边的视频轨迹匹配，雷达坐标系中第二左的雷达轨迹与视频坐标系中第二左的视频轨迹匹配，以此类推。

如图6所示，在603中，如果轨迹方向相同的未匹配的雷达轨迹(urt)和未匹配的视频轨迹(uvt)的数量不相等，则认为轨迹方向相同的urt和uvt无法匹配。

在一些实施例中，如图6所示，该方法还可以包括：

604：将匹配的轨迹存储到匹配的轨迹组中，将未匹配的轨迹存储到未匹配的轨迹组中。

如图6所示，在604中，通过匹配的轨迹组和未匹配的轨迹组存储轨迹，便于确认轨迹的匹配情况，并据此进行下一帧的轨迹的匹配操作。

图7是雷达轨迹的数量和视频轨迹的数量相同的一个示意图，如图7所示，在第1场景下，雷达轨迹和视频轨迹的数量都为1，且方向相同，则这两个轨迹相互匹配，存入匹配的轨迹组；在第2场景下，雷达轨迹和视频轨迹的数量都为2，经过排序之后，轨迹方向相同的雷达轨迹和视频轨迹的数量也相同，则位置靠左的雷达轨迹a与位置靠左的视频轨迹b相互匹配，位置靠右的雷达轨迹b和位置靠右的视频轨迹b相互匹配，轨迹a和b被存入匹配的轨迹组；在第3场景下，雷达轨迹和视频轨迹的数量都为2，但是经过排序之后，轨迹方向相同的雷达轨迹和视频轨迹的数量不相同，则两者不匹配，则轨迹a和b存入未匹配的轨迹组。

图8是雷达轨迹的数量和视频轨迹的数量不相同的一个示意图，如图8所示，在第1场景下，雷达轨迹的数量为2，视频轨迹的数量为1，经过排序之后，方向相同的轨迹a的数量相同，则雷达轨迹a和视频轨迹a相互匹配，存入匹配的轨迹组，轨迹b未匹配，存入未匹配的轨迹组；在第2场景下，雷达轨迹的数量为2，视频轨迹的数量为1，经过排序之后，轨迹方向相同的雷达轨迹的数量不同于视频轨迹的数量，则两者不匹配，轨迹a和b存入未匹配的轨迹组。

在本申请实施例中，根据101为每个轨迹分配轨迹ID之后，可以知道在先前的帧中哪个轨迹已经匹配，哪个轨迹未匹配。根据本申请实施例的方法，在每一帧中找到未匹配的雷达轨迹(urt)和未匹配的视频轨迹(uvt)。对未匹配的雷达轨迹(urt)和未匹配的视频轨迹(uvt)按照轨迹的位置进行排序。如果轨迹方向相同的雷达轨迹(urt)和视频轨迹(uvt)的数量相等，则按照排序顺序匹配各个轨迹。

图9是根据轨迹的方向、数量和速度对物体的轨迹进行匹配的一个示例的示意图，如图9所示，该方法包括：

901：确定所述雷达检测结果中物体的轨迹的方向、数量和速度以及所述视频检测结果中物体的轨迹的方向、数量和速度；

902：根据所述轨迹的方向、数量和速度，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配。

如图9所示，在901中，与图5的示例类似，雷达检测结果中物体的轨迹的方向可以是朝向雷达的方向或者远离雷达的方向，例如可以根据预定时间窗口tw内的该物体的平均速度方向确定雷达检测结果中该物体的轨迹的方向；视频检测结果中物体的轨迹的方向可以是朝向摄像机的方向或者远离摄像机的方向，例如可以根据预定时间窗口tw内最后一帧和第一帧中该物体的位置确定视频检测结果中该物体的轨迹的方向。这里，当前帧可以是该预定时间窗口tw内的最后一帧。

如图9所示，在901中，雷达检测结果中物体的轨迹的速度可以由平均速度确定，例如，根据预定时间窗口tw内的该物体的平均速度确定雷达检测结果中物体的轨迹的速度。本申请对具体的确定方法不做限制，前述当前帧可以是该预定时间窗口tw内的最后一帧，也即，从当前帧开始，往前追溯一段时间tw，在这段时间tw内，每一帧的雷达检测结果都能测得该物体的速度，将这段时间内物体的速度的平均值作为该轨迹的速度，也即，根据这段时间内物体的平均速度确定在当前帧的该雷达检测结果中物体的轨迹的速度。

如图9所示，在901中，视频检测结果中物体的轨迹的速度可以由物体在预定时间窗口的最后一帧和第一帧中的位置确定，例如，根据预定时间窗口tw内最后一帧和第一帧中所述物体的位置确定所述视频检测结果中物体的轨迹的速度。本申请对具体的确定方法不做限制，前述当前帧可以是该预定时间窗口tw内的最后一帧，也即，从当前帧开始，往前追溯一段时间tw，在这段时间tw内，物体在第一帧中的位置设为(u_start,v_start)，物体在最后一帧中的位置设为(u_end,v_end)，将第一帧和最后一帧的距离设为D，则在当前帧中该物体的轨迹的速度可以表示为D/tw，这里的D可以通过下面的公式计算获得：

如图9所示，在902中，可以按照轨迹的速度的排序顺序对轨迹方向相同的雷达轨迹和视频轨迹进行匹配。图10是按照轨迹的速度的排序顺序对轨迹方向相同的雷达轨迹和视频轨迹进行匹配的一个示意图，如图10所示，该方法包括：

1001：根据轨迹的速度分别对所述雷达检测结果中未匹配的物体的轨迹(urt)和所述视频检测结果中未匹配的物体的轨迹(uvt)进行排序；

1002：如果轨迹方向相同的urt和uvt的数量相等，则按照排序顺序对方向相同的urt和uvt进行匹配；

1003：如果轨迹方向相同的urt和uvt的数量不相等，则认为方向相同的urt和uvt无法匹配。

如图10所示，在1001中，可以基于轨迹的速度对雷达轨迹和视频轨迹分别进行排序，例如可以根据速度从大到小的顺序，也可以根据速度从小到大的顺序，本申请对此不做限制。

如图10所示，在1002中，如果轨迹方向相同的未匹配的雷达轨迹(urt)和未匹配的视频轨迹(uvt)的数量相等，则可以按照速度的排序的顺序匹配每个轨迹。例如，雷达坐标系中速度最大的雷达轨迹与视频坐标系中速度最大的视频轨迹匹配，雷达坐标系中速度第二的雷达轨迹与视频坐标系中速度第二的视频轨迹匹配，以此类推。

如图10所示，在1003中，如果轨迹方向相同的未匹配的雷达轨迹(urt)和未匹配的视频轨迹(uvt)的数量不相等，则认为轨迹方向相同的urt和uvt无法匹配。

在一些实施例中，如图10所示，该方法还可以包括：

1004：将匹配的轨迹存储到匹配的轨迹组中，将未匹配的轨迹存储到未匹配的轨迹组中。

如图10所示，在1004中，通过匹配的轨迹组和未匹配的轨迹组存储轨迹，便于确认轨迹的匹配情况，并据此进行下一帧的轨迹的匹配操作。

在本申请实施例中，根据101为每个轨迹分配轨迹ID之后，可以知道在先前的帧中哪个轨迹已经匹配，哪个轨迹未匹配。根据本申请实施例的方法，在每一帧中找到未匹配的雷达轨迹(urt)和未匹配的视频轨迹(uvt)。对未匹配的雷达轨迹(urt)和未匹配的视频轨迹(uvt)按照轨迹的速度进行排序。如果轨迹方向相同的雷达轨迹(urt)和视频轨迹(uvt)的数量相等，则按照排序顺序匹配各个轨迹。

如图1所示，在103中，在将雷达轨迹和视频轨迹进行匹配之后，可以将同一物体的数据进行关联存储。在一些实施例中，同一物体的数据可以记录为[(x,y),(u,v)]，其中，(x,y)是雷达坐标系中检测到的所述物体的位置，(u,v)是视频坐标系中所述物体的像素坐标。

本申请对该数据的记录方式不做限制，例如同一物体的数据可以按照如下表1的方式存储，也可以按照如下表2的方式存储。

表1：

在表1中，数据分为四列，第一列表示物体出现在视频里的帧id，第二列表示物体id，第三列表示物体的雷达坐标，用x_mn,y_mn表示；第四列表示物体的像素坐标，用u_mn,v_mn表示。其中，m表示物体的id，n表示视频帧id。

表2：

在表2中，数据分为两列，第一列表示视频的帧id，第二列表示雷达和图像匹配后的物体数据，用[(x_mn,y_mn),(u_mn,v_mn)]表示，其中，雷达坐标用(x_mn,y_mn)表示，像素坐标用(u_mn,v_mn)表示，m表示物体的id，n表示视频帧id。

值得注意的是，附图1至3，附图5至6，以及附图9至10仅示意性地对本申请实施例进行了说明，但本申请不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图1至3，附图5至6，以及附图9至10的记载。

值得注意的是，以上仅对与本申请相关的各操作或过程进行了说明，但本申请不限于此。该方法还可以包括其他操作或者过程，关于这些操作或者过程的具体内容，可以参考现有技术。

根据本申请实施例，雷达轨迹与视频轨迹的匹配过程能够被自动处理。此外，传统方法在部署传感器之前需要额外的时间来匹配雷达轨迹和视频轨迹，本申请实施例的方法可以在传感器部署在道路上后立即使用，提高了处理效率。

实施例的第二方面

本申请实施例的第二方面提供了一种数据匹配装置，该数据匹配装置对应实施例的第一方面的数据匹配方法，相同的内容不再重复说明。

图11是本申请实施例的数据匹配装置的一个示意图。如图11所示，本申请实施例的数据匹配装置1100包括：确定单元1101、匹配单元1102和记录单元1103。

在本申请实施例中，确定单元1101用于确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹以及当前帧的视频坐标系下视频检测结果中物体的轨迹；匹配单元1102用于根据所述轨迹的相关信息将当前帧的雷达检测结果中未匹配的物体的轨迹与当前帧的视频检测结果中未匹配的物体的轨迹进行匹配；记录单元1103用于将每个匹配轨迹对应的雷达物体的数据和视频物体的数据记录为同一物体的数据。

在一些实施例中，如图11所示，匹配单元1102包括第一确定单元11021和第一匹配单元11022，第一确定单元11021用于确定所述雷达检测结果中物体的轨迹的方向和数量以及所述视频检测结果中物体的轨迹的方向和数量；第一匹配单元11022用于根据所述轨迹的方向和数量，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配。

在一些实施例中，第一匹配单元11022对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配，包括：

根据轨迹的位置分别对所述雷达检测结果中未匹配的物体的轨迹(urt)和所述视频检测结果中未匹配的物体的轨迹(uvt)进行排序；

如果轨迹方向相同的urt和uvt的数量相等，则按照排序顺序对轨迹方向相同的urt和uvt进行匹配；

如果轨迹方向相同的urt和uvt的数量不相等，则认为轨迹方向相同的urt和uvt无法匹配。

在一些实施例中，第一匹配单元11022还将匹配的轨迹存储到匹配的轨迹组中，将未匹配的轨迹存储到未匹配的轨迹组中。

在本申请实施例中，所述雷达检测结果中物体的轨迹方向为朝向雷达的方向或者远离雷达的方向；所述视频检测结果中物体的轨迹的方向为朝向摄像机的方向或者远离摄像机的方向。

在一些实施例中，第一确定单元11021根据预定时间窗口tw内的平均速度方向确定所述雷达检测结果中物体的轨迹的方向。并且，在一些实施例中，第一确定单元11021根据预定时间窗口tw内最后一帧和第一帧中所述物体的位置确定所述视频检测结果中物体的轨迹的方向。上述当前帧是所述预定时间窗口tw内的最后一帧。

在一些实施例中，如图11所示，匹配单元1102包括第二确定单元11023和第二匹配单元11024，第二确定单元11023用于确定所述雷达检测结果中物体的轨迹的方向、数量和速度以及所述视频检测结果中物体的轨迹的方向、数量和速度；第二匹配单元11024用于根据所述轨迹的方向、数量和速度，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配。

在一些实施例中，第二匹配单元11024对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配，包括：

根据轨迹的速度分别对所述雷达检测结果中未匹配的物体的轨迹(urt)和所述视频检测结果中未匹配的物体的轨迹(uvt)进行排序；

如果轨迹方向相同的urt和uvt的数量相等，则按照排序顺序对轨迹方向相同的urt和uvt进行匹配；

如果轨迹方向相同的urt和uvt的数量不相等，则认为轨迹方向相同的urt和uvt无法匹配。

在一些实施例中，第二匹配单元11024还将匹配的轨迹存储到匹配的轨迹组中，将未匹配的轨迹存储到未匹配的轨迹组中。

在本申请实施例中，所述雷达检测结果中物体的轨迹方向为朝向雷达的方向或者远离雷达的方向；所述视频检测结果中物体的轨迹的方向为朝向摄像机的方向或者远离摄像机的方向。

在一些实施例中，第二确定单元11023根据预定时间窗口tw内的物体的平均速度方向确定所述雷达检测结果中物体的轨迹的方向。并且，在一些实施例中，第二确定单元11023根据预定时间窗口tw内最后一帧和第一帧中所述物体的位置确定所述视频检测结果中物体的轨迹的方向。上述当前帧是所述预定时间窗口tw内的最后一帧。

在一些实施例中，第二确定单元11023根据预定时间窗口tw内的所述物体的平均速度确定所述雷达检测结果中物体的轨迹的速度。并且，在一些实施例中，第二确定单元11023根据预定时间窗口tw内最后一帧和第一帧中所述物体的位置确定所述视频检测结果中物体的轨迹的速度。上述当前帧是所述预定时间窗口tw内的最后一帧。

在一些实施例中，确定单元1101确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹，包括：

对于当前帧中的每个物体j，根据所述物体的雷达坐标，在当前帧之前的至少一帧中查找与所述物体j之间的距离最小的物体k；

将所述距离与预先设定的阈值进行比较；

如果所述距离小于所述阈值，则将所述物体j的轨迹标识标记为所述物体k的轨迹ID，否则，为所述物体j分配新的轨迹ID。

在一些实施例中，确定单元1101确定当前帧的视频坐标系下视频检测结果中物体的轨迹，包括：

对于当前帧中的每个物体j，根据所述物体的视频坐标，在当前帧之前的至少一帧中查找与所述物体j之间的距离最小的物体k；

将所述距离与预先设定的阈值进行比较；

如果所述距离小于所述阈值，则将所述物体j的轨迹标识标记为所述物体k的轨迹ID，否则，为所述物体j分配新的轨迹ID。

在一些实施例中，记录单元1103将所述同一物体的数据记录为[(x,y),(u,v)]，其中，(x,y)是雷达坐标系中检测到的所述物体的位置，(u,v)是视频坐标系中所述物体的像素坐标。

值得注意的是，以上仅对与本申请相关的各部件或模块进行了说明，但本申请不限于此。数据匹配装置1100还可以包括其他部件或者模块，关于这些部件或者模块的具体内容，可以参考相关技术。

根据本申请实施例，雷达轨迹与视频轨迹的匹配过程能够被自动处理。此外，传统方法在部署传感器之前需要额外的时间来匹配雷达轨迹和视频轨迹，本申请实施例的方法可以在传感器部署在道路上后立即使用，提高了处理效率。

实施例的第三方面

本申请实施例的第三方面提供了一种数据处理设备，该数据处理设备例如可以是计算机、服务器、工作站、膝上型计算机、智能手机，等等；但本申请实施例不限于此。

图12是本申请实施例的数据处理设备的一个示意图，如图12所示，数据处理设备1200可以包括：至少一个接口(图中未示出)，处理器(例如，中央处理器(CPU))1201，存储器1202；存储器1202耦合到处理器1201。其中存储器1202可存储各种数据；此外还存储数据匹配程序1203，并且在处理器1201的控制下执行该程序1203，并存储各种数据，例如预设的值和预定的条件等。

在一个实施例中，实施例的第二方面所述的数据匹配装置1100的功能可以被集成到处理器1201中，实现实施例的第一方面所述的数据匹配方法。例如，该处理器1201可以被配置为：

确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹以及当前帧的视频坐标系下视频检测结果中物体的轨迹；

根据所述轨迹的相关信息将当前帧的雷达检测结果中未匹配的物体的轨迹与当前帧的视频检测结果中未匹配的物体的轨迹进行匹配；

将每个匹配轨迹对应的雷达物体的数据和视频物体的数据记录为同一物体的数据。

在另一个实施方式中，实施例的第二方面所述的数据匹配装置1100可以与处理器1201分开配置，例如可以将该数据匹配装置1100配置为与处理器1201连接的芯片，通过处理器1201的控制来实现确定数据匹配装置1100的功能。

值得注意的是，数据处理设备1200还可以包括显示器1205以及I/O设备1204，或者也并不是必须要包括图12中所示的所有部件，例如还可以包括摄像头和雷达(未图示)，用于获取输入图像帧；此外，该数据处理设备1200还可以包括图12中没有示出的部件，可以参考现有技术。

在本申请实施例中，处理器1201有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器1201接收输入并控制数据处理设备1200的各个部件的操作。

在本申请实施例中，存储器1202例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存各种信息，此外还可存储执行有关信息的程序。并且处理器1201可执行该存储器1202存储的该程序，以实现信息存储或处理等。其他部件的功能与现有类似，此处不再赘述。数据处理设备1200的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本申请的范围。

本申请实施例的数据处理设备可以对雷达轨迹与视频轨迹的匹配过程进行自动处理，提高了处理效率。

本申请实施例还提供一种计算机可读程序，其中当在数据处理设备中执行所述程序时，所述程序使得所述数据处理设备执行实施例的第一方面所述的方法。

本申请实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得数据处理设备中执行实施例的第一方面所述的方法。

本申请以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本申请涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本申请还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。

结合本申请实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。图中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图中所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。

软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可***移动终端的存储卡中。例如，若设备(如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。

针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。

以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的精神和原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。

关于本申请实施例公开的上述实施方式，还公开了如下的附记：

1、一种数据匹配方法，其中，所述方法包括：

确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹以及当前帧的视频坐标系下视频检测结果中物体的轨迹；

根据所述轨迹的相关信息将当前帧的雷达检测结果中未匹配的物体的轨迹与当前帧的视频检测结果中未匹配的物体的轨迹进行匹配；

将每个匹配轨迹对应的雷达物体的数据和视频物体的数据记录为同一物体的数据。

2、根据附记1所述的方法，其中，根据所述轨迹的相关信息将当前帧的雷达检测结果中未匹配的物体的轨迹与当前帧的视频检测结果中未匹配的物体的轨迹进行匹配，包括：

确定所述雷达检测结果中物体的轨迹的方向和数量以及所述视频检测结果中物体的轨迹的方向和数量；

根据所述轨迹的方向和数量，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配。

3、根据附记2所述的方法，其中，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配，包括：

根据轨迹的位置分别对所述雷达检测结果中未匹配的物体的轨迹(urt)和所述视频检测结果中未匹配的物体的轨迹(uvt)进行排序；

如果轨迹方向相同的urt和uvt的数量相等，则按照排序顺序对轨迹方向相同的urt和uvt进行匹配；

如果轨迹方向相同的urt和uvt的数量不相等，则认为轨迹方向相同的urt和uvt无法匹配。

4、根据附记3所述的方法，其中，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配，还包括：

将匹配的轨迹存储到匹配的轨迹组中，将未匹配的轨迹存储到未匹配的轨迹组中。

5、根据附记2所述的方法，其中，

所述雷达检测结果中物体的轨迹方向为朝向雷达的方向或者远离雷达的方向；

所述视频检测结果中物体的轨迹的方向为朝向摄像机的方向或者远离摄像机的方向。

6、根据附记2或5所述的方法，其中，

确定所述雷达检测结果中物体的轨迹的方向，包括：根据预定时间窗口tw内的平均速度方向确定所述雷达检测结果中物体的轨迹的方向；

确定所述视频检测结果中物体的轨迹的方向，包括：根据预定时间窗口tw内最后一帧和第一帧中所述物体的位置确定所述视频检测结果中物体的轨迹的方向，

其中，当前帧是所述预定时间窗口tw内的最后一帧。

7、根据附记1所述的方法，其中，根据所述轨迹的相关信息将当前帧的雷达检测结果中未匹配的物体的轨迹与当前帧的视频检测结果中未匹配的物体的轨迹进行匹配，包括：

确定所述雷达检测结果中物体的轨迹的方向、数量和速度以及所述视频检测结果中物体的轨迹的方向、数量和速度；

根据所述轨迹的方向、数量和速度，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配。

8、根据附记7所述的方法，其中，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配，包括：

根据轨迹的速度分别对所述雷达检测结果中未匹配的物体的轨迹(urt)和所述视频检测结果中未匹配的物体的轨迹(uvt)进行排序；

如果轨迹方向相同的urt和uvt的数量相等，则按照排序顺序对轨迹方向相同的urt和uvt进行匹配；

如果轨迹方向相同的urt和uvt的数量不相等，则认为轨迹方向相同的urt和uvt无法匹配。

9、根据附记8所述的方法，其中，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配，还包括：

将匹配的轨迹存储到匹配的轨迹组中，将未匹配的轨迹存储到未匹配的轨迹组中。

10、根据附记7所述的方法，其中，

所述雷达检测结果中物体的轨迹方向为朝向雷达的方向或者远离雷达的方向；

所述视频检测结果中物体的轨迹的方向为朝向摄像机的方向或者远离摄像机的方向。

11、根据附记7或10所述的方法，其中，

确定所述雷达检测结果中物体的轨迹的方向，包括：根据预定时间窗口tw内的物体的平均速度方向确定所述雷达检测结果中物体的轨迹的方向；

确定所述视频检测结果中物体的轨迹的方向，包括：根据预定时间窗口tw内最后一帧和第一帧中所述物体的位置确定所述视频检测结果中物体的轨迹的方向，

其中，当前帧是所述预定时间窗口tw内的最后一帧。

12、根据附记7所述的方法，其中，

确定所述雷达检测结果中物体的轨迹的速度，包括：根据预定时间窗口tw内的所述物体的平均速度确定所述雷达检测结果中物体的轨迹的速度；

确定所述视频检测结果中物体的轨迹的速度，包括：根据预定时间窗口tw内最后一帧和第一帧中所述物体的位置确定所述视频检测结果中物体的轨迹的速度，

其中，当前帧是所述预定时间窗口tw内的最后一帧。

13、根据附记1所述的方法，其中，确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹，包括：

对于当前帧中的每个物体j，根据所述物体的雷达坐标，在当前帧之前的至少一帧中查找与所述物体j之间的距离最小的物体k；

将所述距离与预先设定的阈值进行比较；

如果所述距离小于所述阈值，则将所述物体j的轨迹标识标记为所述物体k的轨迹ID，否则，为所述物体j分配新的轨迹ID。

14、根据附记1所述的方法，其中，确定当前帧的视频坐标系下视频检测结果中物体的轨迹，包括：

对于当前帧中的每个物体j，根据所述物体的视频坐标，在当前帧之前的至少一帧中查找与所述物体j之间的距离最小的物体k；

将所述距离与预先设定的阈值进行比较；

如果所述距离小于所述阈值，则将所述物体j的轨迹标识标记为所述物体k的轨迹ID，否则，为所述物体j分配新的轨迹ID。

15、根据附记1所述的方法，其中，所述同一物体的数据记录为[(x,y),(u,v)]，其中，(x,y)是雷达坐标系中检测到的所述物体的位置，(u,v)是视频坐标系中所述物体的像素坐标。

16、一种数据处理设备，其中，所述数据处理设备包括数据匹配装置，所述数据匹配装置被配置为：

确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹以及当前帧的视频坐标系下视频检测结果中物体的轨迹；

根据所述轨迹的相关信息将当前帧的雷达检测结果中未匹配的物体的轨迹与当前帧的视频检测结果中未匹配的物体的轨迹进行匹配；

将每个匹配轨迹对应的雷达物体的数据和视频物体的数据记录为同一物体的数据。

Claims (10)

1.一种数据匹配装置，其特征在于，所述装置包括：

确定单元，其确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹以及当前帧的视频坐标系下视频检测结果中物体的轨迹；

匹配单元，其根据所述轨迹的相关信息将当前帧的雷达检测结果中未匹配的物体的轨迹与当前帧的视频检测结果中未匹配的物体的轨迹进行匹配；

记录单元，其将每个匹配轨迹对应的雷达物体的数据和视频物体的数据记录为同一物体的数据。

2.根据权利要求1所述的装置，其中，所述匹配单元包括：

第一确定单元，其确定所述雷达检测结果中物体的轨迹的方向和数量以及所述视频检测结果中物体的轨迹的方向和数量；

第一匹配单元，其根据所述轨迹的方向和数量，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配。

3.根据权利要求2所述的装置，其中，所述第一匹配单元根据所述轨迹的方向和数量，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配，包括：

根据轨迹的位置分别对所述雷达检测结果中未匹配的物体的第一轨迹和所述视频检测结果中未匹配的物体的第二轨迹进行排序；

如果轨迹方向相同的第一轨迹和第二轨迹的数量相等，则按照排序顺序对轨迹方向相同的第一轨迹和第二轨迹进行匹配；

如果轨迹方向相同的第一轨迹和第二轨迹的数量不相等，则认为轨迹方向相同的第一轨迹和第二轨迹无法匹配。

4.根据权利要求3所述的装置，其中，所述第一匹配单元还将匹配的轨迹存储到匹配的轨迹组中，将未匹配的轨迹存储到未匹配的轨迹组中。

5.根据权利要求2所述的装置，其中，所述雷达检测结果中物体的轨迹方向为朝向雷达的方向或者远离雷达的方向；所述视频检测结果中物体的轨迹的方向为朝向摄像机的方向或者远离摄像机的方向。

6.根据权利要求2所述的装置，其中，

所述第一确定单元根据预定时间窗口内的平均速度方向确定所述雷达检测结果中物体的轨迹的方向；

所述第一确定单元根据预定时间窗口内最后一帧和第一帧中所述物体的位置确定所述视频检测结果中物体的轨迹的方向，

其中，当前帧是所述预定时间窗口内的最后一帧。

7.根据权利要求1所述的装置，其中，所述匹配单元包括：

第二确定单元，其确定所述雷达检测结果中物体的轨迹的方向、数量和速度以及所述视频检测结果中物体的轨迹的方向、数量和速度；

第二匹配单元，其根据所述轨迹的方向、数量和速度，对所述雷达检测结果中未匹配的物体的轨迹与所述视频检测结果中未匹配的物体的轨迹进行匹配。

8.根据权利要求1所述的装置，其中，

所述确定单元确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹，包括：

对于当前帧中的每个物体j，根据所述物体的雷达坐标，在当前帧之前的至少一帧中查找与所述物体j之间的距离最小的物体k；

将所述距离与预先设定的阈值进行比较；

如果所述距离小于所述阈值，则将所述物体j的轨迹标识标记为所述物体k的轨迹ID，否则，为所述物体j分配新的轨迹ID；

所述确定单元确定当前帧的视频坐标系下视频检测结果中物体的轨迹，包括：

对于当前帧中的每个物体j，根据所述物体的视频坐标，在当前帧之前的至少一帧中查找与所述物体j之间的距离最小的物体k；

将所述距离与预先设定的阈值进行比较；

如果所述距离小于所述阈值，则将所述物体j的轨迹标识标记为所述物体k的轨迹ID，否则，为所述物体j分配新的轨迹ID。

9.根据权利要求1所述的装置，其中，所述同一物体的数据记录为[(x,y),(u,v)]，其中，(x,y)是雷达坐标系中检测到的所述物体的位置，(u,v)是视频坐标系中所述物体的像素坐标。

10.一种数据匹配方法，其特征在于，所述方法包括：

确定当前帧的雷达坐标系下雷达检测结果中物体的轨迹以及当前帧的视频坐标系下视频检测结果中物体的轨迹；

根据所述轨迹的相关信息将当前帧的雷达检测结果中未匹配的物体的轨迹与当前帧的视频检测结果中未匹配的物体的轨迹进行匹配；

将每个匹配轨迹对应的雷达物体的数据和视频物体的数据记录为同一物体的数据。

Images