CN113128541A - 一种标志物的匹配方法及装置 - Google Patents

Abstract

公开了一种标志物的匹配方法及装置，包括：在当前帧图像中，确定第一标志物集合；在所述当前帧的后续帧图像中，确定第二标志物集合；利用预设的预测模型，确定所述第一标志物集合在所述后续帧中对应的第三标志物集合；确定所述第二标志物集合中每一个第二标志物和所述第三标志物集合中每一个第三标志物之间的匹配距离；根据所述匹配距离，确定所述第一标志物集合和所述第二标志物集合之间的匹配关系；确定的标志物参考点坐标与标志物的实际轮廓相符合，使误差明显减小；并且在这一基础上利用预测模型实现了对于标志物的识别和追踪，为建立结构化参数表示提供了完整的前提条件。

Description

一种标志物的匹配方法及装置

技术领域

本公开涉及图像分析技术领域，尤其涉及一种标志物的匹配方法及装置。

背景技术

不同于传统地图仅仅通过二维图像体现地貌、建筑、道路等要素，高精地图作为辅助驾驶/自动驾驶技术的重要组成部分，其更加注重“空间性”。在高精地图当中，各种标志物需要以结构化参数表示的形式体现。而对于标志物的追踪，即在各帧图像中确定出同一标志物，则是确定结构化参数表示的前提条件。

现有技术中，往往是直接通过神经网络针对图像帧进行分析，从而输出标志物的包围框，由此实现对于标志物的追踪。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种标志物的匹配方法及装置，以实现在各帧图像中确定出同一标志物。

根据本公开的第一个方面，提供了一种标志物的匹配方法，包括：

在当前帧图像中，确定第一标志物集合；

在所述当前帧的后续帧图像中，确定第二标志物集合；

利用预设的预测模型，确定所述第一标志物集合在所述后续帧中对应的第三标志物集合；

确定所述第二标志物集合中每一个第二标志物和所述第三标志物集合中每一个第三标志物之间的匹配距离；

根据所述匹配距离，确定所述第一标志物集合和所述第二标志物集合之间的匹配关系。

根据本公开的第二个方面，提供了一种标志物的匹配装置，包括：

第一标志物集合确定模块，用于在当前帧图像中，确定第一标志物集合；

第二标志物集合确定模块，用于在所述当前帧的后续帧图像中，确定第二标志物集合；

第三标志物集合确定模块，用于利用预设的预测模型，确定所述第一标志物集合在所述后续帧中对应的第三标志物集合；

匹配距离确定模块，用于确定所述第二标志物集合中每一个第二标志物和所述第三标志物集合中每一个第三标志物之间的匹配距离；

匹配关系确定模块，用于根据所述匹配距离，确定所述第一标志物集合和所述第二标志物集合之间的匹配关系。

根据本公开的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面中所述的标志物的匹配方法。

根据本公开的第四方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述第一方面中所述的标志物的匹配方法。

与现有技术相比，采用本公开提供的标志物的匹配方法及装置，确定的标志物参考点坐标与标志物的实际轮廓相符合，使误差明显减小。所以避免了现有技术中参考点不落在标志物的实际轮廓上，导致建立结构化参数表示的数据不准确的技术问题；并且在这一基础上利用预测模型实现了对于标志物的识别和追踪，为建立结构化参数表示提供了完整的前提条件。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1A-图1B为本公开涉及的现有技术中标志物与包围框的关系示意图；

图2为本公开一示例性实施例提供的标志物的匹配***的结构示意图；

图3为本公开一示例性实施例提供的标志物的匹配方法的流程示意图；

图4为本公开一示例性实施例提供的标志物的匹配方法的流程示意图；

图5为本公开一示例性实施例提供的标志物的匹配方法的流程示意图；

图6为本公开一示例性实施例提供的标志物的匹配装置的结构示意图；

图7为本公开一示例性实施例提供的标志物的匹配装置中第一标志物集合确定模块的结构示意图；

图8为本公开一示例性实施例提供的标志物的匹配装置中第三标志物集合确定模块的结构示意图；

图9为本公开一示例性实施例提供的标志物的匹配装置中匹配距离确定模块的结构示意图；

图10为本公开一示例性实施例提供的标志物的匹配装置中匹配关系确定模块的结构示意图；

图11为本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

申请概述

在高精地图中，各种标志物需要以结构化参数表示的形式体现。而对于标志物的识别和追踪，即在各帧图像中确定出同一标志物以及标志物的准确坐标范围，则是确定结构化参数表示的前提条件。

目前的标志物识别方法，是直接通过神经网络对图像帧进行分析，从而输出标志物的包围框，由此实现对于标志物的追踪。进一步的，还将根据标志物的包围框确定标志物在各帧图像中的坐标，以根据该坐标建立标志物的结构化参数表示。

神经网络输出的标志物的包围框，通常是规则的矩形框、圆形或多边形等形状。然后选取包围框上某些参考点的坐标，可直接作为建立结构化参数表示的数据。但是在图像帧中，标志物可能并非规则形状，且与包围框不完全重合。包围框上的参考点也可能不落在标志物的实际轮廓上。这便导致得到的建立结构化参数表示的数据不够准确，进而影响结构化参数表示的精确度。

如图1A～图1B所示。图1A是一个矩形标志物的识别结果在图像帧A中的显示。在图1A中，实线矩形框为该矩形标志物在图像帧A中的实际轮廓，虚线矩形框为神经网络追踪识别该标志物输出的包围框，二者可视为重叠。在图1A中，可取包围框的4个顶点坐标作为建立结构化参数表示的数据。此时该4个顶点亦代表了标志物实际轮廓的顶点，因此建立结构化参数表示的数据是准确的。

在另一个图像帧B中，该标志物的识别结果的显示如图1B所示。在图1B中，标志物由于视角倾斜的缘故，不再呈现为矩形，而是呈现为梯形。图1B中的实线梯形框为该标志物在图像帧B中的实际轮廓，虚线矩形框为神经网络追踪识别该标志物输出的包围框。现有技术中，神经网络能够完成从图像帧A到图像帧B的对于标志物的追踪，即从两个图像帧中确定出同一标志物。但是在图像帧B中该标志物实际呈现为梯形，而神经网络追踪识别该标志物输出的包围框依然为矩形。二者不完全重叠。如果在图1B中，取包围框的4个顶点坐标作为建立结构化参数表示的数据。则此时该4个顶点不能代表标志物实际轮廓的顶点，导致建立结构化参数表示的数据出现误差。

另外，图1A～图1B仅仅示出了图像帧中存在一个标志物的情况。而在前后各图像帧中同时存在多个标志物时，如何准确的识别出各个标志物在前后各图像帧中的匹配关系，同样是标志物追踪识别技术亟待解决的问题。现有技术在这一场景下的表现同样不理想。

示例性***

图2示出了可以应用本公开的实施例的标志物的匹配方法或标志物的匹配装置的示例性***架构100。

如图2所示，***架构100可以包括终端设备101、网络102、服务器103和车辆104。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

车辆104上可以设置有多个目标检测设备105(例如激光雷达)，每个激光雷达可以采集针对物体采集的点云帧。多个目标检测设备105可以与终端设备101通信连接，或通过网络102与服务器103通信连接，将采集的点云帧发送至终端设备101或服务器104。

终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种应用，例如数据处理类应用、地图类应用、图像处理类应用等。

终端设备101可以是各种电子设备，包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端。

服务器103可以是提供各种服务的服务器，例如利用终端设备101上传的点云帧进行目标检测的后台数据处理服务器。后台数据处理服务器可以对接收到的点云帧进行处理，得到处理结果(例如检测框)。

需要说明的是，本公开的实施例所提供的匹配方法可以由服务器103执行，也可以由终端设备101执行，相应地，目标检测装置可以设置于服务器103中，也可以设置于终端设备101中。

应该理解，图2中的终端设备、网络、服务器和车辆的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器和车辆。在点云帧不需要远程处理的情况下，上述***架构可以不包括网络和服务器。

示例性方法

图3是本公开一示例性实施例提供的标志物的匹配方法的流程示意图。本实施例可应用在电子设备上，如图3所示，本实施例包括如下步骤：

步骤301、在当前帧图像中，确定第一标志物集合。

当前帧图像，即是一个图像帧序列中对应当前特定时刻的一帧图像。当前帧图像中包括第一标志物集合，第一标志物集合中包括至少一个第一标志物。该第一标志物具体可以是路标牌或交通标志牌等平面标志物，例如禁令标志牌、警告标志牌、旅游标志牌、限速标志牌、指示标志牌、反光标志牌、安全标志牌等。

本步骤中可以确定第一标志物对应的标志物信息。标志物信息可以包括身份标识(即id)以及其类型、含义、内容等各类相关信息。

通常在当前帧图像当中，第一标志物与背景有着明确的边界，即第一标志物会呈现出清晰的实际轮廓。第一标志物实际轮廓的形状可能是规则的矩形、圆形或多边形。也可能由于本身的变形或者视角倾斜，而呈现出梯形、椭圆形或其他各种不规则形状。

本步骤中，可以利用神经网络针对当前帧图像进行处理，即针对当前帧图像中的第一标志物的实际轮廓进行线段提取，从而确定第一标志物的坐标范围(即轮廓线条的坐标的数学表达)。进一步的，还能够确定实际轮廓上特定的参考点的实际坐标。例如当第一标志物的实际轮廓为三角形、四边形或任意多边形时，可以将其各个顶点作为参考点，并确定相应的顶点坐标。

可以理解的是，由于本步骤中得到的第一标志物参考点的实际坐标与标志物的实际轮廓相符合，使误差明显减小。所以避免了现有技术中参考点不落在标志物的实际轮廓上，导致建立结构化参数表示的数据不准确的技术问题。

本步骤中，将根据当前帧图像中各个第一标志物的标志物信息以及相应参考点的实际坐标，确定第一标志物集合。

步骤302、在当前帧的后续帧图像中，确定第二标志物集合。

后续帧图像，即是一个图像帧序列中，对应时刻位于当前帧图像之后的一帧图像。后续帧图像中包括至少一个第二标志物。本步骤中同理于步骤301，可根据后续帧图像中各个第二标志物的标志物信息以及相应参考点的实际坐标，确定第二标志物集合。在此不重复叙述。

步骤303、利用预设的预测模型，确定第一标志物集合在后续帧中对应的第三标志物集合。

该预测模型，可以是基于卡尔曼滤波器建立的计算模型；或者也可以是经过特定训练而得到的神经网络模型。利用该预测模型能够预测第一标志物在未来特定时刻的位置。卡尔曼滤波器的原理属于本领域公知技术，在此不赘述。

本实施例中，即利用预测模型来预测各个第一标志物，在后续帧图像对应时刻的位置。具体的，可将各个标志物参考点的实际坐标输入该预测模型，以使预测模型输出该参考点在后续帧图像对应的时刻的预测坐标，即将第一标志物转换成为第三标志物。

进而，可以根据各个第三标志物的标志物信息，以及其参考点在后续帧图像对应时刻的预测坐标确定第三标志物集合。

步骤304、确定第二标志物集合中每一个第二标志物和第三标志物集合中每一个第三标志物之间的匹配距离。

在第二标志物集合中，包括了后续帧图像中各第二标志物参考点的实际坐标。而在第三标志物集合中，包括了各个第三标志物的参考点在后续帧图像对应时刻的预测坐标。可以理解的是，如果某个第二标志物与某个第三标志物为同一标志物，那么该标志物在后续帧图像中的实际坐标，应当与其相应的预测坐标相近或者重合。

因此本实施例中，可根据实际坐标与预测坐标计算确定匹配距离，并通过该匹配距离来实现标志物的追踪，确定其是否为同一标志物。匹配距离具体可以通过计算二者间的交并比、特征距离和/或外点比例等指标进行确定。本实施例中对于匹配距离的具体计算方式不作限定。

步骤305、根据匹配距离，确定第一标志物集合和第二标志物集合之间的匹配关系。

在第二标志物集合与第三标志物集合中均包括一个标志物的情况下，可直接计算其匹配距离，并判断该匹配距离是否满足预设条件(如判断匹配距离的数值是否满足预设标准)，由此确定二者是否为同一标志物。

在第二标志物集合和/或第三标志物集合中包括了多个标志物的情况下，则可通过各第二标志物和第三标志物两两之间计算匹配距离的方式，来确定当前帧图像和后续帧图像间各标志物的对应关系。例如，分别第三标志物集合中的某个第三标志物(该标志物同样也属于第一标志物集合中的第一标志物)与第二标志物集合中各个第二标志物的匹配距离，并将该第三标志物和与其匹配距离最近的第二标志物建立匹配关系，即认为二者为同一标志物。

当确定了两个标志物的匹配关系之后，和进一步的将该两个标志物配置同一身份标识。至此，本实施例中实现了对于当前帧图像和后续帧图像中标志物的识别和追踪。

通过以上技术方案可知，本实施例存在的有益效果是：确定的标志物参考点坐标与标志物的实际轮廓相符合，使误差明显减小。所以避免了现有技术中参考点不落在标志物的实际轮廓上，导致建立结构化参数表示的数据不准确的技术问题；并且在这一基础上利用预测模型实现了对于标志物的识别和追踪，为建立结构化参数表示提供了完整的前提条件。

如图3所示仅为本公开方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到方法的其他优选实施例。

如图4所示，是本公开另一示例性实施例提供的标志物的匹配方法的流程示意图。本实施例可应用在电子设备上。本实施例将在图3所示实施例的基础上，具体的描述对于参考点的实际坐标的确定过程。本实施例中，该方法具体包括如下步骤：

步骤401、利用目标检测模型，确定第一标志物集合中的第一标志物的第一包围框。

目标检测模型可以是基于神经网络建立的计算模型，其作用和原理类似于现有技术中实现标志物追踪和识别的神经网络。也就是说，该目标检测模型在对当前帧图像进行识别后，能够输出针对第一标志物的第一包围框。并且前述已经明确，该第一包围框通常是矩形，不代表第一标志物的实际轮廓。

步骤402、利用第一包围框对当前帧图像进行线段提取。

第一标志物的实际轮廓位于第一包围框以内。所以要确定第一标志物的实际轮廓，还需要针对当前帧图像中第一包围框范围内的区域进行线段提取。

线段提取为本领域中常规的技术手段，即基于卷积神经网络对当前图像帧进行图像分析，从而在第一包围框以内提取出标志物的边缘与背景的边界线。由于当前帧图像中，第一标志物与背景通常有着明显的边界，所以在第一包围框以内进行线段提取，即可确定第一标志物的实际轮廓。

步骤403、根据线段提取结果确定第一顶点像素坐标。

本实施例中可以认为，线段提取结果即轮廓线条实际坐标的数学表达。而在第一标志物为四边形的情况下，可将其4个顶点作为参考点。通过这一数学表达，可确定第一标志物的顶点在当前帧图像中的实际坐标，即是第一顶点像素坐标。

步骤404、将第一顶点像素坐标输入预设的预测模型，以确定第三标志物的第三顶点像素坐标。

本实施例中，将上述得到的第一顶点像素坐标作为预测模型的输入，以使得预测模型输出第一标志物的顶点在后续帧图像对应的时刻的预测坐标，即第三顶点像素坐标。即从数学表达的层面上，将第一标志物转换为第三标志物。

步骤405、根据第三顶点像素坐标确定第三标志物集合。

根据该第三顶点坐标，以及各个第三标志物的标志物信息可以确定第三标志物集合。

需要说明的是，本实施例中可同理建立第二标志物集合，同理确定第二标志物集合中第二标志物的第二顶点像素坐标。并进一步的执行后续的匹配过程。本实施例中标志物的匹配过程与图3所示实施例一致。以上内容在本实施例中无需重复叙述。

另外，本实施例中优选的还可以包括：获取第二标志物的第二顶点像素坐标；利用第二顶点像素坐标更新预测模型。可以理解的是，对于图像帧序列中的标志物追踪和识别，是一个多次重复进行的过程。换言之，本次匹配流程中的后续帧图像，往往即是下一次匹配流程中的当前帧图像。所以在下一次匹配过程中需对预测模型进行相应的参数更新。而根据卡尔曼滤波器的原理，该参数更新将利用第二标志物的第二顶点像素坐标。

如图5所示，是本公开另一示例性实施例提供的标志物的匹配方法的流程示意图。本实施例可应用在电子设备上。本实施例将在图3～4所示实施例的基础上，具体的描述对于标志物的匹配过程。本实施例中，该方法具体包括如下步骤：

步骤501、在当前帧图像中，确定第一标志物集合。

步骤502、在当前帧的后续帧图像中，确定第二标志物集合。

步骤503、利用预设的预测模型，确定第一标志物集合在后续帧中对应的第三标志物集合。

以上步骤相关描述与前述实施例一致，在此不重复叙述。

步骤504、确定第二标志物集合中每一个第二标志物和第三标志物集合中每一个第三标志物之间的交并比。

交并比即意味着，第二标志物的第二顶点像素坐标所体现的实际轮廓，与第三标志物的第三顶点像素坐标所体现的预测轮廓之间的交叠比例。交并比为本领域常用指标，其计算过程在此不赘述。交并比能够体现二者之间的重合程度。理论上，如果第二标志物与第三标志物为同一标志物，则二者交并比应当为1，即完全重合。实际上如果二者的交并比越趋近于1，则说明二者重合程度越高。

步骤505、根据交并比，确定匹配距离。

本实施例中，可直接根据交并比确定匹配距离。也可将交并比与其他指标相结合确定匹配距离。例如，可以确定第二标志物和第三标志物之间的灰度直方图距离；根据交并比和灰度直方图距离，确定匹配距离。所谓灰度直方图距离，意味着从图像识别层面上第二标志物和第三标志物之间图像语义的一致性。换言之，即是衡量二者之间的图像特征是否足够相似。灰度直方图距离为本领域中常用指标，其计算过程在此不赘述。

由于交并比只能够从位置的角度进行匹配，无法从图像语义的角度进行匹配，所以在计算匹配距离的时候，将交并比与灰度直方图距离相结合，可进一步的提高匹配的准确性。

本实施例中计算匹配具体可参考以下公式：

d＝1-IOU+w*||hist-hist’||

其中，d代表匹配距离，IOU代表交并比，w代表预设的权重系数，hist代表第二标志物的灰度直方图，hist’代表第三标志物的灰度直方图，||hist-hist’||代表二者之间的灰度直方图距离。

步骤506、根据匹配距离，利用匈牙利指派算法从第一标志物集合和第二标志物集合中确定出匹配对。

本实施例中假设存在多个第二标志物和多个第三标志物，则在多个第二标志物和多个第三标志物之间两两计算确定匹配距离之后，可利用匈牙利指派算法将其进行配对。即确定哪个第二标志物与哪个第三标志物为同一标志物。利用匈牙利指派算法的具体计算过程为本领域公知，在此不赘述。而该算法进行配对的原理是，将匹配距离最小，且匹配距离小于预设阈值的第二标志物和第三标志物确定为一个匹配对。

也就是说，一个匹配对中包括一个第一标志物，和一个与该第一标志物相匹配的第二标志物。本实施例中经过匹配认为二者为同一标志物，可将二者设置为同一身份标识。由此本实施例中可实现在图像帧序列中对于同一个标志物的追踪，并且同时准确的获得该标志物在各帧中的顶点像素坐标。由此为准确的建立结构化参数表示提供了前提条件。

示例性装置

图6是本公开一示例性实施例提供的标志物的匹配装置的结构示意图。本实施例装置，即用于执行图3～图5方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中装置包括：

第一标志物集合确定模块601，用于在当前帧图像中，确定第一标志物集合。

第二标志物集合确定模块602，用于在当前帧的后续帧图像中，确定第二标志物集合。

第三标志物集合确定模块603，用于利用预设的预测模型，确定第一标志物集合在后续帧中对应的第三标志物集合。

匹配距离确定模块604，用于确定第二标志物集合中每一个第二标志物和第三标志物集合中每一个第三标志物之间的匹配距离。

匹配关系确定模块605，用于根据匹配距离，确定第一标志物集合和第二标志物集合之间的匹配关系。

图7是本公开另一示例性实施例提供的标志物的匹配装置中第一标志物集合确定模块601的结构示意图。如图7所示，在示例性实施例中，第一标志物集合确定模块601包括：

第一包围框确定单元711、用于利用目标检测模型确定第一标志物的第一包围框。

线段提取单元712、用于利用第一包围框对当前帧图像进行线段提取。

第一顶点像素坐标确定单元713、用于根据线段提取结果确定第一顶点像素坐标。

图8是本公开另一示例性实施例提供的标志物的匹配装置中第三标志物集合确定模块603的结构示意图。如图8所示，在示例性实施例中，第三标志物集合确定模块603包括：

第一顶点像素坐标获取单元811、获取第一标志物集合中的第一标志物的第一顶点像素坐标。

第三顶点像素坐标确定单元812、将第一顶点像素坐标输入预设的预测模型，以确定第三标志物的第三顶点像素坐标。

第三标志物集合确定单元813、根据第三顶点像素坐标确定第三标志物集合。

图9是本公开另一示例性实施例提供的标志物的匹配装置中匹配距离确定模块604的结构示意图。如图9所示，在示例性实施例中匹配距离确定模块604包括：

交并比确定单元911、用于确定第二标志物和第三标志物之间的交并比。

灰度直方图距离确定单元912、用于确定第二标志物和第三标志物之间的灰度直方图距离。

匹配距离确定单元913、用于根据交并比和灰度直方图距离，确定匹配距离。

图10是本公开另一示例性实施例提供的标志物的匹配装置中匹配关系确定模块605的结构示意图。如图10所示，在示例性实施例中匹配关系确定模块605包括：

匹配对确定单元1011、用于根据匹配距离，利用匈牙利指派算法从第一标志物集合和第二标志物集合中确定出匹配对，匹配对包括第一标志物集合中的第一标志物，和与第一标志物相匹配和第二标志物；

匹配关系确定单元1012、用于根据匹配对确定第一标志物集合和第二标志物集合之间的匹配关系。

示例性电子设备

下面，参考图11来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图11图示了根据本公开实施例的电子设备的框图。

如图11所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的标志物的匹配方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的标志物的匹配方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的标志物的匹配方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种标志物的匹配方法，包括：

在当前帧图像中，确定第一标志物集合；

在所述当前帧的后续帧图像中，确定第二标志物集合；

利用预设的预测模型，确定所述第一标志物集合在所述后续帧中对应的第三标志物集合；

确定所述第二标志物集合中每一个第二标志物和所述第三标志物集合中每一个第三标志物之间的匹配距离；

根据所述匹配距离，确定所述第一标志物集合和所述第二标志物集合之间的匹配关系。

2.根据权利要求1所述方法，所述确定所述第二标志物和所述第三标志物之间的匹配距离包括：

确定所述第二标志物和所述第三标志物之间的交并比；

根据所述交并比，确定所述匹配距离。

3.根据权利要求2所述方法，还包括：

确定所述第二标志物和所述第三标志物之间的灰度直方图距离；

则所述根据所述交并比，确定所述匹配距离包括：

根据所述交并比和所述灰度直方图距离，确定所述匹配距离。

4.根据权利要求1所述方法，所述根据所述匹配距离，确定所述第一标志物集合和所述第二标志物集合的匹配关系包括：

根据所述匹配距离，利用匈牙利指派算法从所述第一标志物集合和所述第二标志物集合中确定出匹配对，所述匹配对包括所述第一标志物集合中的第一标志物，和与所述第一标志物相匹配和所述第二标志物。

5.根据权利要求1所述方法，其中，所述利用预设的预测模型，确定所述第一标志物集合在所述后续帧中对应的第三标志物集合包括：

获取所述第一标志物集合中的第一标志物的第一顶点像素坐标；

将所述第一顶点像素坐标输入所述预设的预测模型，以确定所述第三标志物的第三顶点像素坐标；

根据所述第三顶点像素坐标确定所述第三标志物集合。

6.根据权利要求5所述方法，其中，所述获取所述第一标志物的第一顶点像素坐标包括：

利用目标检测模型确定所述第一标志物的第一包围框；

利用所述第一包围框对所述当前帧图像进行线段提取；

根据所述线段提取结果确定所述第一顶点像素坐标。

7.根据权利要求1～6任意一项所述方法，其中，还包括：

获取所述第二标志物的第二顶点像素坐标；

利用所述第二顶点像素坐标更新所述预测模型。

8.一种标志物的匹配装置，包括：

第一标志物集合确定模块，用于在当前帧图像中，确定第一标志物集合；

第二标志物集合确定模块，用于在所述当前帧的后续帧图像中，确定第二标志物集合；

第三标志物集合确定模块，用于利用预设的预测模型，确定所述第一标志物集合在所述后续帧中对应的第三标志物集合；

匹配距离确定模块，用于确定所述第二标志物集合中每一个第二标志物和所述第三标志物集合中每一个第三标志物之间的匹配距离；

匹配关系确定模块，用于根据所述匹配距离，确定所述第一标志物集合和所述第二标志物集合之间的匹配关系。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的标志物的匹配方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的标志物的匹配方法。

Images