CN117455992A - 对应关系确定方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种对应关系确定方法、装置、电子设备和存储介质。对应关系确定方法：获取待追踪对象的图像，其中，待追踪对象上具有多个光源，图像中包括多个光源产生的光斑；对待追踪对象的图像进行光斑提取，得到多个光斑点；获取待追踪对象上的多个光源的二维投影图，投影图上具有多个光源的投影点；将多个光斑点和多个光源的投影点进行匹配处理，得到匹配关系集合；对匹配关系集合进行筛选处理，得到待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系。通过上述方式可以准确地确定光斑与光源的对应关系，进而提高定位效率。

Description

对应关系确定方法、装置、电子设备和存储介质

本申请要求申请日为2023年02月28日、申请号为“202310215397.5”、专利名称为“一种对应关系确定方法、装置、虚拟显示手柄”的发明申请的优先权，以及要求申请日为2023年02月28日、申请号为“202310184371.9”、专利名称为“一种融合定位方法和装置”的发明申请的优先权，其全部内容在此引入作为参考。

技术领域

本申请实施例涉至虚拟现实技术领域，尤其涉至一种对应关系确定方法、装置、电子设备和存储介质。

背景技术

当前的虚拟交互设备中，实现手柄6DoF定位的传统方式是通过在手柄上装有数个光源，相机拍摄到手柄上的光源光斑，根据二维图像中的光斑位置与光源投影位置，进而匹配到光斑与光源的对应关系，然后通过定位算法，例如PnP算法，实现手柄在三维空间的6DoF定位。

然而，上述传统定位技术确定光斑与光源的对应关系时，存在当左、右两个手柄交叠时，左、右手柄的光斑会混淆在一起的情形，从而影响匹配，致使手柄定位异常。或者在有杂光斑干扰时，会影响到手柄的定位，致使出现手柄追踪卡顿、丢失、漂移等问题。简而言之，传统的定位方式无法准确地确定光斑与光源的对应关系，定位效率低。

发明内容

有鉴于此，本申请实施例提供一种对应关系确定方法、装置、电子设备和存储介质，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种对应关系确定方法，其特征在于，包括：获取待追踪对象的图像，其中，所述待追踪对象上具有多个光源，所述图像中包括所述多个光源产生的光斑；对所述待追踪对象的图像进行光斑提取，得到多个光斑点；获取所述待追踪对象上的多个光源的二维投影图，所述投影图上具有所述多个光源的投影点；将所述多个光斑点和所述多个光源的投影点进行匹配处理，得到匹配关系集合；对所述匹配关系集合进行筛选处理，得到所述待追踪对象的图像的光斑与所述待追踪对象的多个光源的对应关系。

在本申请的另一实现方式中，所述将所述多个光斑点和所述多个光源的投影点进行匹配处理，得到匹配关系集合，包括：按照预设排序规则，分别对所述多个光斑点和所述多个光源的投影点进行排序，得到序列光斑点和序列投影点；将所述序列光斑点与所述序列投影点按照序列递增顺序进行循环匹配，得到光斑点与投影点的匹配数据；基于所述光斑点与投影点的匹配数据，建立匹配关系集合。

在本申请的另一实现方式中，所述基于所述光斑点与投影点的匹配数据，建立匹配关系集合，包括：根据预设匹配点对阈值对所述光斑点与投影点的匹配数据进行筛选，得到符合预设匹配点对阈值的匹配数据；基于所述符合预设匹配点对阈值的匹配数据，建立匹配关系集合。

在本申请的另一实现方式中，所述方法还包括：根据所述光斑点与投影点的匹配数据，计算所述光斑点与所述投影点的平均距离，得到包含距离数据的光斑点与投影点的匹配数据；根据预设平均距离阈值对所述包含距离数据的光斑点与投影点的匹配数据进行筛选，得到符合预设平均距离阈值的匹配数据；基于所述符合预设匹配阈值的匹配数据，建立匹配关系集合。

在本申请的另一实现方式中，所述对所述匹配关系集合进行筛选处理，得到所述待追踪对象的图像的光斑与所述待追踪对象的多个光源的对应关系，包括：根据所述匹配关系集合中的多个匹配关系，计算得到所述待追踪对象的多组实际位姿数据；根据所述待追踪对象的惯导数据，确定所述待追踪对象的预测位姿数据；计算所述多组实际位姿数据与所述预测位姿数据的位姿偏差，得到多组位姿偏差值；根据预设位姿偏差阈值对所述多组位姿偏差值进行筛选，得到符合预设位姿偏差阈值的位姿偏差值；根据所述符合预设位姿偏差阈值的位姿偏差值对应的匹配关系，确定所述待追踪对象的图像的光斑与所述待追踪对象的多个光源的对应关系。

在本申请的另一实现方式中，所述方法还包括：根据所述匹配关系集合中的多个匹配关系，计算得到所述待追踪对象的多组实际位姿数据；根据所述多组实际位姿数据，对所述光源进行重投影，得到多个重投影图像；计算所述多个重投影图像与所述待追踪对象的图像的重投影偏差，得到多组重投影偏差值；根据预设重投影偏差阈值对所述多组重投影偏差值进行筛选，得到符合预设重投影偏差阈值的重投影偏差值；根据所述符合预设重投影偏差阈值的重投影偏差值对应的匹配关系，确定所述待追踪对象的图像的光斑与所述待追踪对象的多个光源的对应关系。

在本申请的另一实现方式中，所述方法还包括：基于所述对应关系，对所述待追踪对象进行追踪。

根据本申请实施例的第二方面，提供了一种对应关系确定装置，包括：图像获取模块，用于获取待追踪对象的图像，其中，所述待追踪对象上具有多个光源，所述图像中包括所述多个光源产生的光斑；光斑提取模块，用于对所述待追踪对象的图像进行光斑提取，得到多个光斑点；投影获取模块，获取所述待追踪对象上的多个光源的二维投影图，所述投影图上具有所述多个光源的投影点；匹配处理模块，用于将所述多个光斑点和所述多个光源的投影点进行匹配处理，得到匹配关系集合；筛选处理模块，用于对所述匹配关系集合进行筛选处理，得到所述待追踪对象的图像的光斑与所述待追踪对象的多个光源的对应关系。

根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行如第一方面所述的方法对应的操作。

根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。

本申请实施例的方案中，通过将多个光斑点和多个光源的投影点进行匹配处理，得到匹配关系集合，再对匹配关系集合进行筛选处理，从而得到待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系。通过上述方式可以准确地确定光斑与光源的对应关系，进而提高定位效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为根据本申请的一个实施例的一种对应关系确定方法的步骤流程图。

图2A-图2G为根据本申请的一个实施例的一种对应关系确定方法的示意图。

图3为根据本申请的一个实施例的一种对应关系确定装置的示意性框图。

图4为根据本申请的一个实施例的电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、详细地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

应当理解，本披露的权利要求、说明书至附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”至“该”意在包括复数形式。还应当进一步理解，在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以至所有可能组合，并且包括这些组合。

名词解释：6DoF：6degree of freedom，即6个方向自由度；PnP算法：Perspective-n-Point指的是一种求解3D点到2D点对运动的方法，已知多个3D空间点及其投影位置时，估算相机所在的位姿，即计算待追踪对象的位姿，例如控制器/手柄的位姿；位姿，位置和姿态。

本申请实施例可以应用于XR交互手柄或者XR头显，例如VR手柄、VR头显一体机，MR头显一体机、手柄等，以下仅以VR交互手柄或者VR头显作为实施例，但不应该理解为对本申请内涵的限制。

在一种实施例中，本申请实施例可以应用于VR头显，VR头显通过无线方式连接手柄，也可称为控制器，不做限制。VR头显可佩戴于用户头部，其表面设置若干个摄像头，可以采集捕捉与其无线连接的手柄的运动图像，手柄上设置有多个红外led光源，作为可见光源的一种实施样态。

在现有的虚拟现实设备中，当手柄交叠时，或者使用环境中有干扰杂光斑(光点)时，虚拟现实设备会发生卡顿，或出现手柄的定位丢失、漂移等问题。其原因是：在确定光源的投影点与光斑点的对应关系时，传统的方式是利用光源的投影点与对应光斑点的最近距离进行匹配，当有干扰点时(例如手柄交叠、存在杂光斑)，会导致匹配关系不准确，从而致使定位错误。

图1示出了本申请的一个实施例的一种对应关系确定方法的步骤流程图。本实施例的一种对应关系确定方法包括：

S110、获取待追踪对象的图像，其中，待追踪对象上具有多个光源，图像中包括多个光源产生的光斑。

S120、对待追踪对象的图像进行光斑提取，得到多个光斑点。

需要说明的是，可以对相机等外部图像采集拍摄到的待追踪图像的二维图像，进行光斑检测，得到待追踪对象上光源对应光斑。此处的光斑检测方式不作限定。

S130、获取待追踪对象上的多个光源的二维投影图，投影图上具有多个光源的投影点。

需要说明的是，可以按照待追踪对象的位姿，将待追踪对象上的光源三维点，投影二维图像中，得到待追踪对象上的多个光源的二维投影图，该投影图上具有多个光源的投影点。

S140、将多个光斑点和多个光源的投影点进行匹配处理，得到匹配关系集合。

S150、对匹配关系集合进行筛选处理，得到待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系。

如图2A所示，当待追踪对象出现重叠交叉情况或有杂光斑的情况下，会出现光斑混淆的情形，通过上述步骤，可以区分并识别光斑，得到待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系。

本申请实施例的方案中，通过将多个光斑点和多个光源的投影点进行匹配处理，得到匹配关系集合，再对匹配关系集合进行筛选处理，从而得到待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系。通过上述方式可以准确地确定光斑与光源的对应关系，进而提高定位效率。

在一种可能的实现方式中，将多个光斑点和多个光源的投影点进行匹配处理，得到匹配关系集合，包括：按照预设排序规则，分别对多个光斑点和多个光源的投影点进行排序，得到序列光斑点和序列投影点；将序列光斑点与序列投影点按照序列递增顺序进行循环匹配，得到光斑点与投影点的匹配数据；基于光斑点与投影点的匹配数据，建立匹配关系集合。

需要说明的是，在理想情况下的配对情形如图2B所示，图中，圆形代表光斑点，数字代表其序号。此处的光斑是相机等外部图像采集拍摄到的。三角形代表光源投影点，字母代表其序列编号。光源在图像中的投影点，是通过计算进行预测得到的。在理想情况下，在投影点A、B、C、D周围搜索最近点即可得到匹配点，分别是1、2、3、4。

然而，实际情况往往是投影点(预测位置)与光斑点(实际位置)之间存在偏差，如果加上杂光斑的干扰，就很难按照理想情况进行匹配(如图2C左所示)。

如图2C所示，即将多个光斑点和多个光源的投影点进行匹配处理，图中圆形代表光斑点，数字代表其序号，三角形代码投影点，字母代表其序列编号。其中，左图代表相机等外部图像采集拍摄到的待追踪图像的二维图像，并将光源投影到了图中。右图通过将左图中的圆形光斑，按照“1”移至“A”的平移方式整体平移后得到。

如图2D所示，即将序列光斑点与序列投影点按照序列递增顺序进行循环匹配。以“A、B、C、D”为基准，从“1、2、3、4、5、6、7”中找匹配点。假设“1”与“A”相匹配，将“1”移至“A”，即“1”与“A”配对，记入匹配关系；然后在“B”周围搜索邻近的光斑点，搜索范围是有一定的阈值(例如5像素距离以内，不作限定)，在阈值范围内，搜索到“2”，即“2”与“B”配对，计入匹配关系。此时，匹配关系为：1A-2B。

在C搜索匹配点之前，使C邻近且已配对的投影点(B)与其配对光斑点(2)移动至重合，即“2”移至“B”。然后，再搜索“C”周围的邻近光斑点，在一定的阈值范围内，搜索到“3”，即“3”与“C”配对，记入匹配关系。此时，匹配关系更新为：1A-2B-3C。

在此说明，为什么要使“2”“B”移动至重合后，再找C的匹配点：由于投影点(三角形ABCD)，是按照预测位姿计算出的，预测的位姿可能存在误差，误差较大时，投影点可能不准确。此处误差，可分为横向误差、纵向误差。横向误差修正，通过“1A”一次平移后，即可抵消(部分)横向误差。纵向误差修正，投影后表现为尺度误差，具体到图中，ABCD几个三角形的整体，比1234几个圆形的整体，尺寸方面要小一些，需要用多次平移，才能有效抵掉(部分)纵向误差。

同上步骤的方法，如图2E所示，“3”移至“C”后，搜索“D”的匹配点(邻近光斑点)，在阈值范围内搜到“4”，匹配关系更新为：1A 2B 3C 4D。

需要说明的是，如图2F所示，上述第二轮匹配关系：2A-3B-7D，没有C的匹配对，是因为C周围，在阈值范围内无光斑点，所以“C”的匹配为“空”，无匹配对。同理“6D”，ABC均无匹配点。

至此，可见的光斑点搜索完一轮(假设“1”与“A”匹配的一轮)；然后，再假设“2”与“A”是匹配点，重复上述步骤，进行新一轮的匹配。如此循环下去，如图2G所示，可表示为：

“1”移至“A”，匹配关系集合：1A-2B(更新中)

“2”移至“B”，匹配关系集合：1A-2B-3C(更新中)

“3”移至“C”，匹配关系集合：1A-2B-3C-4D(此轮“假设”得到的匹配关系)

“2”移至“A”，匹配关系集合：2A-3B(更新中)

“3”移至“B”，匹配关系集合：2A-3B-7D(此轮“假设”得到的匹配关系)

……

“6”移至“D”，匹配关系集合：6D(此轮“假设”得到的匹配关系)

……

最后将上述匹配关系，组成匹配关系集合。得到的匹配关系集合，可表示为：

(1A-2B-3C-4D、2A-3B-7D、……、6D、……)

在一种可能的实现方式中，基于光斑点与投影点的匹配数据，建立匹配关系集合，包括：根据预设匹配点对阈值对光斑点与投影点的匹配数据进行筛选，得到符合预设匹配点对阈值的匹配数据；基于符合预设匹配点对阈值的匹配数据，建立匹配关系集合。

需要说明的是，通过根据预设匹配点对阈值对光斑点与投影点的匹配数据进行筛选，可以节省计算耗时。例如，去掉小于3点对的匹配数据。优选地，对符合预设匹配点对阈值的匹配数据进行去重处理。

在一种可能的实现方式中，本申请实施例中的方法还可以包括：根据光斑点与投影点的匹配数据，计算光斑点与投影点的平均距离，得到包含距离数据的光斑点与投影点的匹配数据；根据预设平均距离阈值对包含距离数据的光斑点与投影点的匹配数据进行筛选，得到符合预设平均距离阈值的匹配数据；基于符合预设匹配阈值的匹配数据，建立匹配关系集合。

需要说明的是，通过根据预设平均距离阈值对包含距离数据的光斑点与投影点的匹配数据进行筛选，去掉超过预设平均距离阈值的匹配关系。

例如，有匹配关系1A-2B-3C-4D与1A-2B-3C-7D。对1A-2B-3C-4D去除第一步1A的平移距离后，2B、3C、4D的平移距离之和为10像素。对1A-2B-3C-7D去除第一步1A的平移距离后，2B、3C、7D的平移距离之和为15像素。10像素小于15像素，这两组匹配关系有明显差异，则去掉1A-2B-3C-7D，保留1A-2B-3C-4D，从而得到符合预设平均距离阈值的匹配数据，减少后续计算耗时。经过上述筛选处理后，匹配关系集合为：(1A-2B-3C-4D、2A-3B-7D)。

需要说明的是，此处的1A的平移距离，是否作为筛选判断条件，不作限制。去除第一步1A的平移距离，是因为具体到虚拟现实交互时，运动速度可能很快，投影与光斑可能有较大的整体偏移，所以没有使用1A距离作为筛选条件。去掉第一步的整体偏移，后续平移距离的偏移量，将反应出匹配关系的准确度。

在一种可能的实现方式中，对匹配关系集合进行筛选处理，得到待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系，包括：根据匹配关系集合中的多个匹配关系，计算得到待追踪对象的多组实际位姿数据；根据待追踪对象的惯导数据，确定待追踪对象的预测位姿数据；计算多组实际位姿数据与预测位姿数据的位姿偏差，得到多组位姿偏差值；根据预设位姿偏差阈值对多组位姿偏差值进行筛选，得到符合预设位姿偏差阈值的位姿偏差值；根据符合预设位姿偏差阈值的位姿偏差值对应的匹配关系，确定待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系。

需要说明的是，可以通过PnP算法，利用匹配关系集合中的多个匹配关系，计算得到待追踪对象的多组实际位姿数据，然后可计算出姿态偏差值。通过PnP计算后多组实际位姿数据中，包含待追踪对象的姿态、位置。位姿偏差指的是PnP解出的位姿，与预测位姿相比，得到的一个位姿偏差值。预测位姿通常来自惯导数据积分，即通过惯导数据解算出的位姿。也可以是通过其它方法得到的预测位姿，此处不作限制。一般来说，惯导数据解算的待追踪对象的预测位姿数据，长时间会漂移，所以需要光学(图像)计算出的数据去矫正预测位姿数据，但在短时间内(几个毫秒或者几十毫秒内不等)预测位姿数据是是比较准确的。

需要说明的是，此处的根据符合预设位姿偏差阈值的位姿偏差值对应的匹配关系，确定待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系，可以是剔除超过预设位姿偏差阈值的位姿偏差值对应的匹配关系。例如，姿态偏差值超过5度的匹配关系进行剔除。

在一种可能的实现方式中，本申请实施例还可以包括：根据匹配关系集合中的多个匹配关系，计算得到待追踪对象的多组实际位姿数据；根据多组实际位姿数据，对光源进行重投影，得到多个重投影图像；计算多个重投影图像与所待追踪对象的图像的重投影偏差，得到多组重投影偏差值；根据预设重投影偏差阈值对多组重投影偏差值进行筛选，得到符合预设重投影偏差阈值的重投影偏差值；根据符合预设重投影偏差阈值的重投影偏差值对应的匹配关系，确定待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系。

重投影偏差指的是PnP解算的多组实际位姿数据(包括位置、姿态)，根据该位置、姿态，将待追踪对象上的光源点重新投影到图像中，与其配对的光斑相比较，会有一定的像素偏差(如，0.1到1个像素不等)，此像素上的偏差，即重投影偏差值。

此处的预设重投影偏差阈值可以通过对每个投影点与匹配光斑的距离进行求和再平均得到，也可以对每个投影点与匹配光斑的距离的平方值进行求和再平均得到。预设重投影偏差阈值的计算方式不作限制。

此处的根据符合预设重投影偏差阈值的重投影偏差值对应的匹配关系，确定待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系，可以是将超过符合预设重投影偏差阈值的重投影偏差值对应的匹配关系进行剔除。例如，预设重投影偏差阈值大于1像素的匹配关系剔除。

优选地，经过上述筛选后，仍存在多组匹配关系时，可选择重投影偏差值最小的匹配关系，确定待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系。

需要说明的是，待追踪对象超过相机等外部图像采集拍摄范围时，待追踪对象的图像中没有待追踪对象的光源对应的光斑。则会出现没有正确匹配关系的情况。

在一种可能的实现方式中，本申请实施例中的方法还可以包括：基于对应关系，对待追踪对象进行追踪。

图3为根据本申请的另一实施例的对应关系确定装置的示意性框图。本申请实施例的方案可以应用于电子设备，包括但不限于具有数据处理能力的电子设备等。

本实施例的对应关系确定装置，包括：图像获取模块，用于获取待追踪对象的图像，其中，待追踪对象上具有多个光源，图像中包括多个光源产生的光斑；光斑提取模块，用于对待追踪对象的图像进行光斑提取，得到多个光斑点；投影获取模块，获取待追踪对象上的多个光源的二维投影图，投影图上具有多个光源的投影点；匹配处理模块，用于将多个光斑点和多个光源的投影点进行匹配处理，得到匹配关系集合；筛选处理模块，用于对匹配关系集合进行筛选处理，得到待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系。

在另一些示例中，光斑提取模块，可以用于：按照预设排序规则，分别对多个光斑点和多个光源的投影点进行排序，得到序列光斑点和序列投影点；将序列光斑点与序列投影点按照序列递增顺序进行循环匹配，得到光斑点与投影点的匹配数据；基于光斑点与投影点的匹配数据，建立匹配关系集合。

在另一些示例中，匹配处理模块，可以用于：根据预设匹配点对阈值对光斑点与投影点的匹配数据进行筛选，得到符合预设匹配点对阈值的匹配数据；基于符合预设匹配点对阈值的匹配数据，建立匹配关系集合。

在另一些示例中，匹配处理模块，可以用于：根据光斑点与投影点的匹配数据，计算光斑点与投影点的平均距离，得到包含距离数据的光斑点与投影点的匹配数据；根据预设平均距离阈值对包含距离数据的光斑点与投影点的匹配数据进行筛选，得到符合预设平均距离阈值的匹配数据；基于符合预设匹配阈值的匹配数据，建立匹配关系集合。

在另一些示例中，筛选处理模块，可以用于：根据匹配关系集合中的多个匹配关系，计算得到待追踪对象的多组实际位姿数据；根据待追踪对象的惯导数据，确定待追踪对象的预测位姿数据；计算多组实际位姿数据与预测位姿数据的位姿偏差，得到多组位姿偏差值；根据预设位姿偏差阈值对多组位姿偏差值进行筛选，得到符合预设位姿偏差阈值的位姿偏差值；根据符合预设位姿偏差阈值的位姿偏差值对应的匹配关系，确定待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系。

在另一些示例中，筛选处理模块，可以用于：根据匹配关系集合中的多个匹配关系，计算得到待追踪对象的多组实际位姿数据；根据多组实际位姿数据，对光源进行重投影，得到多个重投影图像；计算多个重投影图像与待追踪对象的图像的重投影偏差，得到多组重投影偏差值；根据预设重投影偏差阈值对多组重投影偏差值进行筛选，得到符合预设重投影偏差阈值的重投影偏差值；根据符合预设重投影偏差阈值的重投影偏差值对应的匹配关系，确定待追踪对象的图像的光斑与待追踪对象的多个光源的对应关系。

在另一些示例中，筛选处理模块，可以用于：基于对应关系，对待追踪对象进行追踪。

参照图4，示出了根据本申请的另一实施例的电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。

如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储有程序410的存储器(memory)406、以至通信总线408。

处理器、通信接口、以至存储器通过通信总线完成相互间的通信。通信接口，用于与其它电子设备或服务器进行通信。处理器，用于执行程序，具体可以执行上述方法实施例中的相关步骤。具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。

处理器可能是处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以至一个或多个ASIC。

存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序具体可以用于使得处理器执行操作：获取待追踪目标对象的短曝光图像，短曝光图像中包含至少一个光斑；对短曝光图像进行兴趣区域检测，确定短曝光图像中的兴趣区域，其中，至少一个光斑位于兴趣区域内；对兴趣区域内的至少一个光斑进行提取处理，确定兴趣区域内的至少一个光斑的坐标和直径信息；对至少一个光斑的坐标和直径信息进行坐标变换处理，得到至少一个光斑在短曝光图像中的坐标和直径信息。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以至流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种对应关系确定方法，其特征在于，包括：

获取待追踪对象的图像，其中，所述待追踪对象上具有多个光源，所述图像中包括所述多个光源产生的光斑；

对所述待追踪对象的图像进行光斑提取，得到多个光斑点；

获取所述待追踪对象上的多个光源的二维投影图，所述投影图上具有所述多个光源的投影点；

将所述多个光斑点和所述多个光源的投影点进行匹配处理，得到匹配关系集合；

对所述匹配关系集合进行筛选处理，得到所述待追踪对象的图像的光斑与所述待追踪对象的多个光源的对应关系。

2.根据权利要求1所述的方法，其中，所述将所述多个光斑点和所述多个光源的投影点进行匹配处理，得到匹配关系集合，包括：

按照预设排序规则，分别对所述多个光斑点和所述多个光源的投影点进行排序，得到序列光斑点和序列投影点；

将所述序列光斑点与所述序列投影点按照序列递增顺序进行循环匹配，得到光斑点与投影点的匹配数据；

基于所述光斑点与投影点的匹配数据，建立匹配关系集合。

3.根据权利要求2所述的方法，其中，所述基于所述光斑点与投影点的匹配数据，建立匹配关系集合，包括：

根据预设匹配点对阈值对所述光斑点与投影点的匹配数据进行筛选，得到符合预设匹配点对阈值的匹配数据；

基于所述符合预设匹配点对阈值的匹配数据，建立匹配关系集合。

4.根据权利要求3所述的方法，其中，所述方法还包括：

根据所述光斑点与投影点的匹配数据，计算所述光斑点与所述投影点的平均距离，得到包含距离数据的光斑点与投影点的匹配数据；

根据预设平均距离阈值对所述包含距离数据的光斑点与投影点的匹配数据进行筛选，得到符合预设平均距离阈值的匹配数据；

基于所述符合预设匹配阈值的匹配数据，建立匹配关系集合。

5.根据权利要求4所述的方法，其中，所述对所述匹配关系集合进行筛选处理，得到所述待追踪对象的图像的光斑与所述待追踪对象的多个光源的对应关系，包括：

根据所述匹配关系集合中的多个匹配关系，计算得到所述待追踪对象的多组实际位姿数据；

根据所述待追踪对象的惯导数据，确定所述待追踪对象的预测位姿数据；

计算所述多组实际位姿数据与所述预测位姿数据的位姿偏差，得到多组位姿偏差值；

根据预设位姿偏差阈值对所述多组位姿偏差值进行筛选，得到符合预设位姿偏差阈值的位姿偏差值；

根据所述符合预设位姿偏差阈值的位姿偏差值对应的匹配关系，确定所述待追踪对象的图像的光斑与所述待追踪对象的多个光源的对应关系。

6.根据权利要求5所述的方法，其中，所述方法还包括：

根据所述匹配关系集合中的多个匹配关系，计算得到所述待追踪对象的多组实际位姿数据；

根据所述多组实际位姿数据，对所述光源进行重投影，得到多个重投影图像；

计算所述多个重投影图像与所述待追踪对象的图像的重投影偏差，得到多组重投影偏差值；

根据预设重投影偏差阈值对所述多组重投影偏差值进行筛选，得到符合预设重投影偏差阈值的重投影偏差值；

根据所述符合预设重投影偏差阈值的重投影偏差值对应的匹配关系，确定所述待追踪对象的图像的光斑与所述待追踪对象的多个光源的对应关系。

7.根据权利要求6所述的方法，其中，所述方法还包括：基于所述对应关系，对所述待追踪对象进行追踪。

8.一种对应关系确定装置，包括：

图像获取模块，用于获取待追踪对象的图像，其中，所述待追踪对象上具有多个光源，所述图像中包括所述多个光源产生的光斑；

光斑提取模块，用于对所述待追踪对象的图像进行光斑提取，得到多个光斑点；

投影获取模块，获取所述待追踪对象上的多个光源的二维投影图，所述投影图上具有所述多个光源的投影点；

匹配处理模块，用于将所述多个光斑点和所述多个光源的投影点进行匹配处理，得到匹配关系集合；

筛选处理模块，用于对所述匹配关系集合进行筛选处理，得到所述待追踪对象的图像的光斑与所述待追踪对象的多个光源的对应关系。

9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的方法对应的操作。

10.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。