CN113947635A - 图像定位方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开提供了图像定位方法、装置、电子设备以及存储介质，涉及人工智能领域，尤其涉及计算机视觉和深度学习技术领域，具体可用于图像识别和视觉定位场景下。具体实现方案为：确定与待定位图像中的关键点相对应的描述子信息；根据与待定位图像相关的关联图像中包括的关键点的表征信息，确定描述子信息的权重；以及根据利用权重加权的加权描述子信息，确定与待定位图像相关的位姿信息，以便定位待定位图像。

Description

图像定位方法、装置、电子设备以及存储介质

技术领域

本公开涉及人工智能领域，尤其涉及计算机视觉和深度学习技术领域，可用于图像识别和视觉定位场景下，具体地，涉及一种图像定位方法、装置、电子设备以及存储介质。

背景技术

随着数字图像处理和计算机视觉技术的迅速发展，越来越多的研究者采用摄像机作为全自主用移动机器人的感知传感器。由于现实世界是三维的，而投射于摄像镜头上的图像是二维的，通过根据摄像头采集到的特征点在当前摄像头坐标系中的三维坐标以及在地图中的世界坐标，可以估计摄像头在世界坐标系中的位姿，从而可以从感知到的二维图像中提取有关的三维世界信息，实现在诸如虚拟现实、增强现实、地图导航、工业生产等各行各业中的应用。

发明内容

本公开提供了一种图像定位方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种图像定位方法，包括：确定与待定位图像中的关键点相对应的描述子信息；根据与所述待定位图像相关的关联图像中包括的所述关键点的表征信息，确定所述描述子信息的权重；以及根据利用所述权重加权的加权描述子信息，确定与所述待定位图像相关的位姿信息，以便定位所述待定位图像。

根据本公开的另一方面，提供了一种图像定位装置，包括：第一确定模块，用于确定与待定位图像中的关键点相对应的描述子信息；第二确定模块，用于根据与所述待定位图像相关的关联图像中包括的所述关键点的表征信息，确定所述描述子信息的权重；以及第三确定模块，用于根据利用所述权重加权的加权描述子信息，确定与所述待定位图像相关的位姿信息，以便定位所述待定位图像。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的图像定位方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的图像定位方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的图像定位方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用图像定位方法及装置的示例性***架构；

图2示意性示出了根据本公开实施例的图像定位方法的流程图；

图3示意性示出了根据本公开实施例的图像定位方法的原理图；

图4示意性示出了根据本公开实施例的图像定位装置的框图；以及

图5示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

视觉定位是指visual localization，可定位图像采集装置、含多个图像采集装置的设备等在地图上的6DoF位姿，包括图像采集装置的三维坐标信息和三个朝向角。基于确定6DOF位姿的图像采集装置，视觉定位实质上可实现当前视觉范围内所能观测到的图像的定位。在实际应用中，视觉定位方法主要基于图像检索、局部描述子提取、位姿计算等技术实现。视觉定位的图像检索主要关注地点基本不变时，相机位姿变化、场景变化带来的图像变化。一些优化的视觉定位方法主要包括优化图像检索、局部描述子提取等部分。例如，通过图像检索、局部描述子提取串行的方法优化视觉定位方法，该方法先进行图像检索，再进行局部描述子提取。再如，通过全局和局部图像描述子并行提取的方法优化视觉定位方法，该方法并行进行图像检索和局部描述子提取的步骤。

发明人在实现本公开构思的过程中发现，基于图像检索、局部描述子提取串行执行的方法，先后进行图像检索、局部描述子提取的步骤，无法有效结合待定位图像的全局信息和局部信息，在得到相同精度下，计算量、内存等存在大量不必要的计算消耗。基于图像检索和局部描述子提取并行执行的方法，是通过一个网络来提取全局和局部特征，无法结合多种局部特征，也比较难进行重新训练和优化。

图1示意性示出了根据本公开实施例的可以应用图像定位方法及装置的示例性***架构。

需要注意的是，图1所示仅为可以应用本公开实施例的***架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。例如，在另一实施例中，可以应用图像定位方法及装置的示例性***架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的图像定位方法及装置。

如图1所示，根据该实施例的***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送信息等。

终端设备101、102、103可以是具有图像采集功能的各种电子设备，包括但不限于相机、摄像机、智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所采集的图像提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的图像等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual PrivateServer″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。

需要说明的是，本公开实施例所提供的图像定位方法一般可以由终端设备101、102或103执行。相应地，本公开实施例所提供的图像定位装置也可以设置于终端设备101、102或103中。

或者，本公开实施例所提供的图像定位方法一般也可以由服务器105执行。相应地，本公开实施例所提供的图像定位装置一般可以设置于服务器105中。本公开实施例所提供的图像定位方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像定位装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

例如，在需要进行图像定位时，终端设备101、102、103可以获取待定位图像，以及与待定位图像相关的关联图像。然后将获取的待定位图像，以及与待定位图像相关的关联图像发送给服务器105。由服务器105确定与待定位图像中的关键点相对应的描述子信息；根据与待定位图像相关的关联图像中包括的关键点的表征信息，确定描述子信息的权重；以及根据利用权重加权的加权描述子信息，确定与待定位图像相关的位姿信息，以便定位待定位图像。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群对待定位图像，以及与待定位图像相关的关联图像进行分析，并实现定位待定位图像。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的图像定位方法的流程图。

如图2所示，该方法包括操作S210～S230。

在操作S210，确定与待定位图像中的关键点相对应的描述子信息。

在操作S220，根据与待定位图像相关的关联图像中包括的关键点的表征信息，确定描述子信息的权重。

在操作S230，根据利用权重加权的加权描述子信息，确定与待定位图像相关的位姿信息，以便定位待定位图像。

根据本公开的实施例，待定位图像可以包括由各类具有图像采集功能的装置或设备针对实际场景的各个角度、方向、位置采集的图像，也可以包括针对预先定义的虚拟场景的各个角度、方向、位置采集的图像。图像的采集可以通过采集图片的方式得到，也可以通过首先采集相应的视频，然后提取视频中的视频帧的方式得到。关键点可以通过如SIFT、ORB等方案确定，可以包括待定位图像中具有较高的识别度的特征点。例如，待定位图像中包括一座塔，则关键点可以包括塔尖、塔的边缘等在图像中所对应的特征点。描述子信息可以表征关键点的特征信息。

根据本公开的实施例，关联图像可以通过图像检索得到。图像检索可以包括各种符合视觉定位要求的图像检索，如可以包括NetVLAD(基于特征描述子的特征编码算法)等基于内容的图像检索等。基于内容的图像检索可以根据图像、图像的内容语义以及上下文联系进行查找，以图像语义特征为线索从图像数据库中检出具有相似特性的其它图像。例如，可以根据针对与待定位图像相关的场景采集到的所有图像构建图像数据库，根据待定位图像的图像内容进行图像检索，并根据得到的检索结果确定关联图像。例如，也可以根据检索结果中与待定位图像的相关度最高的前N个图像确定关联图像，N可以为大于或等于1的整数。例如，也可以根据待定位图像中的一个或多个关键点进行图像检索，根据检索得到的包括至少一个该关键点的图像确定关联图像。

根据本公开的实施例，关键点的表征信息可以包括关键点表征的语义信息、内容信息、色彩强度信息、亮度信息等其中至少之一。根据关键点的表征信息与其描述子信息的相关度的强弱，可以为与该关键点相对应的描述子信息配置相应的权重。例如，某一关键点的表征信息与其描述子信息的相关度较强，则可以为与该关键点相对应的描述子信息配置较大的权重值，某一关键点的表征信息与其描述子信息的相关度较弱，则可以为与该关键点相对应的描述子信息配置较小的权重值。

根据本公开的实施例，加权描述子信息可以包括用于表征某一关键点的描述子信息和该描述子信息的权重信息。通过将待定位图像中的各个关键点的加权描述子信息用于位姿计算的步骤，可以计算得到图像采集装置在采集该待定位图像时的6DOF位姿。位姿估计的步骤例如可以采用colmap等方案实现，colmap是一种通用的运动结构和多视图立体管道，具有图形和命令行界面，可以方便的对一系列二维图片进行三维重建。

根据本公开的实施例，根据步骤S210～S230可以构建一套算法，通过将图像采集装置采集到的所有的用于视觉定位的图像序列作为算法的输入，可以将图像序列中的每一个图像作为待定位图像，并根据与每个待定位图像相关的关联图像中包括的关键点的表征信息，确定与每个待定位图像中的关键点相对应的加权描述子信息，计算得到图像采集装置在采集该图像序列中的每个待定位图像时的6DOF位姿。由于6DOF位姿具有位置信息和朝向角信息，从而在每个6DOF位姿处均可模拟用户视角实现环境观测。通过确定6DOF位姿，使得用户可以在任何实际或虚拟场景中的任何位置处，以任何视角进行环境观测时，均能得到与在真实场景中相同的观测体验。

通过本公开的上述实施例，通过配置有权重的局部特征描述子进行位姿计算，在采用较少的计算量及内存占用的基础上，减少了不必要的计算消耗，并可基于较少的计算量有效提高图像定位的定位精度。

下面结合具体实施例，对图2所示的方法做进一步说明。

根据本公开的实施例，表征信息包括热度信息。根据与待定位图像相关的关联图像中包括的关键点的表征信息，确定描述子信息的权重可以包括：对关联图像进行特征提取，得到与关联图像相对应的热力图。根据热力图，确定关键点的热度信息。根据热度信息确定与关键点相对应的描述子信息的权重。

根据本公开的实施例，可以通过基于检索网络设计loss(用于训练热力图网络)的方式，训练得到既能进行图像检索、又能得到热力图的神经网络，将待定位图像输入该神经网络，可以得到与该待定位图像相关的关联图像相对应的热力图。也可以通过设计loss，并通过训练loss，来结合位姿计算过程中用到的特征点在待定位图像上的区域位置，得到热力图。需要说明的是，loss可以自定义设计，只要满足在输出层具有CHW的结构即可。H表示热力图的宽，W表示热力图的高，C表示热力图的通道数。

根据本公开的实施例，可以首先对待定位图像中的关键点进行局部描述子提取，得到与待定位图像中的关键点相对应的描述子信息。然后，可以从与待定位图像相关的关联图像相对应的热力图中找到相应的关键点，并确定该相应的关键点在热力图中的热度信息，以根据热度信息对与待定位图像中的关键点相对应的描述子信息进行加权。

通过本公开的上述实施例，通过热力图的方式结合待定位图像和及其关联图像的全局信息和局部信息，对待定位图像中的局部特征描述子配置权重，可有效提高权重配置的精度和图像定位的精度。

根据本公开的实施例，待定位图像中包括M个关键点。确定与待定位图像中的关键点相对应的描述子信息可以包括：确定分别与M个关键点相对应的N个类型的描述子信息，M为大于1的整数，N为大于或等于1的整数，M大于或等于N。

根据本公开的实施例，待定位图像中确定的关键点的个数可以为多个。不同的关键点所对应的描述子信息可以通过与各个关键点相适配的提取方式提取得到，与不同的关键点相适配的提取方式可以相同或不同，基于不同的提取方式提取得到的描述子信息可以有不同的类型。例如，在待定位图像中确定的关键点的个数可以为M个，与M个关键点各自相适配的用于提取描述子信息的提取方式可以有N种，则针对M个关键点中的每个关键点进行提取描述子信息的操作后，可以得到N个类型的描述子信息。

需要说明的是，基于不同的提取方式提取得到的描述子信息的类型也可以相同，则针对M个关键点中的每个关键点进行提取描述子信息的操作后，可以得到小于N个类型的描述子信息。

通过本公开的上述实施例，可以针对每个关键点提取到最能表征该关键点信息的一种类型的描述子信息，从而可以增强获得到的每个关键点的描述子信息的有效性，提高图像定位的准确度。

根据本公开的实施例，描述子信息可以包括多个类型的描述子信息。根据与待定位图像相关的关联图像中包括的关键点的表征信息，确定描述子信息的权重可以包括：确定与目标类型的目标描述子信息相对应的目标关键点。对包括目标关键点的目标关联图像进行特征提取，得到与目标关联图像相对应的目标热力图。根据目标热力图，确定目标关键点的目标热度信息。根据目标热度信息确定目标描述子信息的权重。

根据本公开的实施例，目标类型可以为多个类型中的任意一个类型。对于每一个类型的描述子信息，均可以对应一个或多个专门训练的热力图提取网络，热力图提取网络可以通过如NetVLAD、SIFT等方式训练得到。通过训练多个不同的热力图提取网络，将待定位图像作为该网络的输入，可以得到与该待定位图像及其关联图像中的任意一个相对应的多个热力图。通过提取适合某种类型的描述子信息的热力图，并确定该种类型的描述子信息在该热力图中对应的热度信息，可以确定针对该种类型的描述子信息配置的权重。对于其他类型的描述子信息，可以采用型态的方法确定为其配置的权重。据此可以实现在有多个局部描述子提取方案，即有多种类型的描述子信息的情况下，采用与各类型的描述子信息相适配的热力图确定各加权描述子信息，并对各加权描述子信息进行融合，以根据融合的加权描述子信息，定位待定位图像。

通过本公开的上述实施例，可以结合相同或不同的目标热力图，确定相同或不同类型的目标描述子信息的权重，融合得到的与待定位图像中的各个关键点相对应的描述子信息的权重，具有更高准确率的置信度，能够有效提高图像定位的精度。

根据本公开的实施例，加权描述子信息包括多个加权描述子信息。根据利用权重加权的加权描述子信息，确定与待定位图像相关的位姿信息可以包括：确定每个加权描述子信息的权重值。根据权重值的大小，对多个加权描述子信息进行排序，得到排序结果。根据排序结果，获取预设数目个第一目标加权描述子信息。根据第一目标加权描述子信息，确定与待定位图像相关的位姿信息。

根据本公开的实施例，在确定待定位图像中包括多个加权描述子信息的情况下，可以按权重值对描述子信息进行排序，并只根据权重值较大的前N个加权描述子信息计算位姿信息，实现对待定位图像的定位。

通过本公开的上述实施例，采用部分加权描述子信息进行位姿计算，可以有效减少计算量，由于该部分加权描述子信息是根据对各加权描述子信息按权重值进行排序的排序结果确定的，可有效保障图像定位结果的精度。

根据本公开的实施例，在加权描述子信息包括多个加权描述子信息的情况下，根据利用权重加权的加权描述子信息，确定与待定位图像相关的位姿信息还可以包括：确定每个加权描述子信息的权重值。确定大于或等于预设阈值的权重值所对应的第二目标加权描述子信息。根据第二目标加权描述子信息，确定与待定位图像相关的位姿信息。

根据本公开的实施例，在确定待定位图像中包括多个加权描述子信息的情况下，还可以针对加权描述子信息的权重设定预设阈值。然后对加权描述子信息进行二值化，包括将大于或等于预设阈值的权重对应的加权描述子信息确定为1，将小于预设阈值的权重对应的加权描述子信息确定为0。之后，确定为1的加权描述子信息确定为第二目标加权描述子信息，并据其计算位姿信息，实现对待定位图像的定位。

根据本公开的实施例，预设阈值也可以是针对热力图中的热度信息设置的，在该种情况下，可以对热力图中的热度信息进行二值化。例如，可以将热力图中具有大于或等于预设阈值的热度信息(如热度值)的区域确定为1，将热力图中小于预设阈值的热度信息(如热度值)的区域确定为0。然后，根据确定为1的区域中的特征点的描述子信息确定用于位姿计算的描述子信息，根据该区域的热度信息确定为用于位姿计算的描述子信息配置的权重，并根据用于位姿计算的描述子信息和为其配置的权重确定第二目标加权描述子信息。以根据第二目标加权描述子信息计算位姿信息，实现对待定位图像的定位。

需要说明的是，针对加权描述子信息的权重设定预设阈值可以为第一预设阈值，针对热力图中的热度信息设置的预设阈值可以为第二预设阈值，第一预设阈值和第二预设阈值可以相同或不同。第一预设阈值和第二预设阈值是否相同可以取决于热度值和权重的关系。例如，在热度值和权重相同的情况下，第一预设阈值和第二预设阈值可以相同。在热度值和权重不同的情况下，可以根据热度值和权重的转换关系确定第一预设阈值和第二预设阈值的确定方式，也可以自定义确定第一预设阈值和第二预设阈值，在此不做限定。

通过本公开的上述实施例，采用部分加权描述子信息进行位姿计算，可以有效减少计算量，由于该部分加权描述子信息是根据预设阈值确定的，可有效保障图像定位结果的精度。

图3示意性示出了根据本公开实施例的图像定位方法的原理图。

如图3所示，将待定位图像310输入描述子提取模块，可以提取到与待定位图像310中的每个特征点相对应的描述子信息370。将待定位图像310输入图像检索模块330，进行图像内容检索，可以得到与该待定位图像310相关的一个或多个关联图像340。热力图提取模块350可以对一个或多个关联图像350进行特征提取，得到与该一个或多个关联图像340相对应的一个或多个热力图360。根据描述子信息370和热力图360中与该描述子信息370相对应的热度信息，可以确定描述子信息370的权重，从而确定加权描述子信息380。

根据本公开的实施例，在待定位图像310中可以确定多个关键点a、b、c、d等，描述子信息321可以包括针对关键点a、b、c、d等一一提取得到的描述子信息，检索得到的关联图像341、342、343其中任一均可以包括至少一个该关键点。例如，关联图像341中可以包括关键点a、b等，关联图像342中可以包括关键点c等，关联图像343中可以包括关键点d等。

根据本公开的实施例，针对不同的关键点，可以采用相同或不同的提取方式，提取描述子信息，根据不同的提取方式可以提取到相同或不同类型的描述子信息。例如，对于关键点a和b，可以基于描述子提取模块321，采用第一提取方式提取得到第一类型的描述子信息。对于关键点c和d，可以基于描述子提取模块322，采用第二提取方式提取得到第二类型的描述子信息。通过前述步骤可以提取得到与关键点a、b、c、d分别对应的具有两种不同类型的描述子信息。通过不同的提取方式提取描述子信息，可有效提升针对不同的关键点提取的描述子信息的信息有效性。

根据本公开的实施例，对于不同类型的描述子信息，可以通过适配与各类型的描述子信息相适配的热力图，以更为准确的确定该类型的描述子信息的权重。例如，对于包括关键点a、b的关联图像341，由于关键点a、b所对应的描述子信息是基于描述子提取模块321，采用第一提取方式提取得到的，而包括关键c的关联图像342和包括关键d的关联图像343中，关键点c、d所对应的描述子信息是基于描述子提取模块322，采用第二提取方式提取得到的。因此，可以对关联图像341，和关联图像342、343采用不同的采用热力图提取模块确定热力图。例如，可以利用热力图提取模块351对关联图像341进行特征提取，得到热力图361，利用热力图提取模块352对关联图像342、343进行特征提取，得到热力图362、363等。据此可以得到与个类型的描述子信息相适配的热力图，从而可以确定更准确的加权描述子信息。

需要说明的是，描述子提取模块320可以不仅限于321、322两种，热力图提取模块350也可以不仅限于351、352两种，描述子提取模块320和热力图提取模块350均可根据实际场景进行相应的增加或删减。

通过本公开的上述实施例，针对基于计算机视觉技术的视觉定位技术中，针对视觉定位场景的图像检索、局部描述子提取的技术方案，提出了一种基于图像检索获得相关热力图的方式，来限制待定位图像中的相同或不同类型的描述子信息的权重的方案。通过训练检索图像的热力图，并通过热力图来提取1个或融合多个局部特征描述子信息等，实现了图像检索和局部描述子提取在一定程度上的解耦，并可容易复用多种图像检索和局部描述子提取方案。此外，通过该种方案，还可提升图像检索、局部特征描述子信息提取的精度，从而可提升视觉定位算法的精度。

图4示意性示出了根据本公开实施例的图像定位装置的框图。

如图4所示，图像定位装置400包括第一确定模块410、第二确定模块420和第三确定模块430。

第一确定模块410，用于确定与待定位图像中的关键点相对应的描述子信息.

第二确定模块420，用于根据与待定位图像相关的关联图像中包括的关键点的表征信息，确定描述子信息的权重。

第三确定模块430，用于根据利用权重加权的加权描述子信息，确定与待定位图像相关的位姿信息，以便定位待定位图像。

根据本公开的实施例，表征信息包括热度信息。第二确定模块包括第一获得单元、第一确定单元和第二确定单元。

第一获得单元，用于对关联图像进行特征提取，得到与关联图像相对应的热力图。

第一确定单元，用于根据热力图，确定关键点的热度信息。

第二确定单元，用于根据热度信息确定与关键点相对应的描述子信息的权重。

根据本公开的实施例，待定位图像中包括M个关键点。第一确定模块包括第三确定单元。

第三确定单元，用于确定分别与M个关键点相对应的N个类型的描述子信息。M为大于1的整数，N为大于或等于1的整数，M大于或等于N。

根据本公开的实施例，描述子信息包括多个类型的描述子信息，表征信息包括热度信息。第二确定模块包括第四确定单元、第二获得单元、第五确定单元和第六确定单元。

第四确定单元，用于确定与目标类型的目标描述子信息相对应的目标关键点。

第二获得单元，用于对包括目标关键点的目标关联图像进行特征提取，得到与目标关联图像相对应的目标热力图。

第五确定单元，用于根据目标热力图，确定目标关键点的目标热度信息。

第六确定单元，用于根据目标热度信息确定目标描述子信息的权重。

根据本公开的实施例，加权描述子信息包括多个加权描述子信息。第三确定模块包括第七确定单元、排序单元、获取单元和第八确定单元。

第七确定单元，用于确定每个加权描述子信息的权重值。

排序单元，用于根据权重值的大小，对多个加权描述子信息进行排序，得到排序结果。

获取单元，用于根据排序结果，获取预设数目个第一目标加权描述子信息。

第八确定单元，用于根据第一目标加权描述子信息，确定与待定位图像相关的位姿信息。

根据本公开的实施例，加权描述子信息包括多个加权描述子信息。第三确定模块包括第九确定单元、第十确定单元和第十一确定单元。

第九确定单元，用于确定每个加权描述子信息的权重值。

第十确定单元，用于确定大于或等于预设阈值的权重值所对应的第二目标加权描述子信息。

第十一确定单元，用于根据第二目标加权描述子信息，确定与待定位图像相关的位姿信息。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的图像定位方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的图像定位方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的图像定位方法。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如图像定位方法。例如，在一些实施例中，图像定位方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的图像定位方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像定位方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种图像定位方法，包括：

确定与待定位图像中的关键点相对应的描述子信息；

根据与所述待定位图像相关的关联图像中包括的所述关键点的表征信息，确定所述描述子信息的权重；以及

根据利用所述权重加权的加权描述子信息，确定与所述待定位图像相关的位姿信息，以便定位所述待定位图像。

2.根据权利要求1所述的方法，其中，所述表征信息包括热度信息；

所述根据与所述待定位图像相关的关联图像中包括的所述关键点的表征信息，确定所述描述子信息的权重包括：

对所述关联图像进行特征提取，得到与所述关联图像相对应的热力图；

根据所述热力图，确定所述关键点的热度信息；以及

根据所述热度信息确定与所述关键点相对应的描述子信息的权重。

3.根据权利要求1所述的方法，其中，所述待定位图像中包括M个关键点；

所述确定与待定位图像中的关键点相对应的描述子信息包括：

确定分别与M个关键点相对应的N个类型的描述子信息，M为大于1的整数，N为大于或等于1的整数，M大于或等于N。

4.根据权利要求1所述的方法，其中，所述描述子信息包括多个类型的描述子信息，所述表征信息包括热度信息；

所述根据与所述待定位图像相关的关联图像中包括的所述关键点的表征信息，确定所述描述子信息的权重包括：

确定与目标类型的目标描述子信息相对应的目标关键点；

对包括所述目标关键点的目标关联图像进行特征提取，得到与所述目标关联图像相对应的目标热力图；

根据所述目标热力图，确定所述目标关键点的目标热度信息；以及

根据所述目标热度信息确定所述目标描述子信息的权重。

5.根据权利要求1所述的方法，其中，所述加权描述子信息包括多个加权描述子信息；

所述根据利用所述权重加权的加权描述子信息，确定与所述待定位图像相关的位姿信息包括：

确定每个所述加权描述子信息的权重值；

根据所述权重值的大小，对所述多个加权描述子信息进行排序，得到排序结果；

根据所述排序结果，获取预设数目个第一目标加权描述子信息；以及

根据所述第一目标加权描述子信息，确定与所述待定位图像相关的位姿信息。

6.根据权利要求1所述的方法，其中，所述加权描述子信息包括多个加权描述子信息；

所述根据利用所述权重加权的加权描述子信息，确定与所述待定位图像相关的位姿信息包括：

确定每个所述加权描述子信息的权重值；

确定大于或等于预设阈值的权重值所对应的第二目标加权描述子信息；以及

根据所述第二目标加权描述子信息，确定与所述待定位图像相关的位姿信息。

7.一种图像定位装置，包括：

第一确定模块，用于确定与待定位图像中的关键点相对应的描述子信息；

第二确定模块，用于根据与所述待定位图像相关的关联图像中包括的所述关键点的表征信息，确定所述描述子信息的权重；以及

第三确定模块，用于根据利用所述权重加权的加权描述子信息，确定与所述待定位图像相关的位姿信息，以便定位所述待定位图像。

8.根据权利要求7所述的装置，其中，所述表征信息包括热度信息；

所述第二确定模块包括：

第一获得单元，用于对所述关联图像进行特征提取，得到与所述关联图像相对应的热力图；

第一确定单元，用于根据所述热力图，确定所述关键点的热度信息；以及

第二确定单元，用于根据所述热度信息确定与所述关键点相对应的描述子信息的权重。

9.根据权利要求7所述的装置，其中，所述待定位图像中包括M个关键点；

所述第一确定模块包括：

第三确定单元，用于确定分别与M个关键点相对应的N个类型的描述子信息，M为大于1的整数，N为大于或等于1的整数，M大于或等于N。

10.根据权利要求7所述的装置，其中，所述描述子信息包括多个类型的描述子信息，所述表征信息包括热度信息；

所述第二确定模块包括：

第四确定单元，用于确定与目标类型的目标描述子信息相对应的目标关键点；

第二获得单元，用于对包括所述目标关键点的目标关联图像进行特征提取，得到与所述目标关联图像相对应的目标热力图；

第五确定单元，用于根据所述目标热力图，确定所述目标关键点的目标热度信息；以及

第六确定单元，用于根据所述目标热度信息确定所述目标描述子信息的权重。

11.根据权利要求7所述的装置，其中，所述加权描述子信息包括多个加权描述子信息；

所述第三确定模块包括：

第七确定单元，用于确定每个所述加权描述子信息的权重值；

排序单元，用于根据所述权重值的大小，对所述多个加权描述子信息进行排序，得到排序结果；

获取单元，用于根据所述排序结果，获取预设数目个第一目标加权描述子信息；以及

第八确定单元，用于根据所述第一目标加权描述子信息，确定与所述待定位图像相关的位姿信息。

12.根据权利要求7所述的装置，其中，所述加权描述子信息包括多个加权描述子信息；

所述第三确定模块包括：

第九确定单元，用于确定每个所述加权描述子信息的权重值；

第十确定单元，用于确定大于或等于预设阈值的权重值所对应的第二目标加权描述子信息；以及

第十一确定单元，用于根据所述第二目标加权描述子信息，确定与所述待定位图像相关的位姿信息。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images