CN117974772A - 视觉重定位方法、装置及存储介质 - Google Patents
视觉重定位方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117974772A CN117974772A CN202211315877.0A CN202211315877A CN117974772A CN 117974772 A CN117974772 A CN 117974772A CN 202211315877 A CN202211315877 A CN 202211315877A CN 117974772 A CN117974772 A CN 117974772A
- Authority
- CN
- China
- Prior art keywords
- feature
- line
- point
- target image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000006870 function Effects 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本公开是关于一种视觉重定位方法、装置及存储介质，涉及图像定位领域，用于提高重定位的精度，该方法包括：确定视觉定位地图，并确定视觉定位地图中的点特征、线特征和面特征；基于目标图像和点特征，确定目标图像的初始位姿；基于目标图像、点特征、线特征以及面特征对初始位姿进行修正，得到目标图像的目标位姿；基于目标位姿进行视觉重定位。
Description
技术领域
本公开涉及图像定位领域，尤其涉及视觉重定位方法、装置以及存储介质。
背景技术
目前视觉的重定位方法中，只依赖单帧图像。首先选取与目标图像相近、相似的一组地图中候选图像，之后计算目标图像与候选图像之间的特征匹配关系，最后利用匹配关系计算目标图像的姿态。目前方法中，只利用到点信息，这种方法非常依赖于地图中3D点和图像2D点精度，当点误差较大，图像拍摄区域纹理较少，或者场景中均为较远处时，通常会对重定位结果带来较大误差。
发明内容
为克服相关技术中存在的问题，本公开提供一种视觉重定位方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种视觉重定位方法，所述方法包括：确定视觉定位地图，并确定所述视觉定位地图中的点特征、线特征和面特征；基于目标图像和所述点特征，确定所述目标图像的初始位姿；基于所述目标图像、所述点特征、所述线特征以及面特征对所述初始位姿进行修正，得到所述目标图像的目标位姿；基于所述目标位姿进行视觉重定位。
一种实施方式中，所述基于所述目标图像、所述点特征、所述线特征以及所述面特征对所述初始位姿进行修正，得到所述目标图像的目标位姿，包括：确定所述目标图像与所述点特征之间的特征点匹配关系、所述目标图像与所述线特征之间的特征线匹配关系以及所述目标图像与所述面特征之间的特征面匹配关系；基于所述初始位姿、所述特征点匹配关系、所述特征线匹配关系以及所述特征面匹配关系，确定用于修正所述初始位姿的目标函数；基于所述目标函数，对所述初始位姿进行修正，得到所述目标图像的目标位姿。
另一种实施方式中，所述基于所述初始位姿、所述特征点匹配关系、所述特征线匹配关系以及所述特征面匹配关系，确定用于修正所述初始位姿的目标函数，包括：基于所述初始位姿和所述特征点匹配关系，确定特征点误差项，基于所述初始位姿和所述特征线匹配关系，确定特征线误差项，并基于所述初始位姿和所述特征面匹配关系，确定特征面误差项；基于所述特征点误差项、所述特征线误差项以及所述特征面误差项，确定用于修正所述初始位姿的目标函数。
又一种实施方式中，所述特征点匹配关系包括第一点特征以及与所述第一点特征匹配的第二点特征；所述特征点误差项基于以下方式确定：通过所述初始位姿，将所述视觉定位地图中的第一点特征投影到所述目标图像中，确定所述第一点特征的投影像素坐标；基于所述第二点特征在所述目标图像中的像素坐标以及所述第一点特征的投影像素坐标，确定所述特征点误差项。
又一种实施方式中，所述特征线匹配关系包括第一线特征以及与所述第一线特征匹配的第二线特征；所述特征线误差项基于以下方式确定：通过所述初始位姿，将所述视觉定位地图中的第一线特征投影到所述目标图像中，得到所述第一线特征的投影线段；基于所述第一线特征的投影线段的两个顶点到所述目标图像中第二线特征的垂直距离，确定所述特征线误差项。
又一种实施方式中，所述特征线匹配关系包括第一面特征以及与所述第一面特征匹配的第二面特征；所述特征面误差项基于以下方式确定：获取所述第一面特征在所述视觉离线地图中的第一法向量；通过所述初始位姿，将所述第一法向量投影到所述目标图像中，获取所述第一法向量的投影法向量；基于所述第一法向量的投影法向量和所述目标地图中第二面特征的第二法向量，确定所述特征面误差项。
又一种实施方式中，所述基于所述第二点特征在所述目标图像中的像素坐标以及所述第一点特征的投影像素坐标，确定所述特征点误差项，包括：将所述第二点特征在所述目标图像中的像素坐标与所述第一点特征的投影像素坐标之差，作为所述特征点误差项。
又一种实施方式中，所述基于所述第一线特征的投影线段的两个顶点到所述目标图像中第二线特征的垂直距离，确定所述特征线误差项，包括：确定所述第一线特征的投影线段的第一顶点到所述目标图像中第二线特征的第一垂直距离和所述第一线特征的投影线段的第二顶点到所述目标图像中第二线特征的第二垂直距离；确定所述第一垂直距离的平方和所述第二垂直距离的平方之和，并将所述第一垂直距离的平方和所述第二垂直距离的平方之和的开方，确定为所述特征线误差项。
又一种实施方式中，所述基于所述第一法向量的投影法向量和所述目标地图中第二面特征的第二法向量，确定所述特征面误差项，包括：将所述第一法向量的投影法向量和所述目标地图中第二面特征的第二法向量的夹角，作为所述特征面误差项。
又一种实施方式中，所述视觉定位地图基于以下方式构建：基于包含所述目标图像的历史图像集，获取所述历史图像集中不同图像之间的特征点匹配关系；基于所述不同图像之间的特征点匹配关系，建立初始视觉定位地图；从所述历史图像集中提取线特征和面特征，将所述线特征和面特征映射到所述初始视觉定位地图中，得到所述视觉定位地图。
根据本公开实施例的第二方面，提供一种视觉重定位装置，所述装置包括：确定模块，用于确定视觉定位地图，并确定所述视觉定位地图中的点特征、线特征和面特征；基于目标图像和所述点特征，确定所述目标图像的初始位姿；基于所述目标图像、所述点特征、所述线特征以及所述面特征对所述初始位姿进行修正，得到所述目标图像的目标位姿；定位模块，用于基于所述目标位姿进行视觉重定位。
一种实施方式中，所述确定模块，具体用于确定所述目标图像与所述点特征之间的特征点匹配关系、所述目标图像与所述线特征之间的特征线匹配关系以及所述目标图像与所述面特征之间的特征面匹配关系；基于所述初始位姿、所述特征点匹配关系、所述特征线匹配关系以及所述特征面匹配关系，确定用于修正所述初始位姿的目标函数；基于所述目标函数，对所述初始位姿进行修正，得到所述目标图像的目标位姿。
另一种实施方式中，所述确定模块，具体还用于基于所述初始位姿和所述特征点匹配关系，确定特征点误差项，基于所述初始位姿和所述特征线匹配关系，确定特征线误差项，并基于所述初始位姿和所述特征面匹配关系，确定特征面误差项；基于所述特征点误差项、所述特征线误差项以及所述特征面误差项，确定用于修正所述初始位姿的目标函数。
又一种实施方式中，所述特征点匹配关系包括第一点特征以及与所述第一点特征匹配的第二点特征；所述特征点误差项基于以下方式确定：通过所述初始位姿，将所述视觉定位地图中的第一点特征投影到所述目标图像中，确定所述第一点特征的投影像素坐标；基于所述第二点特征在所述目标图像中的像素坐标以及所述第一点特征的投影像素坐标，确定所述特征点误差项。
又一种实施方式中，所述特征线匹配关系包括第一线特征以及与所述第一线特征匹配的第二线特征；所述特征线误差项基于以下方式确定：通过所述初始位姿，将所述视觉定位地图中的第一线特征投影到所述目标图像中，得到所述第一线特征的投影线段；基于所述第一线特征的投影线段的两个顶点到所述目标图像中第二线特征的垂直距离，确定所述特征线误差项。
又一种实施方式中，所述特征线匹配关系包括第一面特征以及与所述第一面特征匹配的第二面特征；所述特征面误差项基于以下方式确定：获取所述第一面特征在所述视觉离线地图中的第一法向量；通过所述初始位姿，将所述第一法向量投影到所述目标图像中，获取所述第一法向量的投影法向量；基于所述第一法向量的投影法向量和所述目标地图中第二面特征的第二法向量，确定所述特征面误差项。
又一种实施方式中，所述确定模块，具体还用于将所述第二点特征在所述目标图像中的像素坐标与所述第一点特征的投影像素坐标之差，作为所述特征点误差项。
又一种实施方式中，所述确定模块，具体还用于确定所述第一线特征的投影线段的第一顶点到所述目标图像中第二线特征的第一垂直距离和所述第一线特征的投影线段的第二顶点到所述目标图像中第二线特征的第二垂直距离；确定所述第一垂直距离的平方和所述第二垂直距离的平方之和，并将所述第一垂直距离的平方和所述第二垂直距离的平方之和的开方，确定为所述特征线误差项。
又一种实施方式中，所述确定模块，具体还用于将所述第一法向量的投影法向量和所述目标地图中第二面特征的第二法向量的夹角，作为所述特征面误差项。
又一种实施方式中，所述视觉定位地图基于以下方式构建：基于包含所述目标图像的历史图像集，获取所述历史图像集中不同图像之间的特征点匹配关系；基于所述不同图像之间的特征点匹配关系，建立初始视觉定位地图；从所述历史图像集中提取线特征和面特征，将所述线特征和面特征映射到所述初始视觉定位地图中，得到所述视觉定位地图。
本公开的实施例提供的技术方案可以包括以下有益效果：确定视觉定位地图，并确定视觉定位地图中的点特征、线特征和面特征，基于目标图像和点特征，确定目标图像的初始位姿，并进一步的基于目标图像和点特征、线特征和面特征对初始位姿进行修正，得到目标图像的目标位姿，最终基于目标位姿进行视觉重定位。由于本公开将点特征、面特征和线特征结合在一起对基于点特征得到的初始位姿进行了修正，使目标位姿更加准确，有效提升重定位时定位精度，并且可以缓解在纹理较少时重定位误差较大的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种视觉重定位方法的流程图。
图2是根据一示例性实施例示出的一种视觉重定位方法的流程图。
图3是根据一示例性实施例示出的一种视觉重定位方法的流程图。
图4是根据一示例性实施例示出的一种视觉重定位装置的框图。
图5是根据一示例性实施例示出的一种用于视觉重定位装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。
在目前AR、VR、机器人等应用中，定位是其最基本的一项功能。目前主要通过相机、GPS(Global Positioning System，全球定位***)、IMU(inertial measurement unit，惯性测量单元)、激光雷达、深度相机等传感器进行定位，通过传感器数据以及滤波、SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)等算法，计算当前设备在环境中的姿态。基于SLAM技术的定位，一个最大的缺点就是定位误差会随着运动时长与距离增加而增大。为了保证任意时刻的定位准确度与精度，因此，引入重定位概念。重定位是利用当前时刻的图像，与地图数据进行匹配，解算图像姿态。利用解算出的姿态修正当前***中的累计误差。
目前视觉的重定位方法中，只依赖单帧图像。首先选取与目标图像相近、相似的一组地图中候选图像，之后计算目标图像与候选图像之间的特征匹配关系，最后利用匹配关系计算目标图像的姿态。目前方法中，只利用到点信息，这种方法非常依赖于地图中3D点和图像2D点精度，当点误差较大，图像拍摄区域纹理较少，或者场景中均为较远处时，通常会对重定位结果带来较大误差。
基于此，本公开实施例提供了一种视觉重定位方法，将点特征、面特征和线特征结合在一起对基于点特征得到的初始位姿进行了修正，使目标位姿更加准确，有效提升重定位时定位精度，并且可以缓解在纹理较少时重定位误差较大的问题。
图1是根据一示例性实施例示出的一种视觉重定位方法的流程图，如图1所示，包括以下步骤。
在步骤S11中，确定视觉定位地图，并确定视觉定位地图中的点特征、线特征和面特征。
其中，视觉定位地图为三维地图。点特征可以是视觉定位地图中某些物体上的关键点，如桌子的角点、钟表上表针的转动轴点等。线特征可以是用于表征物体形状的线段，如桌子的边缘线、墙体的踢脚线等。面特征可以是用于表征物体所处位置的平面，如电脑屏幕的平面、桌子的桌面、冰箱的冰箱门所位于的平面等。
本申请实施例中，可以采用角点检测方法(Features from Accelerated SegmentTest，FAST)检测点特征，可以采用特征线检测方法(line segment detector，LSD)检测线特征。
在步骤S12中，基于目标图像和点特征，确定目标图像的初始位姿。
可选的，从视觉定位地图中确定处多个与目标图像相似的候选图像，基于目标图像的点特征和候选图像的点特征，确定特征点匹配关系，利用特征点匹配关系结算目标图像的初始位姿。
在步骤S13中，基于目标图像、点特征、线特征以及面特征对初始位姿进行修正，得到目标图像的目标位姿。
在步骤S14中，基于目标位姿进行视觉重定位。
在本公开实施例中，将点特征、面特征和线特征结合在一起对基于点特征得到的初始位姿进行了修正，使目标位姿更加准确，有效提升重定位时定位精度，并且可以缓解在纹理较少时重定位误差较大的问题。
下面对视觉定位地图的构建过程进行简要说明：
一些实施例中，基于包含目标图像的历史图像集，获取历史图像集中不同图像之间的特征点匹配关系，基于不同图像之间的特征点匹配关系，建立初始视觉定位地图；从历史图像集中提取线特征和面特征，将线特征和面特征映射到初始视觉定位地图中，得到视觉定位地图。
在本公开实施例中，通过在视觉定位地图中加入线特征和面特征，使后续基于视觉定位地图确定的位姿更加准确。
一些实施例中，基于目标图像、点特征、线特征以及面特征对初始位姿进行修正，得到目标图像的目标位姿包括以下步骤，如图2所示：
在步骤S21中，确定目标图像与点特征之间的特征点匹配关系、目标图像与线特征之间的特征线匹配关系以及目标图像与面特征之间的特征面匹配关系。
其中，对于特征点可以使用描述子加以描述。描述子通常是一个向量，含有特征点和周围区域的信息。如果两个特征点的描述子相似，则可以认为它们是同一个点。根据特征点和描述子的信息，以计算出两张图像中的匹配点匹配关系。同理，特征线匹配关系和特征面匹配关系的确定过程亦是如此。
在步骤S22中，基于初始位姿、特征点匹配关系、特征线匹配关系以及特征面匹配关系，确定用于修正初始位姿的目标函数。
在步骤S23中，基于目标函数，对初始位姿进行修正，得到目标图像的目标位姿。
进一步的，基于初始位姿、特征点匹配关系、特征线匹配关系以及特征面匹配关系，确定用于修正初始位姿的目标函数可具体实现为以下步骤，如图3所示：
在步骤S31中，基于初始位姿和特征点匹配关系，确定特征点误差项，基于初始位姿和特征线匹配关系，确定特征线误差项，并基于初始位姿和特征面匹配关系，确定特征面误差项。
可选的，若初始位姿完全准确，则将目标图像中的任意一个特征点、特征线或特征面按照初始位姿投影至视觉定位地图中，则按照其分别对应的匹配关系，投影至视觉定位地图中的特征点、特征线或特征面会分别于视觉定位地图中相匹配的特征点、特征线或特征面重合。
而，由于相机位姿及三维空间点坐标精度等问题，投影至视觉定位地图中的特征点、特征线或特征面会分别于视觉定位地图中相匹配的特征点、特征线或特征面往往不会重合，此时基于各自的误差确定误差项。
在步骤S32中，基于特征点误差项、特征线误差项以及特征面误差项，确定用于修正初始位姿的目标函数。
在本公开实施例中，分别确定特征点误差项、特征线误差项以及特征面误差项，从而可以多方位提升目标位姿的准确度。
在一些实施例中，特征点匹配关系包括第一点特征以及与所述第一点特征匹配的第二点特征。
进一步的，特征点误差项基于以下方式确定：通过初始位姿，将视觉定位地图中的第一点特征投影到目标图像中，确定第一点特征的投影像素坐标；基于第二点特征在目标图像中的像素坐标以及第一点特征的投影像素坐标，确定特征点误差项。
一种实施方式是，将第二点特征在目标图像中的像素坐标与第一点特征的投影像素坐标之差，作为特征点误差项。
例如，特征点误差项可以表示为：epoint＝u-KTPw，其中，epoint表示特征点误差项，u表示第二特征点在目标图像中的像素坐标，KTPw表示第一点特征的投影像素坐标。
在另一些实施例中，特征线匹配关系包括第一线特征以及与第一线特征匹配的第二线特征。
进一步的，特征线误差项基于以下方式确定：通过初始位姿，将视觉定位地图中的第一线特征投影到目标图像中，得到第一线特征的投影线段；基于第一线特征的投影线段的两个顶点到目标图像中第二线特征的垂直距离，确定特征线误差项。
一种实施方式是，确定第一线特征的投影线段的第一顶点到目标图像中第二线特征的第一垂直距离和第一线特征的投影线段的第二顶点到目标图像中第二线特征的第二垂直距离；确定第一垂直距离的平方和第二垂直距离的平方之和，并将第一垂直距离的平方和第二垂直距离的平方之和的开方，确定为特征线误差项。
例如，特征线误差项可以表示为：其中，eline表示特征线误差项，d1表示第一线特征的投影线段的第一顶点到目标图像中第二线特征的第一垂直距离，d2表示第一线特征的投影线段的第二顶点到目标图像中第二线特征的第二垂直距离。
在又一些实施例中，特征线匹配关系包括第一面特征以及与第一面特征匹配的第二面特征。
进一步的，特征面误差项基于以下方式确定：获取第一面特征在视觉离线地图中的第一法向量；通过初始位姿，将第一法向量投影到目标图像中，获取第一法向量的投影法向量；基于第一法向量的投影法向量和目标地图中第二面特征的第二法向量，确定特征面误差项。
一种实施方式是，将第一法向量的投影法向量和目标地图中第二面特征的第二法向量的夹角，作为特征面误差项。
例如，特征面误差项可以表示为：eplane＝angle(Tn3d，n2d)，其中，eplane表示特征面误差项，Tn3d表示第一法向量的投影法向量，n2d表示第二面特征的第二法向量，angle表示夹角。
基于上述实施例，用于修正初始位姿的目标函数可以表示为：e＝epoint+eline+eplane。
应理解，epoint、eline以及eplane可以为0，当三者全为0时，表示初始位姿准确，无需利用目标函数对其进行修正。
在本公开实施例中，点特征、线特征和面特征分别基于各自的误差特点生成误差项，从而得到的目标函数更能准确的反映初始位姿的偏差，从而基于目标函数对初始位姿进行修正可以得到更准确的目标位姿，有效提升重定位时定位精度，并且可以缓解在纹理较少时重定位误差较大的问题。
基于相同的构思，本公开实施例还提供一种视觉重定位装置。
可以理解的是，本公开实施例提供的视觉重定位装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
图4是根据一示例性实施例示出的一种视觉重定位装置框图。参照图4，该装置包括确定模块101和定位模块102。
该确定模块101被配置为确定视觉定位地图，并确定视觉定位地图中的点特征、线特征和面特征；基于目标图像和所述点特征，确定目标图像的初始位姿；基于目标图像、点特征、线特征以及面特征对初始位姿进行修正，得到目标图像的目标位姿；
该定位模块102被配置为基于目标位姿进行视觉重定位。
一些实施方式中，确定模块101，具体被配置为确定目标图像与点特征之间的特征点匹配关系、目标图像与线特征之间的特征线匹配关系以及目标图像与面特征之间的特征面匹配关系；基于初始位姿、特征点匹配关系、特征线匹配关系以及特征面匹配关系，确定用于修正初始位姿的目标函数；基于目标函数，对初始位姿进行修正，得到目标图像的目标位姿。
另一些实施方式中，确定模块101，具体还被配置为基于初始位姿和特征点匹配关系，确定特征点误差项，基于初始位姿和特征线匹配关系，确定特征线误差项，并基于初始位姿和特征面匹配关系，确定特征面误差项；基于特征点误差项、特征线误差项以及特征面误差项，确定用于修正初始位姿的目标函数。
又一些实施方式中，特征点匹配关系包括第一点特征以及与第一点特征匹配的第二点特征；特征点误差项基于以下方式确定：通过初始位姿，将视觉定位地图中的第一点特征投影到目标图像中，确定第一点特征的投影像素坐标；基于第二点特征在目标图像中的像素坐标以及第一点特征的投影像素坐标，确定特征点误差项。
又一些实施方式中，特征线匹配关系包括第一线特征以及与第一线特征匹配的第二线特征；特征线误差项基于以下方式确定：通过初始位姿，将视觉定位地图中的第一线特征投影到目标图像中，得到第一线特征的投影线段；基于第一线特征的投影线段的两个顶点到目标图像中第二线特征的垂直距离，确定特征线误差项。
又一些实施方式中，特征线匹配关系包括第一面特征以及与第一面特征匹配的第二面特征；特征面误差项基于以下方式确定：获取第一面特征在视觉离线地图中的第一法向量；通过初始位姿，将第一法向量投影到目标图像中，获取第一法向量的投影法向量；基于第一法向量的投影法向量和目标地图中第二面特征的第二法向量，确定特征面误差项。
又一些实施方式中，确定模块101，具体还被配置为将第二点特征在目标图像中的像素坐标与第一点特征的投影像素坐标之差，作为特征点误差项。
又一些实施方式中，确定模块101，具体还被配置为确定第一线特征的投影线段的第一顶点到目标图像中第二线特征的第一垂直距离和第一线特征的投影线段的第二顶点到目标图像中第二线特征的第二垂直距离；确定第一垂直距离的平方和第二垂直距离的平方之和，并将第一垂直距离的平方和第二垂直距离的平方之和的开方，确定为特征线误差项。
又一些实施方式中，确定模块101，具体还被配置为将第一法向量的投影法向量和目标地图中第二面特征的第二法向量的夹角，作为特征面误差项。
又一些实施方式中，视觉定位地图基于以下方式构建：基于包含目标图像的历史图像集，获取历史图像集中不同图像之间的特征点匹配关系；基于不同图像之间的特征点匹配关系，建立初始视觉定位地图；从历史图像集中提取线特征和面特征，将线特征和面特征映射到初始视觉定位地图中，得到视觉定位地图。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种用于视觉重定位装置200的框图。例如，装置200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(I/O)接口212，传感器组件214，以及通信组件216。
处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理***，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。
多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
I/O接口212为处理组件202和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。
进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利范围来限制。
Claims (13)
1.一种视觉重定位方法，其特征在于，所述方法包括：
确定视觉定位地图，并确定所述视觉定位地图中的点特征、线特征和面特征；
基于目标图像和所述点特征，确定所述目标图像的初始位姿；
基于所述目标图像、所述点特征、所述线特征以及所述面特征对所述初始位姿进行修正，得到所述目标图像的目标位姿；
基于所述目标位姿进行视觉重定位。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像、所述点特征、所述线特征以及面特征对所述初始位姿进行修正，得到所述目标图像的目标位姿，包括：
确定所述目标图像与所述点特征之间的特征点匹配关系、所述目标图像与所述线特征之间的特征线匹配关系以及所述目标图像与所述面特征之间的特征面匹配关系；
基于所述初始位姿、所述特征点匹配关系、所述特征线匹配关系以及所述特征面匹配关系，确定用于修正所述初始位姿的目标函数；
基于所述目标函数，对所述初始位姿进行修正，得到所述目标图像的目标位姿。
3.根据权利要求2所述的方法，其特征在于，所述基于所述初始位姿、所述特征点匹配关系、所述特征线匹配关系以及所述特征面匹配关系，确定用于修正所述初始位姿的目标函数，包括：
基于所述初始位姿和所述特征点匹配关系，确定特征点误差项，基于所述初始位姿和所述特征线匹配关系，确定特征线误差项，并基于所述初始位姿和所述特征面匹配关系，确定特征面误差项；
基于所述特征点误差项、所述特征线误差项以及所述特征面误差项，确定用于修正所述初始位姿的目标函数。
4.根据权利要求3所述的方法，其特征在于，所述特征点匹配关系包括第一点特征以及与所述第一点特征匹配的第二点特征；
所述特征点误差项基于以下方式确定：
通过所述初始位姿，将所述视觉定位地图中的第一点特征投影到所述目标图像中，确定所述第一点特征的投影像素坐标；
基于所述第二点特征在所述目标图像中的像素坐标以及所述第一点特征的投影像素坐标，确定所述特征点误差项。
5.根据权利要求3所述的方法，其特征在于，所述特征线匹配关系包括第一线特征以及与所述第一线特征匹配的第二线特征；
所述特征线误差项基于以下方式确定：
通过所述初始位姿，将所述视觉定位地图中的第一线特征投影到所述目标图像中，得到所述第一线特征的投影线段；
基于所述第一线特征的投影线段的两个顶点到所述目标图像中第二线特征的垂直距离，确定所述特征线误差项。
6.根据权利要求3所述的方法，其特征在于，所述特征线匹配关系包括第一面特征以及与所述第一面特征匹配的第二面特征；
所述特征面误差项基于以下方式确定：
获取所述第一面特征在所述视觉离线地图中的第一法向量；
通过所述初始位姿，将所述第一法向量投影到所述目标图像中，获取所述第一法向量的投影法向量；
基于所述第一法向量的投影法向量和所述目标地图中第二面特征的第二法向量，确定所述特征面误差项。
7.根据权利要求4所述的方法，其特征在于，所述基于所述第二点特征在所述目标图像中的像素坐标以及所述第一点特征的投影像素坐标，确定所述特征点误差项，包括：
将所述第二点特征在所述目标图像中的像素坐标与所述第一点特征的投影像素坐标之差，作为所述特征点误差项。
8.根据权利要求5所述的方法，其特征在于，所述基于所述第一线特征的投影线段的两个顶点到所述目标图像中第二线特征的垂直距离，确定所述特征线误差项，包括：
确定所述第一线特征的投影线段的第一顶点到所述目标图像中第二线特征的第一垂直距离和所述第一线特征的投影线段的第二顶点到所述目标图像中第二线特征的第二垂直距离；
确定所述第一垂直距离的平方和所述第二垂直距离的平方之和，并将所述第一垂直距离的平方和所述第二垂直距离的平方之和的开方，确定为所述特征线误差项。
9.根据权利要求6所述的方法，其特征在于，所述基于所述第一法向量的投影法向量和所述目标地图中第二面特征的第二法向量，确定所述特征面误差项，包括：
将所述第一法向量的投影法向量和所述目标地图中第二面特征的第二法向量的夹角，作为所述特征面误差项。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述视觉定位地图基于以下方式构建：
基于包含所述目标图像的历史图像集，获取所述历史图像集中不同图像之间的特征点匹配关系；
基于所述不同图像之间的特征点匹配关系，建立初始视觉定位地图；
从所述历史图像集中提取线特征和面特征，将所述线特征和面特征映射到所述初始视觉定位地图中，得到所述视觉定位地图。
11.一种视觉重定位装置，其特征在于，所述装置包括：
确定模块，用于确定视觉定位地图，并确定所述视觉定位地图中的点特征、线特征和面特征；基于目标图像和所述点特征，确定所述目标图像的初始位姿；基于所述目标图像、所述点特征、所述线特征以及所述面特征对所述初始位姿进行修正，得到所述目标图像的目标位姿；
定位模块，用于基于所述目标位姿进行视觉重定位。
12.一种视觉重定位装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行如权利要求1-10任一项所述的视觉重定位方法。
13.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行如权利要求1-10任一项所述的视觉重定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211315877.0A CN117974772A (zh) | 2022-10-26 | 2022-10-26 | 视觉重定位方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211315877.0A CN117974772A (zh) | 2022-10-26 | 2022-10-26 | 视觉重定位方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117974772A true CN117974772A (zh) | 2024-05-03 |
Family
ID=90856035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211315877.0A Pending CN117974772A (zh) | 2022-10-26 | 2022-10-26 | 视觉重定位方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117974772A (zh) |
-
2022
- 2022-10-26 CN CN202211315877.0A patent/CN117974772A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11636653B2 (en) | Method and apparatus for synthesizing virtual and real objects | |
| US20210158560A1 (en) | Method and device for obtaining localization information and storage medium | |
| US9729775B2 (en) | Auto-focusing method and auto-focusing device | |
| US20210118152A1 (en) | Method and apparatus for detecting moving target, and electronic equipment | |
| CN107944367B (zh) | 人脸关键点检测方法及装置 | |
| CN109584362B (zh) | 三维模型构建方法及装置、电子设备和存储介质 | |
| CN106778773B (zh) | 图片中目标物的定位方法及装置 | |
| CN111323007B (zh) | 定位方法及装置、电子设备和存储介质 | |
| CN106557759B (zh) | 一种标志牌信息获取方法及装置 | |
| CN110853095B (zh) | 相机定位方法、装置、电子设备及存储介质 | |
| CN106503682B (zh) | 视频数据中的关键点定位方法及装置 | |
| CN111860373B (zh) | 目标检测方法及装置、电子设备和存储介质 | |
| WO2022134475A1 (zh) | 点云地图构建方法及装置、电子设备、存储介质和程序 | |
| CN111563138A (zh) | 定位方法及装置、电子设备和存储介质 | |
| CN110930351A (zh) | 一种光斑检测方法、装置及电子设备 | |
| CN113345000A (zh) | 深度检测方法及装置、电子设备和存储介质 | |
| CN113344999A (zh) | 深度检测方法及装置、电子设备和存储介质 | |
| CN112767541A (zh) | 三维重建方法及装置、电子设备和存储介质 | |
| CN111428654B (zh) | 一种虹膜识别方法、装置及存储介质 | |
| CN114519794A (zh) | 特征点匹配方法及装置、电子设备和存储介质 | |
| CN117974772A (zh) | 视觉重定位方法、装置及存储介质 | |
| CN112148815B (zh) | 一种基于共享地图的定位方法及装置、电子设备和存储介质 | |
| CN113538700A (zh) | 增强现实设备的标定方法及装置、电子设备和存储介质 | |
| CN108550170B (zh) | 虚拟角色驱动方法及装置 | |
| CN112683262A (zh) | 定位方法及装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |