CN111652929A - 一种视觉特征的识别定位方法及*** - Google Patents

一种视觉特征的识别定位方法及*** Download PDF

Info

Publication number
CN111652929A
CN111652929A CN202010494384.2A CN202010494384A CN111652929A CN 111652929 A CN111652929 A CN 111652929A CN 202010494384 A CN202010494384 A CN 202010494384A CN 111652929 A CN111652929 A CN 111652929A
Authority
CN
China
Prior art keywords
scene
picture
image
pictures
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010494384.2A
Other languages
English (en)
Inventor
于海
彭林
徐敏
王鹤
钱堃
侯战胜
鲍兴川
王刚
何志敏
朱亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Global Energy Interconnection Research Institute
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Global Energy Interconnection Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Global Energy Interconnection Research Institute filed Critical State Grid Corp of China SGCC
Priority to CN202010494384.2A priority Critical patent/CN111652929A/zh
Publication of CN111652929A publication Critical patent/CN111652929A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视觉特征的识别定位方法及***，方法包括：实时获取图像采集设备拍摄的待定位的场景图片，预先建立环境概要地图，构成场景库，利用预训练好的三个图像识别模型对待定位的场景图片进行特征提取，根据分别计算的待定位的场景图片与场景库中图片的余弦相似度与预设判断阈值，在场景库中寻找与待定位的场景图片接近的图片作为识别结果图片，采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计，实现相对自定位。本发明提出了在不同天气、光照条件及季节变化影响下，不依赖于GPS等绝对定位工具，实现低成本可靠的地点识别与自定位功能。

Description

一种视觉特征的识别定位方法及***
技术领域
本发明涉及机器学习的视觉自定位技术领域，具体涉及一种视觉特征的识别定位方法及***。
背景技术
在视觉技术得以迅速发展之前，移动机器人或者配有穿戴式辅助***的操作人员需要在自主运动过程中，确定自身在环境中的位置，通常采用激光雷达和惯性测量单元。激光雷达在测量环境深度信息时具有很高的可靠性与准确性，同时激光在复杂的电磁干扰环境下依然能保持良好的抗干扰能力，然而激光雷达价格高昂，并且激光雷达提供不了丰富的场景特征信息，不能支持场景识别功能。利用惯性测量单元(Inertial MeasurementUnit，IMU)进行定位也是常见的方法之一，然而这种方法随着***长时间运行，积分带来的累计误差会越来越大，因此在大尺度的室外环境下或长时间运行的条件下，IMU难以提供精准的定位结果。
随着计算机视觉及图像处理等技术的飞速发展，视觉传感器制作工艺和性价比的不断提升，视觉传感器凭借其信息量丰富、成本较低、稳定可靠等优势，受到广泛的关注与研究，视觉自定位技术在移动机器人、穿戴式***等领域中逐渐得到广泛应用，双目视觉既能获取环境的特征信息又能利用视差关系恢复出3D场景的深度信息，相较于单目视觉和全景视觉既兼顾了处理速度又包含丰富的场景信息，因此基于双目视觉的定位技术具有成本低廉、配置简单、不依赖人工标签、部署灵活方便以及获取场景信息丰富等特点，也已经初步用于穿戴式辅助引导等典型应用中，在室内定位和导航中取得成功应用的深度视觉传感器，由于在室外强光环境下存在成像失效性，并不适合用于室外定位应用。
在未知环境中，由于先验知识的匮乏和环境的不确定性，使得配有视觉传感器的自主体(即移动机器人或人)在行走过程中需要同时定位和创建地图(即SLAM)，其关键是需要判断当前位置是否处于已经访问过的环境区域，并以此作为判断是否需要环境更新的依据，即闭环检测问题。而在已建立环境地图的情况下，配有视觉传感器的自主体在行走过程中需要与既有的地图进行比对，判断是否访问了地图里记载的地点，即地点识别问题。地点识别技术可以用来进行拓扑定位，判断当前工人所处的场景点位置，即通常是需要检修的设备所处工作点位置。
理想情况下，当自主体当前位置与以前访问过的环境区域含有的特征完全相同时，可以假设它已回到了同一地点，然而实际现场创建的地图与在线使用该地图进行定位，可能相隔很长时间，室外场景在不同光照、天气甚至是跨季节情况下，即便同一地点同一位姿下采集的图像，也可能存在很大的差异。例如植物的外观在夏季和冬季可能呈现出完全不同的表观，道路在冬天可能被积雪覆盖，成为制约视觉技术用于自定位的瓶颈问题。现有技术的视觉定位技术很少考虑这种跨天气/季节的地点识别问题，其原因在于，以往方法大多建立在基于特征(Feature-based)的场景匹配基础上，而所采用的特征又往往是靠经验选取的某一种固定算子来计算像素级线索，对视觉特征变化并不具备任何适应性。另一种策略是采用基于机器学习(Learning-based)的场景匹配，例如深度卷积神经网络已经初步用于场景分类、物体识别等领域。未考虑到视觉定位方法受不同天气、光照条件及季节变化的影响。
发明内容
因此，本发明提供的一种视觉特征的识别定位方法及***，克服了现有技术中视觉定位方法受不同天气、光照条件及季节变化的影响，实现了低成本可靠的地点识别与自定位功能。
为达到上述目的，本发明提供如下技术方案：
第一方面，本发明实施例提供一种视觉特征的识别定位方法，包括：
实时获取图像采集设备拍摄的待定位的场景图片；
预先建立环境概要地图，构成场景库；
利用预训练好的三个图像识别模型分别对待定位的场景图片进行特征提取，基于不同图像识别模型提取的特征，分别计算待定位的场景图片与场景库的图片的余弦相似度，并获取最大相似的匹配结果，根据预设判定阈值进行匹配结果判断，其中不同图像识别模型对应不同的预设判定阈值；
如果各个图像识别模型对应的余弦相似度有两个识别结果一致时，将结果一致的图片作为识别结果图片；如果各个图像识别模型对应的余弦相似度均不一致时，将余弦相似度的最大值大于预设判定阈值中最大值的图片，作为识别结果图片；
采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计，实现相对自定位。
在一实施例中，不同图像识别模型对应不同的预设判定阈值，预设判定阈值根据各个图像识别模型的精度曲线确定。
在一实施例中，图像识别模型的预训练过程包括：在第一预设数据集上的深度卷积神经网络模型训练，以及在第二预设数据集上的模型阈值自适应训练。
在一实施例中，所述环境概要地图包括：米制路径信息和环境拓扑信息的混合地图，其中，环境拓扑信息以带权重的无向图形式进行保存。
在一实施例中，预先建立环境概要地图的过程，包括：采用手持或穿戴式双目摄像机，在不同时段、天气情况、光照条件、季节变换的情况下探索遍历整个作业环境，建立环境的概要地图并同时采集各个关键地点的图像样本。
在一实施例中，采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计的过程，包括：粗配准和精配准，经过由粗到细的配准过程，从两帧匹配的图像重叠区域中找出对应的特征，根据特征点对的成像位置与对应的在世界中的位置来求解图像采集设备的位姿变换。
在一实施例中，利用粗配准来剔除外点保留内点，降低数据中异常数据对匹配结果造成的影响，计算两帧图像的位姿变换关系，使得两帧图像的公共区域能够大致重合；
利用细配准通过不断迭代两帧图像的点云图来实现精确地拼合，并得到对应的旋转关系矩阵R与平移关系矩阵T。
第二方面，本发明实施例提供一种视觉特征的识别定位***，包括：
场景图片获取模块，实时获取图像采集设备拍摄的待定位的场景图片；
场景库获取模块，用于预先建立环境概要地图，构成场景库；
参数提取模块，用于利用预训练好的三个图像识别模型分别对待定位的场景图片进行特征提取，基于不同图像识别模型提取的特征，分别计算待定位的场景图片与场景库的图片的余弦相似度，并获取最大相似的匹配结果，根据预设判定阈值进行匹配结果判断，其中不同图像识别模型对应不同的预设判定阈值；
识别模块，如果各个图像识别模型对应的余弦相似度有两个识别结果一致时，将结果一致的图片作为识别结果图片；如果各个图像识别模型对应的余弦相似度均不一致时，将余弦相似度的最大值大于预设判定阈值中最大值的图片，作为识别结果图片；
定位模块，用于采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计，实现相对自定位。
第三方面，本发明实施例提供一种终端，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例第一方面所述的视觉特征的识别定位方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例第一方面所述的视觉特征的识别定位方法。
本发明技术方案，具有如下优点：
本发明提供的视觉特征的识别定位方法及***，实时获取图像采集设备拍摄的待定位的场景图片；预先建立环境概要地图，构成场景库；利用预训练好的三个图像识别模型分别对待定位的场景图片进行特征提取，分别计算待定位的场景图片与场景库的图片的余弦相似度，并获取最大相似的匹配结果，根据预设判定阈值进行匹配结果判断；如果各个图像识别模型对应的余弦相似度有两个识别结果一致时，将结果一致的图片作为识别结果图片；如果各个图像识别模型对应的余弦相似度均不一致时，将余弦相似度的最大值大于预设判定阈值中最大值的图片，作为识别结果图片；采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计，实现相对自定位。提出了在不同天气、光照条件及季节变化影响下，实现低成本可靠的地点识别与自定位功能。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视觉特征的识别定位方法的一个具体示例的流程图；
图2为本发明实施例提供的视觉特征的识别定位方法的一个具体环境概要地图的示意图；
图3为本发明实施例提供的视觉特征的识别定位方法的一个具体拓扑结构的邻接表存储的示意图；
图4为本发明实施例提供的视觉特征的识别定位方法的一个准确度
(Accuracy)/相似度(Threshold)阈值关系精度曲线；
图5为本发明实施例提供的视觉特征的识别定位方法的一个具体的三个图像识别模型集成学习流程图；
图6为本发明实施例提供的视觉特征的识别定位***的模块组成图；
图7为本发明实施例提供的一种终端一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供的一种视觉特征的识别定位方法，如图1所示，包括如下步骤：
步骤S1：实时获取图像采集设备拍摄的待定位的场景图片。
在本发明实施例中，图像采集设备包括：手持式或穿戴式双目摄像机，仅以此举例，不以此为限，在实际应用中根据相应需求选择相应的图像采集设备。
步骤S2：预先建立环境概要地图，构成场景库。
在本发明实施例中，预先建立环境概要地图的过程，包括：采用手持或穿戴式双目摄像机，在不同时段、天气情况、光照条件、季节变换的情况下探索遍历整个作业环境，建立环境概要地图并同时采集各个关键地点的图像样本，从而构成场景库；
在本发明实施例中，环境概要地图包括：米制路径信息和环境拓扑信息的混合地图，其中，环境拓扑信息以带权重的无向图形式进行保存。拓扑地图是将环境抽象成为一系列节点和边构成的图，如图2所示，拓扑地图中节点则包含场景点的场景编号、场景的名称、场景所在的位置、场景图像以及其深度图像信息，节点代表室外环境中的场景点，边定义为两个相连节点之间的距离，该环境概要地图与一般拓扑地图的最大区别在于：某个节点存储的不仅仅是一次探索所获取某个地点的场景图像，而是不同天气、光照、季节条件下多次探索访问同一地点获取的一组场景图像和一组相应的深度图像，地点位置信息是由双目摄像机视觉里程计获取。
考虑到在实际创建环境地图时，拓扑地图中的节点间的关联较少，绝大多数的节点只和两侧的节点相连接，即拓扑地图是一张稀疏图，因此采用邻接表的方式可以有效避免对存储空间的浪费，邻接表采用将数组和链表相结合的存储方法，邻接表将拓扑地图中的所有顶点利用数组的形式存储下来，数组指向与它相邻接的点，而每一个顶点及其所有相邻接的点构成一个链表，拓扑地图邻接表的示意图如图3所示。
由于拓扑地图中的节点信息较多，直接对节点进行邻接表的***删除等操作会带来效率上的损失，而在某些应用中通常只需要存储节点与节点之间的距离关系，考虑到这些因素，本发明实施例通过将邻接表与容器相结合的方式对拓扑地图进行存储管理，定义存储在邻接表中，只存储节点的场景编号Id并利用权重表示该节点到邻接节点的距离，而将场景编号为Id的节点的更多信息(场景的名称、场景所在的位置、场景图像以及其深度图像信息)存储在容器中，这种将场景点之间仅含有米制距离的拓扑关系与每一个场景点所包含的丰富信息分别用邻接表与容器进行存储的方法，可以实现多层次的拓扑地图存储管理，提高拓扑地图的使用效率。
步骤S3：利用预训练好的三个图像识别模型分别对待定位的场景图片进行特征提取，基于不同图像识别模型提取的特征，分别计算待定位的场景图片与场景库的图片的余弦相似度，并获取最大相似的匹配结果，根据预设判定阈值进行匹配结果判断，其中不同图像识别模型对应不同的预设判定阈值。
imagenet和Places为开放大型标注数据集，在本发明实施例中，图像识别模型的预训练过程包括：在第一预设数据集上的深度卷积神经网络模型训练，是指使用开放大型标注数据集imagenet和Places，分别训练alexnet、vgg、***net三种深度卷积神经网络模型，得到在所训练集上的最优地点识别结果，采用的ImageNet是全球最大的图像识别数据库，其包含了分成了数千个类型、数百万张有标注的图像，可用于训练图像检测和分类等深度神经网络；Places数据集包括1000万张图像，属于400多不同场景类别，包含各种天气条件和季节变化等情况下同样地点的不同场景图像，反映了不同季节条件下植物、地面等呈现出来的不同视觉特征。使用在imagenet数据集上训练的alexnet模型和在place数据集上训练的vgg、***net来对实际采集的场景图像进行特征提取，分别将这三种模型记作imagenet_alexnet、place_vgg和place_***net。以及在第二预设数据集上的模型阈值自适应训练，是针对特定运行现场环境，操作者事先采用手持或穿戴式双目摄像机，在不同时段、天气情况、光照条件、甚至季节变换的情况下探索遍历整个作业环境，建立环境的概要地图并同时采集各个关键地点的图像样本，从而构成场景库。
在本发明实施例中，不同图像识别模型对应不同的预设判定阈值，预设判定阈值根据各个图像识别模型的精度曲线确定。利用这三个图像识别模型作为特征提取器，如图4所示，三种模型在场景库中的准确度(Accuracy)/相似度(Threshold)阈值关系精度曲线。
在现场环境中实际运行时，载入事先建立好的环境概要地图并解析其中场景地点图像，采用集成学习法将训练好的三个单分类器集成起来判断场景地点匹配结果；需要从事先建立好的环境概要地图中获取其中场景地点对应的历史图像，组成待匹配的历史场景图像库，采用集成学习法将训练好的三个单分类器集成起来，将当前场景图像与历史场景图像库中的候选进行匹配，相比采用单分类器显著提高了场景地点识别的准确性，从而克服跨天气、季节条件下相同地点的场景视觉特征变化，采用机器学习技术提高了地点识别的鲁棒性，借助开放大型标注图像数据集上训练的深度卷积神经网络模型作为特征提取器，而非人为地选取某一种固定的特征提取算子，因此特征提取更能适应视觉特征变化的情况。
步骤S4：如果各个图像识别模型对应的余弦相似度有两个识别结果一致时，将结果一致的图片作为识别结果图片；如果各个图像识别模型对应的余弦相似度均不一致时，将余弦相似度的最大值大于预设判定阈值中最大值的图片，作为识别结果图片。如图5所示，选取三个图像识别模型imagenet_alexnet、place_***net和place_vgg，分别计算三个模型的余弦相似度S1、S2、S3，对三个图像识别模型的结果利用投票法进行判断，当有两或三个模型的结果相匹配时(n大于等于2时)，该结果图片作为识别结果图片，此外，在三个模型的结果两两不同时，该结果中将余弦相似度的最大值大于预设判定阈值中最大值的图片，作为识别结果图片。
步骤S5：采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计，实现相对自定位。
在本发明实施例中，采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计的过程，包括：粗配准和精配准，经过由粗到细的配准过程，从两帧匹配的图像重叠区域中找出对应的特征，根据特征点对的成像位置与对应的在世界中的位置来求解图像采集设备的位姿变换。
在本发明实施例中，利用粗配准来剔除外点保留内点，从两帧匹配的图像重叠区域中找出对应的特征，剔除偏离较大的点，保留偏差较小的点，降低数据中异常数据对匹配结果造成的影响，计算两帧图像的位姿变换关系，使得两帧图像的公共区域能够大致重合；利用细配准通过不断迭代两帧图像的点云图来实现精确地拼合，并得到对应的旋转关系矩阵R与平移关系矩阵T。
在实际环境中，当前场景点和与之匹配的地图中某个场景点大致位于同一位置，但是视觉传感器在两次采集的过程中不可能完全保持相同的位姿。为了得到更加精确的定位结果，需要对当前相机采集图像的位置和创建地图时场景库中图像的位置进行相对位姿推算，即通过利用图像特征匹配及配准，恢复出两帧场景图像之间的旋转关系矩阵R和平移关系矩阵T。
假设I1是当前场景图像，I2是与之匹配的场景点图像，实际获取的场景图像与地图库中保存的场景图像具有一定位姿偏差。设XW为全局坐标系，XK为相机坐标系。经过由粗到细的配准过程，从两帧匹配的图像重叠区域中找出对应的特征，根据特征点对的成像位置与对应的在世界中的位置来求解相机的位姿变换，即旋转平移矩阵。
粗配准步骤针对加速稳健特征(Speeded Up Robust Features，SURF)匹配对采用随机抽样算法来剔除外点保留内点，降低数据中异常数据对匹配结果造成的影响，计算两帧图像的位姿变换关系，使得两帧图像的公共区域能够大致重合；由于从不同角度获得的场景图像，彼此之间仅仅是部分重叠，重叠区域占总体图像特征的比率一般较低，随机抽样一致算法(RANdom SAmple Consensus,RANSAC)获得的结果不一定是全局最优，因此细配准步骤采用迭代最近点(Iterative Closest Point，ICP)算法来进行两张图像间的精确配准，通过不断迭代两帧图像的点云图来实现精确地拼合，并得到对应的旋转关系矩阵R与平移关系矩阵T。
本发明实施例提供了视觉特征的识别定位方法，实时获取图像采集设备拍摄的待定位的场景图片；预先建立环境概要地图，构成场景库；利用预训练好的三个图像识别模型分别对待定位的场景图片进行特征提取，分别计算待定位的场景图片与场景库的图片的余弦相似度，并获取最大相似的匹配结果，根据预设判定阈值进行匹配结果判断；如果各个图像识别模型对应的余弦相似度有两个识别结果一致时，将结果一致的图片作为识别结果图片；如果各个图像识别模型对应的余弦相似度均不一致时，将余弦相似度的最大值大于预设判定阈值中最大值的图片，作为识别结果图片；采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计，实现相对自定位。提出了在不同天气、光照条件及季节变化影响下，实现低成本可靠的地点识别与自定位功能。
实施例2
本发明实施例提供一种视觉特征的识别定位***，如图6所示，包括：
场景图片获取模块1，实时获取图像采集设备拍摄的待定位的场景图片；此模块执行实施例1中的步骤S1所描述的方法，在此不再赘述。
场景库获取模块2，用于预先建立环境概要地图，构成场景库；此模块执行实施例1中的步骤S2所描述的方法，在此不再赘述。
参数提取模块3，用于利用预训练好的三个图像识别模型分别对待定位的场景图片进行特征提取，基于不同图像识别模型提取的特征，分别计算待定位的场景图片与场景库的图片的余弦相似度，并获取最大相似的匹配结果，根据预设判定阈值进行匹配结果判断，其中不同图像识别模型对应不同的预设判定阈值；此模块执行实施例1中的步骤S3所描述的方法，在此不再赘述。
识别模块4，如果各个图像识别模型对应的余弦相似度有两个识别结果一致时，将结果一致的图片作为识别结果图片；如果各个图像识别模型对应的余弦相似度均不一致时，将余弦相似度的最大值大于预设判定阈值中最大值的图片，作为识别结果图片；此模块执行实施例1中的步骤S4所描述的方法，在此不再赘述。
定位模块5，用于采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计，实现相对自定位；此模块执行实施例1中的步骤S5所描述的方法，在此不再赘述。
本发明实施例提供一种视觉特征的识别定位***，通过预先建立环境概要地图，构成场景库；将实时获取图像采集设备拍摄的待定位的场景图片；利用预训练好的三个图像识别模型分别对待定位的场景图片进行特征提取，基于不同图像识别模型提取的特征，分别计算待定位的场景图片与场景库的图片的余弦相似度，并获取最大相似的匹配结果，根据预设判定阈值进行匹配结果判断，其中不同图像识别模型对应不同的预设判定阈值；如果各个图像识别模型对应的余弦相似度有两个识别结果一致时，将结果一致的图片作为识别结果图片；如果各个图像识别模型对应的余弦相似度均不一致时，将余弦相似度的最大值大于预设判定阈值中最大值的图片，作为识别结果图片；用于采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计，实现相对自定位。实现在不同天气、光照条件及季节变化影响下，低成本可靠的地点识别与自定位功能。
实施例3
本发明实施例提供一种终端，如图7所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1中的视觉特征的识别定位方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1中的视觉特征的识别定位方法。其中，通信总线402可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：HDD)或固降硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1中的视觉特征的识别定位方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1中的视觉特征的识别定位方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种视觉特征的识别定位方法，其特征在于，包括：
实时获取图像采集设备拍摄的待定位的场景图片；
预先建立环境概要地图，构成场景库；
利用预训练好的三个图像识别模型分别对待定位的场景图片进行特征提取，基于不同图像识别模型提取的特征，分别计算待定位的场景图片与场景库的图片的余弦相似度，并获取最大相似的匹配结果，根据预设判定阈值进行匹配结果判断，其中不同图像识别模型对应不同的预设判定阈值；
如果各个图像识别模型对应的余弦相似度有两个识别结果一致时，将结果一致的图片作为识别结果图片；如果各个图像识别模型对应的余弦相似度均不一致时，将余弦相似度的最大值大于预设判定阈值中最大值的图片，作为识别结果图片；
采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计，实现相对自定位。
2.根据权利要求1所述的视觉特征的识别定位方法，其特征在于，不同图像识别模型对应不同的预设判定阈值，预设判定阈值根据各个图像识别模型的精度曲线确定。
3.根据权利要求1所述的视觉特征的识别定位方法，其特征在于，图像识别模型的预训练过程包括：在第一预设数据集上的深度卷积神经网络模型训练，以及在第二预设数据集上的模型阈值自适应训练。
4.根据权利要求1所述的视觉特征的识别定位方法，其特征在于，所述环境概要地图包括：米制路径信息和环境拓扑信息的混合地图，其中，环境拓扑信息以带权重的无向图形式进行保存。
5.根据权利要求4所述的视觉特征的识别定位方法，其特征在于，预先建立环境概要地图的过程，包括：采用手持或穿戴式双目摄像机，在不同时段、天气情况、光照条件、季节变换的情况下探索遍历整个作业环境，建立环境的概要地图并同时采集各个关键地点的图像样本。
6.根据权利要求1所述的视觉特征的识别定位方法，其特征在于，采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计的过程，包括：粗配准和精配准，经过由粗到细的配准过程，从两帧匹配的图像重叠区域中找出对应的特征，根据特征点对的成像位置与对应的在世界中的位置来求解图像采集设备的位姿变换。
7.根据权利要求6所述的视觉特征的识别定位方法，其特征在于，
利用粗配准来剔除外点保留内点，降低数据中异常数据对匹配结果造成的影响，计算两帧图像的位姿变换关系，使得两帧图像的公共区域能够大致重合；
利用细配准通过不断迭代两帧图像的点云图来实现精确地拼合，并得到对应的旋转关系矩阵R与平移关系矩阵T。
8.一种视觉特征的识别定位***，其特征在于，包括：
场景图片获取模块，实时获取图像采集设备拍摄的待定位的场景图片；
场景库获取模块，用于预先建立环境概要地图，构成场景库；
参数提取模块，用于利用预训练好的三个图像识别模型分别对待定位的场景图片进行特征提取，基于不同图像识别模型提取的特征，分别计算待定位的场景图片与场景库的图片的余弦相似度，并获取最大相似的匹配结果，根据预设判定阈值进行匹配结果判断，其中不同图像识别模型对应不同的预设判定阈值；
识别模块，如果各个图像识别模型对应的余弦相似度有两个识别结果一致时，将结果一致的图片作为识别结果图片；如果各个图像识别模型对应的余弦相似度均不一致时，将余弦相似度的最大值大于预设判定阈值中最大值的图片，作为识别结果图片；
定位模块，用于采用预设图像配准算法对待定位的场景图片和识别结果图片进行相对位姿估计，实现相对自定位。
9.一种终端，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7任一所述的视觉特征的识别定位方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任一所述的视觉特征的识别定位方法。
CN202010494384.2A 2020-06-03 2020-06-03 一种视觉特征的识别定位方法及*** Pending CN111652929A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010494384.2A CN111652929A (zh) 2020-06-03 2020-06-03 一种视觉特征的识别定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010494384.2A CN111652929A (zh) 2020-06-03 2020-06-03 一种视觉特征的识别定位方法及***

Publications (1)

Publication Number Publication Date
CN111652929A true CN111652929A (zh) 2020-09-11

Family

ID=72344746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010494384.2A Pending CN111652929A (zh) 2020-06-03 2020-06-03 一种视觉特征的识别定位方法及***

Country Status (1)

Country Link
CN (1) CN111652929A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328715A (zh) * 2020-10-16 2021-02-05 浙江商汤科技开发有限公司 视觉定位方法及相关模型的训练方法及相关装置、设备
CN112488007A (zh) * 2020-12-04 2021-03-12 深圳市优必选科技股份有限公司 视觉定位方法、装置、机器人及存储介质
CN112597326A (zh) * 2020-12-11 2021-04-02 联想(北京)有限公司 一种场景地图文件处理方法及装置
CN112697156A (zh) * 2020-12-04 2021-04-23 深圳市优必选科技股份有限公司 地图库建立方法、机器人、计算机设备及存储介质
CN115146014A (zh) * 2022-06-20 2022-10-04 岚图汽车科技有限公司 一种高精度地图的阳光炫目场景集成方法及***
WO2023051383A1 (zh) * 2021-09-30 2023-04-06 华为技术有限公司 一种设备定位方法、设备及***
CN116894930A (zh) * 2023-09-11 2023-10-17 南京禹步信息科技有限公司 基于ai+ar的数字作业指导***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及***
WO2018119889A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN109671119A (zh) * 2018-11-07 2019-04-23 中国科学院光电研究院 一种基于slam的室内定位方法及装置
CN111046125A (zh) * 2019-12-16 2020-04-21 视辰信息科技(上海)有限公司 一种视觉定位方法、***及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018119889A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及***
CN109671119A (zh) * 2018-11-07 2019-04-23 中国科学院光电研究院 一种基于slam的室内定位方法及装置
CN111046125A (zh) * 2019-12-16 2020-04-21 视辰信息科技(上海)有限公司 一种视觉定位方法、***及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卞贤掌;费海平;李世强;: "基于语义分割的增强现实图像配准技术" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328715A (zh) * 2020-10-16 2021-02-05 浙江商汤科技开发有限公司 视觉定位方法及相关模型的训练方法及相关装置、设备
CN112488007A (zh) * 2020-12-04 2021-03-12 深圳市优必选科技股份有限公司 视觉定位方法、装置、机器人及存储介质
CN112697156A (zh) * 2020-12-04 2021-04-23 深圳市优必选科技股份有限公司 地图库建立方法、机器人、计算机设备及存储介质
CN112488007B (zh) * 2020-12-04 2023-10-13 深圳市优必选科技股份有限公司 视觉定位方法、装置、机器人及存储介质
CN112597326A (zh) * 2020-12-11 2021-04-02 联想(北京)有限公司 一种场景地图文件处理方法及装置
WO2023051383A1 (zh) * 2021-09-30 2023-04-06 华为技术有限公司 一种设备定位方法、设备及***
CN115146014A (zh) * 2022-06-20 2022-10-04 岚图汽车科技有限公司 一种高精度地图的阳光炫目场景集成方法及***
CN116894930A (zh) * 2023-09-11 2023-10-17 南京禹步信息科技有限公司 基于ai+ar的数字作业指导***
CN116894930B (zh) * 2023-09-11 2023-12-01 南京禹步信息科技有限公司 基于ai+ar的数字作业指导***

Similar Documents

Publication Publication Date Title
CN107967457B (zh) 一种适应视觉特征变化的地点识别与相对定位方法及***
CN111652929A (zh) 一种视觉特征的识别定位方法及***
CN109974693B (zh) 无人机定位方法、装置、计算机设备及存储介质
CN112179330B (zh) 移动设备的位姿确定方法及装置
CN109074085B (zh) 一种自主定位和地图建立方法、装置和机器人
CN111652934B (zh) 定位方法及地图构建方法、装置、设备、存储介质
CN109671119A (zh) 一种基于slam的室内定位方法及装置
EP3274964B1 (en) Automatic connection of images using visual features
CN103377476A (zh) 使用三维地理弧的多模型数据的图像配准
CN111274847B (zh) 一种定位方法
Senlet et al. Satellite image based precise robot localization on sidewalks
CN110599545B (zh) 一种基于特征的构建稠密地图的***
CN112233177A (zh) 一种无人机位姿估计方法及***
CN110827353B (zh) 一种基于单目摄像头辅助的机器人定位方法
CN110749308B (zh) 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法
CN111768498A (zh) 基于稠密语义三维地图与混合特征的视觉定位方法、***
CN114969221A (zh) 一种更新地图的方法及相关设备
CN113838129B (zh) 一种获得位姿信息的方法、装置以及***
CN115471748A (zh) 一种面向动态环境的单目视觉slam方法
CN113822996B (zh) 机器人的位姿估计方法及装置、电子设备、存储介质
CN117146795A (zh) 视觉激光双重校验的回环检测方法、***、设备及介质
CN113190564A (zh) 地图更新***、方法及设备
CN115420276A (zh) 一种面向室外场景的多机器人协同定位与建图方法
CN112802095B (zh) 定位方法、装置及设备、以及自动驾驶定位***
CN112284390A (zh) 一种基于vslam的室内高精度定位导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200911