CN113029160B - 导航方法、导航终端及计算机可读存储介质 - Google Patents
导航方法、导航终端及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113029160B CN113029160B CN202110596343.9A CN202110596343A CN113029160B CN 113029160 B CN113029160 B CN 113029160B CN 202110596343 A CN202110596343 A CN 202110596343A CN 113029160 B CN113029160 B CN 113029160B
- Authority
- CN
- China
- Prior art keywords
- texture information
- information
- environment image
- navigation
- current position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种导航方法、导航终端及计算机可读存储介质，该导航方法包括：获取运行设备当前位置的环境图像；基于四叉树结构算法对获取的环境图像信息进行***得到多个区域，并提取区域中的纹理信息；纹理信息包括检测特征点；根据环境图像对应的纹理信息确定运行设备的当前位置信息；利用当前位置信息和目标位置信息，对运行设备的运行参数进行修正。本发明中的导航方法根据环境图像中的纹理信息确定运行设备的当前位置信息，不需要通过在场地环境内部署二维码、磁轨等辅助标识，避免影响场地环境的外观，且节约成本，根据运行设备的当前位置和目标位置信息对运行设备的运行参数进行修正能够提高导航结果精确度。
Description
技术领域
本发明涉及视觉导航技术领域，特别是涉及一种导航方法、导航终端及计算机可读存储介质。
背景技术
地面移动机器人的室内导航主要分为激光导航、视觉导航等主动式导航及WIFI（Wireless Fidelity，无线保真）、UWB（Ultra Wideband)，超宽带）及蓝牙等基站组网类型的被动式导航。
其中，激光导航发展稍早，所以应用较为广泛。然而，单线激光的信息量较少，对环境依赖性较大，通常在复杂环境中需要配合反光板、反光贴等进行导航定位；多线激光数据量大，需要对大量点云数据进行处理，对机器人平台的性能要求较高；同时，相比于视觉传感器，激光传感器的价格较为昂贵。WIFI、UWB及蓝牙等导航方法兴起一时，成本较低，可延展性很强，但局限性太多。室内应用场景中，这些导航定位方法均易受杂物遮挡、信号干扰等影响；而且在高精度要求的场景中表现较差；视觉导航近来发展较快，应用也趋于广泛，典型的案例如二维码导航，在智能化仓储、物流中得到广泛应用。但是二维码易受污染、损毁，且施工后影响场地的美观。
发明内容
本发明主要解决的技术问题是提供一种导航方法、导航终端及计算机可读存储介质，解决现有技术中机器人视觉导航方案依赖外部辅助设施，影响场地环境外观的问题。
为解决上述技术问题，本发明采用的第一个技术方案是：提供一种导航方法，该导航方法包括：获取运行设备当前位置的环境图像；基于四叉树结构算法对获取的环境图像信息进行***得到多个区域，并提取区域中的纹理信息；纹理信息包括检测特征点；根据环境图像对应的纹理信息确定运行设备的当前位置信息；利用当前位置信息和目标位置信息，对运行设备的运行参数进行修正。
其中，获取运行设备当前位置的环境图像的步骤之前还包括：基于导航路径确定目标位置；获取表征目标位置的纹理信息并存储得到纹理信息库。
其中，基于四叉树结构算法对获取的环境图像信息进行***得到多个区域，并提取区域中的纹理信息的步骤具体包括：通过Fast特征点检测的方法对区域图像中的特征点进行提取得到检测特征点。
其中，根据环境图像对应的纹理信息确定运行设备的当前位置信息的步骤具体包括：使用rBRIEF算法在以检测特征点为中心的设定范围内选取N个像素点与检测特征点组成N个特征点对，通过比较灰度值进行二进制赋值，生成0或1的编码组合；对0或1的编码组合进行加权求和确定N个特征点对的质心；连接检测特征点与质心并确定检测特征点的方向角；像素点依方向角进行旋转采样得到旋转状态下的特征点对，确定特征点对是否与预存纹理信息相匹配。
其中，根据环境图像对应的纹理信息确定运行设备的当前位置信息的步骤之后还包括：对与预存纹理信息相匹配的特征点对进行筛选。
其中，对与预存纹理信息相匹配的特征点对进行筛选的步骤具体包括：获取各特征点对与预存纹理信息匹配过程中的汉明距离；判断每一特征点对对应的汉明距离是否小于预设值；如果汉明距离小于预设值，则保留汉明距离对应的特征点对。
其中，对与预存纹理信息相匹配的特征点对进行筛选的步骤具体还包括：判断当前帧的环境图像中检测特征点之间的距离与前一帧环境图像信息中检测特征点之间的距离是否相等；如果相等，则保留与前一帧环境图像中检测特征点之间距离相等的当前帧中检测特征点对应的特征点对。
其中，利用当前位置信息和目标位置信息，对运行设备的运行参数进行修正的步骤具体包括：将与预存纹理信息匹配的特征点对对应的检测特征点集合映射到预存纹理信息中的特征点集合中得到矩阵；采用SVD分解矩阵得到旋转矩阵和平移向量；根据旋转矩阵和平移向量确定运行设备在运行过程中的旋转偏移量和平移偏移量。
其中，利用当前位置信息和目标位置信息，对运行设备的运行参数进行修正的步骤之后还包括：根据筛选后的特征点对的个数和平移向量确定采集的环境图像信息的置信度；判断置信度是否超过预设置信度；如果置信度超过预设置信度，则将采集的环境图像信息与预存纹理信息相融合，以更新纹理信息库；如果置信度不超过预设置信度，则不更新纹理信息库。
为解决上述技术问题，本发明采用的第二个技术方案是：提供一种导航终端，该导航终端包括处理器以及与处理器连接的存储器和通信模组，通信模组用于与机器人进行数据交互，存储器用于存储程序数据，处理器用于执行程序数据以实现如上述导航方法中的步骤。
为解决上述技术问题，本发明采用的第三个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述导航方法中的步骤。
本发明的有益效果是：区别于现有技术的情况，提供的一种导航方法、导航终端及计算机可读存储介质，本申请中的导航方法通过获取运行设备当前位置的环境信息，并对环境图像进行分割得到多个区域，提取区域中的纹理信息，通过纹理信息确定运行设备的当前位置信息，进而通过运行设备的当前位置信息和目标位置信息对运行设备的运行参数进行修正。本申请中的导航方法根据环境图像中的纹理信息确定运行设备的当前位置信息，不需要通过在场地环境内部署二维码、磁轨等辅助标识，避免影响场地环境的外观，且节约成本，根据运行设备的当前位置和目标位置信息对运行设备的运行参数进行修正能够提高导航结果精确度。
附图说明
图1是本发明提供的导航方法一实施例的流程示意图；
图2是本发明提供的运行环境的规划示意图；
图3是图1提供的轨迹跟踪控制方法中步骤S4一具体实施例的流程示意图；
图4是图1提供的轨迹跟踪控制方法中步骤S5一具体实施例的流程示意图；
图5是图1提供的轨迹跟踪控制方法中步骤S55一具体实施例的流程示意图；
图6是图1提供的轨迹跟踪控制方法中步骤S6一具体实施例的流程示意图；
图7是本发明提供的导航终端一实施方式的示意框图；
图8是本发明提供的计算机可读存储介质一实施方式的示意框图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种目标跟踪方法做进一步详细描述。
请参阅图1，图1是本发明提供的导航方法一实施例的流程示意图。本实施例中提供一种导航方法，该导航方法包括如下步骤。
S1：基于导航路径确定目标位置。
具体地，获取导航路径后，根据导航路径以及运行环境的具体情况进行规划。在导航路径上确定多个目标位置，进而根据目标位置附近的具体情况获取对应的目标位置信息。将导航路径输入到运行设备中，运行设备可以依靠自身的惯性导航传感器进行导航运行。
在一具体实施例中，请参阅图2，图2是本发明提供的运行环境的规划示意图。运行环境上规划了12个目标位置，其中，单向箭头表示两个目标位置之间是单向连通，运动目标在目标位置之间只能依照箭头方向运行；双向箭头表示目标位置之间双向连通，运动目标在两个目标位置之间可以往返运行；无箭头连接的目标位置之间无连通性。图2中左下角的箭头坐标指示了全局坐标系下的导航角度定义。
S2：获取表征目标位置的纹理信息并存储得到纹理信息库。
具体地，在对运行环境进行规划后，对确认的每一目标位置处的环境图像进行采集，并提取环境图像中的纹理信息。并将目标位置与对应目标位置采集的环境图像和纹理信息进行关联。在另一可选实施例中，将目标位置仅与对应目标位置处的纹理信息进行关联。将所有目标位置处采集的纹理信息存储至纹理信息库。其中，采集目标位置的设备可以为运行设备，在运行设备的底部设置摄像头对目标位置处的环境信息进行采集。
在一具体实施例中，采集表征目标位置信息的环境图像时，运动目标朝向默认为其中的0度方向。运动目标的朝向也可以默认为其中的90度方向、180度方向或270度方向。
S3：获取运行设备当前位置的环境图像。
具体地，在运行设备的底部固定图像采集器，通过需要导航的运行设备对当前位置的环境图像进行采集。将运行设备采集的环境图像存储至运行设备并进行数据处理。也可以将采集的运行设备发送至服务端进行数据处理。当图像采集器中未收集到图像时，则终止流程步骤。在一具体实施例中，环境图像可以为运行环境的地面图像。其中，运行设备的运行环境中未设有导航标识。
S4：基于四叉树结构算法对获取的环境图像信息进行***得到多个区域，并提取区域中的纹理信息。
具体地，特征点通常能表现图像某方面的特征，ORB(Oriented FAST and RotatedBRIEF)特征点具有局部不变性和很强的抗噪性，可以用于视觉SLAM（SimultaneousLocalization And Mapping，同步定位与地图构建）各种规模的***中。基于四叉树结构算法和rBRIEF算法对采集的当前位置的环境图像进行识别进而提取环境图像中对应的纹理信息。其中，纹理信息包括检测特征点。请参阅图3，图3是图1提供的轨迹跟踪控制方法中步骤S4一具体实施例的流程示意图。具体地步骤如下。
S41：基于四叉树结构算法对获取的环境图像信息进行***得到区域图像。
具体地，根据采集的环境图像的宽高比选择初始根节点的数量。其中，不同宽高比的图像对应不同的初始根节点的数量。其中，初始根节点一般为1或2。根据环境图像的宽高对确定的初始根节点进行“***”操作，主要是为了选取采集的环境图形中的兴趣点。也就是说，当获取环境图像中的兴趣点后，判断兴趣点的响应值是否大于响应阈值，如果该兴趣点的响应值大于响应阈值，则保留该兴趣点。其中，***的一个图像区域中的响应值较大的兴趣点一般为4个。在***之后的图像区域中继续进行“***”操作，当***得到的图像区域中的总的兴趣点的数目达到要求，则可以停止***操作。在另一可选实施例中，当***得到的区域图像中的兴趣点不满足响应阈值时，则停止***操作。具体地，通过四叉树结构对采集的环境图像进行***操作。也就是说将采集的一帧环境图像***为4个区域图像，再将4个区域图像进行***操作以得到16个区域图像，只要满足***条件，则可以在此基础上继续进行***操作。
S42：通过Fast特征点检测的方法对区域图像中的特征点进行提取得到检测特征点。
具体地，对上述获取***得到的区域图像进行特征点提取。可以利用金字塔原理将采集的环境图像进行不同层次的降采样处理分别得到采集的环境图像的图像金字塔，通过后续在图像金字塔的每一层上进行FAST特征点检测，从而获得多尺寸特征，可以使得到的FAST特征点具有尺度不变性。ORB特征点提取采用的是FAST角点特征，该方法通过对比当前像素点与周围点的灰度值差别，判断当前点是否为检测特征点。在一具体实施例中，假设像素点P处的灰度值Ip的设定阈值T，在图像金字塔的每一层中，以任一像素点P为中心，先对像素点P周围的上下左右4个像素点进行判断，如果在这四个像素点中有三个像素点不满足Ip-T≤Ip≤Ip+T，则取半径为3的圆上的16个像素点；如果在这16个像素点当中有连续12个像素点不满足Ip-T≤Ip≤Ip+T，即判断该像素点P为检测特征点，否则丢弃该P点，对下一个像素点进行判断。其中，T可以为20%。
其中，当采集的环境图像进行一次***后，就对***得到的区域图像进行特征点提取，得到检测特征点。判断每一区域图像中的检测特征点的响应值是否大于响应阈值，进而确定是否还需要进行***操作。
通过四叉树结构对环境图像进行分解后提取到的特征点在图像中分布比较均匀，可以充分利用图像的全局信息，进而更精确的确定当前位置的具***置信息。
S5：根据环境图像对应的纹理信息确定运行设备的当前位置信息。
具体地，参阅图4，图4是图1提供的轨迹跟踪控制方法中步骤S5一具体实施例的流程示意图。根据纹理信息确定运行设备的当前位置信息的步骤如下。
S51：使用rBRIEF算法在以检测特征点为中心的设定范围内选取N个像素点与检测特征点组成N个特征点对，通过比较灰度值进行二进制赋值，生成0或1的编码组合。
具体地，以一个检测特征点为中心可以选取31*31大小的区域，在这个区域中选取N个像素点。其中，选取N个像素点的方式是依据训练得到的位置进行选取的，即在训练得到的区域中N个位置处这N个像素点。其中，N一般为256，这一操作决定了rBRIEF描述子维数为256。将选取的N个像素点与作为中心的检测特征点进行配对得到N个特征点对。在一具体实施例中，在特征点对中，通过比较作为中心点的检测特征点与选取的256个像素点的灰度值，将灰度值比检测特征点在图像中的灰度小的像素点默认为0，将灰度值比检测特征点在图像中的灰度值大的像素点默认为1，即生成了非0即1的256为描述子。
S52：对0或1的编码组合进行加权求和确定N个特征点对的质心。
具体地，基于上述得到的0或1的编码组合，对不同位置的像素点处的0后1进行加权求和，得到N个特征点对的灰度质心点。
S53：连接检测特征点与质心并确定检测特征点的方向角。
具体地，将检测特征点与质心进行连接，使得检测特征点与质心的连线具有方向。在一具体实施例中，通过N个特征点对的位置坐标确定特征点与质心连线的方向角θ。具体方向角θ通过公式（1）得到。
式中：N为特征点对的个数；yNi是特征点对中像素点的纵坐标，yA是特征点对中检测特征点的纵坐标，xNi是特征点对中像素点的横坐标，xA是特征点对中检测特征点的横坐标。
S54：像素点依方向角进行旋转采样得到旋转状态下的特征点对，确定特征点对是否与纹理信息库中的预存纹理信息相匹配。
具体地，将上述得到的256个像素点以上述得到的方向角θ为角度步长进行360°方向上旋转进行采样，以得到一张旋转描述子的查找表。也就是说，通过旋转得到多个角度的特征点对，进而将旋转得到的特征点对与纹理信息库中的预存纹理信息中的特征点对进行比对，进而相互匹配，确定与预存纹理信息相互匹配的特征点对，进而根据相互匹配的特征点对的旋转方向确定特征点对的旋转角度，进而根据与特征点匹配的预存纹理信息确定运行设备所处当前位置的具***置信息以及运行设备的当前位姿。
在另一可选实施例中，当确定了与预存纹理信息相匹配的特征点对后，需要对相互匹配的特征点对进行筛选，进而可以更精确的得到当前位置的具***置信息以及运行目标的当前位姿。
S55：对与预存纹理信息相匹配的特征点对进行筛选。
具体地，对与预存纹理信息相匹配的特征点对进行两次筛选。参阅图5，图5是图1提供的轨迹跟踪控制方法中步骤S55一具体实施例的流程示意图。具体筛选步骤如下。
S551：获取各特征点对与预存纹理信息匹配过程中的汉明距离。
具体地，用汉明距离计算采集的环境图像的二值散列码与预存的纹理信息库中每一纹理信息相关联的环境图像的二值散列码的汉明距离，将计算出的所有汉明距离进行升序排列，将得到根据汉明距离升序排列的特征点对。
S552：判断每一特征点对对应的汉明距离是否小于预设值；
具体地，设定预设值并筛选出汉明距离小于预设值的纹理信息相关联的环境图像；其中，阈值可预设为位于升序排列第n位的汉明距离值，再根据测试结果进行调整最终得到准确率最高的阈值；阈值需要多次测试不断改阈值找到最佳阈值，因为由环境图像提取出来特征是不一样的，相对的，相似性也不同，阈值的设定属于现有技术，在此不再赘述。
如果汉明距离小于预设值，则直接跳转到步骤S553；如果汉明距离不小于预设值，则直接跳转到步骤S554。
S553：保留汉明距离对应的特征点对。
具体地，如果汉明距离小于预设值，则保留汉明距离对应的特征点对。
S554：删除汉明距离对应的特征点对。
具体地，如果汉明距离大于或等于预设值，则去除汉明距离对应的特征点对。
S555：判断当前帧的环境图像中检测特征点之间的距离与前一帧环境图像中检测特征点之间的距离是否相等。
具体地，由于图像采集器固定在运行设备的底部，且运行设备的运行环境多为水平底面，根据下视图像采集器与运行设备底部固定连接的结构信息，使得运行设备在距离底面固定高度的平面进行移动或旋转，图像采集器在光轴方向上的尺寸不变，运行设备采集的图像帧中纹理信息的尺寸与运行设备中存储的相邻上一帧中的纹理信息的尺寸相同。
在一具体实施例中，判断当前帧的环境图像中各检测特征点之间的距离与前一帧环境图像中相同的检测特征点对之间的距离是否相等。如果当前帧的环境图像中各检测特征点之间的距离与前一帧环境图像中相同的检测特征点对之间的距离相等，则表明图像采集器采集的环境图像在光轴方向上没有移动，则直接跳转至步骤S556；如果当前帧的环境图像中各检测特征点之间的距离与前一帧环境图像中相同的检测特征点对之间的距离不相等，则表明图像采集器采集的环境图像在光轴方向上发生移动，则直接跳转至步骤S557。
S556：保留与前一帧环境图像中检测特征点之间距离相等的当前帧中检测特征点对应的特征点对。
具体地，如果当前帧的环境图像中各检测特征点之间的距离与前一帧环境图像中相同的检测特征点对之间的距离相等，则表明图像采集器采集的环境图像在光轴方向上没有移动，图像采集器采集图像时满足图像采集器与运行设备的固定连接结构，因此该特征点对的数据可信，保留与前一帧环境图像中检测特征点之间距离相等的当前帧中检测特征点对应的特征点对。
S557：删除与前一帧环境图像中检测特征点之间距离不相等的当前帧中检测特征点对应的特征点对。
具体地，如果当前帧的环境图像中各检测特征点之间的距离与前一帧环境图像中相同的检测特征点对之间的距离不相等，则表明图像采集器采集的环境图像在光轴方向上发生了移动，图像采集器采集图像时违背了图像采集器与运行设备的固定连接结构，因此该特征点对的数据不可信，删除与前一帧环境图像中检测特征点之间距离相等的当前帧中检测特征点对应的特征点对。
在另一可选实施例中，由于图像采集器的安装可能存在误差或地面不平等非理想情况，因此可以设定误差值，判断当前帧环境图像中检测特征点之间的距离与前一帧环境图像中检测特征点之间的距离的差值是否超过误差值。其中，误差值的取值范围为（0，1]，例如，误差值大于0.9且小于等于1。如果未超过，则保留与当前帧环境图像中检测特征点对应的特征点对。如果超过，则保留与当前帧环境图像中检测特征点对应的特征点对。
通过上述筛选保留的特征点对与纹理信息库中的预存纹理信息进对应的特征点对进行匹配，进而确定预存纹理信息对应的目标位置，根据目标位置确定运行设备的当前位姿。
S6：利用当前位置信息和目标位置信息，对运行设备的运行参数进行修正。
具体地，可以根据上述步骤获取的运行设备的当前位置信息以及运行目标在导航路径上的下一目标位置信息确定当前位置信息与当行路径之间的误差，进而根据当前位置信息与目标位置信息对运行参数进行修正。参阅图6，图6是图1提供的轨迹跟踪控制方法中步骤S6一具体实施例的流程示意图。具体步骤如下。
S61：将与预存纹理信息匹配的特征点对对应的检测特征点集合映射到预存纹理信息中的特征点集合中得到矩阵。
具体地，首先假设地面方程为
，则得到：
式中：P为特征点在世界坐标系下的空间坐标，n为特征点与相机光心连线的方向向量，d为相机光心到地面的垂直距离，T为转置符号。
同时由图像采集器成像模型，可得当前帧与预存纹理信息的特征点集满足：
其中，s1，s2分别为缩放比例系数，本实施例中的应用场景中，s1，s2是需要标定的参数。K为相机的内参矩阵，通过常用的张正友标定法可以获得。p1，p2分别是预存特征点和检测特征点在各自图像中的像素点；R∣t则是两者之间的旋转、平移转换关系矩阵|向量。因此，可以得到：
其中，
分别为预存特征点和检测特征点在各自图像中的像素坐标，
分别是单应性矩阵H的三个列向量。
将与预存纹理信息匹配的特征点对对应的检测特征点集合映射到预存纹理信息中的特征点集合中得到矩阵。具体地，H为当前帧的特征点集映射到预存纹理信息的特征点集的单应性矩阵。理想情况下，根据旋转矩阵的正交性，可以直接对H的前两个列向量进行归一化并叉乘得到旋转矩阵：
其中，r1，r2，r3分别是旋转矩阵R的三个列向量。
S62：采用SVD分解矩阵得到旋转矩阵和平移向量。
具体地，由于存在视觉算法输出与导航定位算法输入参数不匹配的情况，在实际解算时存在误差，因此采用可以通过SVD分解矩阵得到旋转矩阵和平移向量，以旋转矩阵的正交性为理论依据，保证了结果的正确性与可解释性。
式中：U，S，V可通过对单应性矩阵H进行SVD分解求得，R为检测特征点相对于预存特征点的旋转矩阵，t为检测特征点相对于预存特征点的平移向量。
S63：根据旋转矩阵和平移向量确定运行设备在运行过程中的旋转偏移量和平移偏移量。
具体地，根据上述步骤得到当前帧特征点对到预设纹理信息对应的特征点对的像素级位姿变换关系R∣t。在一可选实施例中，由于化简过程中对相机光轴方向的尺度信息做了归一化，求解R∣t只需要8个方程，即4对特征点对，若匹配的特征点对数目多于4对，则算法采用RANSAC方法进行寻优，以单应性矩阵的重投影误差为标准，找到较优的4对匹配点进行的解算。其中，平移向量t乘以标定的缩放比例系数s即为实际物理空间尺度下平移向量，反映了运行设备在预设纹理信息对应的目标位置附近的平移偏移量，而所对应的角度反映了运行设备在预设纹理信息对应的目标位置附近的旋转偏移量。二者共同引导运行设备进行运行参数的调整，实现对运行设备通过下一目标位置的路径导航，进而提高对运行设备的导航精确度。
在一可选实施例中，当运行环境中的纹理信息出现污损或渐变等特殊情况时，需要对纹理信息库进行更新。
具体地，根据筛选后的特征点对的个数和平移向量确定采集的环境图像信息的置信度。其中，计算置信度通过如下公式：
式中：a为可调参数，视环境纹理的丰富程度而定；b为固定参数，与图像采集设备的视野大小有关；M为经过筛选后的特征点对个数；
表示检测特征点与预存纹理信息中的特征点之间的实际平移距离。
当前帧的环境图像与预设纹理信息中的特征点对的匹配点对越多、计算结果偏移距离越小，其图像匹配相似度越高，匹配结果越好。
设定预设置信度，并判断当前帧的环境图像对应的置信度是否超过预设置信度；如果当前帧的环境图像对应的置信度超过预设置信度，则将采集的环境图像与预存纹理信息相融合，以更新纹理信息库；如果当前帧的环境图像对应的置信度未超过预设置信度，则不更新纹理信息库。
在另一具体实施例中，运行设备可以为地面移动机器人。通过上述导航方法对地面移动机器人进行测试。其中，导航方法依附的硬件平台如表1所示。
表 1 测试平台配置表
| 操作*** | CPU | 内存 | 编译环境 |
| Ubuntu 16.04 | Intel E3950(1.6GHz) | 8.00GB | QT Creator |
地面移动机器人的车速为1.2m/s，本提案的算法单线程单帧处理的平均耗时为21毫秒，持续运行的CPU占用率约为30~40%。可以看出，本提案的算法对于硬件要求较低，且能够满足实际运行中图像处理实时性的要求。且测试的重复到点精度在毫米级，其左右偏差能够达到3毫米的程度，这说明角度的结果十分准确；而前后偏差也仅在4~5毫米，说明本申请中的导航方法的定位精度能够满足毫米级的停车标准。
本实施例中的导航方法通过获取运行设备当前位置的环境信息，并从获取的环境信息中提取到纹理信息，通过纹理信息确定运行设备的当前位置信息，进而通过运行设备的当前位置信息和目标位置信息对运行设备的运行参数进行修正。本申请中的导航方法根据环境图像中的纹理信息确定运行设备的当前位置信息，不需要通过在场地环境内部署二维码、磁轨等辅助标识，避免影响场地环境的外观，且节约成本，根据运行设备的当前位置和目标位置信息对运行设备的运行参数进行修正能够提高导航结果精确度。
参阅图7，图7是本发明提供的导航终端一实施方式的示意框图。如图7所示，该实施方式中的导航终端80包括处理器81以及与处理器81连接的存储器82和通信模组83，通信模组83用于与机器人进行数据交互，存储器82用于存储程序数据，处理器81用于执行程序数据以实现上述导航方法中，为避免重复，此处不一一赘述。
参阅图8，图8是本发明提供的计算机可读存储介质一实施方式的示意框图。
本申请的实施方式中还提供一种计算机可读存储介质90，计算机可读存储介质90存储有计算机程序901，计算机程序901中包括程序指令，处理器执行程序指令，实现本申请实施方式提供的任一项导航方法。
其中，计算机可读存储介质90可以是前述实施方式的计算机设备的内部存储单元，例如计算机设备的硬盘或内存。计算机可读存储介质90也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种导航方法，其特征在于，所述方法包括：
获取运行设备当前位置的环境图像；
基于四叉树结构算法对获取的所述环境图像信息进行***得到多个区域，并提取所述区域中的纹理信息；所述纹理信息包括检测特征点；
根据所述环境图像对应的所述纹理信息确定所述运行设备的当前位置信息；
利用所述当前位置信息和目标位置信息，对所述运行设备的运行参数进行修正；
所述根据所述环境图像对应的所述纹理信息确定所述运行设备的当前位置信息的步骤具体包括：
使用rBRIEF算法在以所述检测特征点为中心的设定范围内选取N个像素点与所述检测特征点组成N个特征点对，通过比较灰度值进行二进制赋值，生成0或1的编码组合；
对所述0或1的编码组合进行加权求和确定所述N个特征点对的质心；
连接所述检测特征点与所述质心并确定所述检测特征点的方向角；
所述像素点依所述方向角进行旋转采样得到旋转状态下的所述特征点对，确定所述特征点对是否与预存纹理信息相匹配。
2.根据权利要求1所述的导航方法，其特征在于，
所述获取运行设备当前位置的环境图像的步骤之前还包括：
基于导航路径确定所述目标位置；
获取表征所述目标位置的纹理信息并存储得到纹理信息库。
3.根据权利要求1所述的导航方法，其特征在于，
所述基于四叉树结构算法对获取的所述环境图像信息进行***得到多个区域，并提取所述区域中的纹理信息的步骤具体包括：
通过Fast特征点检测的方法对所述区域图像中的特征点进行提取得到所述检测特征点。
4.根据权利要求1所述的导航方法，其特征在于，
所述根据所述环境图像对应的所述纹理信息确定所述运行设备的当前位置信息的步骤之后还包括：
对与所述预存纹理信息相匹配的所述特征点对进行筛选。
5.根据权利要求4所述的导航方法，其特征在于，
所述对与所述预存纹理信息相匹配的所述特征点对进行筛选的步骤具体包括：
获取各所述特征点对与所述预存纹理信息匹配过程中的汉明距离；
判断每一所述特征点对对应的所述汉明距离是否小于预设值；
如果所述汉明距离小于所述预设值，则保留所述汉明距离对应的所述特征点对。
6.根据权利要求4或5所述的导航方法，其特征在于，
所述对与所述预存纹理信息相匹配的所述特征点对进行筛选的步骤具体还包括：
判断当前帧的所述环境图像中所述检测特征点之间的距离与前一帧所述环境图像信息中所述检测特征点之间的距离是否相等；
如果相等，则保留与前一帧所述环境图像中所述检测特征点之间距离相等的当前帧中所述检测特征点对应的所述特征点对。
7.根据权利要求4所述的导航方法，其特征在于，
所述利用所述当前位置信息和目标位置信息，对所述运行设备的运行参数进行修正的步骤具体包括：
将与所述预存纹理信息匹配的所述特征点对对应的所述检测特征点集合映射到所述预存纹理信息中的特征点集合中得到矩阵；
采用SVD分解所述矩阵得到旋转矩阵和平移向量；
根据所述旋转矩阵和所述平移向量确定所述运行设备在运行过程中的旋转偏移量和平移偏移量。
8.根据权利要求7所述的导航方法，其特征在于，
所述利用所述当前位置信息和目标位置信息，对所述运行设备的运行参数进行修正的步骤之后还包括：
根据筛选后的所述特征点对的个数和所述平移向量确定采集的所述环境图像信息的置信度；
判断所述置信度是否超过预设置信度；
如果所述置信度超过所述预设置信度，则将采集的所述环境图像信息与所述预存纹理信息相融合，以更新所述纹理信息库；
如果所述置信度不超过所述预设置信度，则不更新所述纹理信息库。
9.一种导航终端，其特征在于，所述导航终端包括处理器以及与所述处理器连接的存储器和通信模组，所述通信模组用于与运行设备进行数据交互，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1~8任一项所述导航方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1~8任一项所述导航方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110596343.9A CN113029160B (zh) | 2021-05-30 | 2021-05-30 | 导航方法、导航终端及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110596343.9A CN113029160B (zh) | 2021-05-30 | 2021-05-30 | 导航方法、导航终端及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113029160A CN113029160A (zh) | 2021-06-25 |
| CN113029160B true CN113029160B (zh) | 2021-09-14 |
Family
ID=76456130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110596343.9A Active CN113029160B (zh) | 2021-05-30 | 2021-05-30 | 导航方法、导航终端及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113029160B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115423930B (zh) * | 2022-07-28 | 2023-09-26 | 荣耀终端有限公司 | 一种图像采集方法及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107345812A (zh) * | 2016-05-06 | 2017-11-14 | 湖北淦德智能消防科技有限公司 | 一种图像定位方法、装置及手机 |
| WO2018017059A1 (en) * | 2016-07-19 | 2018-01-25 | Hewlett-Packard Development Company, L.P. | Image recognition and retrieval |
| CN110702126A (zh) * | 2018-07-10 | 2020-01-17 | 古野电气株式会社 | 图生成装置及图生成方法 |
| CN110991501A (zh) * | 2019-11-19 | 2020-04-10 | 东南大学 | 一种基于Hessian矩阵的改进ORB特征点匹配方法 |
| CN111667506A (zh) * | 2020-05-14 | 2020-09-15 | 电子科技大学 | 一种基于orb特征点的运动估计方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9336454B2 (en) * | 2013-05-31 | 2016-05-10 | Texas Instruments Incorporated | Vector processor calculation of local binary patterns |
-
2021
- 2021-05-30 CN CN202110596343.9A patent/CN113029160B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107345812A (zh) * | 2016-05-06 | 2017-11-14 | 湖北淦德智能消防科技有限公司 | 一种图像定位方法、装置及手机 |
| WO2018017059A1 (en) * | 2016-07-19 | 2018-01-25 | Hewlett-Packard Development Company, L.P. | Image recognition and retrieval |
| CN110702126A (zh) * | 2018-07-10 | 2020-01-17 | 古野电气株式会社 | 图生成装置及图生成方法 |
| CN110991501A (zh) * | 2019-11-19 | 2020-04-10 | 东南大学 | 一种基于Hessian矩阵的改进ORB特征点匹配方法 |
| CN111667506A (zh) * | 2020-05-14 | 2020-09-15 | 电子科技大学 | 一种基于orb特征点的运动估计方法 |
Non-Patent Citations (1)
| Title |
|---|
| "基于SLAM的移动机器人单目视觉定位研究";袁敏达;《中国优秀硕士学位论文全文数据库》;20210215;第3.2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113029160A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106793086B (zh) | 一种室内定位方法 | |
| CN108868268B (zh) | 基于点到面距离和互相关熵配准的无人车位姿估计方法 | |
| KR102143108B1 (ko) | 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기 | |
| CN110243360A (zh) | 机器人在运动区域的地图构建及定位方法 | |
| CN109671119A (zh) | 一种基于slam的室内定位方法及装置 | |
| CN111121754A (zh) | 移动机器人定位导航方法、装置、移动机器人及存储介质 | |
| US11176425B2 (en) | Joint detection and description systems and methods | |
| CN111207762B (zh) | 地图生成方法、装置、计算机设备和存储介质 | |
| US11010919B2 (en) | Object locator with fiducial marker | |
| CN112884841B (zh) | 一种基于语义目标的双目视觉定位方法 | |
| CN111491131A (zh) | 集成由每个对象检测器检测的对象检测信息的方法及装置 | |
| CN111709988A (zh) | 一种物体的特征信息的确定方法、装置、电子设备及存储介质 | |
| CN113029160B (zh) | 导航方法、导航终端及计算机可读存储介质 | |
| CN107424156A (zh) | 基于仿仓鸮眼视觉注意的无人机自主编队精准测量方法 | |
| CN111461222B (zh) | 目标物轨迹相似度的获取方法、装置及电子设备 | |
| CN109543634B (zh) | 定位过程中的数据处理方法、装置、电子设备和存储介质 | |
| US20230280478A1 (en) | Indoor positioning method based on image visual features and electronic device | |
| CN103136513B (zh) | 一种改进的asm人脸特征点定位方法 | |
| CN108198241A (zh) | 一种三维图像构建的方法和装置 | |
| CN111113405B (zh) | 一种机器人获得位置服务的方法及机器人 | |
| CN115060268A (zh) | 一种机房融合定位方法、***、设备及存储介质 | |
| CN114120795B (zh) | 一种地图绘制方法及装置 | |
| CN110176036B (zh) | 一种移动车平面内定位的方法及*** | |
| Xu et al. | Indoor localization using region-based convolutional neural network | |
| CN113219486B (zh) | 一种定位方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 310051 8 / F, building a, 1181 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Zhejiang Huarui Technology Co.,Ltd. Address before: No. 1199, Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province, 310051 Applicant before: ZHEJIANG HUARAY TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |