CN117664139A - 一种机器人导航数据更新方法、装置、芯片及终端 - Google Patents

一种机器人导航数据更新方法、装置、芯片及终端 Download PDF

Info

Publication number
CN117664139A
CN117664139A CN202311673671.XA CN202311673671A CN117664139A CN 117664139 A CN117664139 A CN 117664139A CN 202311673671 A CN202311673671 A CN 202311673671A CN 117664139 A CN117664139 A CN 117664139A
Authority
CN
China
Prior art keywords
image
navigation data
elevation
grid
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311673671.XA
Other languages
English (en)
Inventor
朱冬
宋雯
方向明
唐国梅
张建
燕帅成
仲元红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seven Teng Robot Co ltd
Original Assignee
Seven Teng Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seven Teng Robot Co ltd filed Critical Seven Teng Robot Co ltd
Priority to CN202311673671.XA priority Critical patent/CN117664139A/zh
Publication of CN117664139A publication Critical patent/CN117664139A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明实施例公开了一种机器人导航数据更新方法、装置、芯片和终端，方法包括：获取机器人的原始导航数据；原始导航数据包括原始图像，以及与原始图像具有相同图像内容的点云数据；基于点云数据生成高程图；预处理原始图像获得处理图像；以高程图中的栅格为载体，将处理图像与高程图进行匹配连接，并通过融合算法进行图像融合，获得高程图像；通过高程图像更新原始导航数据，获得机器人的高程导航数据。通过本发明可以基于原始图像获得的多模态信息，并与高程图获得的地形信息进行融合，克服高程图的纯几何信息所带来的误差和误判。

Description

一种机器人导航数据更新方法、装置、芯片及终端
技术领域
本发明涉及图像处理和计算机视觉技术领域，特别是涉及一种机器人导航数据更新方法、装置、芯片及终端。
背景技术
同步定位与地图构建技术，用于感知机器人的周围环境，是实现机器人自主导航和后续交互的关键技术之一，极大地扩展了机器人在现实生活中的应用范围。同步定位与地图构建技术需要解决两个核心问题：定位和建图。定位是指机器人需要确定自己在空间中的位置，而建图则是机器人需要构建周围环境的地图。
高程图为机器人提供了一种高效的、简单而强大的几何表示。机器人可以利用这些信息在未知环境中导航，或在崎岖地形上进行感知运动控制。但是，高程图的纯几何信息难以提高机器人对当前环境的理解程度与准确性，使得机器人无法应用在复杂的场景中。
发明内容
基于此，本发明提供一种机器人导航数据更新方法、装置、芯片及终端，可以提高机器人在复杂场景中的环境理解程度与准确性，使其在自主导航和后续交互方面具有同样的决策效率。
第一方面，提供一种机器人导航数据更新方法，包括：
获取机器人的原始导航数据；所述原始导航数据包括原始图像，以及与所述原始图像具有相同图像内容的点云数据；
基于所述点云数据生成高程图；
预处理所述原始图像获得处理图像；
以高程图中的栅格为载体，将所述处理图像与高程图进行匹配连接，并通过融合算法进行图像融合，获得高程图像；
通过所述高程图像更新所述原始导航数据，获得机器人的高程导航数据。
可选地，将所述处理图像与高程图进行匹配连接，包括：
在高程图的xy平面上平均划分多个栅格；
获取所述处理图像的四个像素顶点，匹配连接到xy平面上划分的栅格中，匹配连接后的栅格构成图像区域，所述图像区域包括N个栅格，N个栅格与处理图像的像素点匹配；
对于第n个栅格，计算其高度方差，n为小于或者等于N的正整数，N为正整数；
根据所述高度方差设置所述第n个栅格为水平栅格或垂直栅格。
可选地，若第n个栅格为垂直栅格，通过观测夹角调整所述第n个栅格的图像融合，所述观测夹角为物体的中心到观测点的连线与物体可视侧的边界到观测点的连线的夹角。
可选地，若第n个栅格为垂直栅格，包括至少两个观测夹角，且所述观测夹角的角度大于0。
可选地，通过观测夹角调整所述第n个栅格的图像融合时，观测夹角作为权值的计算公式为：
表示第n个栅格为物体第一可视侧边界与观测点的连线所对应的栅格；
或者，
表示第n个栅格为物体第二可视侧边界与观测点的连线所对应的栅格；
其中，α1为物体的中心到观测点的连线与物体第一可视侧边界到观测点的连线的夹角，α2为物体的中心到观测点的连线与物体第二可视侧边界到观测点的连线的夹角，第一可视侧和第二可视侧为相邻侧。
可选地，所述四个像素顶点构成梯形结构。
可选地，不同原始图像包括不同的多模态信息，预处理所述原始图像获得处理图像之前，包括：根据原始图像的类型选择预处理方法获得处理图像。
第二方面，提供一种机器人导航数据更新装置，包括：
原始导航数据获取模块，用于获取机器人的原始导航数据；所述原始导航数据包括原始图像，以及与所述原始图像具有相同图像内容的点云数据；
高程图生成模块，用于基于所述点云数据生成高程图；
预处理模块，用于预处理所述原始图像获得处理图像；
匹配连接融合模块，用于以高程图中的栅格为载体，将所述处理图像与高程图进行匹配连接，并通过融合算法进行图像融合，获得高程图像；
数据更新模块，用于通过所述高程图像更新所述原始导航数据，获得机器人的高程导航数据。
第三方面，提供一种芯片，包括第一处理器，用于从第一存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至7任一项所述的机器人导航数据更新方法的各个步骤。
第四方面，提供一种终端，包括第二存储器、第二处理器以及存储在所述第二存储器中并可在所述第二处理器上运行的计算机程序，第二处理器执行所述计算机程序时实现如上介绍的机器人导航数据更新方法的各个步骤。
上述机器人导航数据更新方法、装置、芯片及终端，通过原始图像获得多模态信息，通过点云数据生成高程图，然后以高程图中的栅格为载体，将两者进行匹配连接和图像融合，从而将基于原始图像获得的多模态信息与高程图获得的地形信息进行融合，克服高程图的纯几何信息所带来的误差和误判，从而提高机器人在复杂场景中的环境理解程度与准确性，使其在自主导航和后续交互方面具有同样的决策效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例机器人导航数据更新方法的基本流程示意图；
图2为本发明实施例机器人导航数据更新方法的基本流程示意图；
图3为本发明实施例观测夹角的示意图；
图4为本发明实施例红外图像的图像融合示意图；
图5为本发明实施例机器人导航数据更新装置的基本结构框图；
图6为本发明实施例提供的一种终端的基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(AI：Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
具体地请参阅图1，图1为本实施例机器人导航数据更新方法的基本流程示意图。
如图1所示，一种机器人导航数据更新方法，包括但不限于如下步骤：
S101、获取机器人的原始导航数据。
其中，所述原始导航数据包括原始图像，以及与所述原始图像具有相同图像内容的点云数据。
需要说明的是，本发明实施例通过原始图像获得多模态信息，示例性的，原始图像可以为RGB图像、红外图像、卫星图像、深度图像、热图像中的一种或者多种，从而获得如温湿度、风向风力、气压、光照强度、背景噪声、表面纹理等的多模态信息。
S102、基于所述点云数据生成高程图。
上述步骤S102中，点云数据为三维信息采集设备采集到的数据，示例性的，三维信息采集设备为三维激光测距***。
本发明实施例中，基于点云数据生成高程图的实现方式，示例性的，可以为将点云数据转换为三角网格，从三角网格中提取高程信息，从而将高程信息转换为高程图。
需要说明的是，本发明实施例不对上述的基于点云数据生成高程图的实现方式中，使用的三角网格相关算法、高程信息转换为高程图的转换算法进行限定。
S103、预处理所述原始图像获得处理图像。
需要说明的是，本发明实施例中，预处理的目的是增强原始图像中的特征，例如，若原始图像为红外图像，则通过预处理增强原始图像的纹理信息特征，纹理信息特征用于区分图像中的地貌信息；若原始图像为RGB图像，则通过预处理增强原始图像的目标轮廓特征和纹理信息特征，目标轮廓特征用于区分图像中的目标与背景，此处的纹理信息特征可以与红外图像所获得纹理信息特征共同区分图像中的地貌信息。而不同的特征增强需要不同的预处理方式。
因此，不同原始图像包括不同的多模态信息，上述步骤S103之前，还包括：根据原始图像的类型选择预处理方法获得处理图像。
S104、以高程图中的栅格为载体，将所述处理图像与高程图进行匹配连接，并通过融合算法进行图像融合，获得高程图像。
在一个实施例中，上述步骤S104所使用的融合算法，可以为狄利克雷分布的贝叶斯推理或高斯分布的贝叶斯推理。
在具体应用中，高程图中的栅格分为垂直和水平两类，本发明实施例在进行图像融合时，对于水平栅格和垂直栅格采用不同融合策略。
为完成上述步骤S104中的匹配连接，本发明实施例将点云数据生成的高程图中的栅格全部视为水平栅格，然后对水平栅格进行计算，判断其是否具有垂直栅格的特性，进而将其分类为水平栅格或者垂直栅格。如图2所示，将所述处理图像与高程图进行匹配连接的实现方式包括如下步骤：
S1041、在高程图的xy平面上平均划分多个栅格；
S1042、获取所述处理图像的四个像素顶点，匹配连接到xy平面上划分的栅格中，匹配连接后的栅格构成图像区域，所述图像区域包括N个栅格，N个栅格与处理图像的像素点匹配；
S1043、对于第n个栅格，计算其高度方差，n为小于或者等于N的正整数，N为正整数；
S1044、根据所述高度方差设置所述第n个栅格为水平栅格或垂直栅格。
需要说明的是，所述四个像素顶点构成梯形结构，符合机器人视觉特性。
上述实现方式中，初步将处理图像与高程图的水平栅格全部匹配连接，并确定哪些水平栅格具有垂直栅格的属性，获得完整的高程图，完整的高程图包括水平栅格和垂直栅格，通过融合算法将处理图像好水平栅格、垂直栅格进行图像融合后，即可获得高程图像。
如上文所述，本发明实施例在进行图像融合时，对于水平栅格和垂直栅格采用不同融合策略，在一个实施例中，通过融合算法进行图像融合的实现方式包括：
若第n个栅格为垂直栅格，通过观测夹角调整所述第n个栅格的图像融合，所述观测夹角为物体的中心到观测点的连线与物体可视侧的边界到观测点的连线的夹角。
S105、通过所述高程图像更新所述原始导航数据，获得机器人的高程导航数据。
在一个实施例中，可根据机器人当前定位，优先更新其附近范围的原始导航数据，以使机器人能够使用附近的高程导航数据完成自主导航。附近范围可以为直线距离在20米以内的区域范围，具体数值本发明实施例中进行限定。
通过上述步骤S101至步骤S105，本发明实施例通过原始图像获得多模态信息，通过点云数据生成高程图，然后以高程图中的栅格为载体，将两者进行匹配连接和图像融合，将点云数据和原始图像的融合分为两个步骤，一为上述的匹配连接步骤，二为图像融合步骤，在图像融合步骤中，本发明实施例对于高程图的水平栅格和垂直栅格采用不同的融合策略，基于此，原始图像获得的多模态信息与高程图获得的地形信息进行融合，克服高程图的纯几何信息所带来的误差和误判，从而提高机器人在复杂场景中的环境理解程度与准确性，使其在自主导航和后续交互方面具有同样的决策效率。
上述步骤S104的详细实现方式步骤S1041至步骤S1044中，对于第n个栅格，通过计算其高度方差，判断第n个栅格为水平栅格或垂直栅格。本发实施例对判断第n个栅格为水平栅格或垂直栅格的实现原理进行说明。
假设三维激光测距***采集的一组数据，即点云数据为{p1,p2,p3,···,pn}，pi为三维激光测距***一个激光点采集的三维直角坐标，相对应的协方差矩阵为{σ1,σ2,σ3,···,σn}，σi为一个激光点的协方差矩阵。根据步骤S1041和步骤S1042，在构建环境高程图以前，在xy平面上平均划分多个栅格Cij，i和j表示栅格编号。把激光点对应到相应的栅格中，在xy平面上激光点的分布函数近似为正态分布:
其中:为激光点的x,y坐标,/>为x和y的协方差矩阵,即σi的左上子矩阵.激光点pi影响有效区域内的多个栅格.设激光点pi为栅格Cij的第h个点,点pi对栅格Cij的影响因子为:
其中X+,X-,Y+和Y-为栅格范围,为常量,所以在计算中取对栅格Cij中每个μ进行归一化处理,栅格的高度值为栅格中所有激光点高度的加权平均,即:
基于此，上述步骤S1043，对于第n个栅格，计算其高度方差的计算公式，也是激光点的高度方差表示为：
DC越大，栅格中的激光点在高度方向上的分布范围也就越大，当大于某个阈值时，即认为该栅格为垂直栅格，反之为水平栅格。因此，上述步骤S1044，根据所述高度方差设置所述第n个栅格为水平栅格或垂直栅格，实际上为判断高度方差的值与预设阈值，高度方差的值大于预设阈值，第n个栅格为垂直栅格，高度方差的值小于预设阈值，第n个栅格为水平栅格。
为了便于理解，如图3所示，本发明实施例还提供了观测夹角的示意图。图3示出了4个垂直栅格，表示为Cv，以及一个观测点，表示为图中间的三角，垂直栅格用于表示物体，因此，α1、α2为该物体的中心与观测点的连线与该物体的某一侧的边界与观测点连线的夹角。由此可知，具体应用中，对于竖直的物体，一般能够观测到其两个立面，当某一个观测夹角为0，说明只能观测到一个立面，也就说明其不可能为障碍物。因此，若第n个栅格为垂直栅格，包括至少两个观测夹角，且所述观测夹角的角度大于0。基于此，本发明实施例提供通过观测夹角调整所述第n个栅格的图像融合时，两种观测夹角作为权值的计算公式，包括：
表示第n个栅格为物体第一可视侧边界与观测点的连线所对应的栅格；
或者，
表示第n个栅格为物体第二可视侧边界与观测点的连线所对应的栅格；
其中，α1为物体的中心到观测点的连线与物体第一可视侧边界到观测点的连线的夹角，α2为物体的中心到观测点的连线与物体第二可视侧边界到观测点的连线的夹角，第一可视侧和第二可视侧为相邻侧。
结合图3，目标物体包括两个立面，为第一可视侧和第二可视侧，且第一可视侧和第二可视侧在高程图中均为垂直栅格，则上述公式的含义为，通过观测夹角调整所述第n个栅格的图像融合时，对于第一可视侧所对应的栅格，使用计算权值，赋值融合效果：对于第二可视侧所对应的栅格，使用/>计算权值，赋值融合效果。此外，需要说明的是，上述的权值，表示基于水平栅格的图像融合系数进行调整，而水平栅格的图像融合系数根据步骤S104所使用的融合算法设置。
本发明实施例还以原始图像为RGB图像和红外图像为例，对上述步骤S103中的预处理进行示例性说明。
其中，对于RGB图像，本发明实施例将目标轮廓特征和纹理信息特征作为要获取的多模态信息，预处理目的为增强RGB图像的目标轮廓特征和纹理信息特征，基于此，预处理方式示例性的为：
第一，采用EDPNet框架对RGB图像进行语义分割，该框架使用改进的Xception网络对输入图像进行特征提取，获得16倍下采样的深层特征图和4倍下采样的浅层特征图。然后，16倍深层特征图通过自适应平均池化，并传递到金字塔池模块。该模块利用四个不同的金字塔尺度表示深度特征图，生成上下文感知和聚合特征。接着，将编码器的输出传入到解码器分支以进行图像恢复。在解码过程中，编码器的深层特征与改进的Xception得到的4倍下采样浅层特征图融合，从而尽可能保留低层特征和细节。最后，使用三个连续的卷积和一个上采样对融合的特征图进行解码。
上述的语义分割网络利用Softmax激活函数以及交叉熵损失函数来迭代调整模型权重，为：
其中，y表示真是标签，表示预测的概率值。本次引入辅助损失函数来帮助网络稳定训练过程而不影响损失函数的学习，结合后的损失函数公式：
该网络结合了编解码结构和金字塔结构的优点，通过空洞卷积策略提取特征图，并利用编码器和解码器结构将特征图转换为分割结果。此外，EDPNet还利用金字塔多尺度表达结构提取不同尺度的特征，从而提高了对小目标的分割性能。在增加上下文信息方面，EDPNet利用卷积层和池化层对特征信息进行融合，从而改善了物体分割边缘的粗糙问题。
第二，对语义分割后的RGB图像进行特征提取，整合图像信息。对于RGB图像而言，在复杂环境中G分量的变化程度相对较大，而R分量和B分量的变化相对较小；Lab颜色空间弥补了RGB和CMYK等色彩模式必须依赖于设备色彩特性的不足，在Lab颜色空间选取L作为统计量；另外为了补足光线变化的影响，还加入了HSV色彩空间信息，选择H作为特征分量。因此，对于语义分割后的RGB图像，选取图片8×8像素的区域单元，分别统计每个区域中，G、L和H的3种颜色变量特征的均值和方差：
其中，n表示像素点的个数，Xi表示每个像素点的像素信息。
为了额外表现物体的纹理信息，选取每个小区域内的灰空间分布的标准差和熵作为统计量：
统计每一个8×8像素区域上的标准差、水平方向上的熵和竖直方向上的熵可以得到一个三维特征量.加上6个颜色特征向量，可以得到9维的特征向量，对这些特征向量进行K均值聚类，完成特征提取。
并根据CRF定义直接构造条件概率，公式为：
其中U(f(x))为势能函数：U(f(x)＝∑c∈CωcS(f(x))；
这里C为类的总数目，S(.)为提取的特征向量。通过最优化方法对权值进行训练，使目标函数为逻辑似然最大。
对于红外图像，本发明实施例将纹理信息特征作为要获取的多模态信息，预处理目的为增强红外图像的纹理信息特征，本发明实施例中，对于红外图像的预处理方式，采用一种基于模糊C均值聚类FRFCM方法，保留图片的纹理信息，包括：
第一，使用FRFCM提取红外图像R的目标区域和背景区域；以源红外图像R系数的值为数据集，对其进行模糊C均值聚类，将聚类结果中子带系数较大的那一类记为C1。计算算源红外图像R中每个子带系数所在邻域的空间频率S(x，y)：
使用FCM提取源红外图像R的目标区域Ro，则剩下的为背景区域Rb：
Rb(x,y)＝R(x,y)-Ro(x,y)；
第二，将红外光目标区域融合到可见光图像V的目标区域中，融合规则为：
Vo＝Ro(x,y)(x,y)∈Ro(x,y)；
则可见光图像的背景区域Vb为：Vb(x,y)＝V(x,y)-Vo(x,y)；
第三、使用NSST对目标区域和背景进行分解得到红外图像的目标区域高频系数、目标区域低频系数、背景区域高频系数、背景区域低频系数，以及可见光图像的目标区域高频系数、目标区域低频系数、背景区域高频系数、背景区域低频系数；
第四，对于不同的区域使用不同的融合规则，低频部分携带原图像的大部分信息，其融合系数Fb1：
为保留更多的目标信息，选取红外图像目标区域的高频子带系数Roh作为目标区域的高频子带融合系数Foh：
Foh＝Roh(x,y)；
首先，计算每个背景高频子带系数所在邻域的能量E：
接着计算每个背景区域高频子带系数在源图像对应位置处的改进拉普拉斯能量和SML：
然后计算外部激励I：I(x,y)＝EVb(x,y)SMLVh(x,y)；
最后，采用比较信息熵的方法得到背景区域高频子带的融合系数Fb1。对融合系数进行NSST逆变换得到最终的融合图像，如图4所示，图4中(a)为背景区域，图4中(b)为目标区域，图4中(c)为最终的融合图像。
为解决上述技术问题，本发明实施例还提供一种机器人导航数据更新装置。具体请参阅图5，图5为本实施机器人导航数据更新装置50的基本结构框图，包括：
原始导航数据获取模块51，用于获取机器人的原始导航数据；所述原始导航数据包括原始图像，以及与所述原始图像具有相同图像内容的点云数据；
高程图生成模块52，用于基于所述点云数据生成高程图；
预处理模块53，用于预处理所述原始图像获的处理图像；
匹配连接融合模块54，用于以高程图中的栅格为载体，将所述处理图像与高程图进行匹配连接，并通过融合算法进行图像融合，获得高程图像；
数据更新模块55，用于通过所述高程图像更新所述原始导航数据，获得机器人的高程导航数据。
为解决上述技术问题，本发明实施例还提供一种芯片，该芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器，处理器用于支持终端执行上述相关步骤，例如从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行，以实现上述各个实施例中的机器人导航数据更新方法。
可选的在一些示例下，该芯片还包括收发器，收发器用于接受处理器的控制，用于支持终端执行上述相关步骤，以实现上述各个实施例中的机器人导航数据更新方法。
可选的，该芯片还可以包括存储介质。
需要说明的是，该芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(fieldprogrammable gate array，FPGA)、可编程逻辑器件(programmablelogicdevice，PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
本发明还提供一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的机器人导航数据更新方法的步骤。
具体请参阅图6，图6为示出的一种终端的基本结构框图，该终端包括通过***总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该终端的非易失性存储介质存储有操作***、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种机器人导航数据更新方法。该终端的处理器用于提供计算和控制能力，支撑整个终端的运行。该终端的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种机器人导航数据更新方法。该终端的网络接口用于与终端连接通信。本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的电子设备。这种电子设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信***)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal DigitalAssistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位***)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile InternetDevice，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述机器人导航数据更新方法的步骤。
本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述介绍的机器人导航数据更新方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。
本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人导航数据更新方法，其特征在于，包括：
获取机器人的原始导航数据；所述原始导航数据包括原始图像，以及与所述原始图像具有相同图像内容的点云数据；
基于所述点云数据生成高程图；
预处理所述原始图像获得处理图像；
以高程图中的栅格为载体，将所述处理图像与高程图进行匹配连接，并通过融合算法进行图像融合，获得高程图像；
通过所述高程图像更新所述原始导航数据，获得机器人的高程导航数据。
2.如权利要求1所述的机器人导航数据更新方法，其特征在于，将所述处理图像与高程图进行匹配连接，包括：
在高程图的xy平面上平均划分多个栅格；
获取所述处理图像的四个像素顶点，匹配连接到xy平面上划分的栅格中，匹配连接后的栅格构成图像区域，所述图像区域包括N个栅格，N个栅格与处理图像的像素点匹配；
对于第n个栅格，计算其高度方差，n为小于或者等于N的正整数，N为正整数；
根据所述高度方差设置所述第n个栅格为水平栅格或垂直栅格。
3.如权利要求2所述的机器人导航数据更新方法，其特征在于，若第n个栅格为垂直栅格，通过观测夹角调整所述第n个栅格的图像融合，所述观测夹角为物体的中心到观测点的连线与物体可视侧的边界到观测点的连线的夹角。
4.如权利要求3所述的机器人导航数据更新方法，其特征在于，若第n个栅格为垂直栅格，包括至少两个观测夹角，且所述观测夹角的角度大于0。
5.如权利要求4所述的机器人导航数据更新方法，其特征在于，通过观测夹角调整所述第n个栅格的图像融合时，观测夹角作为权值的计算公式为：
表示第n个栅格为物体第一可视侧边界与观测点的连线所对应的栅格；
或者，
表示第n个栅格为物体第二可视侧边界与观测点的连线所对应的栅格；
其中，α1为物体的中心到观测点的连线与物体第一可视侧边界到观测点的连线的夹角，α2为物体的中心到观测点的连线与物体第二可视侧边界到观测点的连线的夹角，第一可视侧和第二可视侧为相邻侧。
6.如权利要求2所述的机器人导航数据更新方法，其特征在于，所述四个像素顶点构成梯形结构。
7.如权利要求1所述的机器人导航数据更新方法，其特征在于，不同原始图像包括不同的多模态信息，预处理所述原始图像获得处理图像之前，包括：
根据原始图像的类型选择预处理方法获得处理图像。
8.一种机器人导航数据更新装置，其特征在于，包括：
原始导航数据获取模块，用于获取机器人的原始导航数据；所述原始导航数据包括原始图像，以及与所述原始图像具有相同图像内容的点云数据；
高程图生成模块，用于基于所述点云数据生成高程图；
预处理模块，用于预处理所述原始图像获得处理图像；
匹配连接融合模块，用于以高程图中的栅格为载体，将所述处理图像与高程图进行匹配连接，并通过融合算法进行图像融合，获得高程图像；
数据更新模块，用于通过所述高程图像更新所述原始导航数据，获得机器人的高程导航数据。
9.一种芯片，其特征在于，包括：第一处理器，用于从第一存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至7任一项所述的机器人导航数据更新方法的各个步骤。
10.一种终端，其特征在于，包括第二存储器、第二处理器以及存储在所述第二存储器中并可在所述第二处理器上运行的计算机程序，其特征在于，所述第二处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的机器人导航数据更新方法的步骤。
CN202311673671.XA 2023-12-07 2023-12-07 一种机器人导航数据更新方法、装置、芯片及终端 Pending CN117664139A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311673671.XA CN117664139A (zh) 2023-12-07 2023-12-07 一种机器人导航数据更新方法、装置、芯片及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311673671.XA CN117664139A (zh) 2023-12-07 2023-12-07 一种机器人导航数据更新方法、装置、芯片及终端

Publications (1)

Publication Number Publication Date
CN117664139A true CN117664139A (zh) 2024-03-08

Family

ID=90082258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311673671.XA Pending CN117664139A (zh) 2023-12-07 2023-12-07 一种机器人导航数据更新方法、装置、芯片及终端

Country Status (1)

Country Link
CN (1) CN117664139A (zh)

Similar Documents

Publication Publication Date Title
CN109685067B (zh) 一种基于区域和深度残差网络的图像语义分割方法
CN111259906B (zh) 含多级通道注意力的条件生成对抗遥感图像目标分割方法
CN111783523B (zh) 一种遥感影像旋转目标检测方法
JP7439153B2 (ja) 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み
CN112052783A (zh) 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN112257637A (zh) 一种融合点云和多视图的车载激光点云多目标识别方法
CN116229461A (zh) 一种基于多尺度细化的室内场景图像实时语义分割方法
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN111709471B (zh) 对象检测模型的训练方法以及对象检测方法、装置
CN106778634B (zh) 一种基于区域融合的显著性人体区域检测方法
CN111767854B (zh) 一种结合场景文本语义信息的slam回环检测方法
Zhou et al. Graph attention guidance network with knowledge distillation for semantic segmentation of remote sensing images
CN115273032A (zh) 交通标志识别方法、装置、设备及介质
CN114648709A (zh) 一种确定图像差异信息的方法与设备
CN115965968A (zh) 基于知识引导的小样本目标检测识别方法
CN116030364A (zh) 无人机轻量级目标检测方法、***、介质、设备及终端
CN115393635A (zh) 一种基于超像素分割以及数据增强的红外小目标检测方法
CN113052121A (zh) 一种基于遥感影像的多层级网络地图智能生成方法
CN113012191A (zh) 一种基于点云多视角投影图的激光里程计算法
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
CN117664139A (zh) 一种机器人导航数据更新方法、装置、芯片及终端
Lang et al. Adaptivity of conditional random field based outdoor point cloud classification
CN113869239A (zh) 一种交通信号灯倒计时识别***及其构建方法、应用方法
CN117408304B (zh) 6d姿态预测神经网络模型***及方法
CN113743410B (zh) 图像处理方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination