CN113658260A - 机器人位姿计算方法、***、机器人及存储介质 - Google Patents

机器人位姿计算方法、***、机器人及存储介质 Download PDF

Info

Publication number
CN113658260A
CN113658260A CN202110782453.4A CN202110782453A CN113658260A CN 113658260 A CN113658260 A CN 113658260A CN 202110782453 A CN202110782453 A CN 202110782453A CN 113658260 A CN113658260 A CN 113658260A
Authority
CN
China
Prior art keywords
preset
phase
predicted
information
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110782453.4A
Other languages
English (en)
Other versions
CN113658260B (zh
Inventor
郝祁
马睿
郑玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern University of Science and Technology
Original Assignee
Southern University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern University of Science and Technology filed Critical Southern University of Science and Technology
Priority to CN202110782453.4A priority Critical patent/CN113658260B/zh
Publication of CN113658260A publication Critical patent/CN113658260A/zh
Application granted granted Critical
Publication of CN113658260B publication Critical patent/CN113658260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/77Determining position or orientation of objects or cameras using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种机器人位姿计算方法、***、机器人及存储介质,机器人位姿计算方法包括:获取机器人移动前后的第一相位图和第二相位图;根据所述第一相位图、预设运动参数和预设运动模型确定预测相位图;将所述预测相位图、所述第二相位图代入预设优化算法进行优化以使所述预测相位图和所述第二相位图差别最小,以确定预设运动参数的具体值为移动信息。本发明通过第一相位图、预设运动参数和预设运动模型确定预测相位图,然后计算预测相位图和真实测量的第二相位图以预设优化算法进行优化以得到预设运动参数的具体值,以通过运动参数的具体值确定移动信息,使得机器人运动的移动信息计算简易且准确。

Description

机器人位姿计算方法、***、机器人及存储介质
技术领域
本发明涉及机器人的技术领域,尤其是涉及一种机器人位姿计算方法、***、机器人及存储介质。
背景技术
对机器人的位姿估计根据传感器和传感数据(图像、点云)的不同而大致可分为三类:采用单个RGB或灰度相机的机器人、采用双目相机的机器人和采用深度传感器的机器人。
其中,单个RGB或灰度机器人或者双目相机的机器人。所有一整套算法都是基于RGB或灰度图像的特征点与匹配,而这些二维图像的特征点与匹配都相对比较粗糙,从而导致三维深度的估算精度较差,以及位姿的估计也较差。采用深度传感器的机器人基于三维点云数据进行三维匹配,而三维匹配运算量较大,鲁棒性较差,容易收敛于局部点而非全局最优点。采用相机加上深度传感器的机器人可以结合上述两种方法,采取先用二维相机拍摄图像进行初步匹配和位姿估计,然后再利用三维点云进行三维匹配和精细位姿估计。但同样具有上述两种方法的缺点,即二维匹配比较粗糙,而三维匹配运算量比较大。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种机器人位姿计算方法,能够计算机器人的位移信息更加简易且准确。
本发明还提出一种机器人位姿计算***。
本发明还提出一种机器人。
本发明还提出一种计算机可读存储介质。
第一方面,本发明的一个实施例提供了机器人位姿计算方法,包括:
获取机器人移动前后的第一相位图和第二相位图;
根据所述第一相位图、预设运动参数和预设运动模型确定预测相位图;
将所述预测相位图、所述第二相位图代入预设优化算法进行优化以使所述预测相位图和所述第二相位图差别最小,以确定预设运动参数的具体值为移动信息。
本发明实施例的机器人位姿计算方法至少具有如下有益效果:通过第一相位图、预设运动参数和预设运动模型确定预测相位图,然后计算预测相位图和真实测量的第二相位图以预设优化算法进行优化以得到预设运动参数的具体值,以通过运动参数的具体值确定移动信息,使得机器人运动的移动信息计算简易且准确。
根据本发明的另一些实施例的机器人位姿计算方法,所述第一相位图包括第一相位信息、第一像素位置信息;所述第二相位图包括:第二相位信息和第二像素位置信息;所述预设运动模型包括:预设相位与运动模型、预设像素与运动模型,所述将根据所述第一相位图、预设运动参数和预设运动模型确定预测相位图,包括:
根据所述第一相位信息、预设运动参数、预设相位与运动模型确定预测相位信息;
根据所述第一像素位置信息、所述预设运动参数、预设像素与运动模型确定预测像素位置信息;
根据所述预测相位信息和所述预测像素位置信息确定所述预测相位图。
根据本发明的另一些实施例的机器人位姿计算方法,所述预设运动参数包括:预设旋转参数和预设位移参数。
根据本发明的另一些实施例的机器人位姿计算方法,所述根据所述第一相位信息、预设运动参数和预设相位与运动模型确定预测相位信息,包括:
根据所述第一相位信息、投影仪和相机的投影方程确定初始位置信息;
根据所述初始位置信息、预设旋转参数和所述预设位移参数确定预测位置信息;
根据所述预测位置信息和预设投影公式确定所述预测位置信息对应的所述预测相位信息。
根据本发明的另一些实施例的机器人位姿计算方法,所述根据所述第一像素位置信息、所述预设运动参数和预设像素与运动模型确定预测像素位置信息,包括:
根据所述第一像素位置信息确定相机矩阵;
根据所述相机矩阵、预设旋转参数和预设位移参数确定所述预测像素位置信息。
根据本发明的另一些实施例的机器人位姿计算方法,所述将所述预测相位图、所述第二相位图代入预设优化算法进行优化以使所述预测相位图和所述第二相位图差别最小,以确定预设运动参数的具体值为移动信息,包括:
将所述第二像素位置信息和所述预测像素位置信息相互对应;
计算所述像素位置对应的所述预测相位信息和所述第二相位信息的误差以得到多个误差值;
计算所述多个误差值的平方和以得到多个平方和;
对所述多个平方和以所述预设优化算法进行优化以得到所述预设运动参数的具体值以得到所述移动信息。
根据本发明的另一些实施例的机器人位姿计算方法,所述预设优化算法包括以下任意一种:梯度下降法、高斯牛顿法。
第二方面,本发明的一个实施例提供了机器人位姿计算***,包括:
获取模块,用于获取机器人移动前后的第一相位图和第二相位图;
计算模块,用于根据所述第一相位图、预设运动参数和预设运动模型确定预测相位图;
优化模块,用于将所述预测相位图、所述第二相位图代入预设优化算法进行优化以使所述预测相位图和所述第二相位图差别最小,以确定预设运动参数的具体值为移动信息。
本发明实施例的机器人位姿计算***至少具有如下有益效果:通过移动投影仪的第一相位图和第二相位图来求解机器人的位姿,且根据第二相位图和预测相位图代入预设优化算法来计算机器人的预设运动参数的具体值以得到移动信息,使得移动信息计算更加快速、准确,且鲁棒性低。
第三方面,本发明的一个实施例提供了机器人,包括:
至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的机器人位姿计算方法。
第四方面,本发明的一个实施例提供了计算机可读存储介质:所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面所述的机器人位姿计算方法。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本发明实施例中机器人位姿计算方法的一具体实施例流程示意图;
图2是本发明实施例中机器人位姿计算方法的另一具体实施例流程示意图;
图3是本发明实施例中机器人位姿计算方法的另一具体实施例流程示意图;
图4是本发明实施例中机器人位姿计算方法的另一具体实施例流程示意图;
图5是本发明实施例中机器人位姿计算方法的一具体实施例计算示意图;
图6是本发明实施例中机器人位姿计算方法的另一具体实施例流程示意图;
图7是本发明实施例中机器人位姿计算***的一具体实施例模块框图;
图8是本发明实施例中电子控制设备的一具体实施例模块框图。
附图标记:100、获取模块;200、计算模块;300、优化模块;400、处理器;500、存储器。
具体实施方式
以下将结合实施例对本发明的构思及产生的技术效果进行清楚、完整地描述,以充分地理解本发明的目的、特征和效果。显然,所描述的实施例只是本发明的一部分实施例,而不是全部实施例,基于本发明的实施例,本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例,均属于本发明保护的范围。
在本发明的描述中,如果涉及到方位描述,例如“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。如果某一特征被称为“设置”、“固定”、“连接”、“安装”在另一个特征,它可以直接设置、固定、连接在另一个特征上,也可以间接地设置、固定、连接、安装在另一个特征上。
在本发明实施例的描述中,如果涉及到“若干”,其含义是一个以上,如果涉及到“多个”,其含义是两个以上,如果涉及到“大于”、“小于”、“超过”,均应理解为不包括本数,如果涉及到“以上”、“以下”、“以内”,均应理解为包括本数。如果涉及到“第一”、“第二”,应当理解为用于区分技术特征,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
相关技术对机器人的位姿估计根据传感器和传感数据的不同而大致可以分为三类:
第一类:采用单个RGB或灰度相机的机器人,通过相机拍摄的图片上的特征点于特征描述子,在机器人进行移动前后拍摄得到视角不同的两个图片,然后对两个图片的特征点进行匹配,最后利用运动恢复结构技术估计出位姿的改变,这种与直接法的原理基本相同,只是直接采用图片像素值作为特征,而不经过特别的算法提取特征,但是SfM技术只能估计出带缩放因子的位姿,而非绝对位姿。采用双目相机的机器人,通过提取与第一类同样图片上的特征点和描述子,然后进行图片的特征点匹配,不同的是由于采用双目相机,可以利用立体视觉技术估算出特征点的深度,一旦移动前后的图片特征点匹配成功再加上其深度,就可以利用多视角几何的方法直接估算出绝对的移动位姿,而不是像第一类一样采用SfM估计出带缩放因子的位姿。
第二类:采用深度传感器的机器人。深度传感器包括结构光和激光雷达等,其传感数据输出为三维点云。最常用的方法是利用迭代最近点法(Iterative Closest Point,ICP)对移动前后获取的点云数据进行三维匹配,从而估计出移动位姿。
第三类:采用相机加上深度传感器的机器人。其与(2)基本相似。不同的是采用深度传感器直接获得特征点深度而非利用双目相机获取深度,这样的获取的深度精度比双目***要高。
但是这几类机器人进行机器人位姿估计方法存在几个问题:
第一,采用单个RGB或灰度相机,或者双目相机的机器人。所有一整套算法都是基于RGB或灰度图像的特征点与匹配,而这些二维图像的特征点与匹配都相对比较粗糙,从而导致三维深度的估算精度较差,以及位姿的估计也较差。
第二,采用深度传感器的机器人。其基于三维点云数据进行三维匹配,而三维匹配运算量较大,鲁棒性较差,容易收敛于局部点而非全局最优点。
第三,采用相机加上深度传感器的机器人。其可以结合上述两种方法,采取先用二维相机拍摄图像进行初步匹配和位姿估计,然后再利用三维点云进行三维匹配和精细位姿估计。但同样具有上述两种方法的缺点,即二维匹配比较粗糙,而三维匹配运算量比较大。
基于此,本申请公开了机器人位姿计算方法、***、机器人及存储介质,建立二维相位图与***三维运动的几何关系,以实现相位图匹配进行位姿估计,使得位姿估计更加准确且操作简易。
参照图1,第一方面,本发明实施例公开了一种机器人位姿计算方法,包括:
S100、获取机器人移动前后的第一相位图和第二相位图;
S200、根据第一相位图、预设运动参数和预设运动模型确定预测相位图;
S300、将预测相位图、第二相位图代入预设优化算法进行优化以使预测相位图和第二相位图的差别最小,以确定预设运动参数的具体值为移动信息。
通过获取机器人移动前后的相位信息以得到第一相位图和第二相位图,根据第一相位图、预设运动参数和预设运动模型确定预测相位图,其中预设运动参数为未知数,因此得到的预测相位信息为携带未知数的预设运动参数,然后将预测相位图和第二相位图代入预设优化算法中以调整预设运动参数使得预测相位图第二相位图之间的误差最小以得到预设运动参数的具体值,以通过预设运动参数的具体值确定移动信息,因此通过机器人移动前后的第一相位图和第二相位图即可分析得到机器人的位姿,且机器人的移动信息计算简单、快速,且通过二维的相位图计算三维的移动信息对初始位姿估计很敏感且不鲁棒,且精度比相对技术的三类算法更高。
在一些实施例中,第一相位图包括:第一相位信息、第一像素位置信息;第二相位图包括:第二相位信息和第二像素位置信息;预设运动模型包括:预设相位与运动模型、预设像素与运动模型。
在进行第一相位信息和第二相位信息获取时,投影仪与相机固定于机器人上,机器人的三维运动会导致移动前后的相位图发生变化。这个变化不仅导致相位图中三维点相位本身发生变化,为三维点投影在图上的像素位置也发生了变化,因此不仅需要考虑相位信息的变化还需要考虑像素位置变化。
参照图2,步骤S200包括:
S210、根据第一相位信息、预设运动参数、预设相位与运动模型确定预测相位信息;
S220、根据第一像素位置信息、预设运动参数、预设像素与运动模型确定预测像素位置信息;
S230、根据预测相位信息和预测像素位置信息确定预测相位图。
先根据第一相位信息、预设运动参数、预设相位与运动模型确定预测相位信息,然后根据第一像素位置信息、预设运动参数、预设像素与运动模型确定预测像素位置信息,然后根据预测像素位置信息、预测相位信息确定预测相位图,即可根据预测相位图和第二相位图确定最终移动信息,因此计算得到的最终移动信息更加准确。由于相位图包括相位信息和像素位置信息,所以根据预设相位与运动模型、预设像素与运动模型进行预测得到预测相位信息和预测像素位置信息,通过将预测像素位置信息和第二像素位置信息相对应后,计算像素位置对应的预测相位信息和第二相位信息的差别最小以确定预测运动参数的具体值,以得到移动信息,使得机器人的位姿计算更加简易且准确。
在一些实施例中,预设运动参数包括:预设旋转参数和预设位移参数。其中,设机器人的三维运动为
Figure BDA0003157556350000071
为移动前后位姿的差别,其包括6个自由度ΔX=[Δx,Δy,Δz,Δα,Δβ,Δγ]T,这六个自由度分别为沿x,y,z轴的位移以及绕x,y,z轴的旋转。设移动前的投影仪坐标系为世界坐标系,其中投影仪的光心定为坐标抽原点,x轴定为与相位变化方向垂直的方向,y轴定为相位变化的方向,z轴定为深度的方向。中Δy,Δz,Δα,Δβ,Δγ会导致相位值和像素位置的变化,而Δx只导致像素位置的变化。
参照图3,在一些实施例中,步骤S210包括:
S211、根据第一相位信息和投影仪和相机的投影方程确定初始位置信息;
S212、根据初始位置信息、预设旋转参数和预设位移参数确定预测位置信息;
S213、根据预测位置信息和预设投影公式确定预测位置信息对应的预测相位信息。
通过将二维的第一相位信息以预设倒影公式转换为三维的初始位置信息,然后根据初始位置信息、预设旋转参数和预设位移参数确定预测位置信息,其中预测位置信息为含有未知数的预设旋转参数和预设位移参数,根据预测位置信息和预设投影公式以将三维的预测位置信息转换为二维的预测相位信息,因此通过将二维的第一相位信息进行转换后再计算三维的预测位置信息,并根据预测位置信息转换为二维的预测相位信息,则预测相位信息计算简易。
具体地,由于相位图改变的第一影响因素为相位变化,设投影仪的投影纵向分辨率为H,投影仪的焦距为fp,投影仪主点的x与y坐标分别为cx和cy,设由移动前的第一个相位图P1求得其中一个三维点世界坐标为x=[x,y,z],然后机器人进行了运动ΔX包括旋转R和位移T,机器人的位姿由[0,0,0,0,0,0]T变为了ΔX=[Δx,Δy,Δz,Δα,Δβ,Δγ]T。那么运动后由几何原理,三维点相对新位置的投影仪坐标变为:
Xp=R(X-T)=RxRyRz(X-T) (1)
其中,旋转矩阵Rx,Ry和Rz和位移向量T的表达式为:
Figure BDA0003157556350000081
移动前的第一相位信息根据投影仪和相机的投影方程得到初始位置信息为x=[x,y,z]T,且初始位置信息X=[x,y,z]T相对投影仪的坐标仍是X=[x,y,z],而移动后其相对投影仪的预测位置信息则根据公式(1)变为了[xp,yp,zp]T,根据投影仪的投影公式,该初始位置信息在移动后的投影为:
Figure BDA0003157556350000082
根据前面定义相位变化的方向为y轴,则由上式得到第一相位信息对应的投影坐标,也即第一位置信息为:
Figure BDA0003157556350000091
第一位置信息与第一相位信息的关系为
Figure BDA0003157556350000092
因此移动预设运动参数ΔX的相位信息为预设相位信息:
Figure BDA0003157556350000093
例如,当没有旋转,只有y轴位移Δy时,由公式(1)得到xp=[xp,yp,zp]T=[x,y-Δy,z]T,由式(5)得到移动后的预测相位信息为:
Figure BDA0003157556350000094
考虑三个自由度的运动例子ΔX=[Δx,0,Δz,0,Δβ,0]时,由公式(1)得到Xp=[xp,yp,zp]T=[cosΔβ(x-Δx)+sinΔβ(z-Δz),y,-sinΔβ(x-Δx)+cosΔβ(z-Δz)]T,由公式(5)得到移动后的预测相位信息为:
Figure BDA0003157556350000095
其他任意方式的运动ΔX=[Δx,Δy,Δz,Δα,Δβ,Δγ]均可通过公式(1)(2)(5)用上述过程求出移动后的预测相位信息。
参照图4,在一些实施例中,步骤S220包括:
S221、根据第一像素位置信息确定相机矩阵;
S222、根据相机矩阵、预设旋转参数和预设位移参数确定预测像素位置信息
通过建立预设像素与运动模型,且预设像素与运动模型主要是先根据第一像素位置信息确定相机矩阵,由于Δy,Δz,Δα,Δβ,Δγ会导致相位信息和像素位置的变化,而Δx只导致像素位置的变化。因此通过相机矩阵、预设旋转参数和预设位移参数以确定预测像素位置信息,以通过计算得到的预测像素位置信息和第二像素位置信息对应,即可计算出准确的移动信息。
具体地,根据第一像素位置信息确定相机标定好的相机矩阵为Mc
Figure BDA0003157556350000096
当机器人运动预设旋转参数和预设移动参数后,第二相位图上的预测像素位置信息为:
sc[uc,vc,1]T=McR(X-T)=Mc[xp,yp,zp,1]T (9)
其中,sc=m31xp+m32yp+m33zp+m34,[xp,yp,zp]T和之前定义一样,且由公式(1)求得。由公式(9)可见,新的预测像素位置为运动的函数,即uc=uc(ΔX),vc=vc(ΔX)。
参照图5和图6,在一些实施例中,步骤S300包括:
S310、将第二像素位置信息和预测像素位置信息相互对应;
S320、计算像素位置对应的预测相位信息和第二相位信息的误差以得到多个误差值;
S330、计算多个误差值的平方和以得到多个平方和;
S340、对多个平方和以预设优化算法进行优化以得到预设运动参数的具体值以得到最终移动信息。
由于计算得到预测像素位置信息,且预测像素位置信息和真实的第二像素位置信息需要完全一致,因此将预测像素位置信息和第二像素位置信息对应,然后计算像素位置对应的预测相位信息和第二相位信息的误差值,并计算误差值的平方和,由于像素位置对应的预测相位信息和第二相位信息存在多个,因此误差值也有多个,因此得到多个平方和代入预设优化算法中以计算多个平方和最小时预设运动参数的具体值以得到移动信息。
具体地,通过步骤S210、S220得到了机器人移动后的相位图与预设运动参数ΔX=[Δx,Δy,Δz,Δα,Δβ,Δγ]T的关系,由公式(5)和(9)描述。设移动前的第一相位图P1上的第一像素位置信息为(u,v),由于机器人运动第一像素位置信息为(u,v)对应的真实三维点上面的相位变为第二相位图,而且第一像素位置变信息为了第二像素位置信息(uc,vc)。其中预设运动参数ΔX是未知待求解的,设为未知数。根据步骤S210的公式(5)由未知数ΔX估计出它的预测相位信息为P′2(ΔX),同时我们在移动后获取了一个真实测量的第二相位图P2,这个真实值对应的第二像素位置信息应该在ΔX对应的预测像素位置信息(uc,vc)。设这个估计的预测相位信息P′2(ΔX)与真实的第二相位信息P2(uc,vc)的误差为:
Figure BDA0003157556350000101
设预设优化算法的代价函数F为上述相位误差值的平方和如下:
Figure BDA0003157556350000102
式中,兴趣区域R内的所有像素位置信息(u,v)求和。针对公式(11)的代价函数,预设优化算法的解为
ΔX*=arg minΔX F(ΔX) (12)
根据上述预设优化算法的解,常用的预设优化算法包括:梯度下降法、高斯牛顿法等等,在本实施例中以最简单的梯度下降法为例,用i下标指标兴趣去R内的各个像素,有euv变为ei,共N个像素。则公式(11)代价函数F的一阶秦勒展开近似为:
Figure BDA0003157556350000111
其中,ΔXj为预设运动参数的第j个分量,例如ΔX1=Δx,ΔX4=Δα。J为雅可比矩阵,
Figure BDA0003157556350000112
e=[e1,e2,…,eN]T。由梯度下降法,求解过程的第k+1次的更新迭代公式为:
Figure BDA0003157556350000119
其中,a为更新幅度,以控制更新快慢。雅可比矩阵的元素Jij即误差对运动的偏导为
Figure BDA0003157556350000113
其中,
Figure BDA0003157556350000114
可由步骤S210中的公式(5)得到,
Figure BDA0003157556350000115
Figure BDA0003157556350000116
可由步骤S220中的公式(9)得到,
Figure BDA0003157556350000117
Figure BDA0003157556350000118
可通过直接计算移动后的第二相位图P2上的第二相位信息的像素梯度得到。
因此,移动信息亦即位姿的变化ΔX的求解过程完毕。由公式(14)迭代足够的次数,即可得到足够的精度。因此通过多次迭代计算得到多个平方和最小时的预设旋转参数、预设移动参数的具体值,并根据预设旋转参数、预设移动参数的具体值确定移动信息,以实现通过两个第一相位图和第二相位图即可计算得到机器人的移动信息,且移动位置信息计算简易且准确。
下面参考图1至图6以一个具体的实施例详细描述根据本发明实施例的机器人位姿计算方法。值得理解的是,下述描述仅是示例性说明,而不是对发明的具体限制。
获取机器人移动前后的第一相位信息、第一像素位置信息、第二相位信息和第二像素位置信息,根据第一相位信息代入公式(1)得到初始位置信息,然后根据初始位置信息代入预设旋转参数、预设移动参数以得到预测位置信息,并根据投影仪的投影公式,该初始位置信息在移动后的投影如公式(5)。然后.第一像素位置信息确定相机标定好的相机矩阵,然后根据预设旋转参数、预设移动参数代入到相机矩阵以得到预测像素位置信息。最后将预测像素位置信息和第二像素位置信息对应,然后计算像素位置对应的预测相位信息和第二相位信息的误差值,并计算误差值的平方和,由于像素位置对应的预测相位信息和第二相位信息存在多个,因此误差值也有多个,因此得到多个平方和代入预设优化算法中以计算多个平方和最小时预设运动参数的具体值以得到移动信息。
第二方面,参照图7,本发明实施例还公开了一种机器人位姿计算***,包括:获取模块、计算模块和优化模块;获取模块用于获取机器人移动前后的第一相位图和第二相位图;计算模块用于根据第一相位图、预设运动参数和预设运动模型确定预测相位图;优化模块用于将预测相位图、第二相位图代入预设优化算法进行优化以使预测相位图和第二相位图差别最小,以确定预设运动参数的具体值为移动信息。
通过移动投影仪的第一相位图和第二相位图来求解机器人的位姿,且根据第二相位图和预测相位图代入预设优化算法来计算机器人的预设运动参数的具体值以得到移动信息,使得移动信息计算更加快速、准确,且鲁棒性低。
参照图8,第三方面,本发明实施例还公开了一种机器人,包括:至少一个处理器,以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的机器人位姿计算方法。
第四方面,本发明实施例还公开了一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面所述的机器人位姿计算方法。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。此外,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.一种机器人位姿计算方法,其特征在于,包括:
获取机器人移动前后的第一相位图和第二相位图;
根据所述第一相位图、预设运动参数和预设运动模型确定预测相位图;
将所述预测相位图、所述第二相位图代入预设优化算法进行优化以使所述预测相位图和所述第二相位图的差别最小,以确定预设运动参数的具体值为移动信息。
2.根据权利要求1所述的机器人位姿计算方法,其特征在于,所述第一相位图包括第一相位信息、第一像素位置信息;所述第二相位图包括:第二相位信息和第二像素位置信息;所述预设运动模型包括:预设相位与运动模型、预设像素与运动模型,所述将根据所述第一相位图、预设运动参数和预设运动模型确定预测相位图,包括:
根据所述第一相位信息、预设运动参数、预设相位与运动模型确定预测相位信息;
根据所述第一像素位置信息、所述预设运动参数、预设像素与运动模型确定预测像素位置信息;
根据所述预测相位信息和所述预测像素位置信息确定所述预测相位图。
3.根据权利要求2所述的机器人位姿计算方法,其特征在于,所述预设运动参数包括:预设旋转参数和预设位移参数。
4.根据权利要求3所述的机器人位姿计算方法,其特征在于,所述根据所述第一相位信息、预设运动参数和预设相位与运动模型确定预测相位信息,包括:
根据所述第一相位信息、投影仪和相机的投影方程确定初始位置信息;
根据所述初始位置信息、预设旋转参数和所述预设位移参数确定预测位置信息;
根据所述预测位置信息和预设投影公式确定所述预测位置信息对应的所述预测相位信息。
5.根据权利要求3所述的机器人位姿计算方法,其特征在于,所述根据所述第一像素位置信息、所述预设运动参数和预设像素与运动模型确定预测像素位置信息,包括:
根据所述第一像素位置信息确定相机矩阵;
根据所述相机矩阵、预设旋转参数和预设位移参数确定所述预测像素位置信息。
6.根据权利要求3所述的机器人位姿计算方法,其特征在于,所述将所述预测相位图、所述第二相位图代入预设优化算法进行优化以使所述预测相位图和所述第二相位图差别最小,以确定预设运动参数的具体值为移动信息,包括:
将所述第二像素位置信息和所述预测像素位置信息相互对应;
计算所述像素位置对应的所述预测相位信息和所述第二相位信息的误差以得到多个误差值;
计算所述多个误差值的平方和以得到多个平方和;
对所述多个平方和以所述预设优化算法进行优化以得到所述预设运动参数的具体值以得到所述移动信息。
7.根据权利要求1所述的机器人位姿计算方法,其特征在于,所述预设优化算法包括以下任意一种:梯度下降法、高斯牛顿法。
8.一种机器人位姿计算***,其特征在于,包括:
获取模块,用于获取机器人移动前后的第一相位图和第二相位图;
计算模块,用于根据所述第一相位图、预设运动参数和预设运动模型确定预测相位图;
优化模块,用于将所述预测相位图、所述第二相位图代入预设优化算法进行优化以使所述预测相位图和所述第二相位图的差别最小,以确定预设运动参数的具体值为移动信息。
9.一种机器人,其特征在于,包括:
至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7任一项所述的机器人位姿计算方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的机器人位姿计算方法。
CN202110782453.4A 2021-07-12 2021-07-12 机器人位姿计算方法、***、机器人及存储介质 Active CN113658260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110782453.4A CN113658260B (zh) 2021-07-12 2021-07-12 机器人位姿计算方法、***、机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110782453.4A CN113658260B (zh) 2021-07-12 2021-07-12 机器人位姿计算方法、***、机器人及存储介质

Publications (2)

Publication Number Publication Date
CN113658260A true CN113658260A (zh) 2021-11-16
CN113658260B CN113658260B (zh) 2024-07-23

Family

ID=78477269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110782453.4A Active CN113658260B (zh) 2021-07-12 2021-07-12 机器人位姿计算方法、***、机器人及存储介质

Country Status (1)

Country Link
CN (1) CN113658260B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114964142A (zh) * 2022-05-20 2022-08-30 合肥工业大学 一种铁路信号机械室巡检机器人的视觉导航方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107941217A (zh) * 2017-09-30 2018-04-20 杭州迦智科技有限公司 一种机器人定位方法、电子设备、存储介质、装置
CN108225345A (zh) * 2016-12-22 2018-06-29 乐视汽车(北京)有限公司 可移动设备的位姿确定方法、环境建模方法及装置
CN108648215A (zh) * 2018-06-22 2018-10-12 南京邮电大学 基于imu的slam运动模糊位姿跟踪算法
CN109186596A (zh) * 2018-08-14 2019-01-11 深圳清华大学研究院 Imu测量数据生成方法、***、计算机装置及可读存储介质
CN109341529A (zh) * 2018-10-23 2019-02-15 深圳市深信创联智能科技有限责任公司 基于机器视觉的直线电机动子位置测量方法
CN110264509A (zh) * 2018-04-27 2019-09-20 腾讯科技(深圳)有限公司 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN111238496A (zh) * 2020-01-14 2020-06-05 深圳市锐曼智能装备有限公司 机器人位姿确认方法、装置、计算机设备及存储介质
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于连续相位稠密匹配的360°三维重建优化方法
CN112184809A (zh) * 2020-09-22 2021-01-05 浙江商汤科技开发有限公司 相对位姿的估计方法、装置、电子设备及介质
CN112184810A (zh) * 2020-09-22 2021-01-05 浙江商汤科技开发有限公司 相对位姿的估计方法、装置、电子设备及介质
CN112219087A (zh) * 2019-08-30 2021-01-12 深圳市大疆创新科技有限公司 位姿预测方法、地图构建方法、可移动平台及存储介质
CN112734852A (zh) * 2021-03-31 2021-04-30 浙江欣奕华智能科技有限公司 一种机器人建图方法、装置及计算设备
CN112752028A (zh) * 2021-01-06 2021-05-04 南方科技大学 移动平台的位姿确定方法、装置、设备和存储介质
WO2021109166A1 (zh) * 2019-12-06 2021-06-10 苏州艾吉威机器人有限公司 三维激光定位方法及***
CN113034594A (zh) * 2021-03-16 2021-06-25 浙江商汤科技开发有限公司 位姿优化方法、装置、电子设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108225345A (zh) * 2016-12-22 2018-06-29 乐视汽车(北京)有限公司 可移动设备的位姿确定方法、环境建模方法及装置
CN107941217A (zh) * 2017-09-30 2018-04-20 杭州迦智科技有限公司 一种机器人定位方法、电子设备、存储介质、装置
CN110264509A (zh) * 2018-04-27 2019-09-20 腾讯科技(深圳)有限公司 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN108648215A (zh) * 2018-06-22 2018-10-12 南京邮电大学 基于imu的slam运动模糊位姿跟踪算法
CN109186596A (zh) * 2018-08-14 2019-01-11 深圳清华大学研究院 Imu测量数据生成方法、***、计算机装置及可读存储介质
CN109341529A (zh) * 2018-10-23 2019-02-15 深圳市深信创联智能科技有限责任公司 基于机器视觉的直线电机动子位置测量方法
CN112219087A (zh) * 2019-08-30 2021-01-12 深圳市大疆创新科技有限公司 位姿预测方法、地图构建方法、可移动平台及存储介质
WO2021109166A1 (zh) * 2019-12-06 2021-06-10 苏州艾吉威机器人有限公司 三维激光定位方法及***
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于连续相位稠密匹配的360°三维重建优化方法
CN111238496A (zh) * 2020-01-14 2020-06-05 深圳市锐曼智能装备有限公司 机器人位姿确认方法、装置、计算机设备及存储介质
CN112184810A (zh) * 2020-09-22 2021-01-05 浙江商汤科技开发有限公司 相对位姿的估计方法、装置、电子设备及介质
CN112184809A (zh) * 2020-09-22 2021-01-05 浙江商汤科技开发有限公司 相对位姿的估计方法、装置、电子设备及介质
CN112752028A (zh) * 2021-01-06 2021-05-04 南方科技大学 移动平台的位姿确定方法、装置、设备和存储介质
CN113034594A (zh) * 2021-03-16 2021-06-25 浙江商汤科技开发有限公司 位姿优化方法、装置、电子设备及存储介质
CN112734852A (zh) * 2021-03-31 2021-04-30 浙江欣奕华智能科技有限公司 一种机器人建图方法、装置及计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XI ZHENG 等: "Phase-SLAM: Mobile Structured Light Illumination for Full Body 3D Scanning", 2021 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS, 1 October 2021 (2021-10-01), pages 1 - 8 *
XI ZHENG等: "Phase-SLAM: Phase Based Simultaneous Localization and Mapping for Mobile Structured Light Illumination Systems", IEEE ROBOTICS AND AUTOMATION LETTERS, 31 July 2022 (2022-07-31) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114964142A (zh) * 2022-05-20 2022-08-30 合肥工业大学 一种铁路信号机械室巡检机器人的视觉导航方法

Also Published As

Publication number Publication date
CN113658260B (zh) 2024-07-23

Similar Documents

Publication Publication Date Title
EP3367677B1 (en) Calibration apparatus, calibration method, and calibration program
US11830216B2 (en) Information processing apparatus, information processing method, and storage medium
KR102085228B1 (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
CN107560603B (zh) 一种无人机倾斜摄影测量***及测量方法
US20190182433A1 (en) Method of estimating the speed of displacement of a camera
JP2013534616A (ja) 画像センサおよび運動または位置センサから生じたデータを融合するための方法およびシステム
CN108332752B (zh) 机器人室内定位的方法及装置
JP7479324B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6061770B2 (ja) カメラ姿勢推定装置及びそのプログラム
CN111524194A (zh) 一种激光雷达和双目视觉相互融合的定位方法及终端
US20200098115A1 (en) Image processing device
CN111538029A (zh) 一种视觉与雷达融合的测量方法及终端
CN114217665A (zh) 一种相机和激光雷达时间同步方法、装置及存储介质
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
CN113658260A (zh) 机器人位姿计算方法、***、机器人及存储介质
CN113450334A (zh) 一种水上目标检测方法、电子设备及存储介质
CN115511970B (zh) 一种面向自主泊车的视觉定位方法
CN113504385B (zh) 复数相机测速方法及测速装置
JP2022190173A (ja) 位置推定装置
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
CN113124906A (zh) 基于在线标定的测距方法、装置及电子设备
CN111986248A (zh) 多目视觉感知方法、装置及自动驾驶汽车
CN117218205B (zh) 一种相机外参校正方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant