CN114519748A - 四足机器人的腿足运动学标定方法、***、设备及介质 - Google Patents

四足机器人的腿足运动学标定方法、***、设备及介质 Download PDF

Info

Publication number
CN114519748A
CN114519748A CN202210415395.6A CN202210415395A CN114519748A CN 114519748 A CN114519748 A CN 114519748A CN 202210415395 A CN202210415395 A CN 202210415395A CN 114519748 A CN114519748 A CN 114519748A
Authority
CN
China
Prior art keywords
coordinates
marker
coordinate system
foot
world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210415395.6A
Other languages
English (en)
Inventor
聂振国
刘辛军
徐汉鼎
孟齐志
谢福贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210415395.6A priority Critical patent/CN114519748A/zh
Publication of CN114519748A publication Critical patent/CN114519748A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及运动学标定技术领域，特别涉及一种四足机器人的腿足运动学标定方法、***、设备及介质，方法包括：采集固定于四足机器人腿足上的标志物的标定图像；计算标定图像中标志物中心在像素坐标系下的像素坐标；根据像素坐标、预先标定的双目相机的内参矩阵和双目相机坐标系下标志物中心的z坐标和标定图像在x轴方向的视差之间的关系计算标志物中心在双目相机坐标系下的相机坐标；基于预设的坐标转换矩阵，对相机坐标进行转换，得到标志物中心在世界坐标系下的世界坐标；将世界坐标输入至预先训练的逆运动学神经网络模型，求解四足机器人腿足的各个关节角度，利用关节角度对四足机器人腿足进行标定。由此，减少了标定时间，提高了标定效率。

Description

四足机器人的腿足运动学标定方法、***、设备及介质
技术领域
本申请涉及运动学标定技术领域，特别涉及一种四足机器人的腿足运动学标定方法、***、设备及介质。
背景技术
四足机器人由于其具有高度仿生性能，其承载能力强、稳定性好，具备更加良好的适应复杂路况和复杂环境的能力，可以在复杂环境下代替人类完成各种任务，使其在野外勘测以及军事行动等诸多环境下具有广泛的应用前景。然而，四足机器人运动过程中其实际精度与理论模型之间会有误差，这限制了机器人的应用。四足机器人的误差主要包括杆件误差、关节转角误差等运动学误差以及环境变化和负载变化等非几何误差，其中运动学误差占总误差的90%，因此，提高四足机器人精度的主要任务是减少其运动学误差。
为了提高四足机器人的运动学精度，需要减少其运动学误差，因此需要对其进行运动学标定，机器人运动学参数标定是提高机器人位姿精度的重要手段。机器人标定就是通过测量和参数辨识计算出机器人模型的准确参数，并通过机器人控制算法补偿或修改理论运动学模型来补偿机器人误差，从而提高机器人绝对精度。四足机器人的关节实际位姿是通过编码器角度来反馈的，为了提高运动精度，需要对四足机器人腿足各个关节的编码器进行标定。对编码器进行标定，实际就是对四足机器人腿足各个关节角度进行测量，并将结果与编码器的输出角度进行对比，最后进行误差补偿。
通过标定，可以大大降低四足机器人腿足的实际位姿与指令位姿之间的误差，提高四足机器人的绝对运动精度，便于对四足机器人的步态进行分析和优化，尤其在复杂地形工作的四足机器人，更精确的位姿控制可以使其腿足末端在碰到障碍物时有更高的稳定性。目前对四足机器人腿足关节角度的标定是通过人工测量进行标定，标定流程繁琐，耗时较长，在复杂工况下难以实现标定，因此通过基于机器视觉和神经网络的四足机器人的腿足运动学标定***实现对其腿足关节角度的快速测量以及对编码器进行自动零点标定，减少标定时间，提高标定效率。
发明内容
本申请提供一种四足机器人的腿足运动学标定方法、***、设备及介质，实现了对四足机器人腿足关节角度的快速测量以及对编码器进行自动零点标定，减少标定时间，提高标定效率。
本申请第一方面实施例提供一种四足机器人的腿足运动学标定方法，包括以下步骤：采集固定于所述四足机器人腿足上的标志物的标定图像；计算所述标定图像中标志物中心在像素坐标系下的像素坐标；根据所述像素坐标、预先标定的双目相机的内参矩阵和双目相机坐标系下所述标志物中心的z坐标和所述标定图像在x轴方向的视差之间的关系计算所述标志物中心在所述双目相机坐标系下的相机坐标；基于预设的坐标转换矩阵，对所述相机坐标进行转换，得到所述标志物中心在世界坐标系下的世界坐标；将所述世界坐标输入至预先训练的逆运动学神经网络模型，求解所述四足机器人腿足的各个关节角度，利用所述关节角度对所述四足机器人腿足进行标定。
可选地，在本申请的一个实施例中，所述计算所述标定图像中标志物中心在像素坐标系下的像素坐标，包括：通过目标检测算法识别所述标定图像中的所述标志物；利用角点检测算法计算识别出的所述标志物的多个顶点在所述像素坐标系下的坐标，计算所述多个顶点在所述像素坐标系下的坐标平均值，得到所述标志物中心在像素坐标系下的像素坐标。
可选地，在本申请的一个实施例中，在计算所述标志物中心在所述双目相机坐标系下的相机坐标之前，还包括：对所述双目相机进行标定，获取所述双目相机的内参矩阵；利用所述双目相机采集距离所述双目相机不同距离的多张标志物图像；收集所述多张标志物图像中z坐标值和与所述z坐标值对应标志物中心点分别在所述双目相机获取的图像中的x轴方向的像素坐标值，根据所述x轴方向的像素坐标值计算x轴方向的视差值；利用拟合算法求解所述z坐标值与所述x轴方向视差值之间的关系。
可选地，在本申请的一个实施例中，在基于预设的坐标转换矩阵，对所述相机坐标进行转换，得到所述标志物中心在世界坐标系下的世界坐标之前，还包括：计算所述标志物在所述双目相机坐标系下的相机坐标和所述标志物在所述世界坐标系下的世界坐标；利用仿射变换函数确定所述相机坐标和所述世界坐标之间的变换关系，根据所述变换关系得到所述坐标转换矩阵。
可选地，在本申请的一个实施例中，在将所述世界坐标输入至预先训练的逆运动学神经网络模型之前，还包括：利用D-H参数法建立所述四足机器人的正运动学模型，通过所述正运动学模型，根据随机给定的所述四足机器人腿足的各个关节角度计算所述四足机器人腿足末端位置在世界坐标系下世界坐标，生成所述关节角度与所述世界坐标对应的训练数据集；利用所述训练数据集进行神经网络模型训练，得到所述逆运动学神经网络模型。
本申请第二方面实施例提供一种四足机器人的腿足运动学标定***，包括：采集模块，用于采集固定于所述四足机器人腿足上的标志物的标定图像；第一计算模块，用于计算所述标定图像中标志物中心在像素坐标系下的像素坐标；第二计算模块，用于根据所述像素坐标、预先标定的双目相机的内参矩阵和双目相机坐标系下所述标志物中心的z坐标和所述标定图像在x轴方向的视差之间的关系计算所述标志物中心在所述双目相机坐标系下的相机坐标；转换模块，用于基于预设的坐标转换矩阵，对所述相机坐标进行转换，得到所述标志物中心在世界坐标系下的世界坐标；标定模块，用于将所述世界坐标输入至预先训练的逆运动学神经网络模型，求解所述四足机器人腿足的各个关节角度，利用所述关节角度对所述四足机器人腿足进行标定。
可选地，在本申请的一个实施例中，所述第一计算模块进一步用于，通过目标检测算法识别所述标定图像中的所述标志物，利用角点检测算法计算识别出的所述标志物的多个顶点在所述像素坐标系下的坐标，计算所述多个顶点在所述像素坐标系下的坐标平均值，得到所述标志物中心在像素坐标系下的像素坐标。
可选地，在本申请的一个实施例中，还包括：第一生成模块，用于在计算所述标志物中心在所述双目相机坐标系下的相机坐标之前，对所述双目相机进行标定，获取所述双目相机的内参矩阵；利用所述双目相机采集距离所述双目相机不同距离的多张标志物图像；收集所述多张标志物图像中z坐标值和与所述z坐标值对应标志物中心点分别在所述双目相机获取的图像中的x轴方向的像素坐标值，根据所述x轴方向的像素坐标值计算x轴方向的视差值；利用拟合算法求解所述z坐标值与所述x轴方向视差值之间的关系。
可选地，在本申请的一个实施例中，还包括：第二生成模块，用于在基于预设的坐标转换矩阵，对所述相机坐标进行转换，得到所述标志物中心在世界坐标系下的世界坐标之前，计算所述标志物在所述双目相机坐标系下的相机坐标和所述标志物在所述世界坐标系下的世界坐标；利用仿射变换函数确定所述相机坐标和所述世界坐标之间的变换关系，根据所述变换关系得到所述坐标转换矩阵。
可选地，在本申请的一个实施例中，还包括：训练模块，用于在将所述世界坐标输入至预先训练的逆运动学神经网络模型之前，利用D-H参数法建立所述四足机器人的正运动学模型，通过所述正运动学模型，根据随机给定的所述四足机器人腿足的各个关节角度计算所述四足机器人腿足末端位置在世界坐标系下世界坐标，生成所述关节角度与所述世界坐标对应的训练数据集；利用所述训练数据集进行神经网络模型训练，得到所述逆运动学神经网络模型。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以执行如上述实施例所述的四足机器人的腿足运动学标定方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例所述的四足机器人的腿足运动学标定方法。
本申请实施例的四足机器人的腿足运动学标定方法、***、设备及介质，通过目标检测算法、逆运动学神经网络模型以及误差修正模型对四足机器人腿足的关节角度进行标定，能够提高机器人的标定精度，缩小标定时间，提高标定效率，可以应用于复杂工作环境下的运动学标定。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种四足机器人的腿足运动学标定方法的流程图；
图2为根据本申请实施例提供的双目相机安装位置示意图；
图3为根据本申请实施例提供的标志物示意图；
图4为根据本申请实施例提供的利用D-H法求解四足机器人腿足运动学正解的坐标系建立示意图；
图5为根据本申请实施例的四足机器人的腿足运动学标定***的示例图；
图6为申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的四足机器人的腿足运动学标定方法、***、设备及介质。针对上述背景技术中心提到的相关技术对四足机器人腿足关节角度的标定是通过人工测量进行标定，标定流程繁琐，耗时较长，在复杂工况下难以实现标定的问题，本申请提供了一种四足机器人的腿足运动学标定方法，在该方法中，通过目标检测算法、逆运动学神经网络模型以及误差修正模型对四足机器人腿足的关节角度进行标定，能够提高机器人的标定精度，缩小标定时间，提高标定效率，可以应用于复杂工作环境下的运动学标定。
具体而言，图1为根据本申请实施例提供的一种四足机器人的腿足运动学标定方法的流程图。
如图1所示，该四足机器人的腿足运动学标定方法包括以下步骤：
在步骤S101中，采集固定于四足机器人腿足上的标志物的标定图像。
本申请的实施例对四足机器人的腿足进行运动学标定，在四足机器人的机身上固定双目相机，在四足机器人腿足各个关节位置固定编码器，在四足机器人腿足末端固定标志物。利用固定于四足机器人机身的双目相机对固定于四足机器人腿足末端的标志物进行拍照并传回至远程控制计算机上，对其进行目标检测，以便后续通过标志物的图像进行标定。双目相机安装位置如图2所示。
在步骤S102中，计算标定图像中标志物中心在像素坐标系下的像素坐标。
通过上述实施例的双目相机采集到标定图像后，对标定图像进行处理，确定标定图像中标志物中心在像素坐标系下的像素坐标，作为一种可能实现的方式，本申请的实施例通过目标检测算法识别标定图像中的标志物；利用角点检测算法计算识别出的标志物的多个顶点在像素坐标系下的坐标，计算多个顶点在像素坐标系下的坐标平均值，得到标志物中心在像素坐标系下的像素坐标。
在本申请的实施例中，对于采集到的标定图像，通过目标检测神经网络模型进行检测，识别标定图像中标志物的位置，目标检测神经网络模型可以使用已有的模型进行训练，对此，不作具体限制。
以四个顶点的标志物为例，对于识别到的标志物，利用角点检测算法计算标志物的四个顶点在像素坐标系下的坐标，求四个顶点坐标的平均值，得到固定于四足机器人腿足末端的标志物中心在像素坐标系下的坐标。
在步骤S103中，根据像素坐标、预先标定的双目相机的内参矩阵和双目相机坐标系下标志物中心的z坐标和标定图像在x轴方向的视差之间的关系计算标志物中心在双目相机坐标系下的相机坐标。
可选地，在本申请的一个实施例中，在计算标志物中心在双目相机坐标系下的相机坐标之前，还包括：对双目相机进行标定，获取双目相机的内参矩阵；利用双目相机采集距离双目相机不同距离的多张标志物图像；收集多张标志物图像中z坐标值和与z坐标值对应标志物中心点分别在双目相机获取的图像中的x轴方向的像素坐标值，根据x轴方向的像素坐标值计算x轴方向的视差值；利用拟合算法求解z坐标值与x轴方向视差值之间的关系。
为了计算标志物中心在双目相机坐标系下的相机坐标，本申请的实施例在计算之前对双目相机进行标定，获取双目相机的内参矩阵，作为一种标定方式，本申请的实施例通过获取棋盘格标定板图像并对双目相机内参矩阵进行标定。
双目相机获得距离相机不同深度位置时的标志物的图像，收集z坐标值以及与其对应标志物中心点分别在左右相机获取的图像中的x轴方向的像素坐标值，并计算x轴方向的视差值，利用拟合算法求解z坐标与x轴方向视差值之间的函数关系。
在步骤S104中，基于预设的坐标转换矩阵，对相机坐标进行转换，得到标志物中心在世界坐标系下的世界坐标。
得到标志物中心在双目相机坐标系下的相机坐标后，根据求得的双目相机坐标系与世界坐标系之间的转换矩阵，对相机坐标进行转换，得到固定于四足机器人腿足末端的标志物中心在世界坐标系下的坐标。
在本申请的实施例中，建立坐标转换矩阵的一种方式，包括：计算标志物在双目相机坐标系下的相机坐标和标志物在世界坐标系下的世界坐标；利用仿射变换函数确定相机坐标和世界坐标之间的变换关系，根据变换关系得到坐标转换矩阵。
具体地，确定安装在四足机器人身上的双目相机坐标系的位置以及规定的世界坐标系的位置，分别获取固定于四足机器人腿足末端的标志物在双目相机坐标系和世界坐标系下的坐标，利用仿射变换函数求解两个坐标系之间的转换矩阵。
在步骤S105中，将世界坐标输入至预先训练的逆运动学神经网络模型，求解四足机器人腿足的各个关节角度，利用关节角度对四足机器人腿足进行标定。
具体地，利用训练好的逆运动学神经网络模型求解四足机器人腿足各个关节角度，完成对安装在四足机器人腿足各个关节的角度编码器的标定。
可选地，在本申请的一个实施例中，在将世界坐标输入至预先训练的逆运动学神经网络模型之前，还包括：利用D-H参数法建立四足机器人的正运动学模型，通过正运动学模型，根据随机给定的四足机器人腿足的各个关节角度计算四足机器人腿足末端位置在世界坐标系下世界坐标，生成关节角度与世界坐标对应的训练数据集；利用训练数据集进行神经网络模型训练，得到逆运动学神经网络模型。
具体地，准备训练逆运动学神经网络模型的数据集，利用D-H参数法建立四足机器人的运动学正解方程，得到用于训练逆运动学神经网络模型的数据集；将固定于四足机器人腿足末端的标志物中心在世界坐标系下的坐标作为输入，四足机器人腿足各个关节角度作为输出训练逆运动学神经网络模型；输入计算得到的固定于四足机器人腿足末端标志物中心在世界坐标系下的坐标，利用训练好的逆运动学神经网络模型预测四足机器人腿足各个关节的角度。
可以理解的是，得到用于训练逆运动学神经网络模型的数据集是通过采用D-H参数法建立四足机器人正运动学模型，通过随机给定腿足各个关节角度计算机器人腿足末端位置在世界坐标系下的坐标，生成用于训练逆运动学神经网络模型的数据集。
通过上述实施例的标定方法，减少了标定时间，提高了标定效率和标定精度，可以应用于复杂工作环境下的运动学标定。
下面通过附图和具体实施例对本申请的基于机器视觉和深度学习的四足机器人腿足运动学标定方法进行详细介绍。
步骤1：标定双目相机，建立双目相机坐标系和世界坐标系之间的转换矩阵。
步骤11：利用棋盘格标定板标定双目相机的内参矩阵和外参矩阵；
步骤12：在四足机器人机身上确定世界坐标系以及双目相机坐标系的位置；
步骤13：确定标记点，分别获取标记点在双目相机坐标系和世界坐标系下的坐标；
步骤14：利用仿射变换函数求解双目相机坐标系和世界坐标系之间的转换矩阵。
步骤2：将标志物固定在四足机器人腿足末端，利用标定好的双目相机获取标志物图像，标志物的图像如图3所示。
步骤3：通过视觉检测算法求解标志物中心在像素坐标系下的坐标，利用步骤1求得的相机坐标系与世界坐标系之间的转换矩阵解算标志物中心在世界坐标系下的坐标。
步骤31：训练识别标志物的目标检测网络模型，对固定于四足机器人腿足末端的标志物进行识别；
步骤32：利用角点检测算法计算标志物四个顶点在像素坐标系下的坐标，求顶点坐标的平均值得到标志物中心在像素坐标系下的坐标；
步骤33：求解标志物中心坐标在双目相机坐标系下的深度坐标与双目相机x轴方向的视差之间的关系，并根据求得的双目相机的内参矩阵确定标志物中心在双目相机坐标系下的坐标；
步骤34：根据求得的双目相机坐标系与世界坐标系之间的转换矩阵，得到标志物中心在世界坐标系下的坐标。
步骤4：利用训练好的逆运动学神经网络求解四足机器人腿足各个关节的角度，完成标定。
步骤41：准备训练逆运动学神经网络模型的数据集，利用D-H参数法建立四足机器人腿足的运动学正解方程，得到用于训练逆运动学神经网络模型的数据集；
D-H法的具体实现如下：由图4所示的D-H坐标系的定义方式和各杆件的尺寸参数，可以得到D-H法各变量的值，如表1所示。
Figure 609624DEST_PATH_IMAGE001
为沿x i 轴方向从z i-1轴和x i 轴的交点到第i坐标系原点的距离；
Figure 67150DEST_PATH_IMAGE002
为按右手法则，绕x i 轴由z i-1轴转向z i 轴转过的角度；θ i 为按右手法则，绕z i-1轴由x i-1轴转向x i 轴转过的角度；d i 为沿z i-1轴方向从第i-1坐标系的原点到z i-1轴和x i 轴的交点的距离。
Figure 943839DEST_PATH_IMAGE003
建立四足机器人腿足坐标系到腿足末端坐标系的总体变换矩阵为：
Figure 330084DEST_PATH_IMAGE004
r 11=cosθ 1cos(θ 2-θ 3)
r 21=-sinθ 1cos(θ 2-θ 3)
r 31=-sin(θ 2-θ 3)
r 12=cosθ 1sin(θ 2-θ 3)
r 22=-sinθ 1sin(θ 2-θ 3)
r 32=cos(θ 2-θ 3)
r 13=-sinθ 1
r 23=-cosθ 1
r 33=0
p x =cosθ 1(l 1-l 2cosθ 2+l 3cos(θ 2-θ 3))
p y =-sinθ 1(l 1-l 2cosθ 2+l 3cos(θ 2-θ 3))
p z =l 2sinθ 2-l 3sin(θ 2-θ 3)
步骤42：将固定于四足机器人腿足末端的标志物的中心位置在世界坐标系下的坐标作为输入，腿足各个关节角度作为输出训练逆运动学神经网络模型；
步骤43：输入计算得到的四足机器人腿足末端标志物中心在世界坐标系下的坐标，利用训练好的逆运动学神经网络预测四足机器人腿足各个关节的角度。
通过以上步骤，完成对四足机器人的腿足运动学标定。
根据本申请实施例提出的四足机器人的腿足运动学标定方法，通过目标检测算法、逆运动学神经网络模型以及误差修正模型对四足机器人腿足的关节角度进行标定，能够提高机器人的标定精度，缩小标定时间，提高标定效率，可以应用于复杂工作环境下的运动学标定。
其次参照附图描述根据本申请实施例提出的四足机器人的腿足运动学标定***。
图5为根据本申请实施例的四足机器人的腿足运动学标定***的示例图。
如图5所示，该四足机器人的腿足运动学标定***10包括：采集模块100、第一计算模块200、第二计算模块300、转换模块400和标定模块500。
具体地，采集模块100，用于采集固定于四足机器人腿足上的标志物的标定图像。第一计算模块200，用于计算标定图像中标志物中心在像素坐标系下的像素坐标。第二计算模块300，用于根据像素坐标、预先标定的双目相机的内参矩阵和双目相机坐标系下标志物中心的z坐标和标定图像在x轴方向的视差之间的关系计算标志物中心在双目相机坐标系下的相机坐标。转换模块400，用于基于预设的坐标转换矩阵，对相机坐标进行转换，得到标志物中心在世界坐标系下的世界坐标。标定模块500，用于将世界坐标输入至预先训练的逆运动学神经网络模型，求解四足机器人腿足的各个关节角度，利用关节角度对四足机器人腿足进行标定。
可选地，在本申请的一个实施例中，第一计算模块200，进一步用于，通过目标检测算法识别标定图像中的标志物，利用角点检测算法计算识别出的标志物的多个顶点在像素坐标系下的坐标，计算多个顶点在像素坐标系下的坐标平均值，得到标志物中心在像素坐标系下的像素坐标。
可选地，在本申请的一个实施例中，四足机器人的腿足运动学标定***10还包括：第一生成模块，用于在计算标志物中心在双目相机坐标系下的相机坐标之前，对双目相机进行标定，获取双目相机的内参矩阵；利用双目相机采集距离双目相机不同距离的多张标志物图像；收集多张标志物图像中z坐标值和与z坐标值对应标志物中心点分别在双目相机获取的图像中的x轴方向的像素坐标值，根据x轴方向的像素坐标值计算x轴方向的视差值；利用拟合算法求解z坐标值与x轴方向视差值之间的关系。
可选地，在本申请的一个实施例中，四足机器人的腿足运动学标定***10还包括：第二生成模块，用于在基于预设的坐标转换矩阵，对相机坐标进行转换，得到标志物中心在世界坐标系下的世界坐标之前，计算标志物在双目相机坐标系下的相机坐标和标志物在世界坐标系下的世界坐标；利用仿射变换函数确定相机坐标和世界坐标之间的变换关系，根据变换关系得到坐标转换矩阵。
可选地，在本申请的一个实施例中，四足机器人的腿足运动学标定***10还包括：训练模块，用于在将世界坐标输入至预先训练的逆运动学神经网络模型之前，利用D-H参数法建立四足机器人的正运动学模型，通过正运动学模型，根据随机给定的四足机器人腿足的各个关节角度计算四足机器人腿足末端位置在世界坐标系下世界坐标，生成关节角度与世界坐标对应的训练数据集；利用训练数据集进行神经网络模型训练，得到逆运动学神经网络模型。
需要说明的是，前述对四足机器人的腿足运动学标定方法实施例的解释说明也适用于该实施例的四足机器人的腿足运动学标定***，此处不再赘述。
根据本申请实施例提出的四足机器人的腿足运动学标定***，通过目标检测算法、逆运动学神经网络模型以及误差修正模型对四足机器人腿足的关节角度进行标定，能够提高机器人的标定精度，缩小标定时间，提高标定效率，可以应用于复杂工作环境下的运动学标定。
图6为申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
处理器602执行程序时实现上述实施例中提供的四足机器人的腿足运动学标定方法。
进一步地，电子设备还包括：
通信接口603，用于存储器601和处理器602之间的通信。
存储器601，用于存放可在处理器602上运行的计算机程序。
存储器601可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（Industry Standard Architecture，简称为ISA）总线、外部设备互连（PeripheralComponent，简称为PCI）总线或扩展工业标准体系结构（Extended Industry StandardArchitecture，简称为EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
处理器602可能是一个中央处理器（Central Processing Unit，简称为CPU），或者是特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的四足机器人的腿足运动学标定方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

Claims (12)

1.一种四足机器人的腿足运动学标定方法，其特征在于，包括以下步骤：
采集固定于所述四足机器人腿足上的标志物的标定图像；
计算所述标定图像中标志物中心在像素坐标系下的像素坐标；
根据所述像素坐标、预先标定的双目相机的内参矩阵和双目相机坐标系下所述标志物中心的z坐标和所述标定图像在x轴方向的视差之间的关系计算所述标志物中心在所述双目相机坐标系下的相机坐标；
基于预设的坐标转换矩阵，对所述相机坐标进行转换，得到所述标志物中心在世界坐标系下的世界坐标；
将所述世界坐标输入至预先训练的逆运动学神经网络模型，求解所述四足机器人腿足的各个关节角度，利用所述关节角度对所述四足机器人腿足进行标定。
2.根据权利要求1所述的方法，其特征在于，所述计算所述标定图像中标志物中心在像素坐标系下的像素坐标，包括：
通过目标检测算法识别所述标定图像中的所述标志物；
利用角点检测算法计算识别出的所述标志物的多个顶点在所述像素坐标系下的坐标，计算所述多个顶点在所述像素坐标系下的坐标平均值，得到所述标志物中心在像素坐标系下的像素坐标。
3.根据权利要求1所述的方法，其特征在于，在计算所述标志物中心在所述双目相机坐标系下的相机坐标之前，还包括：
对所述双目相机进行标定，获取所述双目相机的内参矩阵；
利用所述双目相机采集距离所述双目相机不同距离的多张标志物图像；
收集所述多张标志物图像中z坐标值和与所述z坐标值对应标志物中心点分别在所述双目相机获取的图像中的x轴方向的像素坐标值，根据所述x轴方向的像素坐标值计算x轴方向的视差值；
利用拟合算法求解所述z坐标值与所述x轴方向视差值之间的关系。
4.根据权利要求1所述的方法，其特征在于，在基于预设的坐标转换矩阵，对所述相机坐标进行转换，得到所述标志物中心在世界坐标系下的世界坐标之前，还包括：
计算所述标志物在所述双目相机坐标系下的相机坐标和所述标志物在所述世界坐标系下的世界坐标；
利用仿射变换函数确定所述相机坐标和所述世界坐标之间的变换关系，根据所述变换关系得到所述坐标转换矩阵。
5.根据权利要求1所述的方法，其特征在于，在将所述世界坐标输入至预先训练的逆运动学神经网络模型之前，还包括：
利用D-H参数法建立所述四足机器人的正运动学模型，通过所述正运动学模型，根据随机给定的所述四足机器人腿足的各个关节角度计算所述四足机器人腿足末端位置在世界坐标系下世界坐标，生成所述关节角度与所述世界坐标对应的训练数据集；
利用所述训练数据集进行神经网络模型训练，得到所述逆运动学神经网络模型。
6.一种四足机器人的腿足运动学标定***，其特征在于，包括：
采集模块，用于采集固定于所述四足机器人腿足上的标志物的标定图像；
第一计算模块，用于计算所述标定图像中标志物中心在像素坐标系下的像素坐标；
第二计算模块，用于根据所述像素坐标、预先标定的双目相机的内参矩阵和双目相机坐标系下所述标志物中心的z坐标和所述标定图像在x轴方向的视差之间的关系计算所述标志物中心在所述双目相机坐标系下的相机坐标；
转换模块，用于基于预设的坐标转换矩阵，对所述相机坐标进行转换，得到所述标志物中心在世界坐标系下的世界坐标；
标定模块，用于将所述世界坐标输入至预先训练的逆运动学神经网络模型，求解所述四足机器人腿足的各个关节角度，利用所述关节角度对所述四足机器人腿足进行标定。
7.根据权利要求6所述的***，其特征在于，所述第一计算模块进一步用于，通过目标检测算法识别所述标定图像中的所述标志物，利用角点检测算法计算识别出的所述标志物的多个顶点在所述像素坐标系下的坐标，计算所述多个顶点在所述像素坐标系下的坐标平均值，得到所述标志物中心在像素坐标系下的像素坐标。
8.根据权利要求6所述的***，其特征在于，还包括：
第一生成模块，用于在计算所述标志物中心在所述双目相机坐标系下的相机坐标之前，对所述双目相机进行标定，获取所述双目相机的内参矩阵；利用所述双目相机采集距离所述双目相机不同距离的多张标志物图像；收集所述多张标志物图像中z坐标值和与所述z坐标值对应标志物中心点分别在所述双目相机获取的图像中的x轴方向的像素坐标值，根据所述x轴方向的像素坐标值计算x轴方向的视差值；利用拟合算法求解所述z坐标值与所述x轴方向视差值之间的关系。
9.根据权利要求6所述的***，其特征在于，还包括：
第二生成模块，用于在基于预设的坐标转换矩阵，对所述相机坐标进行转换，得到所述标志物中心在世界坐标系下的世界坐标之前，计算所述标志物在所述双目相机坐标系下的相机坐标和所述标志物在所述世界坐标系下的世界坐标；利用仿射变换函数确定所述相机坐标和所述世界坐标之间的变换关系，根据所述变换关系得到所述坐标转换矩阵。
10.根据权利要求6所述的***，其特征在于，还包括：
训练模块，用于在将所述世界坐标输入至预先训练的逆运动学神经网络模型之前，利用D-H参数法建立所述四足机器人的正运动学模型，通过所述正运动学模型，根据随机给定的所述四足机器人腿足的各个关节角度计算所述四足机器人腿足末端位置在世界坐标系下世界坐标，生成所述关节角度与所述世界坐标对应的训练数据集；利用所述训练数据集进行神经网络模型训练，得到所述逆运动学神经网络模型。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的四足机器人的腿足运动学标定方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的四足机器人的腿足运动学标定方法。
CN202210415395.6A 2022-04-20 2022-04-20 四足机器人的腿足运动学标定方法、***、设备及介质 Pending CN114519748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210415395.6A CN114519748A (zh) 2022-04-20 2022-04-20 四足机器人的腿足运动学标定方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210415395.6A CN114519748A (zh) 2022-04-20 2022-04-20 四足机器人的腿足运动学标定方法、***、设备及介质

Publications (1)

Publication Number Publication Date
CN114519748A true CN114519748A (zh) 2022-05-20

Family

ID=81600424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210415395.6A Pending CN114519748A (zh) 2022-04-20 2022-04-20 四足机器人的腿足运动学标定方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN114519748A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116222516A (zh) * 2022-12-30 2023-06-06 北京元客视界科技有限公司 光学***坐标系的设定方法、装置、电子设备及存储介质
CN116974257A (zh) * 2023-09-25 2023-10-31 浪潮云洲工业互联网有限公司 一种基于逆动力学的鹤管自动充装控制方法、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102922521A (zh) * 2012-08-07 2013-02-13 中国科学技术大学 一种基于立体视觉伺服的机械臂***及其实时校准方法
CN103776419A (zh) * 2014-01-24 2014-05-07 华南理工大学 一种提高测量范围的双目视觉测距方法
US20200311416A1 (en) * 2019-03-29 2020-10-01 Huazhong University Of Science And Technology Pose recognition method, device and system for an object of interest to human eyes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102922521A (zh) * 2012-08-07 2013-02-13 中国科学技术大学 一种基于立体视觉伺服的机械臂***及其实时校准方法
CN103776419A (zh) * 2014-01-24 2014-05-07 华南理工大学 一种提高测量范围的双目视觉测距方法
US20200311416A1 (en) * 2019-03-29 2020-10-01 Huazhong University Of Science And Technology Pose recognition method, device and system for an object of interest to human eyes

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
应再恩等: "基于双目视觉动态跟踪的机器人标定", 《计算机应用研究》 *
李旭等: "带双目视觉的SCARA机械臂运动学分析及轨迹规划", 《机械》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116222516A (zh) * 2022-12-30 2023-06-06 北京元客视界科技有限公司 光学***坐标系的设定方法、装置、电子设备及存储介质
CN116974257A (zh) * 2023-09-25 2023-10-31 浪潮云洲工业互联网有限公司 一种基于逆动力学的鹤管自动充装控制方法、设备及介质
CN116974257B (zh) * 2023-09-25 2023-12-26 浪潮云洲工业互联网有限公司 一种基于逆动力学的鹤管自动充装控制方法、设备及介质

Similar Documents

Publication Publication Date Title
CN114519748A (zh) 四足机器人的腿足运动学标定方法、***、设备及介质
CN106457562A (zh) 用于校准机器人的方法和机器人***
JP2005300230A (ja) 計測装置
CN113870366B (zh) 基于位姿传感器的三维扫描***的标定方法及其标定***
CN110969665B (zh) 一种外参标定方法、装置、***及机器人
CN112767493B (zh) Stewart平台运动学参数的机器视觉标定方法
JP4810893B2 (ja) 距離計測装置
CN112183171A (zh) 一种基于视觉信标建立信标地图方法、装置
CN110597249B (zh) 一种机器人及其回充定位方法和装置
CN114332225A (zh) 车道线匹配定位方法、电子设备及存储介质
CN112388635B (zh) 机器人多传感器融合感知与空间定位的方法、***及装置
CN109909999B (zh) 一种获取机器人tcp坐标的方法和装置
CN114310901A (zh) 用于机器人的坐标系标定方法、装置、***以及介质
CN115816448A (zh) 基于光学定位仪的机械臂标定方法、装置、设备及介质
JP2016148649A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN114387352A (zh) 一种外参标定方法、装置、设备及存储介质
CN112508933B (zh) 一种基于复杂空间障碍物定位的柔性机械臂运动避障方法
CN115446836B (zh) 一种基于多种图像特征信息混合的视觉伺服方法
CN111699445B (zh) 机器人运动学模型优化方法、***和存储装置
CN113324538B (zh) 一种合作目标远距离高精度六自由度位姿测量方法
CN114353802A (zh) 一种基于激光跟踪的机器人三维空间定位方法
CN112971984A (zh) 一种基于一体化手术机器人的坐标配准方法
Zhu et al. Multi-camera System Calibration of Indoor Mobile Robot Based on SLAM
CN114310869A (zh) 机器人手眼标定方法、***以及终端
CN114474069B (zh) 一种基于空间正交约束的机器人线结构光手眼标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220520

RJ01 Rejection of invention patent application after publication