CN117506941B - 机械臂的控制方法、装置、可读存储介质和电子设备 - Google Patents

机械臂的控制方法、装置、可读存储介质和电子设备 Download PDF

Info

Publication number
CN117506941B
CN117506941B CN202410017484.4A CN202410017484A CN117506941B CN 117506941 B CN117506941 B CN 117506941B CN 202410017484 A CN202410017484 A CN 202410017484A CN 117506941 B CN117506941 B CN 117506941B
Authority
CN
China
Prior art keywords
laser
plane
mechanical arm
distance
difference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410017484.4A
Other languages
English (en)
Other versions
CN117506941A (zh
Inventor
彭育煌
郭立诚
张先浩
胡伟涛
刘超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Gree Intelligent Equipment Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Gree Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Gree Intelligent Equipment Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202410017484.4A priority Critical patent/CN117506941B/zh
Publication of CN117506941A publication Critical patent/CN117506941A/zh
Application granted granted Critical
Publication of CN117506941B publication Critical patent/CN117506941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本申请提供了一种机械臂的控制方法、装置、可读存储介质和电子设备，机械臂上安装有相机与至少一个激光测距传感器，该方法包括：获取至少三个激光交点，并根据所有的激光交点确定第一平面的位置，第一平面为存在操作孔位的平面，激光交点为激光测距传感器发出的激光与操作工件靠近机械臂的表面的交点，激光交点与激光测距传感器一一对应；将与各激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；控制机械臂移动，使得第一平面与第二平面平行，以使得相机拍摄出操作孔位图像为正圆。该方法通过多个高精度激光测距传感器与机械臂数据交互，算法运用，实现机械臂位置自动校准，自动找平。

Description

机械臂的控制方法、装置、可读存储介质和电子设备
技术领域
本申请涉及机械臂的控制领域，具体而言，涉及一种机械臂的控制方法、机械臂的控制装置、计算机可读存储介质和电子设备。
背景技术
在现有技术中，通常将相机装配在机械臂上，采用固定机械臂点位进行工作面的图像采集。但被采集照片的工件存在位置误差和自身形状误差，同时机械臂到达点位也存在一定的误差，导致采集的图像出现偏差，影响视觉***的识别和定位。
例如：在空调顶盖自动固定中，需要视觉***采集顶盖的孔位位置。在视觉模板中，机械臂上的相机与空调顶盖孔位面垂直，则相机采集的孔位图片，孔位成像为正圆，视觉***识别的圆心与实际孔位圆心高度重合，为后续机械臂固定空调顶盖（打固定螺丝）提供准确数据。但在实际运行中，由于各误差的叠加，导致相机与空调顶盖孔位面不垂直，使视觉***采集的孔位成像为椭圆，视觉***识别的圆心与实际孔位圆心出现较大偏差，导致螺丝无法对准孔位，出现打偏，滑入螺丝孔（损坏顶盖表面）以及无法打入的问题。
发明内容
本申请的主要目的在于提供一种机械臂的控制方法、机械臂的控制装置、计算机可读存储介质和电子设备，以至少解决现有技术中机械臂进行打孔操作时偏差较大且精度较低，导致打偏、损伤工件或者无法打入的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种机械臂的控制方法，机械臂上安装有相机与至少一个激光测距传感器，在所述激光测距传感器有多个的情况下，所有的所述激光测距传感器在所述机械臂上的安装高度相同，所述方法包括：获取至少三个激光交点，并根据所有的所述激光交点确定第一平面的位置，所述第一平面为存在操作孔位的平面，所述激光交点为所述激光测距传感器发出的激光与操作工件靠近所述机械臂的表面的交点，所述激光交点与所述激光测距传感器一一对应；将与各所述激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；控制所述机械臂移动，使得所述第一平面与所述第二平面平行，以使得所述相机拍摄出操作孔位图像为正圆。
可选地，控制所述机械臂移动，使得所述第一平面与所述第二平面平行，包括：获取标准预设距离，所述标准预设距离为在所述相机拍摄出的所述操作孔位图像的大小在预设大小范围内且所述操作孔位图像的清晰度在预设清晰度范围内的情况下，所述第一平面与所述第二平面之间的距离；获取与各所述激光交点对应的激光检测距离，所述激光检测距离为所述激光测距传感器检测到的所述激光测距传感器到所述激光交点之间的距离；在所述激光检测距离与所述标准预设距离不相等的情况下，控制所述机械臂移动，使得所述第一平面与所述第二平面平行。
可选地，在所述激光检测距离与所述标准预设距离不相等的情况下，控制所述机械臂移动，使得所述第一平面与所述第二平面平行，包括：获取各所述激光交点对应的激光距离差值，所述激光距离差值为所述激光检测距离与所述标准预设距离之间的差值；在至少一个所述激光距离差值的绝对值大于预设差值误差的情况下，控制所述机械臂移动，使得所述第一平面与所述第二平面平行。
可选地，在所述激光检测距离与所述标准预设距离不相等的情况下，控制所述机械臂移动，使得所述第一平面与所述第二平面平行，包括：获取各所述激光交点对应的激光距离比值，所述激光距离比值为所述激光检测距离与所述标准预设距离之间的比值；在至少一个所述激光距离比值的绝对值大于预设比值误差的情况下，控制所述机械臂移动，使得所述第一平面与所述第二平面平行。
可选地，所述机械臂为六轴机械臂，控制所述机械臂移动，使得所述第一平面与所述第二平面平行，以使得所述相机拍摄出操作孔位图像为正圆，包括：获取各所述激光交点对应的激光距离差值，所述激光距离差值为所述激光检测距离与所述标准预设距离之间的差值；根据各所述激光交点对应的所述激光距离差值，确定所述六轴机械臂的调节参数，并控制所述六轴机械臂的各轴按照所述调节参数进行移动，以使得所述六轴机械臂移动至最终位置，以使得所述相机拍摄出的所述操作孔位图像为正圆且位于目标拍摄范围内，所述六轴机械臂的最终位置为使得所述第一平面与所述第二平面平行的位置。
可选地，根据各所述激光交点对应的所述激光距离差值，确定所述六轴机械臂的调节参数，包括：构建神经网络模型，其中，所述神经网络模型是使用多组训练数据训练得到的，所述多组训练数据中的每一组训练数据均包括历史时间段内获取的：各所述激光交点对应的历史激光距离差值以及与各所述历史激光距离差值对应的所述六轴机械臂的调节参数；根据所述神经网络模型和各所述激光交点对应的所述激光距离差值，确定所述六轴机械臂的调节参数。
可选地，在控制所述机械臂移动，使得所述第一平面与所述第二平面平行，以使得所述相机拍摄出操作孔位图像为正圆之后，所述方法还包括：根据所述相机拍摄出的所述操作孔位图像，对所述操作孔位进行定位以所述操作孔位在工件上的位置；控制所述机械臂移动至所述操作孔位正上方，以对所述操作孔位进行打孔操作。
根据本申请的另一方面，提供了一种机械臂的控制装置，机械臂上安装有相机与至少一个激光测距传感器，在所述激光测距传感器有多个的情况下，所有的所述激光测距传感器在所述机械臂上的安装高度相同，所述装置包括：获取单元，用于获取至少三个激光交点，并根据所有的所述激光交点确定第一平面的位置，所述第一平面为存在操作孔位的平面，所述激光交点为所述激光测距传感器发出的激光与操作工件靠近所述机械臂的表面的交点，所述激光交点与所述激光测距传感器一一对应；确定单元，用于将与各所述激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；控制单元，用于控制所述机械臂移动，使得所述第一平面与所述第二平面平行，以使得所述相机拍摄出操作孔位图像为正圆。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的机械臂的控制方法。
根据本申请的另一方面，提供了一种电子设备，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的机械臂的控制方法。
应用本申请的技术方案，上述机械臂的控制方法，机械臂上安装有相机与至少一个激光测距传感器，在激光测距传感器有多个的情况下，所有的激光测距传感器在机械臂上的安装高度相同，该方法首先获取至少三个激光交点，并根据所有的激光交点确定第一平面的位置，第一平面为存在操作孔位的平面，激光交点为激光测距传感器发出的激光与操作工件靠近机械臂的表面的交点，激光交点与激光测距传感器一一对应；其次将与各激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；最后控制机械臂移动，使得第一平面与第二平面平行，以使得相机拍摄出操作孔位图像为正圆。该方法通过多个高精度激光测距传感器与机械臂数据交互，算法运用，实现机械臂位置自动校准，自动找平，解决了现有技术中机械臂进行打孔操作时偏差较大且精度较低，导致打偏、损伤工件或者无法打入的问题。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据本申请的实施例中提供的一种执行机械臂的控制方法的移动终端的硬件结构框图；
图2示出了根据本申请的实施例提供的一种机械臂的控制方法的流程示意图；
图3示出了根据本申请的实施例提供的一种机械臂的控制方法的原理示意图；
图4示出了根据本申请的实施例提供的一种机械臂的控制***的示意图；
图5示出了根据本申请的实施例提供的另一种机械臂的控制方法的流程示意图；
图6示出了根据本申请的实施例提供的一种机械臂的控制装置的结构框图。
其中，上述附图包括以下附图标记：
01、相机；02、工件孔位；102、处理器；104、存储器；106、传输设备；108、输入输出设备。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
正如背景技术中所介绍的，现有技术中通常将相机装配在机械臂上，采用固定机械臂点位进行工作面的图像采集。但被采集照片的工件存在位置误差和自身形状误差，同时机械臂到达点位也存在一定的误差，导致采集的图像出现偏差，影响视觉***的识别和定位，为解决现有技术中机械臂进行打孔操作时偏差较大且精度较低，导致打偏、损伤工件或者无法打入的问题，本申请的实施例提供了一种机械臂的控制方法、机械臂的控制装置、计算机可读存储介质和电子设备。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种机械臂的控制方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中机械臂的控制方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于移动终端、计算机终端或者类似的运算装置的机械臂的控制方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本申请实施例的机械臂的控制方法的流程图。如图2所示，机械臂上安装有相机与至少一个激光测距传感器，在上述激光测距传感器有多个的情况下，所有的上述激光测距传感器在上述机械臂上的安装高度相同，该方法包括以下步骤：
步骤S201，获取至少三个激光交点，并根据所有的上述激光交点确定第一平面的位置，上述第一平面为存在操作孔位的平面，上述激光交点为上述激光测距传感器发出的激光与操作工件靠近上述机械臂的表面的交点，上述激光交点与上述激光测距传感器一一对应；
具体的，激光测距传感器是一种利用激光技术来测量距离的传感器。它通过发射激光束并测量光束被目标物体反射回来的时间来计算目标物体与传感器之间的距离。激光测距传感器通常具有高精度、快速响应和长测距范围的特点，因此在工业自动化、机器人、无人驾驶车辆、测绘和地理信息***等领域得到广泛应用。
步骤S202，将与各上述激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；
具体的，激光测距传感器为单点激光测距传感器的情况下需要安装至少三个，因为三个点才可以确定一个平面，或者可以采用一个多点激光测距传感器代替。多点激光测距传感器是一种能够同时测量多个点的距离的传感器。它通常使用激光束来测量目标物体的距离，通过分析激光束的返回时间和强度来计算目标物体的距离。这种传感器通常被用于测量复杂形状的物体，或者需要同时测量多个点的距离的场合。它可以在工业自动化、机器人技术、无人驾驶汽车等领域应用。多点激光测距传感器的精度和测量范围通常取决于其设计和制造技术。
步骤S203，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆。
具体的，如图3所示，以模板为基准，三个高精度激光传感器到空调顶盖孔位面的距离分别为H1，H2，H3，此时相机采集的工件孔位图像为椭圆形，传感器发射的激光与工件表面形成三个交点a1，a2，a3。a1，a2，a3形成一个平面P1（三点成一个平面），三个传感器形成一个平面P2，其中，相机01位于P1平面上，工件孔位02位于P2平面上，面对不同工件，机器人通过调整姿态，使得P1和P2平行，使得H1=H2=H3=H，这样就可以得到正圆图像。
另外，在执行上述步骤前，需要先进行手动执行机械臂操作，使得工件的孔位在视觉***中的成像为正圆，并记录当前时刻三个高精度激光测距传感器到工件表面的距离数据，并保存数据。
另外，操作孔位图像需要在相机正中间，或者在相机中间的预设范围内。
其中，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括如下步骤：
步骤S301，获取标准预设距离，上述标准预设距离为在上述相机拍摄出的上述操作孔位图像的大小在预设大小范围内且上述操作孔位图像的清晰度在预设清晰度范围内的情况下，上述第一平面与上述第二平面之间的距离；
步骤S302，获取与各上述激光交点对应的激光检测距离，上述激光检测距离为上述激光测距传感器检测到的上述激光测距传感器到上述激光交点之间的距离；
步骤S303，在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
具体的，这样可以通过三个激光测距传感器测量到的距离值，对机械臂进行调整，以使得第一平面和第二平面平行，从而使得相机拍摄到的孔位图像为正圆，从而使得机械臂精准打孔。
其中，在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括如下步骤：
步骤S401，获取各上述激光交点对应的激光距离差值，上述激光距离差值为上述激光检测距离与上述标准预设距离之间的差值；
步骤S402，在至少一个上述激光距离差值的绝对值大于预设差值误差的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
具体的，预设差值误差的设置是为了将微小的测量误差考虑到，在保证计算准确度的同时也节省了计算资源和计算时间。
在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括如下步骤：
步骤S501，获取各上述激光交点对应的激光距离比值，上述激光距离比值为上述激光检测距离与上述标准预设距离之间的比值；
步骤S502，在至少一个上述激光距离比值的绝对值大于预设比值误差的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
具体的，预设比值误差的设置是为了将微小的测量误差考虑到，在保证计算准确度的同时也节省了计算资源和计算时间。
其中，上述机械臂为六轴机械臂，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆，包括如下步骤：
步骤S601，获取各上述激光交点对应的激光距离差值，上述激光距离差值为上述激光检测距离与上述标准预设距离之间的差值；
步骤S602，根据各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数，并控制上述六轴机械臂的各轴按照上述调节参数进行移动，以使得上述六轴机械臂移动至最终位置，以使得上述相机拍摄出的上述操作孔位图像为正圆且位于目标拍摄范围内，上述六轴机械臂的最终位置为使得上述第一平面与上述第二平面平行的位置。
具体的，这样可以使得第一平面和第二平面平行，从而使得相机拍摄到的孔位图像为正圆，从而使得机械臂精准打孔。
其中，根据各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数，包括如下步骤：
步骤S6021，构建神经网络模型，其中，上述神经网络模型是使用多组训练数据训练得到的，上述多组训练数据中的每一组训练数据均包括历史时间段内获取的：各上述激光交点对应的历史激光距离差值以及与各上述历史激光距离差值对应的上述六轴机械臂的调节参数；
步骤S6022，根据上述神经网络模型和各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数。
具体的，这样可以准确计算出要使得第一平面和第二平面平行，机械臂所要移动的距离和角度，从而精准控制机械臂移动。
其中，在控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆之后，上述方法还包括如下步骤：
步骤S701，根据上述相机拍摄出的上述操作孔位图像，对上述操作孔位进行定位以上述操作孔位在工件上的位置；
步骤S702，控制上述机械臂移动至上述操作孔位正上方，以对上述操作孔位进行打孔操作。
具体的，这样可以通过多个高精度激光测距传感器与机械臂数据交互，算法运用，实现机械臂位置自动校准，自动找平，使得机械臂可以精准进行打孔操作。
其中，上述实施例中的方法应用于机械臂的控制***中，如图4所示，包括可编程控制器（Programmable Logic Controller，简称PLC）、机械臂、视觉***和高精度激光测距传感器。相机与三个高精度激光测距传感器安装在机械臂在上，三个高精度激光测距传感器形成一个三角形，构筑一个平面。
本申请的上述机械臂的控制方法，机械臂上安装有相机与至少一个激光测距传感器，在激光测距传感器有多个的情况下，所有的激光测距传感器在机械臂上的安装高度相同，该方法首先获取至少三个激光交点，并根据所有的激光交点确定第一平面的位置，第一平面为存在操作孔位的平面，激光交点为激光测距传感器发出的激光与操作工件靠近机械臂的表面的交点，激光交点与激光测距传感器一一对应；其次将与各激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；最后控制机械臂移动，使得第一平面与第二平面平行，以使得相机拍摄出操作孔位图像为正圆。该方法通过多个高精度激光测距传感器与机械臂数据交互，算法运用，实现机械臂位置自动校准，自动找平，解决了现有技术中机械臂进行打孔操作时偏差较大且精度较低，导致打偏、损伤工件或者无法打入的问题。
为了使得本领域技术人员能够更加清楚地了解本申请的技术方案，以下将结合具体的实施例对本申请的机械臂的控制方法的实现过程进行详细说明。
本实施例涉及一种具体的机械臂的控制方法，如图5所示，包括如下步骤：
步骤S1：三个高精度激光测距传感器测量到工件表面的距离，将测量数据发送到可编程控制器（PLC）中，在可编程控制器中，测量数据与模板保存的距离数据进行对比，即判断/>是否大于或者等于/>且小于或者等于/>；
步骤S2：在的情况下，确定第一平面和第二平面平行，控制机械臂保持当前状态，视觉***开始工作，采集孔位图像；
步骤S3：在不满足的情况下，通过计算得到机械臂需要调整的数据，数据机械臂6个轴，分别需要移动的距离或者角度，机械臂收到数据，进行姿态调整。移动完毕后再次进行高精度激光测距传感器测量；
步骤S4：可编程控制器再次将测量数据与模板数据进行对比，若数据差值在允许误差范围内，则进行视觉采集工作；若数据差值超出误差允许范围，则将再次进行计算，得到机械臂移动数据，机械臂进行姿态调整；
步骤S5：步骤S2-S4之间形成一个闭环控制，以保证每次测量得到的数据都是在误差允许的范围内，保证了工件的孔位面始终与相机相互垂直，视觉***得到的孔位图像为正圆。使得孔位的圆心定位准确，确保了产品的质量。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种机械臂的控制装置，需要说明的是，本申请实施例的机械臂的控制装置可以用于执行本申请实施例所提供的用于机械臂的控制方法。该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
以下对本申请实施例提供的机械臂的控制装置进行介绍。
图6是根据本申请实施例的机械臂的控制装置的示意图。如图6所示，机械臂上安装有相机与至少一个激光测距传感器，在上述激光测距传感器有多个的情况下，所有的上述激光测距传感器在上述机械臂上的安装高度相同，该装置包括获取单元10、确定单元20和控制单元30，获取单元10用于获取至少三个激光交点，并根据所有的上述激光交点确定第一平面的位置，上述第一平面为存在操作孔位的平面，上述激光交点为上述激光测距传感器发出的激光与操作工件靠近上述机械臂的表面的交点，上述激光交点与上述激光测距传感器一一对应；确定单元20用于将与各上述激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；控制单元30用于控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆。
本申请的上述机械臂的控制装置，机械臂上安装有相机与至少一个激光测距传感器，在激光测距传感器有多个的情况下，所有的激光测距传感器在机械臂上的安装高度相同，该装置包括获取单元、确定单元和控制单元，获取单元用于获取至少三个激光交点，并根据所有的激光交点确定第一平面的位置，第一平面为存在操作孔位的平面，激光交点为激光测距传感器发出的激光与操作工件靠近机械臂的表面的交点，激光交点与激光测距传感器一一对应；确定单元用于将与各激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；控制单元用于控制机械臂移动，使得第一平面与第二平面平行，以使得相机拍摄出操作孔位图像为正圆。该装置通过多个高精度激光测距传感器与机械臂数据交互，算法运用，实现机械臂位置自动校准，自动找平，解决了现有技术中机械臂进行打孔操作时偏差较大且精度较低，导致打偏、损伤工件或者无法打入的问题。
在一些可选的实例中，控制单元包括第一获取模块、第二获取模块和第一控制模块，第一获取模块用于获取标准预设距离，上述标准预设距离为在上述相机拍摄出的上述操作孔位图像的大小在预设大小范围内且上述操作孔位图像的清晰度在预设清晰度范围内的情况下，上述第一平面与上述第二平面之间的距离；第二获取模块用于获取与各上述激光交点对应的激光检测距离，上述激光检测距离为上述激光测距传感器检测到的上述激光测距传感器到上述激光交点之间的距离；第一控制模块用于在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。这样可以通过三个激光测距传感器测量到的距离值，对机械臂进行调整，以使得第一平面和第二平面平行，从而使得相机拍摄到的孔位图像为正圆，从而使得机械臂精准打孔。
在一些可选的实例中，第一控制模块包括第三获取模块和第二控制模块，第三获取模块用于获取各上述激光交点对应的激光距离差值，上述激光距离差值为上述激光检测距离与上述标准预设距离之间的差值；第二控制模块用于在至少一个上述激光距离差值的绝对值大于预设差值误差的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。预设差值误差的设置是为了将微小的测量误差考虑到，在保证计算准确度的同时也节省了计算资源和计算时间。
在一些可选的实例中，第一控制模块包括第四获取模块和第三控制模块，第四获取模块用于获取各上述激光交点对应的激光距离比值，上述激光距离比值为上述激光检测距离与上述标准预设距离之间的比值；第三控制模块用于在至少一个上述激光距离比值的绝对值大于预设比值误差的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。预设比值误差的设置是为了将微小的测量误差考虑到，在保证计算准确度的同时也节省了计算资源和计算时间。
本实施例中，上述机械臂为六轴机械臂，控制单元包括第五获取模块和第四控制模块，第五获取模块用于获取各上述激光交点对应的激光距离差值，上述激光距离差值为上述激光检测距离与上述标准预设距离之间的差值；第四控制模块用于根据各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数，并控制上述六轴机械臂的各轴按照上述调节参数进行移动，以使得上述六轴机械臂移动至最终位置，以使得上述相机拍摄出的上述操作孔位图像为正圆且位于目标拍摄范围内，上述六轴机械臂的最终位置为使得上述第一平面与上述第二平面平行的位置。这样可以使得第一平面和第二平面平行，从而使得相机拍摄到的孔位图像为正圆，从而使得机械臂精准打孔。
一种可选的方案，第四控制模块包括构建子模块和确定子模块，构建子模块用于构建神经网络模型，其中，上述神经网络模型是使用多组训练数据训练得到的，上述多组训练数据中的每一组训练数据均包括历史时间段内获取的：确定子模块用于各上述激光交点对应的历史激光距离差值以及与各上述历史激光距离差值对应的上述六轴机械臂的调节参数；根据上述神经网络模型和各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数。这样可以准确计算出要使得第一平面和第二平面平行，机械臂所要移动的距离和角度，从而精准控制机械臂移动。
作为一种可选的方案，上述装置还包括定位模块和第五控制模块，定位模块用于在控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆之后，根据上述相机拍摄出的上述操作孔位图像，对上述操作孔位进行定位以上述操作孔位在工件上的位置；第五控制模块用于控制上述机械臂移动至上述操作孔位正上方，以对上述操作孔位进行打孔操作。这样可以通过多个高精度激光测距传感器与机械臂数据交互，算法运用，实现机械臂位置自动校准，自动找平，使得机械臂可以精准进行打孔操作。
上述机械臂的控制装置包括处理器和存储器，上述获取单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中机械臂进行打孔操作时偏差较大且精度较低，导致打偏、损伤工件或者无法打入的问题。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在上述程序运行时控制上述计算机可读存储介质所在设备执行上述机械臂的控制方法。
具体地，机械臂的控制方法包括：
步骤S201，获取至少三个激光交点，并根据所有的上述激光交点确定第一平面的位置，上述第一平面为存在操作孔位的平面，上述激光交点为上述激光测距传感器发出的激光与操作工件靠近上述机械臂的表面的交点，上述激光交点与上述激光测距传感器一一对应；
具体的，激光测距传感器是一种利用激光技术来测量距离的传感器。它通过发射激光束并测量光束被目标物体反射回来的时间来计算目标物体与传感器之间的距离。激光测距传感器通常具有高精度、快速响应和长测距范围的特点，因此在工业自动化、机器人、无人驾驶车辆、测绘和地理信息***等领域得到广泛应用。
步骤S202，将与各上述激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；
具体的，激光测距传感器为单点激光测距传感器的情况下需要安装至少三个，因为三个点才可以确定一个平面，或者可以采用一个多点激光测距传感器代替。多点激光测距传感器是一种能够同时测量多个点的距离的传感器。它通常使用激光束来测量目标物体的距离，通过分析激光束的返回时间和强度来计算目标物体的距离。这种传感器通常被用于测量复杂形状的物体，或者需要同时测量多个点的距离的场合。它可以在工业自动化、机器人技术、无人驾驶汽车等领域应用。多点激光测距传感器的精度和测量范围通常取决于其设计和制造技术。
步骤S203，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆。
具体的，如图3所示，以模板为基准，三个高精度激光传感器到空调顶盖孔位面的距离分别为H1，H2，H3，此时相机采集的工件孔位图像为椭圆形，传感器发射的激光与工件表面形成三个交点a1，a2，a3。a1，a2，a3形成一个平面P1（三点成一个平面），三个传感器形成一个平面P2，面对不同工件，机器人通过调整姿态，使得P1和P2平行，使得H1=H2=H3=H，这样就可以得到正圆图像。
可选地，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括：获取标准预设距离，上述标准预设距离为在上述相机拍摄出的上述操作孔位图像的大小在预设大小范围内且上述操作孔位图像的清晰度在预设清晰度范围内的情况下，上述第一平面与上述第二平面之间的距离；获取与各上述激光交点对应的激光检测距离，上述激光检测距离为上述激光测距传感器检测到的上述激光测距传感器到上述激光交点之间的距离；在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
可选地，在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括：获取各上述激光交点对应的激光距离差值，上述激光距离差值为上述激光检测距离与上述标准预设距离之间的差值；在至少一个上述激光距离差值的绝对值大于预设差值误差的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
可选地，在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括：获取各上述激光交点对应的激光距离比值，上述激光距离比值为上述激光检测距离与上述标准预设距离之间的比值；在至少一个上述激光距离比值的绝对值大于预设比值误差的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
可选地，上述机械臂为六轴机械臂，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆，包括：获取各上述激光交点对应的激光距离差值，上述激光距离差值为上述激光检测距离与上述标准预设距离之间的差值；根据各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数，并控制上述六轴机械臂的各轴按照上述调节参数进行移动，以使得上述六轴机械臂移动至最终位置，以使得上述相机拍摄出的上述操作孔位图像为正圆且位于目标拍摄范围内，上述六轴机械臂的最终位置为使得上述第一平面与上述第二平面平行的位置。
可选地，根据各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数，包括：构建神经网络模型，其中，上述神经网络模型是使用多组训练数据训练得到的，上述多组训练数据中的每一组训练数据均包括历史时间段内获取的：各上述激光交点对应的历史激光距离差值以及与各上述历史激光距离差值对应的上述六轴机械臂的调节参数；根据上述神经网络模型和各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数。
可选地，在控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆之后，上述方法还包括：根据上述相机拍摄出的上述操作孔位图像，对上述操作孔位进行定位以上述操作孔位在工件上的位置；控制上述机械臂移动至上述操作孔位正上方，以对上述操作孔位进行打孔操作。
本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述机械臂的控制方法。
具体地，机械臂的控制方法包括：
步骤S201，获取至少三个激光交点，并根据所有的上述激光交点确定第一平面的位置，上述第一平面为存在操作孔位的平面，上述激光交点为上述激光测距传感器发出的激光与操作工件靠近上述机械臂的表面的交点，上述激光交点与上述激光测距传感器一一对应；
具体的，激光测距传感器是一种利用激光技术来测量距离的传感器。它通过发射激光束并测量光束被目标物体反射回来的时间来计算目标物体与传感器之间的距离。激光测距传感器通常具有高精度、快速响应和长测距范围的特点，因此在工业自动化、机器人、无人驾驶车辆、测绘和地理信息***等领域得到广泛应用。
步骤S202，将与各上述激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；
具体的，激光测距传感器为单点激光测距传感器的情况下需要安装至少三个，因为三个点才可以确定一个平面，或者可以采用一个多点激光测距传感器代替。多点激光测距传感器是一种能够同时测量多个点的距离的传感器。它通常使用激光束来测量目标物体的距离，通过分析激光束的返回时间和强度来计算目标物体的距离。这种传感器通常被用于测量复杂形状的物体，或者需要同时测量多个点的距离的场合。它可以在工业自动化、机器人技术、无人驾驶汽车等领域应用。多点激光测距传感器的精度和测量范围通常取决于其设计和制造技术。
步骤S203，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆。
具体的，如图3所示，以模板为基准，三个高精度激光传感器到空调顶盖孔位面的距离分别为H1，H2，H3，此时相机采集的工件孔位图像为椭圆形，传感器发射的激光与工件表面形成三个交点a1，a2，a3。a1，a2，a3形成一个平面P1（三点成一个平面），三个传感器形成一个平面P2，面对不同工件，机器人通过调整姿态，使得P1和P2平行，使得H1=H2=H3=H，这样就可以得到正圆图像。
可选地，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括：获取标准预设距离，上述标准预设距离为在上述相机拍摄出的上述操作孔位图像的大小在预设大小范围内且上述操作孔位图像的清晰度在预设清晰度范围内的情况下，上述第一平面与上述第二平面之间的距离；获取与各上述激光交点对应的激光检测距离，上述激光检测距离为上述激光测距传感器检测到的上述激光测距传感器到上述激光交点之间的距离；在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
可选地，在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括：获取各上述激光交点对应的激光距离差值，上述激光距离差值为上述激光检测距离与上述标准预设距离之间的差值；在至少一个上述激光距离差值的绝对值大于预设差值误差的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
可选地，在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括：获取各上述激光交点对应的激光距离比值，上述激光距离比值为上述激光检测距离与上述标准预设距离之间的比值；在至少一个上述激光距离比值的绝对值大于预设比值误差的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
可选地，上述机械臂为六轴机械臂，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆，包括：获取各上述激光交点对应的激光距离差值，上述激光距离差值为上述激光检测距离与上述标准预设距离之间的差值；根据各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数，并控制上述六轴机械臂的各轴按照上述调节参数进行移动，以使得上述六轴机械臂移动至最终位置，以使得上述相机拍摄出的上述操作孔位图像为正圆且位于目标拍摄范围内，上述六轴机械臂的最终位置为使得上述第一平面与上述第二平面平行的位置。
可选地，根据各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数，包括：构建神经网络模型，其中，上述神经网络模型是使用多组训练数据训练得到的，上述多组训练数据中的每一组训练数据均包括历史时间段内获取的：各上述激光交点对应的历史激光距离差值以及与各上述历史激光距离差值对应的上述六轴机械臂的调节参数；根据上述神经网络模型和各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数。
可选地，在控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆之后，上述方法还包括：根据上述相机拍摄出的上述操作孔位图像，对上述操作孔位进行定位以上述操作孔位在工件上的位置；控制上述机械臂移动至上述操作孔位正上方，以对上述操作孔位进行打孔操作。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：
步骤S201，获取至少三个激光交点，并根据所有的上述激光交点确定第一平面的位置，上述第一平面为存在操作孔位的平面，上述激光交点为上述激光测距传感器发出的激光与操作工件靠近上述机械臂的表面的交点，上述激光交点与上述激光测距传感器一一对应；
步骤S202，将与各上述激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；
步骤S203，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆。
本文中的设备可以是服务器、PC、PAD、手机等。
可选地，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括：获取标准预设距离，上述标准预设距离为在上述相机拍摄出的上述操作孔位图像的大小在预设大小范围内且上述操作孔位图像的清晰度在预设清晰度范围内的情况下，上述第一平面与上述第二平面之间的距离；获取与各上述激光交点对应的激光检测距离，上述激光检测距离为上述激光测距传感器检测到的上述激光测距传感器到上述激光交点之间的距离；在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
可选地，在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括：获取各上述激光交点对应的激光距离差值，上述激光距离差值为上述激光检测距离与上述标准预设距离之间的差值；在至少一个上述激光距离差值的绝对值大于预设差值误差的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
可选地，在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括：获取各上述激光交点对应的激光距离比值，上述激光距离比值为上述激光检测距离与上述标准预设距离之间的比值；在至少一个上述激光距离比值的绝对值大于预设比值误差的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
可选地，上述机械臂为六轴机械臂，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆，包括：获取各上述激光交点对应的激光距离差值，上述激光距离差值为上述激光检测距离与上述标准预设距离之间的差值；根据各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数，并控制上述六轴机械臂的各轴按照上述调节参数进行移动，以使得上述六轴机械臂移动至最终位置，以使得上述相机拍摄出的上述操作孔位图像为正圆且位于目标拍摄范围内，上述六轴机械臂的最终位置为使得上述第一平面与上述第二平面平行的位置。
可选地，根据各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数，包括：构建神经网络模型，其中，上述神经网络模型是使用多组训练数据训练得到的，上述多组训练数据中的每一组训练数据均包括历史时间段内获取的：各上述激光交点对应的历史激光距离差值以及与各上述历史激光距离差值对应的上述六轴机械臂的调节参数；根据上述神经网络模型和各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数。
可选地，在控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆之后，上述方法还包括：根据上述相机拍摄出的上述操作孔位图像，对上述操作孔位进行定位以上述操作孔位在工件上的位置；控制上述机械臂移动至上述操作孔位正上方，以对上述操作孔位进行打孔操作。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：
步骤S201，获取至少三个激光交点，并根据所有的上述激光交点确定第一平面的位置，上述第一平面为存在操作孔位的平面，上述激光交点为上述激光测距传感器发出的激光与操作工件靠近上述机械臂的表面的交点，上述激光交点与上述激光测距传感器一一对应；
步骤S202，将与各上述激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；
步骤S203，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆。
可选地，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括：获取标准预设距离，上述标准预设距离为在上述相机拍摄出的上述操作孔位图像的大小在预设大小范围内且上述操作孔位图像的清晰度在预设清晰度范围内的情况下，上述第一平面与上述第二平面之间的距离；获取与各上述激光交点对应的激光检测距离，上述激光检测距离为上述激光测距传感器检测到的上述激光测距传感器到上述激光交点之间的距离；在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
可选地，在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括：获取各上述激光交点对应的激光距离差值，上述激光距离差值为上述激光检测距离与上述标准预设距离之间的差值；在至少一个上述激光距离差值的绝对值大于预设差值误差的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
可选地，在上述激光检测距离与上述标准预设距离不相等的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，包括：获取各上述激光交点对应的激光距离比值，上述激光距离比值为上述激光检测距离与上述标准预设距离之间的比值；在至少一个上述激光距离比值的绝对值大于预设比值误差的情况下，控制上述机械臂移动，使得上述第一平面与上述第二平面平行。
可选地，上述机械臂为六轴机械臂，控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆，包括：获取各上述激光交点对应的激光距离差值，上述激光距离差值为上述激光检测距离与上述标准预设距离之间的差值；根据各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数，并控制上述六轴机械臂的各轴按照上述调节参数进行移动，以使得上述六轴机械臂移动至最终位置，以使得上述相机拍摄出的上述操作孔位图像为正圆且位于目标拍摄范围内，上述六轴机械臂的最终位置为使得上述第一平面与上述第二平面平行的位置。
可选地，根据各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数，包括：构建神经网络模型，其中，上述神经网络模型是使用多组训练数据训练得到的，上述多组训练数据中的每一组训练数据均包括历史时间段内获取的：各上述激光交点对应的历史激光距离差值以及与各上述历史激光距离差值对应的上述六轴机械臂的调节参数；根据上述神经网络模型和各上述激光交点对应的上述激光距离差值，确定上述六轴机械臂的调节参数。
可选地，在控制上述机械臂移动，使得上述第一平面与上述第二平面平行，以使得上述相机拍摄出操作孔位图像为正圆之后，上述方法还包括：根据上述相机拍摄出的上述操作孔位图像，对上述操作孔位进行定位以上述操作孔位在工件上的位置；控制上述机械臂移动至上述操作孔位正上方，以对上述操作孔位进行打孔操作。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：
1）、本申请的上述机械臂的控制方法，机械臂上安装有相机与至少一个激光测距传感器，在激光测距传感器有多个的情况下，所有的激光测距传感器在机械臂上的安装高度相同，该方法首先获取至少三个激光交点，并根据所有的激光交点确定第一平面的位置，第一平面为存在操作孔位的平面，激光交点为激光测距传感器发出的激光与操作工件靠近机械臂的表面的交点，激光交点与激光测距传感器一一对应；其次将与各激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；最后控制机械臂移动，使得第一平面与第二平面平行，以使得相机拍摄出操作孔位图像为正圆。该方法通过多个高精度激光测距传感器与机械臂数据交互，算法运用，实现机械臂位置自动校准，自动找平，解决了现有技术中机械臂进行打孔操作时偏差较大且精度较低，导致打偏、损伤工件或者无法打入的问题。
2）、本申请的上述机械臂的控制装置，机械臂上安装有相机与至少一个激光测距传感器，在激光测距传感器有多个的情况下，所有的激光测距传感器在机械臂上的安装高度相同，该装置包括获取单元、确定单元和控制单元，获取单元用于获取至少三个激光交点，并根据所有的激光交点确定第一平面的位置，第一平面为存在操作孔位的平面，激光交点为激光测距传感器发出的激光与操作工件靠近机械臂的表面的交点，激光交点与激光测距传感器一一对应；确定单元用于将与各激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；控制单元用于控制机械臂移动，使得第一平面与第二平面平行，以使得相机拍摄出操作孔位图像为正圆。该装置通过多个高精度激光测距传感器与机械臂数据交互，算法运用，实现机械臂位置自动校准，自动找平，解决了现有技术中机械臂进行打孔操作时偏差较大且精度较低，导致打偏、损伤工件或者无法打入的问题。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种机械臂的控制方法，其特征在于，机械臂上安装有相机与至少一个激光测距传感器，在所述激光测距传感器有多个的情况下，所有的所述激光测距传感器在所述机械臂上的安装高度相同，所述方法包括：
获取至少三个激光交点，并根据所有的所述激光交点确定第一平面的位置，所述第一平面为存在操作孔位的平面，所述激光交点为所述激光测距传感器发出的激光与操作工件靠近所述机械臂的表面的交点，所述激光交点与所述激光测距传感器一一对应；
将与各所述激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；
控制所述机械臂移动，使得所述第一平面与所述第二平面平行，以使得所述相机拍摄出操作孔位图像为正圆；
控制所述机械臂移动，使得所述第一平面与所述第二平面平行，包括：
获取标准预设距离，所述标准预设距离为在所述相机拍摄出的所述操作孔位图像的大小在预设大小范围内且所述操作孔位图像的清晰度在预设清晰度范围内的情况下，所述第一平面与所述第二平面之间的距离；
获取与各所述激光交点对应的激光检测距离，所述激光检测距离为所述激光测距传感器检测到的所述激光测距传感器到所述激光交点之间的距离；
在所述激光检测距离与所述标准预设距离不相等的情况下，控制所述机械臂移动，使得所述第一平面与所述第二平面平行；
所述机械臂为六轴机械臂，控制所述机械臂移动，使得所述第一平面与所述第二平面平行，以使得所述相机拍摄出操作孔位图像为正圆，包括：
获取各所述激光交点对应的激光距离差值，所述激光距离差值为所述激光检测距离与所述标准预设距离之间的差值；
根据各所述激光交点对应的所述激光距离差值，确定所述六轴机械臂的调节参数，并控制所述六轴机械臂的各轴按照所述调节参数进行移动，以使得所述六轴机械臂移动至最终位置，以使得所述相机拍摄出的所述操作孔位图像为正圆且位于目标拍摄范围内，所述六轴机械臂的最终位置为使得所述第一平面与所述第二平面平行的位置；
在所述激光检测距离与所述标准预设距离不相等的情况下，控制所述机械臂移动，使得所述第一平面与所述第二平面平行，包括：
获取各所述激光交点对应的激光距离差值，所述激光距离差值为所述激光检测距离与所述标准预设距离之间的差值；
在至少一个所述激光距离差值的绝对值大于预设差值误差的情况下，控制所述机械臂移动，使得所述第一平面与所述第二平面平行；
或者，
获取各所述激光交点对应的激光距离比值，所述激光距离比值为所述激光检测距离与所述标准预设距离之间的比值；
在至少一个所述激光距离比值的绝对值大于预设比值误差的情况下，控制所述机械臂移动，使得所述第一平面与所述第二平面平行。
2.根据权利要求1所述的控制方法，其特征在于，根据各所述激光交点对应的所述激光距离差值，确定所述六轴机械臂的调节参数，包括：
构建神经网络模型，其中，所述神经网络模型是使用多组训练数据训练得到的，所述多组训练数据中的每一组训练数据均包括历史时间段内获取的：各所述激光交点对应的历史激光距离差值以及与各所述历史激光距离差值对应的所述六轴机械臂的调节参数；
根据所述神经网络模型和各所述激光交点对应的所述激光距离差值，确定所述六轴机械臂的调节参数。
3.根据权利要求1至2中任意一项所述的控制方法，其特征在于，在控制所述机械臂移动，使得所述第一平面与所述第二平面平行，以使得所述相机拍摄出操作孔位图像为正圆之后，所述方法还包括：
根据所述相机拍摄出的所述操作孔位图像，对所述操作孔位进行定位以所述操作孔位在工件上的位置；
控制所述机械臂移动至所述操作孔位正上方，以对所述操作孔位进行打孔操作。
4.一种机械臂的控制装置，其特征在于，机械臂上安装有相机与至少一个激光测距传感器，在所述激光测距传感器有多个的情况下，所有的所述激光测距传感器在所述机械臂上的安装高度相同，所述装置包括：
获取单元，用于获取至少三个激光交点，并根据所有的所述激光交点确定第一平面的位置，所述第一平面为存在操作孔位的平面，所述激光交点为所述激光测距传感器发出的激光与操作工件靠近所述机械臂的表面的交点，所述激光交点与所述激光测距传感器一一对应；
确定单元，用于将与各所述激光测距传感器发出的激光光束垂直的且所有的激光测距传感器的表面所在的公共平面确定为第二平面；
控制单元，用于控制所述机械臂移动，使得所述第一平面与所述第二平面平行，以使得所述相机拍摄出操作孔位图像为正圆；
所述控制单元包括第一获取模块、第二获取模块和第一控制模块，所述第一获取模块用于获取标准预设距离，所述标准预设距离为在所述相机拍摄出的所述操作孔位图像的大小在预设大小范围内且所述操作孔位图像的清晰度在预设清晰度范围内的情况下，所述第一平面与所述第二平面之间的距离；所述第二获取模块用于获取与各所述激光交点对应的激光检测距离，所述激光检测距离为所述激光测距传感器检测到的所述激光测距传感器到所述激光交点之间的距离；所述第一控制模块用于在所述激光检测距离与所述标准预设距离不相等的情况下，控制所述机械臂移动，使得所述第一平面与所述第二平面平行；
所述机械臂为六轴机械臂，所述控制单元包括第五获取模块和第四控制模块，所述第五获取模块用于获取各所述激光交点对应的激光距离差值，所述激光距离差值为所述激光检测距离与所述标准预设距离之间的差值；所述第四控制模块用于根据各所述激光交点对应的所述激光距离差值，确定所述六轴机械臂的调节参数，并控制所述六轴机械臂的各轴按照所述调节参数进行移动，以使得所述六轴机械臂移动至最终位置，以使得所述相机拍摄出的所述操作孔位图像为正圆且位于目标拍摄范围内，所述六轴机械臂的最终位置为使得所述第一平面与所述第二平面平行的位置；
所述第一控制模块包括第三获取模块和第二控制模块，所述第三获取模块用于获取各所述激光交点对应的激光距离差值，所述激光距离差值为所述激光检测距离与所述标准预设距离之间的差值；所述第二控制模块用于在至少一个所述激光距离差值的绝对值大于预设差值误差的情况下，控制所述机械臂移动，使得所述第一平面与所述第二平面平行；
所述第一控制模块包括第四获取模块和第三控制模块，所述第四获取模块用于获取各所述激光交点对应的激光距离比值，所述激光距离比值为所述激光检测距离与所述标准预设距离之间的比值；所述第三控制模块用于在至少一个所述激光距离比值的绝对值大于预设比值误差的情况下，控制所述机械臂移动，使得所述第一平面与所述第二平面平行。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至3中任意一项所述的机械臂的控制方法。
6.一种电子设备，其特征在于，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至3中任意一项所述的机械臂的控制方法。
CN202410017484.4A 2024-01-05 2024-01-05 机械臂的控制方法、装置、可读存储介质和电子设备 Active CN117506941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410017484.4A CN117506941B (zh) 2024-01-05 2024-01-05 机械臂的控制方法、装置、可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410017484.4A CN117506941B (zh) 2024-01-05 2024-01-05 机械臂的控制方法、装置、可读存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN117506941A CN117506941A (zh) 2024-02-06
CN117506941B true CN117506941B (zh) 2024-05-03

Family

ID=89755397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410017484.4A Active CN117506941B (zh) 2024-01-05 2024-01-05 机械臂的控制方法、装置、可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN117506941B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103552083A (zh) * 2013-10-30 2014-02-05 上海华力微电子有限公司 调整机械臂位置的方法
CN110296680A (zh) * 2019-06-11 2019-10-01 清华大学 机器人抓取货品的姿态测量方法和***
CN110842908A (zh) * 2018-08-21 2020-02-28 广州弘度信息科技有限公司 一种机器人及其辅助定位方法
CN112123342A (zh) * 2020-11-25 2020-12-25 清华大学 一种机器人***以及测控方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4524132B2 (ja) * 2004-03-30 2010-08-11 東京エレクトロン株式会社 真空処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103552083A (zh) * 2013-10-30 2014-02-05 上海华力微电子有限公司 调整机械臂位置的方法
CN110842908A (zh) * 2018-08-21 2020-02-28 广州弘度信息科技有限公司 一种机器人及其辅助定位方法
CN110296680A (zh) * 2019-06-11 2019-10-01 清华大学 机器人抓取货品的姿态测量方法和***
CN112123342A (zh) * 2020-11-25 2020-12-25 清华大学 一种机器人***以及测控方法

Also Published As

Publication number Publication date
CN117506941A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN108717715B (zh) 一种用于弧焊机器人的线结构光视觉***自动标定方法
CN112223302B (zh) 基于多传感器的带电作业机器人的快速标定方法及装置
EP2836869B1 (en) Active alignment using continuous motion sweeps and temporal interpolation
KR101988083B1 (ko) 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법
CN110910459B (zh) 一种对摄像装置的标定方法、装置及标定设备
CN113674345B (zh) 一种二维像素级三维定位***及定位方法
CN103895023A (zh) 一种基于编码方位装置的机械臂末端跟踪测量***及方法
CN103020952A (zh) 信息处理设备和信息处理方法
JP2005201824A (ja) 計測装置
CN110006361B (zh) 基于工业机器人的零件自动化检测方法及***
CN109191527B (zh) 一种基于最小化距离偏差的对位方法及装置
US9491363B2 (en) Automatic tuning method and system for optical image stabilization camera modules
US20170292827A1 (en) Coordinate measuring system
CN109035345A (zh) 基于高斯过程回归的tof相机距离校正方法
US11548156B2 (en) Device and method for calibrating coordinate system of 3D camera and robotic arm
CN111780715A (zh) 一种视觉测距方法
CN113567964A (zh) 激光雷达自动测试方法及装置、***
CN114310868A (zh) 机器手臂的坐标系校正设备及校正方法
KR101735325B1 (ko) 점군 정합 장치
CN117506941B (zh) 机械臂的控制方法、装置、可读存储介质和电子设备
CN113252066B (zh) 里程计设备参数的标定方法及装置、存储介质、电子装置
CN111267015B (zh) 加工定位方法、装置、设备及存储介质
CN116105600B (zh) 基于双目相机的瞄准目标的方法、处理装置及激光跟踪仪
CN114677429B (zh) 一种机械手的定位方法、装置、计算机设备和存储介质
CN114378808B (zh) 一种多目相机和线激光辅助机械臂跟踪目标的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant