CN110253570B - 基于视觉的工业机械臂人机安全*** - Google Patents

基于视觉的工业机械臂人机安全*** Download PDF

Info

Publication number
CN110253570B
CN110253570B CN201910448748.0A CN201910448748A CN110253570B CN 110253570 B CN110253570 B CN 110253570B CN 201910448748 A CN201910448748 A CN 201910448748A CN 110253570 B CN110253570 B CN 110253570B
Authority
CN
China
Prior art keywords
robot
module
person
mechanical arm
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910448748.0A
Other languages
English (en)
Other versions
CN110253570A (zh
Inventor
欧林林
来磊
禹鑫燚
吴加鑫
金燕芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Huibo Robot Technology Co.,Ltd.
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910448748.0A priority Critical patent/CN110253570B/zh
Publication of CN110253570A publication Critical patent/CN110253570A/zh
Application granted granted Critical
Publication of CN110253570B publication Critical patent/CN110253570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

一种基于视觉的工业机械臂人机安全***，包括：用于捕捉运动物体各个时刻空间位置的运动物体跟踪模块，用于获取机器人关节信息并对机器人进行3D可视化的机器人运动可视化模块，用于机器人3D模型与环境中的操作者之间的最小距离计算的碰撞检测模块，用于进行机器人运动轨迹规划和修正的碰撞避免模块。首先该***通过两个kinect摄像机提取环境中操作员的图像信息，并进行数据融合。然后获取机器人当前状态，构建机器人所在环境的3D模型。接着利用轴对齐包围盒法对操作员和机器人进行碰撞检测。最后，根据碰撞检测的结果，防撞模块可以对操作人员进行报警，并停止机器人或修改机器人的轨迹，使其远离正在接近的操作人员。

Description

基于视觉的工业机械臂人机安全***
技术领域
本发明涉及一种工业机械臂人机安全***，尤其是一种基于视觉的工业机械臂人机安全***。
背景技术
近年来随着机器人技术的快速发展，生产过程机械化及自动化水平的不断提高，机器人在许多场合下已经将人从体力劳动中解放出来。在工业应用的场合下，为了保障人和机器人的安全，机器人在其工作的区域通常设有障碍物来使机器人和人之间产生物理空间上的隔离。虽然这是最简单而有效的方法，但这却阻碍了机器人和人之间的交互，因为机器人无法适应未知的环境。在保证人的安全的前提下，人与机器人能够安全共存，共享一个工作空间，这样可以发挥人和机器人的各自优势，提高生产效率。因此，机器人与人之间合作的安全考虑已经成为未来人机协作发展的首要任务。
为了解决上述问题，基于各类传感器的监测***被开发完成。朱宏洁提出一种工业机械臂的安全警报机械爪(朱宏洁.一种工业机械臂的安全警报机械爪[P].中国专利：CN108772848A，2018-11-09.)，通过红外光感知机械臂与障碍物之间的距离，但是由于相对位置的设置以及传感器的布置位置局限性，不能进行快速的距离监测，甚至还有可能存在监测盲点。陈星辰，肖南峰提出了一种基于Kinect深度摄像头的工业机械臂实时避规划抓取***(陈星辰；肖南峰.基于Kinect深度摄像头的工业机械臂实时避障规划抓取***[P].中国专利:CN108972549A,2018-12-11.)，通过Kinect摄像头对机械臂周围环境进行感知，检测追踪动态障碍物，但该方法利用人的骨架信息进行碰撞检测，对环境中若存在由人引入的动态障碍物，仅仅通过人体骨架捕捉是无法识别的，因此该方法存在一定局限性。
发明内容
本发明克服现有技术的上述问题，提出一种基于视觉的工业机械臂人机安全***。
首先该***通过两个kinect摄像机提取环境中人的图像信息，并进行数据融合。然后获取机器人当前状态，构建机器人所在环境的3D模型。接着利用轴对齐包围盒法对人和机器人进行碰撞检测。最后，根据碰撞检测的结果，防撞模块可以对操作人员进行报警,并停止机器人或修改机器人的轨迹，使其远离正在接近的操作人员。
本发明为解决现有技术问题所采用的技术方案是：
一种基于视觉的工业机械臂人机安全***，包括：用于捕捉运动物体各个时刻空间位置的运动物体跟踪模块，用于获取机器人关节信息并对机器人进行3D可视化的机器人运动可视化模块，用于机器人3D模型与环境中的人之间的最小距离计算的碰撞检测模块，用于进行机器人运动轨迹规划和修正的碰撞避免模块。
其中，所述运动物体跟踪模块，首先根据两个深度相机采集的机械臂工作空间图像，采用背景差分的方法从深度图中提取前景，将前景的深度图转化为点云图从而进行聚类，并根据点云的数量以及高度信息提取出人或者其它障碍物。具体操作步骤如下：
1)首先使用两个深度相机捕获机器人静态环境下(即没有人也没有任何动态的障碍物)的深度图。
2)利用实时模型去除法(real-time urdf filter)对步骤1的深度图进行处理，将机器人本身从深度图中去除。
3)重复步骤1、2，得到多张深度图，然后取其平均值来减小噪声的影响，并作为环境背景。
4)将步骤3得到的环境的背景与新获得的去除了机器人本身的深度图做减法运算，从而提取出环境中的前景。
5)使用PCL库中提供的深度图转换成点云图的接口，将两个相机的前景融合并转换成点云图。
6)将步骤5中获得的点云进行降采样，并进行聚类，最后根据点云的数量以及高度提取出属于人的点云或者其它障碍物的点云。
所述机器人运动可视化模块，机器人运动可视化模块通过3D模块监控机器人，并完成机器人三维模型的构建。首先对机器人底座进行标定，获得机器人相对于建模环境的位置。接着从机器人控制器中检索机器人在人机共存环境中的各个关节的数据信息，恢复机器人各个关节的位置，最后通过3D模型进行可视化。底座标定过程如图2所示。变换矩阵关系如下：
Figure GDA0002510805550000031
其中T表示各个坐标系之间的转换矩阵，式中
Figure GDA0002510805550000032
表示标定板与相机之间的转换矩阵，可通过已标定的相机内参计算得到；
Figure GDA0002510805550000033
为机器人底座与机器人末端的转换矩阵，可以通过机器人正运动学得到；
Figure GDA0002510805550000034
为机器人底座与相机之间的转换矩阵，即需要求解的外参矩阵；
Figure GDA0002510805550000035
为机器人末端与标定板坐标之间的转换关系，需要多次采样将其消去，最终获得只有
Figure GDA0002510805550000036
的方程组。最后，机器人运动可视化模块从机器人控制器中读取机器人各个关节的位置数据，对机器人的3D模型进行可视化构建。
所述碰撞检测模块，对运动物体跟踪模块采集到的人或其它障碍物的点云数据以及机器人运动可视化模块构建的3D模型，使用轴对齐包围盒法划分成若干个包围盒，进行最小距离检测，具体步骤如下：
1)将动态障碍物点云信息和3D机器人模型放到同一坐标系下，进行组合。
2)选取动态障碍物点云图的两个相对角点，一个点由所有点坐标的最大值组成，另一个点由最小值组成，构建一个轴对齐包围盒。
3)重复步骤2，将动态障碍物分割成i个轴对齐包围盒，计算每个包围盒的中心坐标(Xi,Yi,Zi)和对应包围球的半径Ri。
4)对机器人的3D模型进行上述操作，每个包围盒的中心坐标记为(xj,yj,zj)对应包围球的半径记为rj，距离判断公式如下：
Figure GDA0002510805550000037
5)根据公式(2)，若其计算值小于0，则表示人和机器人发生了碰撞，反之则两者相互分离。
所述碰撞避免模块，根据碰撞检测模块中得到的人机最小距离，进行安全性判断，并采用人工势场法，对有可能发生的碰撞进行局部路径规划和修正。最终将修正后的路径转换成运动指令传输给机器人运动控制器，控制机器人对人机协作中可能发生的碰撞作出反应。
情况1：人快速接近机械臂。当以速度vH>vH_dangerm/s接近机械臂时，***规划的新路径不能保证人体的安全，机械臂执行向后方远离人的指令；
情况2：人缓慢接近机械臂。当人以速度vH<vH_dangerm/s，通过使用人工势场法，预测人的运动轨迹，并产生以避免碰撞的新路径。***将计算包含一段时间内所有可能的运动轨迹的边界球体。在这种情况下，机器人要避开的对象是边界球而不是人。如果人突然加速，***应该对情况1做出反应；
情况3：人是静止的。开始时，***判断人是否会妨碍机械臂的运动。若存在障碍，则应使用人工势场法生成新路径。若人是静止的，所以机器人不需要避开边界球，***计划更短更有效的路径。如果人突然以vH>vH_dangerm/s移动，***做出情况1的反应；当人突然以vH<vH_dangerm/s移动，***针对这一动作，做出情况2的反应。
本发明的有优点是：本发明的运动物体跟踪模块采用了两个不同视角的深度相机进行视觉信息采集，能够减少由于相机视角造成的盲区，提高了人机共存环境下的安全性。另外，若环境中存在由人引入的动态障碍物，仅通过人体骨架捕捉是无法识别的，本发明的运动物体跟踪模块可以很好的解决这一问题。本发明的碰撞避免模块，采取了多种保障安全的方式，能够在保障安全的同时，提高生产效率。
附图说明
图1是本发明各个模块的组成。
图2是本发明机器人底座标定过程。
具体实施方式
以下结合附图对本发明实例做进一步详述：
一种基于视觉的工业机械臂人机安全***，平台组成主要包括MicrosoftKinectV2两台，安装Ubuntu***的计算机一台，计算机的CPU使用Intel Core i7-7800K3.50Ghz，GPU使用的是Nvidia TITAN Xp，Universal Robot公司生产的UR5机械臂一台。相机与计算机通过USB连接传输数据，机械臂通过局域网与计算机相连接。
结合图1，图2，本发明专利的具体实施方式如下：
运动物体跟踪模块根据深度相机采集的机械臂工作空间图像，采用背景差分的方法从深度图中提取前景，将前景的深度图转化为点云图从而进行聚类，并根据点云的数量以及高度信息提取出人或者其它障碍物。具体操作步骤如下：
1)首先使用深度相机捕获机器人静态环境下(即没有人也没有任何动态的障碍物)的深度图。
2)利用实时模型去除法(real-time urdf filter)对步骤1的深度图进行处理，将机器人本身从深度图中去除。
3)重复步骤1、2，得到多张深度图，然后取其平均值来减小噪声的影响，并作为环境背景。
4)将步骤3得到的环境的背景与新获得的去除了机器人本身的深度图做减法运算，从而提取出环境中的前景。
5)使用PCL库中提供的深度图转换成点云图的接口，将两个相机的前景融合并转换成点云图。
6)将步骤5中获得的点云进行降采样，并进行聚类，最后根据点云的数量以及高度提取出属于人的点云或者其它障碍物的点云。
机器人运动可视化模块通过3D模块监控机器人，并完成机器人三维模型的构建。首先对深度相机进行内参标定，以获取相机的投影矩阵和畸变参数；接着对机器人底座进行标定，获得机器人相对于建模环境的位置，底座标定过程如图2所示。变换矩阵关系如下：
Figure GDA0002510805550000051
其中T表示各个坐标系之间的转换矩阵，式中
Figure GDA0002510805550000052
表示标定板与相机之间的转换矩阵，可通过已标定的相机内参计算得到；
Figure GDA0002510805550000053
为机器人底座与机器人末端的转换矩阵，可以通过机器人正运动学得到；
Figure GDA0002510805550000054
为机器人底座与相机之间的转换矩阵，即需要求解的外参矩阵；
Figure GDA0002510805550000055
为机器人末端与标定板坐标之间的转换关系，需要多次采样将其消去，最终获得只有
Figure GDA0002510805550000056
的方程组。最后，机器人运动可视化模块从机器人控制器中读取机器人各个关节的位置数据，对机器人的3D模型进行可视化构建。
碰撞检测模块将运动物体跟踪模块采集到的人或其它障碍物的点云数据以及机器人运动可视化模块构建的3D模型，进行最小距离检测。具体步骤如下：
1)将动态障碍物点云信息和3D机器人模型放到同一坐标系下，进行组合。
2)选取动态障碍物点云图的两个相对角点，一个点由所有点坐标的最大值组成，另一个点由最小值组成，构建一个轴对齐包围盒。
3)重复步骤2，将动态障碍物分割成i个轴对齐包围盒，计算每个包围盒的中心坐标(Xi,Yi,Zi)和对应包围球的半径Ri。
4)对机器人的3D模型进行上述操作，每个包围盒的中心坐标记为(xj,yj,zj)对应包围球的半径记为rj，距离判断公式如下：
Figure GDA0002510805550000061
5)根据上述公式，若其计算值小于0，则表示人和机器人发生了碰撞，反之则两者相互分离。
碰撞避免模块根据碰撞检测模块中得到的机器人和人体模型的最短距离，同时估计人和机械臂的运动速度，并进行安全性判断。采用人工势场法，对有可能发生的碰撞进行局部路径规划和修正，最终将修正后的路径转换成运动指令传输给机器人运动控制器，控制机器人对人机协作中可能发生的碰撞根据人机的相对速度作出以下反应。这里设定人机相对危险速度vH_danger＝0.2m/s。
情况1：人快速接近机械臂。当以速度vH>0.2m/s接近机械臂时，***规划的新路径不能保证人体的安全，机械臂执行向后方远离人的指令；
情况2：人缓慢接近机械臂。当人以速度vH<0.2m/s，通过使用人工势场法，预测人的运动轨迹，并产生以避免碰撞的新路径。***将计算包含一段时间内所有可能的运动轨迹的边界球体。在这种情况下，机器人要避开的对象是边界球而不是人。如果人突然加速，***应该对情况1做出反应；
情况3：人是静止的。开始时，***判断人是否会妨碍机械臂的运动。若存在障碍，则应使用人工势场法生成新路径。若人是静止的，所以机器人不需要避开边界球，***计划更短更有效的路径。如果人突然以vH>0.2m/s移动，***做出情况1的反应；当人突然以vH<0.2m/s移动，***针对这一动作，做出情况2的反应。
要强调的是，本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.基于视觉的工业机械臂人机安全***，其特征在于：包括：用于捕捉运动物体各个时刻空间位置的运动物体跟踪模块，用于获取机器人关节信息并对机器人进行3D可视化的机器人运动可视化模块，用于机器人3D模型与环境中的人之间的最小距离计算的碰撞检测模块，用于进行机器人运动轨迹规划和修正的碰撞避免模块；
其中，所述运动物体跟踪模块，首先根据两个深度相机采集的机械臂工作空间图像，采用背景差分的方法从深度图中提取前景，将前景的深度图转化为点云图从而进行聚类，并根据点云的数量以及高度信息提取出人或者其它障碍物；具体操作步骤如下：
11)首先使用两个深度相机捕获机器人静态环境下的深度图，即没有人也没有任何动态的障碍物的环境下的深度图；
12)利用实时模型去除法，即real-time urdf filter，对步骤11）的深度图进行处理，将机器人本身从深度图中去除；
13)重复步骤11）、12），得到多张深度图，然后取其平均值来减小噪声的影响，并作为环境背景；
14)将步骤13）得到的环境的背景与新获得的去除了机器人本身的深度图做减法运算，从而提取出环境中的前景；
15)使用PCL库中提供的深度图转换成点云图的接口，将两个相机的前景融合并转换成点云图；
16)将步骤15）中获得的点云进行降采样，并进行聚类，最后根据点云的数量以及高度提取出属于人的点云或者其它障碍物的点云；
所述机器人运动可视化模块，机器人运动可视化模块通过3D模块监控机器人，并完成机器人三维模型的构建；首先对机器人底座进行标定，获得机器人相对于建模环境的位置；接着从机器人控制器中检索机器人在人机共存环境中的各个关节的数据信息，恢复机器人各个关节的位置，最后通过3D模型进行可视化；变换矩阵关系如下：
Figure 292823DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
其中T表示各个坐标系之间的转换矩阵，式中
Figure DEST_PATH_IMAGE005
表示标定板与相机之间的转换矩阵，可通过已标定的相机内参计算得到；
Figure DEST_PATH_IMAGE007
为机器人底座与机器人末端的转换矩阵，可以通过机器人正运动学得到；
Figure DEST_PATH_IMAGE009
为机器人底座与相机之间的转换矩阵，即需要求解的外参矩阵；
Figure DEST_PATH_IMAGE011
为机器人末端与标定板坐标之间的转换关系，需要多次采样将其消去，最终获得只有
Figure 85943DEST_PATH_IMAGE009
的方程组；最后，机器人运动可视化模块从机器人控制器中读取机器人各个关节的位置数据，对机器人的3D模型进行可视化构建；
所述碰撞检测模块，对运动物体跟踪模块采集到的人或其它障碍物的点云数据以及机器人运动可视化模块构建的3D模型，使用轴对齐包围盒法划分成若干个包围盒，进行最小距离检测，具体步骤如下：
21)将动态障碍物点云信息和3D机器人模型放到同一坐标系下，进行组合；
22)选取动态障碍物点云图的两个相对角点，一个点由所有点坐标的最大值组成，另一个点由最小值组成，构建一个轴对齐包围盒；22），将动态障碍物分割成i个轴对齐包围盒，计算每个包围盒的中心坐标
Figure DEST_PATH_IMAGE013
和对应包围球的半径
Figure 622097DEST_PATH_IMAGE015
；
机器人的3D模型进行上述步骤22和23中对动态障碍物点云信息的相同操作，每个包围盒的中心坐标记为
Figure 905311DEST_PATH_IMAGE017
对应包围球的半径记为
Figure 196615DEST_PATH_IMAGE019
，距离判断公式如下：
Figure 401331DEST_PATH_IMAGE021
(2)
上述公式，若其计算值小于0，则表示人和机器人发生了碰撞，反之则两者相互分离；
所述碰撞避免模块，根据碰撞检测模块中得到的人机最小距离，进行安全性判断，并采用人工势场法，对有可能发生的碰撞进行局部路径规划和修正；最终将修正后的路径转换成运动指令传输给机器人运动控制器，控制机器人对人机协作中可能发生的碰撞作出反应；
情况1：人快速接近机械臂；当以速度
Figure 206793DEST_PATH_IMAGE023
接近机械臂时，***规划的新路径不能保证人体的安全，机械臂执行向后方远离人的指令，其中，
Figure 668999DEST_PATH_IMAGE025
为人机相对危险速度；
情况2：人缓慢接近机械臂；当人以速度
Figure 892170DEST_PATH_IMAGE027
，通过使用人工势场法，预测人的运动轨迹，并产生以避免碰撞的新路径；***将计算包含一段时间内所有可能的运动轨迹的边界球体；在这种情况下，机器人要避开的对象是边界球而不是人；如果人突然加速，***应该对情况1做出反应；
情况3：人是静止的；开始时，***判断人是否会妨碍机械臂的运动；若存在障碍，则应使用人工势场法生成新路径；若人是静止的，所以机器人不需要避开边界球，***计划更短更有效的路径；如果人突然以
Figure 360673DEST_PATH_IMAGE029
移动，***做出情况1的反应；当人突然以
Figure 352899DEST_PATH_IMAGE031
移动，***针对这一动作，做出情况2的反应。
CN201910448748.0A 2019-05-27 2019-05-27 基于视觉的工业机械臂人机安全*** Active CN110253570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910448748.0A CN110253570B (zh) 2019-05-27 2019-05-27 基于视觉的工业机械臂人机安全***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910448748.0A CN110253570B (zh) 2019-05-27 2019-05-27 基于视觉的工业机械臂人机安全***

Publications (2)

Publication Number Publication Date
CN110253570A CN110253570A (zh) 2019-09-20
CN110253570B true CN110253570B (zh) 2020-10-27

Family

ID=67915565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910448748.0A Active CN110253570B (zh) 2019-05-27 2019-05-27 基于视觉的工业机械臂人机安全***

Country Status (1)

Country Link
CN (1) CN110253570B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108527370B (zh) * 2018-04-16 2020-06-02 北京卫星环境工程研究所 基于视觉的人机共融安全防护控制***
CN112706158B (zh) * 2019-10-25 2022-05-06 中国科学院沈阳自动化研究所 基于视觉和惯导定位的工业人机交互***及方法
CN110986953B (zh) * 2019-12-13 2022-12-06 达闼机器人股份有限公司 路径规划方法、机器人及计算机可读存储介质
CN113001536B (zh) * 2019-12-20 2022-08-23 中国科学院沈阳计算技术研究所有限公司 一种面向协作多机器人的防碰撞检测方法及装置
CN111331608A (zh) * 2020-04-15 2020-06-26 武汉海默机器人有限公司 一种基于立体视觉的机器人主动避障规划方法
CN111546331B (zh) * 2020-04-17 2023-03-28 上海工程技术大学 人机协作机器人安全防护***及安全防护方法
CN111515932A (zh) * 2020-04-23 2020-08-11 东华大学 一种基于人工势场与强化学习的人机共融流水线实现方法
CN114072254A (zh) * 2020-05-26 2022-02-18 医达科技公司 不确定环境中利用静态和动态碰撞规避的机器人路径规划方法
CN113971800A (zh) * 2020-07-22 2022-01-25 中国科学院沈阳自动化研究所 一种基于rgb-d相机的人机安全协作在线监控方法及***
CN112017237B (zh) * 2020-08-31 2024-02-06 北京轩宇智能科技有限公司 一种基于视场拼接和三维重建的操作辅助装置及方法
CN112060093B (zh) * 2020-09-10 2022-08-02 云南电网有限责任公司电力科学研究院 一种用于架空线路检修机械臂的路径规划方法
CN112454358B (zh) * 2020-11-17 2022-03-04 山东大学 一种结合心理安全以及运动预测的机械臂运动规划方法及***
CN112605994A (zh) * 2020-12-08 2021-04-06 上海交通大学 一种全自主标定机器人
CN112757274B (zh) * 2020-12-30 2022-02-18 华中科技大学 一种面向人机协同操作的动力学融合行为安全算法及***
CN112828886A (zh) * 2020-12-31 2021-05-25 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于数字孪生的工业机器人碰撞预测的控制方法
CN112883792A (zh) * 2021-01-19 2021-06-01 武汉海默机器人有限公司 一种基于视觉深度分析的机器人主动安全防护方法及***
CN112906118A (zh) * 2021-03-12 2021-06-04 河北工业大学 一种虚实耦合环境下的建筑机器人远程作业方法
CN113239802A (zh) * 2021-05-13 2021-08-10 上海汇焰智能科技有限公司 一种安全监控方法、装置、介质及电子设备
CN113370210A (zh) * 2021-06-23 2021-09-10 华北科技学院(中国煤矿安全技术培训中心) 一种机器人主动避撞***及方法
CN113419540A (zh) * 2021-07-15 2021-09-21 上海汇焰智能科技有限公司 一种可避免碰撞的舞台移动装置及避免碰撞的控制方法
CN113580130B (zh) * 2021-07-20 2022-08-30 佛山智能装备技术研究院 六轴机械臂避障控制方法、***及计算机可读存储介质
CN113721618B (zh) * 2021-08-30 2024-05-24 中科新松有限公司 一种平面确定方法、装置、设备和存储介质
CN114029952A (zh) * 2021-11-12 2022-02-11 珠海格力电器股份有限公司 机器人操作控制方法、装置和***
CN113822253B (zh) * 2021-11-24 2022-02-18 天津大学 一种人机协作方法及***
CN114323000B (zh) * 2021-12-17 2023-06-09 中国电子科技集团公司第三十八研究所 线缆ar引导装配***及方法
CN114299039B (zh) * 2021-12-30 2022-08-19 广西大学 一种机器人及其碰撞检测装置和方法
CN114354986B (zh) * 2022-01-18 2022-11-11 苏州格拉尼视觉科技有限公司 飞针测试机及其测试轴极性分配方法
CN114885133B (zh) * 2022-07-04 2022-10-04 中科航迈数控软件(深圳)有限公司 基于深度图像的设备安全实时监控方法、***及相关设备
CN115609594B (zh) * 2022-12-15 2023-03-28 国网瑞嘉(天津)智能机器人有限公司 机械臂路径的规划方法、装置、上位控制端及存储介质
CN115933688B (zh) * 2022-12-28 2024-03-29 南京衍构科技有限公司 一种多机器人协同工作避障方法、***、设备及存储介质
CN116985142B (zh) * 2023-09-25 2023-12-08 北京航空航天大学 一种机器人运动规划方法、装置和机器人
CN117340890A (zh) * 2023-11-22 2024-01-05 北京交通大学 一种机器人运动轨迹控制方法
CN117707053B (zh) * 2024-02-05 2024-04-26 南京迅集科技有限公司 基于ai视觉分析的工控视觉运动控制***及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4741691B2 (ja) * 2009-06-15 2011-08-03 ファナック株式会社 ロボットの異常監視機能を備えたロボットシステム
US8720382B2 (en) * 2010-08-31 2014-05-13 Technologies Holdings Corp. Vision system for facilitating the automated application of disinfectant to the teats of dairy livestock
CN103170973B (zh) * 2013-03-28 2015-03-11 上海理工大学 人机协作装置及实现人机协作的方法
CN107336230B (zh) * 2017-05-09 2020-05-05 浙江工业大学 一种基于投影和距离判断的工业机器人碰撞预测方法
CN107139171B (zh) * 2017-05-09 2019-10-22 浙江工业大学 一种基于力矩控制的工业机器人避障轨迹规划方法
CN107891425B (zh) * 2017-11-21 2020-05-12 合肥工业大学 智能双臂安全协作人机共融型机器人***的控制方法
CN108171796A (zh) * 2017-12-25 2018-06-15 燕山大学 一种基于三维点云的巡检机器人视觉***及控制方法
CN108247637B (zh) * 2018-01-24 2020-11-24 中南大学 一种工业机器人手臂视觉防撞操控方法
CN108972549B (zh) * 2018-07-03 2021-02-19 华南理工大学 基于Kinect深度摄像头的工业机械臂实时避障规划抓取***
CN109048926A (zh) * 2018-10-24 2018-12-21 河北工业大学 一种基于立体视觉的机器人智能避障***及方法
CN109500811A (zh) * 2018-11-13 2019-03-22 华南理工大学 一种面向人机共融的机器人主动避让人类的方法
CN109760047B (zh) * 2018-12-28 2021-06-18 浙江工业大学 一种基于视觉传感器的舞台机器人预测控制方法

Also Published As

Publication number Publication date
CN110253570A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110253570B (zh) 基于视觉的工业机械臂人机安全***
CN110561432B (zh) 一种基于人机共融的安全协作方法及装置
CN108838991B (zh) 一种自主类人双臂机器人及其对运动目标的跟踪操作***
CN110082781B (zh) 基于slam技术与图像识别的火源定位方法及***
CN111055281B (zh) 一种基于ros的自主移动抓取***与方法
WO2019138836A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
CN112454333B (zh) 基于图像分割及表面肌电信号的机器人示教***及方法
CN113829343A (zh) 基于环境感知的实时多任务多人人机交互***
CN114407015A (zh) 一种基于数字孪生的遥操作机器人在线示教***及方法
CN112975939A (zh) 一种协作型机械臂的动态轨迹规划方法
CN110378937B (zh) 基于Kinect摄像头的工业机械臂人机安全距离检测方法
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法
CN113232025B (zh) 一种基于接近觉感知的机械臂避障方法
CN117893998A (zh) 基于机器视觉的人机位姿智能防碰方法
CN113778096A (zh) 室内机器人的定位与模型构建方法及***
CN210835730U (zh) 一种ros导盲机器人的控制装置
CN114800524A (zh) 一种人机交互协作机器人主动避碰的***及方法
CN114353779A (zh) 一种采用点云投影快速更新机器人局部代价地图的方法
Sun et al. Detection and state estimation of moving objects on a moving base for indoor navigation
CN110595457B (zh) 伪激光数据生成方法、地图构建方法、导航方法及***
Papageorgiou et al. A controller for reaching and unveiling a partially occluded object of interest with an eye-in-hand robot
CN117214908B (zh) 一种基于智能裁缆机械的定位控制方法及***
CN116214532B (zh) 一种海底电缆机械臂自主避障抓取***及抓取方法
WO2023100282A1 (ja) データ生成システム、モデル生成システム、推定システム、学習済みモデルの製造方法、ロボット制御システム、データ生成方法、およびデータ生成プログラム
Liang et al. 4D Point Cloud (4DPC)-driven real-time monitoring of construction mobile cranes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220419

Address after: 528225 workshop A1, No.40 Boai Middle Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee after: Guangdong Huibo Robot Technology Co.,Ltd.

Address before: The city Zhaohui six districts Chao Wang Road Hangzhou City, Zhejiang province 310014 18

Patentee before: ZHEJIANG University OF TECHNOLOGY