CN110561432B - 一种基于人机共融的安全协作方法及装置 - Google Patents
一种基于人机共融的安全协作方法及装置 Download PDFInfo
- Publication number
- CN110561432B CN110561432B CN201910818210.4A CN201910818210A CN110561432B CN 110561432 B CN110561432 B CN 110561432B CN 201910818210 A CN201910818210 A CN 201910818210A CN 110561432 B CN110561432 B CN 110561432B
- Authority
- CN
- China
- Prior art keywords
- robot
- information
- human
- operator
- safety
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于人机共融的安全协作方法及装置，其中，所述方法包括：获取机器人的末端坐标位置信息及运动信息；基于末端坐标位置信息及运动信息建立作业空间安全等级动态规划模型，将作业空间划分为不同安全等级的子作业空间区域；基于视觉感知***采集协同作场景图像，并通过目标检测算法获得作业人员的三维坐标信息；基于相邻帧图像序列中的作业人员的三维坐标信息获得人员运动信息，并计算人机动态等效距离；基于人机动态等效距离以及对机器人作业空间动态规划的不同安全等级子作业空间区域，预测人机协作碰撞风险，制定相应控制指令对机器人进行安全控制。提升了人机协作碰撞预测准确性，可降低人机碰撞事故发生率，促进人机共融发展。
Description
技术领域
本发明涉及人机协同技术领域，尤其涉及一种基于人机共融的安全协作方法及装置。
背景技术
近年工业智能化飞速发展下，传统的工业机器人作业模式在灵活性、安全性、智能性等方面逐渐落后于产业的发展步伐，基于此，机器人技术随之发展，人与机器人之间的协作与共融技术逐渐兴起。人机共融与安全协作是高效柔性生产模式的重要特征，区别于传统机器人独立工作的围栏模式，人机协作模式允许人和机器人共享工作空间，保证人身安全成为重中之重，安全检测与预防技术已成为有效应用协作机器人的关键所在。
为防范人机协作碰撞风险，目前提出了速度和分离监控(SSM)的人机最小间距保护机制，明确了维持人机保护性间距的作业速度限制和安全制动要求，然而这种速度限制对人机协作的作业效率、灵活性有较大的限制，目前暂没有针对机器人与人的运动信息进行综合建模与协作安全碰撞预测的有效手段，急需综合考虑机器人与人的位置与运动信息，实现一种高效、安全的人机共融协作方法，促进人机共融发展。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于人机共融的安全协作方法及装置，提升了人机协作碰撞预测准确性，可降低人机碰撞事故发生率，促进人机共融发展。
为了解决上述技术问题，本发明实施例提供了一种基于人机共融的安全协作方法，所述安全协作方法包括：
获取机器人的末端坐标位置信息及运动信息，其中，所述运动信息包括运动速度信息及运动方向信息；
基于末端坐标位置信息及运动信息建立作业空间安全等级动态规划模型，将所述作业空间划分为不同安全等级的子作业空间区域；
基于视觉感知***采集协同作场景图像，并通过目标检测算法获得作业人员的三维坐标信息；
基于相邻帧图像序列中的作业人员的三维坐标信息获得作业人员的第一运动信息，基于作业人员的三维坐标信息、作业人员的第一运动信息、机器人的末端坐标位置信息，计算人机动态等效距离，其中，所述第一运动信息包括作业人员的运动速度信息及运动方向信息；
基于所述人机动态等效距离，以及对机器人作业空间动态规划的不同安全等级的子作业空间区域，预测人机协作碰撞风险，制定相应控制指令针对所述机器人进行安全控制。
可选的，所述基于末端坐标位置信息及运动信息建立作业空间安全等级动态规划模型，将所述作业空间划分为不同安全等级的子作业空间区域，包括：
获取所述机器人的作业空间的区域大小Xrmax×Yrmax，并将所述作业空间划分为M×N网格区域，则每个网格区域的大小为
若所述机器人所在网格的索引为(0,0)，则根据所述机器人基坐标系方向获得网格(i,j)的中心位置坐标为
以所述末端坐标位置信息为中心划分的距离阈值，并基于末端坐标位置信息、运动信息以及划分的距离阈值将所述作业空间划分为不同安全等级的子作业空间区域。
可选的，所述以所述末端坐标位置信息为中心划分的距离阈值，并基于末端坐标位置信息、运动信息以及划分的距离阈值将所述作业空间划分为不同安全等级的子作业空间区域，包括：
计算末端坐标位置信息与网格中心的第一距离、机器人末端位置与网格中心位置的方向矢量；
基于机器人末端位置与网格中心位置的方向矢量与所述机器人的运动速度信息进行计算，获得所述方向矢量与机器人的运动速度信息所形成的夹角；
基于所述第一距离、机器人末端位置与网格中心位置的方向矢量及所述方向矢量与机器人的运动速度信息所形成的夹角，构建网格(i,j)区域的危险程度动态计算模型；
基于所述危险程度动态计算模型将所述作业空间划分为不同安全等级的子作业空间区域。
可选的，所述基于视觉感知***采集协同作场景图像，包括：
建立图像像素坐标与所述机器人基坐标系的映射关系，通过视觉感知***对所述机器人进行手眼标定，获得图像像素坐标与所述机器人基坐标系之间的坐标变换矩阵；
基于视觉感知***采集协同作业场景中作业人员的人体图像。
可选的，所述通过目标检测算法获得作业人员的三维坐标信息，包括：
基于骨架检测模型对所述人体图像进行检测，获得人体的三维图像像素坐标；
通过坐标转换矩阵将人体的三维图像像素坐标转换至人体在机器人基坐标系下的三维坐标信息。
可选的，所述基于骨架检测模型对所述人体图像进行检测，获得人体的三维图像像素坐标，包括：
针对单目视觉感知***采集的RGB图像采用VNect网络模型进行3D人体骨架姿态估计，获得人体的三维图像像素坐标；
针对双目视觉感知***和深度视觉感知***采集的RGB图像和深度图像，采用openpose对RGB图像进行检测获得2D人体骨架姿态，再将深度图像对应深度信息映射至2D人体骨架姿态，以获得人体的三维图像像素坐标。
可选的，所述基于相邻帧图像序列中的作业人员的三维坐标信息获得作业人员的第一运动信息，基于作业人员的三维坐标位置信息、作业人员的第一运动信息、机器人的末端坐标位置信息，计算人机动态等效距离，包括：
确定所述作业人员的人体骨架关键点，计算所述人体骨架关键点与所述机器人末端之间的最小距离；
根据相邻帧图像序列中的作业人员的人体的三维坐标信息，计算人体运动速度和方向；
基于所述人体骨架关键点与机器人末端之间的最小距离、人体运动速度和方向计算获得人机动态等效距离。
可选的，所述基于所述人机动态等效距离，以及对机器人作业空间动态规划的不同安全等级的子作业空间区域，预测人机协作碰撞风险，制定相应控制指令针对所述机器人进行安全控制，包括：
根据作业人员的三维坐标信息以及机器人作业空间安全等级动态规划模型，计算作业人员所在机器人作业空间中其对应安全等级的子作业空间区域，并基于人机动态等效距离，建立人机碰撞预测模型；
基于所述人机碰撞预测模型在线判断作业人员与机器人协作过程的安全性；
基于所述安全性针对所述机器人制定相应控制指令进行安全控制。
可选的，所述基于所述安全性针对所述机器人制定相应控制指令进行安全控制，包括：
基于作业人员与所述机器人协作过程的安全等级，针对所述机器人制定不同的控制指令进行安全控制；以及，
根据在线判断作业人员与所述机器人协作过程的安全等级生成相应的报警指令，并发送至报警装置进行响应报警。
另外，本发明实施例还提供了一种基于人机共融的安全协作装置，所述安全协作装置包括：
机器人信息获取模块：获取机器人的末端坐标位置信息及运动信息，其中，所述运动信息包括运动速度信息及运动方向信息；
作业空间划分模块：用于基于末端坐标位置信息及运动信息建立作业空间安全等级动态规划模型，将所述作业空间划分为不同安全等级的子作业空间区域；
目标检测模块：用于基于视觉感知***采集协同作场景图像，并通过目标检测算法获得作业人员的三维坐标信息；
动态距离计算模块：用于基于相邻帧图像序列中的作业人员的三维坐标信息获得作业人员的第一运动信息，基于作业人员的三维坐标信息、作业人员的第一运动信息、机器人的末端坐标位置信息，计算人机动态等效距离，其中，所述第一运动信息包括作业人员的运动速度信息及运动方向信息；
安全控制模块：用于基于所述人机动态等效距离，以及对机器人作业空间动态规划的不同安全等级的子作业空间区域，预测人机协作碰撞风险，制定相应控制指令针对所述机器人进行安全控制。
在本发明实施例中，在人机协作过程中，考虑了作业人员与机器人的运动速度和运动方向对人机碰撞风险的影响，根据机器人末端位置、运动速度和方向，建立协作机器人作业空间安全等级动态规划模型，并结合作业人员的位置、运动速度和运动方向信息，实现人机碰撞风险在线准确预测，并及时对机器人发送相应指令进行响应控制，可有效规避人机碰撞风险，提升了人机协作过程的灵活性和安全性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于人机共融的安全协作方法的流程示意图；
图2是本发明实施例中的基于人机共融的安全协作装置的结构组成示意图；
图3是本发明实施例中的基于人机共融的安全协作***的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
请参阅图1，图1是本发明实施例中的基于人机共融的安全协作方法的流程示意图。
如图1所示，一种基于人机共融的安全协作方法，所述安全协作方法包括：
S11：获取机器人的末端坐标位置信息及运动信息，其中，所述运动信息包括运动速度信息及运动方向信息；
在本发明具体实施过程中，通过接入机器人控制器来获得机器人的末端的坐标位置信息以及运动信息，其中运动信息包括运动速度信息及运动方向信息；其中机器人的末端坐标位置信息为Probot(x,y,z)，运动速度信息为
S12：基于末端坐标位置信息及运动信息建立作业空间安全等级动态规划模型，将所述作业空间划分为不同安全等级的子作业空间区域；
在本发明具体实施过程中，所述基于末端坐标位置信息及运动信息建立作业空间安全等级动态规划模型区域，以及将所述作业空间划分为不同安全等级的子作业空间区域，包括：获取所述机器人的作业空间的区域大小Xrmax×Yrmax，并将所述作业空间划分为M×N网格区域，则每个网格区域的大小为
若所述机器人所在网格的索引为(0,0)，则根据所述机器人基坐标系方向获得网格(i,j)的中心位置坐标为
以所述机器人末端坐标位置信息为中心划分的距离阈值，并基于机器人末端坐标位置信息、运动信息以及划分的距离阈值将所述作业空间划分为不同安全等级的子作业空间区域。
进一步的，所述以所述末端坐标位置信息为中心划分的距离阈值，并基于末端坐标位置信息、运动信息以及划分的距离阈值将所述作业空间划分为不同安全等级的子作业空间区域，包括：计算末端坐标位置信息与网格中心的第一距离、机器人末端位置与网格中心位置的方向矢量；基于机器人末端位置与网格中心位置的方向矢量与所述机器人的运动速度信息进行计算，获得所述方向矢量与机器人的运动速度信息所形成的夹角；基于所述第一距离、机器人末端位置与网格中心位置的方向矢量及所述方向矢量与机器人的运动速度信息所形成的夹角，构建网格(i,j)区域的危险程度动态计算模型；基于所述危险程度动态计算模型将所述作业空间划分为不同安全等级的子作业空间区域。
具体的，在上述步骤中获得了机器人的末端坐标位置信息为Probot(x,y,z)，运动速度信息为
通过获得作业人员的坐标位置信息为Pperson(x1,y1,z1)；机器人与作业人员均在统一的机器人基坐标系下，假设机器人作业空间区域的大小为Xrmax×Yrmax，并将作业空间划分为M×N网格区域，则每个网格区域的大小为
假设机器人所在网格的索引为(0,0)，根据机器人极坐标系方向获得网格(i,j)的中心位置坐标为
假设将作业区域以颜色划分，则有红色-危险L1、橙色-较危险L2、黄色-较安全L3、绿色-安全L4四个等级，以机器人末端坐标为中心计算划分距离阈值，则危险区域与次危险区域的边界距离阈值为Dr,d，次危险区域与次安全区域边界的距离阈值为Dr,sd，次安全区域与安全区域边界的距离阈值为Dr,ss。
计算机器人末端坐标与网格(i,j)中心的距离dij＝||PijProbot||，方向矢量
与机器人运动速度信息
之间的夹角可计算得：
网格(i,j)的区域危险程度动态计算模型为：
其中，vmax为机器人协作状态下最高安全速度，ΔTr为机器人动态响应时间(由试验测定)，引入该项
是为了考虑机器人运动过程中速度大小和方向对人机碰撞风险的影响，通过机器人速度大小、方向和人机距离建立作业空间安全等级网格化动态规划模型，提高人机碰撞预警可靠性和准确性，显著减少人机协作过程中机器人与作业人员的碰撞风险；进而通过各网格区域计算将作业空间划分为不同安全等级的子作业空间区域。
S13：基于视觉感知***采集协同作场景图像，并通过目标检测算法获得作业人员的三维坐标信息；
在本发明具体实施过程中，所述基于视觉感知***采集协同作场景图像，包括：建立图像像素坐标与所述机器人基坐标系的映射关系，通过视觉感知***对所述机器人进行手眼标定，获得图像像素坐标与所述机器人基坐标系之间的坐标变换矩阵；基于视觉感知***采集协同作业场景中作业人员的人体图像。
进一步的，所述通过目标检测算法获得作业人员的三维坐标信息，包括：基于骨架检测模型对所述人体图像进行检测，获得人体的三维图像像素坐标；通过坐标转换矩阵将人体的三维图像像素坐标转换至人体在机器人基坐标系下的三维坐标信息。
进一步的，所述基于骨架检测模型对所述人体图像进行检测，获得人体的三维图像像素坐标，包括：针对单目视觉感知***采集的RGB图像采用VNect网络模型进行3D人体骨架姿态估计，获得人体的三维图像像素坐标；针对双目视觉感知***和深度视觉感知***采集的RGB图像和深度图像，采用openpose对RGB图像进行检测获得2D人体骨架姿态，再将深度图像对应深度信息映射至2D人体骨架姿态，以获得人体的三维图像像素坐标。
具体的，建立图像像素坐标与机器人基坐标系的映射关系，通过视觉感知***对机器人进行手眼标定，得到图像像素坐标与机器人基坐标系之间的坐标变换矩阵；采用视觉感知***采集协同作业场景中作业人员的人体图像。
利用骨架检测模型对人体图像进行检测，获得人体的三维图像像素坐标；其中，针对单目视觉***采集的RGB图像采用VNect网络模型进行3D人体骨架姿态估计，针对双目视觉***和深度视觉***采集的RGB图像和深度图像，采用openpose对RGB图像进行检测获得2D人体骨架姿态，再将深度图像对应深度信息映射至2D人体骨架姿态，以得到3D人体骨架姿态坐标信息；通过坐标转换矩阵将人体的三维图像像素坐标转换至人体在机器人基坐标系下的三维坐标。
S14：基于相邻帧图像序列中的作业人员的三维坐标信息获得作业人员的第一运动信息，基于作业人员的三维坐标信息、作业人员的第一运动信息、机器人的末端坐标位置信息，计算人机动态等效距离，其中，所述第一运动信息包括作业人员的运动速度信息及运动方向信息；
在本发明具体实施过程中，所述基于相邻帧图像序列中的作业人员的三维坐标信息获得作业人员的第一运动信息，基于作业人员的三维坐标位置信息、作业人员的第一运动信息、机器人的末端坐标位置信息，计算人机动态等效距离，包括：确定所述作业人员的人体骨架关键点，计算所述人体骨架关键点与所述机器人末端之间的最小距离；根据相邻帧图像序列中的作业人员的人体的三维坐标信息，计算人体运动速度和方向；基于所述人体骨架关键点与机器人末端之间的最小距离、人体运动速度和方向计算获得人机动态等效距离。
具体的，首先确定作业人员的人体骨架关键点，然后计算人体骨架关键点与机器人末端之间的最小距离，设人体骨架关键点坐标为Pn(x2,y2,z2)，n为关键点索引，取值范围为[0,N-1](N为关键点个数)，则最小距离可表达为：
dmin＝min(‖P0Probot‖,…,‖PnProbot‖,…,‖PN-1Probot‖)；
根据相邻帧图像中作业人员的人体的三维坐标位置，计算人体运动速度和方向，为了准确估算人体运动速度并简化计算量，以与机器人末端距离最小的关键点为在线速度计算对象；设与机器人末端距离最小的关键点索引为nmin，将其位置数据存放在数组中，可记为
K为t帧钱的帧数。
则有：
其中，
为人体关键点nmin的运动速度(矢量)，Δt为帧时间间隔，此处设为单位时间即为1，K取值为5，考虑越近邻的帧影响越大，设wk值在保持总和为1情况下随近邻帧逐步变化，上式可简化为：
那么，人体关键点nmin的运动速度大小为
人体关键点nmin到机器人末端Probot的方向矢量为
人体关键点nmin到机器人末端的方向矢量与人体关键点nmin的运动速速的夹角为：
考虑到人的运动速度大小和方向对人机碰撞风险的影响，仅以人机之间的距离有失准确性，因此为引入人的运动速度大小和方向因素，定义人与机器人的人机动态等效距离为：
其中，ΔTp为人的运动反应时间(由实验室测定)。
S15：基于所述人机动态等效距离，以及对机器人作业空间动态规划的不同安全等级的子作业空间区域，预测人机协作碰撞风险，制定相应控制指令针对所述机器人进行安全控制。
在本发明具体实施过程中，所述基于所述人机动态等效距离，以及对机器人作业空间动态规划的不同安全等级的子作业空间区域，预测人机协作碰撞风险，制定相应控制指令针对所述机器人进行安全控制，包括：根据作业人员的三维坐标信息以及机器人作业空间安全等级动态规划模型，计算作业人员所在机器人作业空间中其对应安全等级的子作业空间区域，并基于人机动态等效距离，建立人机碰撞预测模型；基于所述人机碰撞预测模型在线判断作业人员与机器人协作过程的安全性；基于所述安全性针对所述机器人制定相应控制指令进行安全控制。
进一步的，所述基于所述安全性针对所述机器人制定相应控制指令进行安全控制，包括：基于作业人员与所述机器人协作过程的安全等级，针对所述机器人制定不同的控制指令进行安全控制；以及，根据在线判断作业人员与所述机器人协作过程的安全等级生成相应的报警指令，并发送至报警装置进行响应报警。
具体的，为尽可能保证作业人员的人身安全性，假设作业人员的人体在机器人作业空间网格区域即为离机器人末端最近的人体关键点
在机器人作业空间网格区域，网格(i,j)的边界范围可表示为：
则，人体关键点
在机器人作业空间水平面上的网格区域即可获得，设为网格区域
根据机器人的实时位置与运动信息，以及通过机器人作业空间安全等级网格动态规划模型，可得到该网格区域动态规划的安全等级为Lq,q＝1,…,4；以极度危险SL1、危险SL2、较危险SL3、较安全SL4、安全SL5五个等级来表征人机碰撞安全风险程度，以便于进行预警或急停控制。
对于作业人员与机器人之间的距离判断，根据危险分级分别设定相应的阈值，其中危险与次危险等级的距离阈值为Dpr,d，次危险与次安全等级的距离阈值为Dpr,sd，次安全与安全等级的距离阈值为Dpr,ss。
定义条件Qi:Lq＝Li,i＝1,…，4，R1:dpr∈[0,Dpr,d)，R2:dpr∈[Dpr,d,Dpr,sd)，R3:dpr∈[Dpr,sd,Dpr,ss)，R4:dpr∈[Dpr,ss,∞)；则人机协作碰撞风险预测策略可表示如下：
safetyLevel＝f(Qi,Rj),i,j＝1,…,4；
根据协作任务和执行效率需求情况，可进行响应策略调整，本发明举例说明如下表所示。
针对人与机器人协作的安全等级，制定针对机器人的不同控制指令，根据在线判断人与机器人协作过程的安全等级safetyLevel生成相应的指令发送给机器人和报警装置，以便根据检测结果进行响应处理，如下表所示：
在本发明实施例中，在人机协作过程中，考虑了作业人员与机器人的运动速度和方向对人机碰撞风险的影响，根据机器人末端位置、运动速度和方向，建立协作机器人作业空间安全等级动态规划模型，并结合作业人员的位置、运动速度和运动方向信息，实现人机碰撞风险在线准确预测，并及时对机器人发送相应指令进行响应控制，可有效规避人机碰撞风险，提升了人机协作过程的灵活性和安全性能。
实施例
请参阅图2，图2是本发明实施例中的基于人机共融的安全协作装置的结构组成示意图。
如图2所示，一种基于人机共融的安全协作装置，所述安全协作装置包括：
机器人信息获取模块11：获取机器人的末端坐标位置信息及运动信息，其中，所述运动信息包括运动速度信息及运动方向信息；
在本发明具体实施过程中，通过接入机器人控制器来获得机器人的末端的坐标位置信息和运动信息，其中运动信息包括运动速度信息及运动方向信息；其中机器人的末端坐标位置信息为Probot(x,y,z)，运动速度信息为
作业空间划分模块12：用于基于末端坐标位置信息及运动信息建立作业空间安全等级动态规划模型，将所述作业空间划分为不同安全等级的子作业空间区域；
在本发明具体实施过程中，所述基于末端坐标位置信息及运动信息建立作业空间安全等级动态规划模型区域，以及将所述作业空间划分为不同安全等级的子作业空间区域，包括：获取所述机器人的作业空间的区域大小Xrmax×Yrmax，并将所述作业空间划分为M×N网格区域，则每个网格区域的大小为
若所述机器人所在网格的索引为(0,0)，则根据所述机器人基坐标系方向获得网格(i,j)的中心位置坐标为
以所述机器人末端坐标位置信息为中心划分的距离阈值，并基于机器人末端坐标位置信息、运动信息以及划分的距离阈值将所述作业空间划分为不同安全等级的子作业空间区域。
进一步的，所述以所述末端坐标位置信息为中心划分的距离阈值，并基于末端坐标位置信息、运动信息以及划分的距离阈值将所述作业空间划分为不同安全等级的子作业空间区域，包括：计算末端坐标位置信息与网格中心的第一距离、机器人末端位置与网格中心位置的方向矢量；基于机器人末端位置与网格中心位置的方向矢量与所述机器人的运动速度信息进行计算，获得所述方向矢量与机器人的运动速度信息所形成的夹角；基于所述第一距离、机器人末端位置与网格中心位置的方向矢量及所述方向矢量与机器人的运动速度信息所形成的夹角，构建网格(i,j)区域的危险程度动态计算模型；基于所述危险程度动态计算模型将所述作业空间划分为不同安全等级的子作业空间区域。
具体的，在上述步骤中获得了机器人的末端坐标位置信息为Probot(x,y,z)，运动速度信息为
通过获得作业人员的坐标位置信息为Pperson(x1,y1,z1)；机器人与作业人员均在统一的机器人基坐标系下，假设机器人作业空间区域的大小为Xrmax×Yrmax，并将作业空间划分为M×N网格区域，则每个网格区域的大小为
假设机器人所在网格的索引为(0,0)，根据机器人极坐标系方向获得网格(i,j)的中心位置坐标为
假设将作业区域以颜色划分，则有红色-危险L1、橙色-较危险L2、黄色-较安全L3、绿色-安全L4四个等级，以机器人末端坐标为中心计算划分距离阈值，则危险区域与次危险区域的边界距离阈值为Dr,d，次危险区域与次安全区域边界的距离阈值为Dr,sd，次安全区域与安全区域边界的距离阈值为Dr,ss。
计算机器人末端坐标与网格(i,j)中心的距离dij＝||PijProbot||，方向矢量
与机器人运动速度信息
之间的夹角可计算得：
网格(i,j)的区域危险程度动态计算模型为：
其中，vmax为机器人协作状态下最高安全速度，ΔTr为机器人动态响应时间(由试验测定)，引入该项
是为了考虑机器人运动过程中速度大小和方向对人机碰撞风险的影响，通过机器人速度大小、方向和人机距离建立作业空间安全等级网格化动态规划模型，提高人机碰撞预警可靠性和准确性，显著减少人机协作过程中机器人与作业人员的碰撞风险；进而通过各网格区域计算将作业空间划分为不同安全等级的子作业空间区域。
目标检测模块13：用于基于视觉感知***采集协同作场景图像，并通过目标检测算法获得作业人员的三维坐标信息；
在本发明具体实施过程中，所述基于视觉感知***采集协同作场景图像，包括：建立图像像素坐标与所述机器人基坐标系的映射关系，通过视觉感知***对所述机器人进行手眼标定，获得图像像素坐标与所述机器人基坐标系之间的坐标变换矩阵；基于视觉感知***采集协同作业场景中作业人员的人体图像。
进一步的，所述通过目标检测算法获得作业人员的三维坐标信息，包括：基于骨架检测模型对所述人体图像进行检测，获得人体的三维图像像素坐标；通过坐标转换矩阵将人体的三维图像像素坐标转换至人体在机器人基坐标系下的三维坐标信息。
进一步的，所述基于骨架检测模型对所述人体图像进行检测，获得人体的三维图像像素坐标，包括：针对单目视觉感知***采集的RGB图像采用VNect网络模型进行3D人体骨架姿态估计，获得人体的三维图像像素坐标；针对双目视觉感知***和深度视觉感知***采集的RGB图像和深度图像，采用openpose对RGB图像进行检测获得2D人体骨架姿态，再将深度图像对应深度信息映射至2D人体骨架姿态，以获得人体的三维图像像素坐标。
具体的，建立图像像素坐标与机器人基坐标系的映射关系，通过视觉感知***对机器人进行手眼标定，得到图像像素坐标与机器人基坐标系之间的坐标变换矩阵；采用视觉感知***采集协同作业场景中作业人员的人体图像。
利用骨架检测模型对人体图像进行检测，获得人体的三维图像像素坐标；其中，针对单目视觉***采集的RGB图像采用VNect网络模型进行3D人体骨架姿态估计，针对双目视觉***和深度视觉***采集的RGB图像和深度图像，采用openpose对RGB图像进行检测获得2D人体骨架姿态，再将深度图像对应深度信息映射至2D人体骨架姿态，以得到3D人体骨架姿态坐标信息；通过坐标转换矩阵将人体的三维图像像素坐标转换至人体在机器人基坐标系下的三维坐标。
动态距离计算模块14：用于基于相邻帧图像序列中的作业人员的三维坐标信息获得作业人员的第一运动信息，基于作业人员的三维坐标信息、作业人员的第一运动信息、机器人的末端坐标位置信息，计算人机动态等效距离，其中，所述第一运动信息包括作业人员的运动速度信息及运动方向信息；
在本发明具体实施过程中，所述基于相邻帧图像序列中的作业人员的三维坐标信息获得作业人员的第一运动信息，基于作业人员的三维坐标位置信息、作业人员的第一运动信息、机器人的末端坐标位置信息，计算人机动态等效距离，包括：确定所述作业人员的人体骨架关键点，计算所述人体骨架关键点与所述机器人末端之间的最小距离；根据相邻帧图像序列中的作业人员的人体的三维坐标信息，计算人体运动速度和方向；基于所述人体骨架关键点与机器人末端之间的最小距离、人体运动速度和方向计算获得人机动态等效距离。
具体的，首先确定作业人员的人体骨架关键点，然后计算人体骨架关键点与机器人末端之间的最小距离，设人体骨架关键点坐标为Pn(x2,y2,z2)，n为关键点索引，取值范围为[0,N-1](N为关键点个数)，则最小距离可表达为：
dmin＝min(‖P0Probot‖,…,‖PnProbot‖,…,‖PN-1Probot‖)；
根据相邻帧图像中作业人员的人体的三维坐标位置，计算人体运动速度和方向，为了准确估算人体运动速度并简化计算量，以与机器人末端距离最小的关键点为在线速度计算对象；设与机器人末端距离最小的关键点索引为nmin，将其位置数据存放在数组中，可记为
K为t帧钱的帧数。
则有：
其中，
为人体关键点nmin的运动速度(矢量)，Δt为帧时间间隔，此处设为单位时间即为1，K取值为5，考虑越近邻的帧影响越大，设wk值在保持总和为1情况下随近邻帧逐步变化，上式可简化为：
那么，人体关键点nmin的运动速度大小为
人体关键点nmin到机器人末端Probot的方向矢量为
人体关键点nmin到机器人末端的方向矢量与人体关键点nmin的运动速速的夹角为：
考虑到人的运动速度大小和方向对人机碰撞风险的影响，仅以人机之间的距离有失准确性，因此为引入人的运动速度大小和方向因素，定义人与机器人的人机动态等效距离为：
其中，ΔTp为人的运动反应时间(由实验室测定)。
安全控制模块15：用于基于所述人机动态等效距离，以及对机器人作业空间动态规划的不同安全等级的子作业空间区域，预测人机协作碰撞风险，制定相应控制指令针对所述机器人进行安全控制。
在本发明具体实施过程中，所述基于所述人机动态等效距离，以及对机器人作业空间动态规划的不同安全等级的子作业空间区域，预测人机协作碰撞风险，制定相应控制指令针对所述机器人进行安全控制，包括：根据作业人员的三维坐标信息以及机器人作业空间安全等级动态规划模型，计算作业人员所在机器人作业空间中其对应安全等级的子作业空间区域，并基于人机动态等效距离，建立人机碰撞预测模型；基于所述人机碰撞预测模型在线判断作业人员与机器人协作过程的安全性；基于所述安全性针对所述机器人制定相应控制指令进行安全控制。
进一步的，所述基于所述安全性针对所述机器人制定相应控制指令进行安全控制，包括：基于作业人员与所述机器人协作过程的安全等级，针对所述机器人制定不同的控制指令进行安全控制；以及，根据在线判断作业人员与所述机器人协作过程的安全等级生成相应的报警指令，并发送至报警装置进行响应报警。
具体的，为尽可能保证作业人员的人身安全性，假设作业人员的人体在机器人作业空间网格区域即为离机器人末端最近的人体关键点
在机器人作业空间网格区域，网格(i,j)的边界范围可表示为：
则，人体关键点
在机器人作业空间水平面上的网格区域即可获得，设为网格区域
根据机器人的实时位置与运动信息，以及通过机器人作业空间安全等级网格动态规划模型，可得到该网格区域动态规划的安全等级为Lq,q＝1,…,4；以极度危险SL1、危险SL2、较危险SL3、较安全SL4、安全SL5五个等级来表征人机碰撞安全风险程度，以便于进行预警或急停控制。
对于作业人员与机器人之间的距离判断，根据危险分级分别设定相应的阈值，其中危险与次危险等级的距离阈值为Dpr,d，次危险与次安全等级的距离阈值为Dpr,sd，次安全与安全等级的距离阈值为Dpr,ss。
定义条件Qi:Lq＝Li,i＝1,…，4，R1:dpr∈[0,Dpr,d)，R2:dpr∈[Dpr,d,Dpr,sd)，R3:dpr∈[Dpr,sd,Dpr,ss)，R4:dpr∈[Dpr,ss,∞)；则人机协作碰撞风险预测策略可表示如下：
safetyLevel＝f(Qi,Rj),i,j＝1,…,4；
根据协作任务和执行效率需求情况，可进行响应策略调整，本发明举例说明如下表所示。
针对人与机器人协作的安全等级，制定针对机器人的不同控制指令，根据在线判断人与机器人协作过程的安全等级safetyLevel生成相应的指令发送给机器人和报警装置，以便根据检测结果进行响应处理，如下表所示：
在本发明实施例中，在人机协作过程中，考虑了作业人员与机器人的运动速度和方向对人机碰撞风险的影响，根据机器人末端位置、运动速度和方向，建立协作机器人作业空间安全等级动态规划模型，并结合作业人员的位置、运动速度和运动方向信息，实现人机碰撞风险在线准确预测，并及时对机器人发送相应指令进行响应控制，可有效规避人机碰撞风险，提升了人机协作过程的灵活性和安全性能。
实施例
请参阅图3，图3是本发明实施例中的基于人机共融的安全协作***的结构组成示意图。
如图3所示，一种基于人机共融的安全协作***，包括人机共融安全协作、信息交互以及协作场景建模与安全状态检测，其中，人机共融安全协作包括作业人员和协作机器人；协作场景建模与安全状态检测包括：视觉感知***、人体空间位置、协作场景建模、机器人末端空间位置及速度方向、人机距离计算、安全状态检测和响应策略；该基于人机共融的安全协作***被配置为用于实现上述的基于人机共融的安全协作方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种基于人机共融的安全协作方法及装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于人机共融的安全协作方法，其特征在于，所述安全协作方法包括：
获取机器人的末端坐标位置信息及运动信息，其中，所述运动信息包括运动速度信息及运动方向信息；
基于末端坐标位置信息及运动信息建立作业空间安全等级动态规划模型，将所述作业空间划分为不同安全等级的子作业空间区域；
基于视觉感知***采集协同作场景图像，并通过目标检测算法获得作业人员的三维坐标信息；
基于相邻帧图像序列中的作业人员的三维坐标信息获得作业人员的第一运动信息，基于作业人员的三维坐标信息、作业人员的第一运动信息、机器人的末端坐标位置信息，计算人机动态等效距离，其中，所述第一运动信息包括作业人员的运动速度信息及运动方向信息；
基于所述人机动态等效距离，以及对机器人作业空间动态规划的不同安全等级的子作业空间区域，预测人机协作碰撞风险，制定相应控制指令针对所述机器人进行安全控制；
所述基于末端坐标位置信息及运动信息建立作业空间安全等级动态规划模型，将所述作业空间划分为不同安全等级的子作业空间区域，包括：
获取所述机器人的作业空间的区域大小Xrmax×Yrmax，并将所述作业空间划分为M×N网格区域，则每个网格区域的大小为
若所述机器人所在网格的索引为(0,0)，则根据所述机器人基坐标系方向获得网格(i,j)的中心位置坐标为
以所述末端坐标位置信息为中心划分的距离阈值，并基于末端坐标位置信息、运动信息以及划分的距离阈值将所述作业空间划分为不同安全等级的子作业空间区域；
所述以所述末端坐标位置信息为中心划分的距离阈值，并基于末端坐标位置信息、运动信息以及划分的距离阈值将所述作业空间划分为不同安全等级的子作业空间区域，包括：
计算末端坐标位置信息与网格中心的第一距离、机器人末端位置与网格中心位置的方向矢量；
基于机器人末端位置与网格中心位置的方向矢量与所述机器人的运动速度信息进行计算，获得所述方向矢量与机器人的运动速度信息所形成的夹角；
基于所述第一距离、机器人末端位置与网格中心位置的方向矢量及所述方向矢量与机器人的运动速度信息所形成的夹角，构建网格(i,j)区域的危险程度动态计算模型；
基于所述危险程度动态计算模型将所述作业空间划分为不同安全等级的子作业空间区域。
2.根据权利要求1所述的安全协作方法，其特征在于，所述基于视觉感知***采集协同作场景图像，包括：
建立图像像素坐标与所述机器人基坐标系的映射关系，通过视觉感知***对所述机器人进行手眼标定，获得图像像素坐标与所述机器人基坐标系之间的坐标变换矩阵；
基于视觉感知***采集协同作业场景中作业人员的人体图像。
3.根据权利要求2所述的安全协作方法，其特征在于，所述通过目标检测算法获得作业人员的三维坐标信息，包括：
基于骨架检测模型对所述人体图像进行检测，获得人体的三维图像像素坐标；
通过坐标转换矩阵将人体的三维图像像素坐标转换至人体在机器人基坐标系下的三维坐标信息。
4.根据权利要求3所述的安全协作方法，其特征在于，所述基于骨架检测模型对所述人体图像进行检测，获得人体的三维图像像素坐标，包括：
针对单目视觉感知***采集的RGB图像采用VNect网络模型进行3D人体骨架姿态估计，获得人体的三维图像像素坐标；
针对双目视觉感知***和深度视觉感知***采集的RGB图像和深度图像，采用openpose对RGB图像进行检测获得2D人体骨架姿态，再将深度图像对应深度信息映射至2D人体骨架姿态，以获得人体的三维图像像素坐标。
5.根据权利要求1所述的安全协作方法，其特征在于，所述基于相邻帧图像序列中的作业人员的三维坐标信息获得作业人员的第一运动信息，基于作业人员的三维坐标位置信息、作业人员的第一运动信息、机器人的末端坐标位置信息，计算人机动态等效距离，包括：
确定所述作业人员的人体骨架关键点，计算所述人体骨架关键点与所述机器人末端之间的最小距离；
根据相邻帧图像序列中的作业人员的人体的三维坐标信息，计算人体运动速度和方向；
基于所述人体骨架关键点与机器人末端之间的最小距离、人体运动速度和方向计算获得人机动态等效距离。
6.根据权利要求1所述的安全协作方法，其特征在于，所述基于所述人机动态等效距离，以及对机器人作业空间动态规划的不同安全等级的子作业空间区域，预测人机协作碰撞风险，制定相应控制指令针对所述机器人进行安全控制，包括：
根据作业人员的三维坐标信息以及机器人作业空间安全等级动态规划模型，计算作业人员所在机器人作业空间中其对应安全等级的子作业空间区域，并基于人机动态等效距离，建立人机碰撞预测模型；
基于所述人机碰撞预测模型在线判断作业人员与机器人协作过程的安全性；
基于所述安全性针对所述机器人制定相应控制指令进行安全控制。
7.根据权利要求6所述的安全协作方法，其特征在于，所述基于所述安全性针对所述机器人制定相应控制指令进行安全控制，包括：
基于作业人员与所述机器人协作过程的安全等级，针对所述机器人制定不同的控制指令进行安全控制；以及，
根据在线判断作业人员与所述机器人协作过程的安全等级生成相应的报警指令，并发送至报警装置进行响应报警。
8.一种基于人机共融的安全协作装置，其特征在于，所述安全协作装置包括：
机器人信息获取模块：获取机器人的末端坐标位置信息及运动信息，其中，所述运动信息包括运动速度信息及运动方向信息；
作业空间划分模块：用于基于末端坐标位置信息及运动信息建立作业空间安全等级动态规划模型，将所述作业空间划分为不同安全等级的子作业空间区域；
目标检测模块：用于基于视觉感知***采集协同作场景图像，并通过目标检测算法获得作业人员的三维坐标信息；
动态距离计算模块：用于基于相邻帧图像序列中的作业人员的三维坐标信息获得作业人员的第一运动信息，基于作业人员的三维坐标信息、作业人员的第一运动信息、机器人的末端坐标位置信息，计算人机动态等效距离；其中，所述第一运动信息包括作业人员的运动速度信息及运动方向信息；
安全控制模块：用于基于所述人机动态等效距离，以及对机器人作业空间动态规划的不同安全等级的子作业空间区域，预测人机协作碰撞风险，制定相应控制指令针对所述机器人进行安全控制；
所述基于末端坐标位置信息及运动信息建立作业空间安全等级动态规划模型，将所述作业空间划分为不同安全等级的子作业空间区域，包括：
获取所述机器人的作业空间的区域大小Xrmax×Yrmax，并将所述作业空间划分为M×N网格区域，则每个网格区域的大小为
若所述机器人所在网格的索引为(0,0)，则根据所述机器人基坐标系方向获得网格(i,j)的中心位置坐标为
以所述末端坐标位置信息为中心划分的距离阈值，并基于末端坐标位置信息、运动信息以及划分的距离阈值将所述作业空间划分为不同安全等级的子作业空间区域；
所述以所述末端坐标位置信息为中心划分的距离阈值，并基于末端坐标位置信息、运动信息以及划分的距离阈值将所述作业空间划分为不同安全等级的子作业空间区域，包括：
计算末端坐标位置信息与网格中心的第一距离、机器人末端位置与网格中心位置的方向矢量；
基于机器人末端位置与网格中心位置的方向矢量与所述机器人的运动速度信息进行计算，获得所述方向矢量与机器人的运动速度信息所形成的夹角；
基于所述第一距离、机器人末端位置与网格中心位置的方向矢量及所述方向矢量与机器人的运动速度信息所形成的夹角，构建网格(i,j)区域的危险程度动态计算模型；
基于所述危险程度动态计算模型将所述作业空间划分为不同安全等级的子作业空间区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910818210.4A CN110561432B (zh) | 2019-08-30 | 2019-08-30 | 一种基于人机共融的安全协作方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910818210.4A CN110561432B (zh) | 2019-08-30 | 2019-08-30 | 一种基于人机共融的安全协作方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110561432A CN110561432A (zh) | 2019-12-13 |
| CN110561432B true CN110561432B (zh) | 2021-04-23 |
Family
ID=68777090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910818210.4A Active CN110561432B (zh) | 2019-08-30 | 2019-08-30 | 一种基于人机共融的安全协作方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110561432B (zh) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110941279B (zh) * | 2019-12-21 | 2024-01-16 | 上海有个机器人有限公司 | 机器人在密集人流场景内防止压脚的控制方法 |
| CN111178257A (zh) * | 2019-12-28 | 2020-05-19 | 深圳奥比中光科技有限公司 | 一种基于深度相机的区域安全防护***及方法 |
| CN111401685B (zh) * | 2020-02-13 | 2021-02-12 | 中国安全生产科学研究院 | 有限空间作业安全风险监控方法 |
| CN111493881B (zh) * | 2020-04-26 | 2021-03-19 | 每步科技(上海)有限公司 | 卡路里估计***以及估计方法 |
| CN111590583B (zh) * | 2020-05-27 | 2022-10-28 | 太原理工大学 | 一种基于大数据的智能对弈方法 |
| CN111730602B (zh) * | 2020-07-20 | 2020-12-04 | 季华实验室 | 机械臂安全防护方法、装置、存储介质及电子设备 |
| CN113971800A (zh) * | 2020-07-22 | 2022-01-25 | 中国科学院沈阳自动化研究所 | 一种基于rgb-d相机的人机安全协作在线监控方法及*** |
| CN112363470A (zh) * | 2020-11-05 | 2021-02-12 | 苏州工业园区卡鲁生产技术研究院 | 用户协作型机器人控制*** |
| CN112757274B (zh) * | 2020-12-30 | 2022-02-18 | 华中科技大学 | 一种面向人机协同操作的动力学融合行为安全算法及*** |
| CN112775971A (zh) * | 2021-01-07 | 2021-05-11 | 配天机器人技术有限公司 | 提升安全性能的方法、机器人控制柜及存储介质 |
| CN112883792A (zh) * | 2021-01-19 | 2021-06-01 | 武汉海默机器人有限公司 | 一种基于视觉深度分析的机器人主动安全防护方法及*** |
| CN112967336A (zh) * | 2021-01-25 | 2021-06-15 | 广东技术师范大学 | 一种基于视频目标运动跟踪的人机安全协作方法及装置 |
| CN112965515B (zh) * | 2021-01-29 | 2022-06-28 | 中国计量大学 | 一种用于人机协作环境的安全***及人机协作方法 |
| CN112936268A (zh) * | 2021-01-30 | 2021-06-11 | 埃夫特智能装备股份有限公司 | 一种协作机器人安全控制*** |
| CN113219926A (zh) * | 2021-05-13 | 2021-08-06 | 中国计量大学 | 基于数字孪生***的人机共融制造单元安全风险评估方法 |
| CN113568407A (zh) * | 2021-07-27 | 2021-10-29 | 山东中科先进技术研究院有限公司 | 一种基于深度视觉的人机协作安全预警方法及*** |
| CN113515131B (zh) * | 2021-08-27 | 2022-12-27 | 苏州大学 | 基于条件变分自动编码器的移动机器人避障方法及*** |
| CN113799143B (zh) * | 2021-11-18 | 2022-04-19 | 广东隆崎机器人有限公司 | 一种多机器人在工作区域内的安全协作方法及装置 |
| CN113822253B (zh) * | 2021-11-24 | 2022-02-18 | 天津大学 | 一种人机协作方法及*** |
| WO2023123257A1 (zh) * | 2021-12-30 | 2023-07-06 | 西门子（中国）有限公司 | 一种机器人的控制方法及装置 |
| CN114757293A (zh) * | 2022-04-27 | 2022-07-15 | 山东大学 | 基于动作识别和人机距离的人机共融风险预警方法及*** |
| CN114932552B (zh) * | 2022-05-31 | 2024-03-26 | 西安理工大学 | 协作机器人主动动作决策方法、***、设备及存储介质 |
| CN114952854B (zh) * | 2022-06-16 | 2024-07-09 | 山东大学 | 基于人机协作的人体碰撞物对接方法及*** |
| CN115070763A (zh) * | 2022-06-24 | 2022-09-20 | 中铭谷智能机器人(广东)有限公司 | 一种用于汽车自动钣喷的安全控制方法 |
| CN115771145B (zh) * | 2022-11-29 | 2023-09-15 | 哈尔滨理工大学 | 人机协作中基于博弈论的安全控制策略 |
| CN115781764B (zh) * | 2022-12-08 | 2024-06-11 | 北京工业大学 | 协作机器人共融能力测试任务及其综合评价方法 |
| CN116394266B (zh) * | 2023-06-08 | 2023-10-20 | 国网瑞嘉(天津)智能机器人有限公司 | 一种机器人自碰撞处理方法、装置、机器人及介质 |
| CN116703161B (zh) * | 2023-06-13 | 2024-05-28 | 湖南工商大学 | 一种人机共融风险的预测方法、装置、终端设备及介质 |
| CN117621103A (zh) * | 2023-12-22 | 2024-03-01 | 沈阳工业大学 | 基于位姿自适应逆透视变换的护理机器人测距及避障方法 |
| CN117697760B (zh) * | 2024-01-03 | 2024-05-28 | 佛山科学技术学院 | 一种机器人安全运动控制方法及*** |
| CN117697180B (zh) * | 2024-02-06 | 2024-07-05 | 山东森峰激光装备有限公司 | 一种具有预防人身伤害的激光切割***及方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007085330A1 (en) * | 2006-01-30 | 2007-08-02 | Abb Ab | A method and a system for supervising a work area including an industrial robot |
| CN103558856A (zh) * | 2013-11-21 | 2014-02-05 | 东南大学 | 动态环境下服务动机器人导航方法 |
| US10081106B2 (en) * | 2015-11-24 | 2018-09-25 | X Development Llc | Safety system for integrated human/robotic environments |
| US9740207B2 (en) * | 2015-12-23 | 2017-08-22 | Intel Corporation | Navigating semi-autonomous mobile robots |
| GB2559631A (en) * | 2016-04-26 | 2018-08-15 | Ocado Innovation Ltd | Robotic load handler coordination system, cell grid system and method of coordinating a robotic load handler |
| CN106564054B (zh) * | 2016-10-20 | 2018-12-04 | 上海物景智能科技有限公司 | 一种机器人作业区域的动态分割方法及*** |
| CN107564065B (zh) * | 2017-09-22 | 2019-10-22 | 东南大学 | 一种协作环境下人机最小距离的测算方法 |
| CN107932560B (zh) * | 2017-11-14 | 2021-04-27 | 上海交通大学 | 一种人机安全防护***和防护方法 |
| WO2019174005A1 (zh) * | 2018-03-15 | 2019-09-19 | 深圳前海达闼云端智能科技有限公司 | 碰撞处理方法、装置、机器人及计算机可读存储介质 |
| CN108427331A (zh) * | 2018-03-30 | 2018-08-21 | 烟台维度机器人有限公司 | 一种人机协作安全防护方法及*** |
| CN108564599B (zh) * | 2018-04-08 | 2020-11-24 | 广东省智能制造研究所 | 一种人体运动速度估计方法 |
| CN108527370B (zh) * | 2018-04-16 | 2020-06-02 | 北京卫星环境工程研究所 | 基于视觉的人机共融安全防护控制*** |
| CN108846891B (zh) * | 2018-05-30 | 2023-04-28 | 广东省智能制造研究所 | 一种基于三维骨架检测的人机安全协作方法 |
| CN108673510A (zh) * | 2018-06-20 | 2018-10-19 | 北京云迹科技有限公司 | 机器人安全行进***及方法 |
| CN109500811A (zh) * | 2018-11-13 | 2019-03-22 | 华南理工大学 | 一种面向人机共融的机器人主动避让人类的方法 |
| CN109822579A (zh) * | 2019-04-10 | 2019-05-31 | 江苏艾萨克机器人股份有限公司 | 基于视觉的协作机器人安全控制方法 |
-
2019
- 2019-08-30 CN CN201910818210.4A patent/CN110561432B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110561432A (zh) | 2019-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110561432B (zh) | 一种基于人机共融的安全协作方法及装置 | |
| CN110253570A (zh) | 基于视觉的工业机械臂人机安全*** | |
| WO2018108098A1 (zh) | 一种基于多传感器信息融合的带电作业机器人自主作业方法 | |
| CN105760824B (zh) | 一种运动人体跟踪方法和*** | |
| CN109822579A (zh) | 基于视觉的协作机器人安全控制方法 | |
| US8731276B2 (en) | Motion space presentation device and motion space presentation method | |
| CN105665970B (zh) | 用于焊接机器人的路径点自动生成***和方法 | |
| US20200043354A1 (en) | Tabletop system for intuitive guidance in augmented reality remote video communication environment | |
| CN112634318B (zh) | 一种水下维修机器人的遥操作***和方法 | |
| US11111785B2 (en) | Method and device for acquiring three-dimensional coordinates of ore based on mining process | |
| CN107662195A (zh) | 一种具有临场感的机器手主从异构遥操作控制***及控制方法 | |
| Kohn et al. | Towards a real-time environment reconstruction for VR-based teleoperation through model segmentation | |
| EP4246437A1 (en) | Method and apparatus for detecting motion information of target, and device and medium | |
| CN103810696A (zh) | 一种目标对象图像检测方法及装置 | |
| CN113219926A (zh) | 基于数字孪生***的人机共融制造单元安全风险评估方法 | |
| CN111026115A (zh) | 一种基于深度学习的机器人避障控制方法及装置 | |
| Liau et al. | Non-metric navigation for mobile robot using optical flow | |
| KR20170119997A (ko) | 복잡구조물 용접자동화를 위한 광역 환경 인식 방법 및 시스템 | |
| CN109885091B (zh) | 一种无人机自主飞行控制方法及*** | |
| CN114419154A (zh) | 基于视觉与人机协同的机械臂双模式控制方法及*** | |
| CN205537632U (zh) | 一种混凝土泵车臂架防碰撞*** | |
| TWI274845B (en) | Equipment for detecting the object corner and distance using a sole lens | |
| KR101862545B1 (ko) | 로봇을 이용한 구조구난 서비스 제공방법 및 시스템 | |
| CN117893998A (zh) | 基于机器视觉的人机位姿智能防碰方法 | |
| CN114800524B (zh) | 一种人机交互协作机器人主动避碰的***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 510070 Building No. 15, compound 100, martyrs Road, Guangzhou, Guangdong Patentee after: Institute of intelligent manufacturing, Guangdong Academy of Sciences Address before: 510070 Building No. 15, compound 100, martyrs Road, Guangzhou, Guangdong Patentee before: GUANGDONG INSTITUTE OF INTELLIGENT MANUFACTURING |
|
| CP01 | Change in the name or title of a patent holder |