CN108527370A - 基于视觉的人机共融安全防护控制*** - Google Patents
基于视觉的人机共融安全防护控制*** Download PDFInfo
- Publication number
- CN108527370A CN108527370A CN201810337269.7A CN201810337269A CN108527370A CN 108527370 A CN108527370 A CN 108527370A CN 201810337269 A CN201810337269 A CN 201810337269A CN 108527370 A CN108527370 A CN 108527370A
- Authority
- CN
- China
- Prior art keywords
- robot
- machine
- model
- man
- personnel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于视觉的人机共融安全防护控制***,该***包括:安全防护控制单元、视觉追踪单元、机器人控制单元,安全防护控制单元接收视觉追踪单元采集到的操作人员人体骨架数据以及机器人控制单元反馈的关节位置数据,构建机器人和操作人员的安全防护模型,并根据机器人的运动轨迹以及人体的骨架数据预测下一时刻现场行为演化,基于防护模型计算机器人与人员之间的最小距离,从而进行碰撞预测,对可能发生的碰撞进行局部路径规划与修正,进而控制机器人对人机协作过程中可能发生的碰撞做出响应,最终实现人机协作过程中的安全防护控制。本发明结构简单,易于工程化,能够为人机协作提供三维空间的安全防护。
Description
技术领域
本发明属于机器人技术领域,具体涉及一种基于视觉的人机共融安全防护控制***。
背景技术
机器人具有负载大、响应快、精度高等优点,通常被用来替代人类从事重复、繁重或者危险的任务,在工业制造的各领域得到了广泛应用。随着传感器、人工智能、自动控制等学科和技术的进步,机器人正逐步发展成具有感知、认知和自主行动能力的智能化装备,特别是共融机器人概念的提出极大地丰富了机器人的任务内涵。所谓共融机器人,是指机器与人共享同一时间下的工作空间和生产活动,利用人类更为直接的认知和高度智能的决策能力,发挥机器大承载、高精度执行的优势,通过人机协同作业完成非结构化环境下的非确定性任务。共融机器人的发展面临着三大技术瓶颈:情景认知、人机协作以及安全防护,其中情景认知需要解决的是机器人对非结构化环境、不确定性作业任务的感知以及对人类行为和抽象指令的理解,人机协作解决在线实时人机交互、动态未知环境中自主作业等问题,安全防护解决的人机协作过程中机器人行为自律控制问题,为人机协同作业提供技术支撑。
工业机器人的安全防护主要是在机器人作业区域周围设置防护栏,包括物理防护栏、电子防护栏等多种形式,其目的是阻止人员进入机器人的工作空间。它们的设置虽然在一定程度上避免了机器伤人的事故,但也从空间上将人员和机器人进行了隔离,无法用于共融机器人的安全防护。近些年来,有些学者提出了机器人虚拟工作空间的概念,以基座为中心,将机器人周围划分为危险区域、警告区域和安全区域,将人员视为一个圆柱体或长方体,通过视觉的方式获取人员的实时位置,机器人则根据人员所处的区域等级做出降低速度或停止运行等响应。上述方法虽然取消了物理防护栏,拉近了机器和人的距离,但是对人机协作共享工作空间的要求尚有不小的差距。
对于航天器装配任务,机器人需抓取超过30kg的大重量设备,从初始位置移动至狭小凹舱内的安装位置,再由操作人员完成紧固件安装。在装配过程中,为了避免装配过程中磕碰星体,需要人员近距离严密监视机器人与星体之间的安全空间。因而,航天器装配任务是需要机器和人密切配合协作,是共融机器人典型的应用场景。然而,当前的围栏以及虚拟工作空间等方法本质上是将机器人和人从一维垂直空间上进行隔离,无法满足共融机器人的安全防护需求。
发明内容
针对航天器大重量设备装配过程中人机协作安全防护问题,本发明提出一种基于视觉的人机共融安全防护控制***,以圆柱体和球为元素建立机器人和人的三维运动防护模型,通过视觉追踪单元获取人员当前的位置和姿态信息,利用卡尔曼滤波技术对人体运动进行预测,通过空间球体、圆柱体最小距离计算方法实现机器人与人体之间的碰撞检测,对可能发生的碰撞进行局部路径规划与修正,最终实现人机协作过程中的主动避碰。
本发明的目的在于提供一种基于视觉的人机共融安全防护控制***,解决传统防护技术对共融机器人不适用的问题,从而实现共融机器人高效、安全的人机协同装配作业。
根据本发明提出的一种基于视觉的人机共融安全防护控制***,该***包括:安全防护控制单元、视觉追踪单元、机器人运动控制单元,各单元之间的数据交换均通过局域网实现;
所述安全防护控制单元与所述视觉追踪单元、机器人运动控制单元通过网线进行电气连接,用于接收视觉追踪单元采集到的操作人员人体骨架数据以及机器人运动控制单元反馈的关节位置数据,构建机器人和操作人员的安全防护模型,并根据机器人的运动轨迹以及人体的骨架数据预测下一时刻现场行为演化,进而利用防护模型计算机器人与人员之间的最小距离,从而进行碰撞预测,对可能发生的碰撞进行局部路径规划与修正,并将修正后的路径转换成运动指令传输给机器人运动控制单元,然后控制机器人对人机协作过程中可能发生的碰撞做出响应;
所述视觉追踪单元由视觉传感器、图像处理器组成,视觉传感器通过路由器与图像处理器进行网络连接,用于采集装配现场人员的实时图像信息,通过图像处理器提取人体骨架坐标并传输给安全防护控制单元;
所述机器人运动控制单元是指机器人控制器及其数据传输接口***,用于接收安全防护控制单元的运动指令并返回机器人当前状态。
上述技术方案中,所述视觉传感器可以是CCD摄像头,也可以是其他类型的摄像头,如Kinect相机,能够满足图像采集的要求即可。
其中所述图像处理器是指对采集到的图像进行噪声剔除、区域融合与平滑和形态学处理,提取所述图像中的人员信息,通过神经网络模型或深度学习等方法识别出描述人员位姿信息的人体骨架参数的模块。
其中,所述人体骨架数据共有13个,分别表示头部、颈部、胯部、左肩、右肩、左臂肘部和腕部、右臂肘部和腕部、左腿膝部和踝部、右腿膝部和踝部,能够完整描述人体各组成部分的位置。
上述技术方案中,所述机器人是六自由度串联式机器人,可以是成熟的工业机器人。
上述技术方案中,所述安全防护控制单元用于确定操作人员在下一时刻的运动趋势,根据共融机器人的工作任务和人员当前的位姿信息建立以人体骨架参数为变量的人体初始运动模型,基于该模型采用卡尔曼滤波方法获取下一时刻的人体骨架参数,然后通过对视觉追踪单元获取的连续骨架参数的学习与建模,得出人员运动时的人体骨架参数,修正卡尔曼滤波方法得到的模型参数,从而得到下一时刻操作人员的位姿信息。
上述技术方案中,所述防护模型包括机器人防护模型和人员防护模型,其中机器人防护模型是由2个两端带有半球的圆柱体构成,分别包围着机器人的大臂和小臂,圆柱体的大小取决于机器人的结构参数;人员的防护模型是由球体和圆柱体构成,在人体骨架参数基础上,用圆柱体表示躯干、手臂和腿部,用球体表示头部,各圆柱体和球体的大小可以通过二元二次回归方法进行拟合。
上述技术方案中,所述安全防护控制单元的碰撞检测是通过计算机器人和人体防护模型之间的最小距离进行碰撞检测,具体计算方法为:
机器人防护模型的第i个圆柱体可以用空间向量pi和qi表示,人体防护模型中的第j个圆柱体同样可以用pj和qj表示,球体可以视为高度为零的圆柱体,那么两个圆柱体之间的最小距离即为:
dmin=min(|pj+njλj-(pi+niλi)|)-ρi-ρj
其中,nj=qj-pj,ni=qi-pi,均为已知量;ρi和ρj为圆柱体半径,也是已知量;λi和λj为加权变量,取值介于0和1之间。通过矩阵变换可将上式转换为一个二元一次规划问题,求解域为平行四边形,存在解析解umin,那么两个圆柱体之间的最小距离为:
dmin=|Axmin-y|-ρi-ρj
其中,A=[qj,qi],xmin=R-1(umin+QTy),y=pi-pj,Q和R为矩阵A的QR分解矩阵。
上述技术方案中,所述安全防护控制单元的路径规划是根据机器人预定的运动轨迹,以机器人当前时刻T0位姿为初始值,选取T0+T时刻机器人的位姿为目标值,以人体在T0时刻到T0+T时刻内的运动轨迹为动态约束,采用动态路图法或人工势场法进行动态路径规划,局部修正机器人的运动轨迹,实现机器人的主动避碰。所述T时间段的选取受限于T0到T0+T时间段之间有碰撞发生,而在T0+T时刻无碰撞。
其中,所述人体骨架数据共有13个,分别表示头部、颈部、胯部、左肩、右肩、左臂肘部和腕部、右臂肘部和腕部、左腿膝部和踝部、右腿膝部和踝部,能够完整描述人体各组成部分的位置。
实践证明,本发明提出的共融机器人安全防护控制***可以达到以下效果:
本发明提出的利用多个视觉传感器组合应用,能够有效避免视线遮挡造成的目标识别不充分、精度差等问题,同时提取人体骨架参数可以有效表征人员的三维运动状态,为人机协作过程中人员肢体防护提供基础;采用圆柱体、球体建立机器人和人员的安全防护模型,包络充分、参数变量少,将机器人与人员的干涉检查转化为圆柱体之间最小距离计算,大大减小计算量和计算耗时,能够进行实时碰撞检测;本发明结构简单,易于工程化,能够为人机协作提供三维空间的安全防护。
附图说明
图1为本发明基于视觉的共融机器人安全防护控制***的单元组成示意图;
图2为根据本发明一实施例的基于视觉的共融机器人安全防护控制***的结构示意图;
其中:1-安全防护控制单元;2-视觉追踪单元;3-机器人运动控制单元;4-共融机器人;5-机器人;6-操作人员;7-航天器本体;8-视觉传感器;
图3为本发明提出的人体骨架与安全防护模型示意图;
图4为机器人安全防护模型示意图;
图5为本发明提出的圆柱体最小距离计算示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
图1为本发明基于视觉的共融机器人安全防护控制***的组成示意图,如图1所示,本发明的基于视觉的人机共融安全防护控制***,包括安全防护控制单元、视觉追踪单元、机器人运动控制单元,其中:
所述安全防护控制单元与所述视觉追踪单元、机器人运动控制单元电气连接,用于接收视觉追踪单元采集到的操作人员人体骨架数据以及机器人控制单元反馈的关节位置数据,构建机器人和操作人员的安全防护模型,根据机器人的运动轨迹以及人体的骨架数据预测下一时刻现场行为演化,基于防护模型计算机器人与人员之间的最小距离,从而进行碰撞预测,对可能发生的碰撞进行局部路径规划与修正,并修正后的路径转换成运动指令传输给机器人控制单元,进而控制机器人对人机协作过程中可能发生的碰撞做出响应;
所述视觉追踪单元由3个视觉传感器、图像处理器组成,视觉传感器通过路由器与图像处理器进行网络连接,用于采集装配现场人员的实时图像信息,通过图像处理器提取人体骨架坐标并传输给安全防护控制单元;
所述机器人运动控制单元是指机器人控制器及其数据传输接口***,用于接收安全防护控制单元的运动指令并返回机器人当前状态。
图2为本发明基于视觉的共融机器人安全防护控制***的结构示意图,如图2所示,所述共融机器人包括机器人及其移动平台、操作人员,可用于航天器大重量设备装配等工况。
根据本发明提出的基于视觉的人机共融安全防护控制***,该***的使用包括以下步骤:
步骤1,视觉追踪单元通过视觉传感器实时采集共融机器人作业现场的图像信息,并传输给图像处理器进行计算,从而获得现场人员的人体骨架参数,然后传输给安全防护控制单元;
步骤2,机器人运动控制单元读取机器人各关节的位置数据,并传输给安全防护控制单元;
步骤3,安全防护控制单元接收并存储人体骨架参数以及机器人关节位置数据,将上一时间段操作人员人体骨架运动轨迹作为输入,计算得到下一时间段人体骨架参数;
步骤4,根据机器人的预定运动轨迹和预测的操作人员人体骨架参数,建立机器人和操作人员的三维防护模型,并计算防护模型之间的最小距离;
步骤5,当最小距离小于0时,表示机器人和人员将发生碰撞,则根据局部路径规划算法修正机器人各关节的运动轨迹,避免机器人碰撞到人员,保障共融机器人作业过程中人员的安全。
在步骤1中,所述视觉传感器可以是CCD摄像头,也可以是其他类型的摄像头,如Kinect相机,能够满足图像采集的要求即可;所述图像处理器是指对采集到的图像进行噪声剔除、区域融合与平滑和形态学处理,提取所述图像中的人员信息,通过神经网络模型或深度学习等方法识别出描述人员位姿信息的人体骨架参数;所述人体骨架参数共有13个,如图3所示,分别表示头部、颈部、胯部、左肩、右肩、左臂肘部和腕部、右臂肘部和腕部、左腿膝部和踝部、右腿膝部和踝部,能够完整描述人体各组成部分的位置。
在步骤3中,所述安全防护控制单元的行为预测是用于确定人员在下一时刻的运动趋势,根据共融机器人的工作任务和人员当前的位姿信息建立以人体骨架参数为变量的人体初始运动模型,基于该模型采用卡尔曼滤波方法获取下一时刻的人体骨架参数,然后通过对视觉追踪单元获取的连续骨架参数的学习与建模,得出人员运动时的人体骨架参数,修正卡尔曼滤波方法得到的模型参数,从而得到下一时刻人员的位姿信息。
在步骤4中,所述防护模型包括机器人防护模型和人员防护模型,其中机器人防护模型是由2个两端带有半球的圆柱体构成,如图4所示,分别包围着机器人的大臂和小臂,圆柱体的大小取决于机器人的结构参数;人员的防护模型是由球体和圆柱体构成,如图3所示,在人体骨架参数基础上,用圆柱体表示躯干、手臂和腿部,用球体表示头部,各圆柱体和球体的大小可以通过二元二次回归方法进行拟合。
在步骤4中,所述安全防护控制单元的碰撞检测是通过计算机器人和人体防护模型之间的最小距离进行判断的,具体计算方法为:
如图5所示,机器人防护模型的第i个圆柱体可以用空间向量pi和qi表示,人体防护模型中的第j个圆柱体同样可以用pj和qj表示,球体可以视为高度为零的圆柱体,那么两个圆柱体之间的最小距离即为:
dmin=min(|pj+njλj-(pi+niλi)|)-ρi-ρj
其中,nj=qj-pj,ni=qi-pi,均为已知量;ρi和ρj为圆柱体半径,也是已知量;λi和λj为加权变量,取值介于0和1之间。通过矩阵变换可将上式转换为一个二元一次规划问题,求解域为平行四边形,存在解析解umin,那么两个圆柱体之间的最小距离为:
dmin=|Axmin-y|-ρi-ρj
其中,A=[qj,qi],xmin=R-1(umin+QTy),y=pi-pj,Q和R为矩阵A的QR分解矩阵。
在步骤5中,所述安全防护控制单元的路径规划是根据机器人预定的运动轨迹,以机器人当前时刻T0位姿为初始值,选取T0+T时刻机器人的位姿为目标值,以人体在T0时刻到T0+T时刻内的运动轨迹为动态约束,采用动态路图法或人工势场法进行动态路径规划,局部修正机器人的运动轨迹,实现机器人的主动避碰,所述T时间段的选取受限于T0到T0+T时间段之间有碰撞发生,而在T0+T时刻无碰撞。
本具体实施例仅仅是对本发明的解释,其并不是对本发明的限制,相关技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (9)
1.基于视觉的人机共融安全防护控制***,该***包括:安全防护控制单元、视觉追踪单元、机器人控制单元,各单元之间的数据交换均通过局域网实现;
所述安全防护控制单元与所述视觉追踪单元、机器人控制单元电气连接,其包括行为预测模块、碰撞检测模块和路径规划模块,用于接收视觉追踪单元采集到的操作人员人体骨架数据以及机器人控制单元反馈的关节位置数据,构建机器人和操作人员的安全防护模型,行为预测模块根据机器人的运动轨迹以及人体的骨架数据预测下一时刻现场行为演化,碰撞检测模块基于防护模型计算机器人与人员之间的最小距离,从而进行碰撞预测,路径规划模块对可能发生的碰撞进行局部路径规划与修正,并修正后的路径转换成运动指令传输给机器人控制单元,进而控制机器人对人机协作过程中可能发生的碰撞做出响应;
所述视觉追踪单元由视觉传感器、计算机以及图像处理单元组成,视觉传感器通过路由器与计算机进行网络连接,用于采集装配现场人员的实时图像信息,通过图像处理单元提取人体骨架坐标并传输给安全防护控制单元;
所述机器人控制单元是指机器人控制器及其数据传输接口,用于接收安全防护控制单元的运动指令并返回机器人当前状态。
2.如权利要求1所述的基于视觉的人机共融安全防护控制***,其中,所述视觉传感器是CCD摄像头。
3.如权利要求1所述的基于视觉的人机共融安全防护控制***,其中,所述图像处理单元是指对采集到的图像进行噪声剔除、区域融合与平滑和形态学处理,提取所述图像中的人员信息,通过神经网络模型或深度学习方法识别出描述人员位姿信息的人体骨架参数的模块。
4.如权利要求1-3任一项所述的基于视觉的人机共融安全防护控制***,其中,所述人体骨架数据共有13个,分别表示头部、颈部、胯部、左肩、右肩、左臂肘部和腕部、右臂肘部和腕部、左腿膝部和踝部、右腿膝部和踝部,能够完整描述人体各组成部分的位置。
5.如权利要求1-3任一项所述的基于视觉的人机共融安全防护控制***,其中,所述机器人是六自由度串联式机器人。
6.如权利要求1-3任一项所述的基于视觉的人机共融安全防护控制***,其中,所述行为预测模块用于确定操作人员在下一时刻的运动趋势,根据共融机器人的工作任务和人员当前的位姿信息建立以人体骨架参数为变量的人体初始运动模型,基于该模型采用卡尔曼滤波方法获取下一时刻的人体骨架参数,然后通过对视觉追踪单元获取的连续骨架参数的学习与建模,得出人员运动时的人体骨架参数,修正卡尔曼滤波方法得到的模型参数,从而得到下一时刻操作人员的位姿信息。
7.如权利要求1-3任一项所述的基于视觉的人机共融安全防护控制***,其中,所述防护模型包括机器人防护模型和人员防护模型,其中机器人防护模型是由2个两端带有半球的圆柱体构成,分别包围着机器人的大臂和小臂,圆柱体的大小取决于机器人的结构参数;人员的防护模型是由球体和圆柱体构成,在人体骨架参数基础上,用圆柱体表示躯干、手臂和腿部,用球体表示头部,各圆柱体和球体的大小通过二元二次回归方法进行拟合。
8.如权利要求1-3任一项所述的基于视觉的人机共融安全防护控制***,其中,所述碰撞检测模块通过计算机器人和人体防护模型之间的最小距离进行碰撞检测,具体计算方法为:
机器人防护模型的第i个圆柱体可以用空间向量pi和qi表示,人体防护模型中的第j个圆柱体同样可以用pj和qj表示,球体可以视为高度为零的圆柱体,那么两个圆柱体之间的最小距离即为:
dmin=min(|pj+njλj-(pi+niλi)|)-ρi-ρj
其中,nj=qj-pj,ni=qi-pi,均为已知量;ρi和ρj为圆柱体半径,也是已知量;λi和λj为加权变量,取值介于0和1之间;通过矩阵变换可将上式转换为一个二元一次规划问题,求解域为平行四边形,存在解析解umin,那么两个圆柱体之间的最小距离为:
dmin=|Axmin-y|-ρi-ρj
其中,A=[qj,-qi],xmin=R-1(umin+QTy),y=pi-pj,Q和R为矩阵A的QR分解矩阵。
9.如权利要求1-3任一项所述的基于视觉的人机共融安全防护控制***,其中,所述路径规划模块根据机器人预定的运动轨迹,以机器人当前时刻T0位姿为初始值,选取T0+T时刻机器人的位姿为目标值,以人体在T0时刻到T0+T时刻内的运动轨迹为动态约束,采用动态路图法或人工势场法进行动态路径规划,局部修正机器人的运动轨迹,实现机器人的主动避碰,所述T时间段的选取受限于T0到T0+T时间段之间有碰撞发生,而在T0+T时刻无碰撞。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810337269.7A CN108527370B (zh) | 2018-04-16 | 2018-04-16 | 基于视觉的人机共融安全防护控制*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810337269.7A CN108527370B (zh) | 2018-04-16 | 2018-04-16 | 基于视觉的人机共融安全防护控制*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108527370A true CN108527370A (zh) | 2018-09-14 |
CN108527370B CN108527370B (zh) | 2020-06-02 |
Family
ID=63481150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810337269.7A Active CN108527370B (zh) | 2018-04-16 | 2018-04-16 | 基于视觉的人机共融安全防护控制*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108527370B (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109500811A (zh) * | 2018-11-13 | 2019-03-22 | 华南理工大学 | 一种面向人机共融的机器人主动避让人类的方法 |
CN109920208A (zh) * | 2019-01-31 | 2019-06-21 | 深圳绿米联创科技有限公司 | 跌倒预测方法、装置、电子设备及*** |
CN110163113A (zh) * | 2019-04-25 | 2019-08-23 | 上海师范大学 | 一种人体行为相似度计算方法及装置 |
CN110561432A (zh) * | 2019-08-30 | 2019-12-13 | 广东省智能制造研究所 | 一种基于人机共融的安全协作方法及装置 |
CN110900601A (zh) * | 2019-11-15 | 2020-03-24 | 武汉理工大学 | 一种面向人-机器人协作安全保障的机器人运行自主控制方法 |
CN111044045A (zh) * | 2019-12-09 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 基于神经网络的导航方法、装置及终端设备 |
CN111203875A (zh) * | 2020-01-07 | 2020-05-29 | 重庆邮电大学 | 一种机械臂碰撞安全等级检测*** |
CN111230854A (zh) * | 2018-11-28 | 2020-06-05 | 沈阳东联智慧科技有限公司 | 一种智能协作机器人安全控制软件*** |
CN111300491A (zh) * | 2019-11-20 | 2020-06-19 | 深圳市烨嘉为技术有限公司 | 基于协作化驱控一体机器人的人机协作安全*** |
CN112140102A (zh) * | 2020-06-08 | 2020-12-29 | 深圳市越疆科技有限公司 | 一种工业机器人的避障方法、装置和*** |
CN112247993A (zh) * | 2020-04-15 | 2021-01-22 | 牧今科技 | 具有碰撞避免机制的机器人***及其操作方法 |
CN112775971A (zh) * | 2021-01-07 | 2021-05-11 | 配天机器人技术有限公司 | 提升安全性能的方法、机器人控制柜及存储介质 |
CN112936268A (zh) * | 2021-01-30 | 2021-06-11 | 埃夫特智能装备股份有限公司 | 一种协作机器人安全控制*** |
CN112967336A (zh) * | 2021-01-25 | 2021-06-15 | 广东技术师范大学 | 一种基于视频目标运动跟踪的人机安全协作方法及装置 |
WO2021114666A1 (zh) * | 2019-12-11 | 2021-06-17 | 山东大学 | 人机协作中人体安全评估方法及*** |
CN113001536A (zh) * | 2019-12-20 | 2021-06-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种面向协作多机器人的防碰撞检测方法及装置 |
CN113219926A (zh) * | 2021-05-13 | 2021-08-06 | 中国计量大学 | 基于数字孪生***的人机共融制造单元安全风险评估方法 |
CN113524175A (zh) * | 2021-06-22 | 2021-10-22 | 香港理工大学深圳研究院 | 一种基于多模态行为在线预测的人机协作方法和*** |
CN113822253A (zh) * | 2021-11-24 | 2021-12-21 | 天津大学 | 一种人机协作方法及*** |
CN114706403A (zh) * | 2022-04-19 | 2022-07-05 | 广西大学 | 一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的***及方法 |
CN114757293A (zh) * | 2022-04-27 | 2022-07-15 | 山东大学 | 基于动作识别和人机距离的人机共融风险预警方法及*** |
CN114905500A (zh) * | 2021-02-06 | 2022-08-16 | 赣州创格自动化设备有限公司 | 一种简便的机器人控制方法 |
CN115007765A (zh) * | 2022-08-03 | 2022-09-06 | 山东迪格重工机械有限公司 | 一种基于红外线的冲压机床防夹手自动控制方法 |
WO2023123257A1 (zh) * | 2021-12-30 | 2023-07-06 | 西门子(中国)有限公司 | 一种机器人的控制方法及装置 |
CN116985142A (zh) * | 2023-09-25 | 2023-11-03 | 北京航空航天大学 | 一种机器人运动规划方法、装置和机器人 |
US11919175B2 (en) | 2020-04-15 | 2024-03-05 | Mujin, Inc. | Robotic system with collision avoidance mechanism and method of operation thereof |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3674408D1 (de) * | 1985-07-08 | 1990-10-25 | Bertin & Cie | Anordnung zum kontrollieren der geometrie einer mechanischen struktur. |
CN1461693A (zh) * | 2002-05-30 | 2003-12-17 | 库卡-罗伯特有限公司 | 用于避免在协作机器人之间的碰撞的方法和控制装置 |
CN104715493A (zh) * | 2015-03-23 | 2015-06-17 | 北京工业大学 | 一种运动人体姿态估计的方法 |
CN105137973A (zh) * | 2015-08-21 | 2015-12-09 | 华南理工大学 | 一种人机协作场景下的机器人智能躲避人类方法 |
CN106514667A (zh) * | 2016-12-05 | 2017-03-22 | 北京理工大学 | 基于Kinect骨骼追踪和无标定视觉伺服的人机协作*** |
CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全*** |
-
2018
- 2018-04-16 CN CN201810337269.7A patent/CN108527370B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3674408D1 (de) * | 1985-07-08 | 1990-10-25 | Bertin & Cie | Anordnung zum kontrollieren der geometrie einer mechanischen struktur. |
CN1461693A (zh) * | 2002-05-30 | 2003-12-17 | 库卡-罗伯特有限公司 | 用于避免在协作机器人之间的碰撞的方法和控制装置 |
CN104715493A (zh) * | 2015-03-23 | 2015-06-17 | 北京工业大学 | 一种运动人体姿态估计的方法 |
CN105137973A (zh) * | 2015-08-21 | 2015-12-09 | 华南理工大学 | 一种人机协作场景下的机器人智能躲避人类方法 |
CN106514667A (zh) * | 2016-12-05 | 2017-03-22 | 北京理工大学 | 基于Kinect骨骼追踪和无标定视觉伺服的人机协作*** |
CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全*** |
Non-Patent Citations (2)
Title |
---|
刘欣: "基于智能感知的机器人交互技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
高鹏: "人机协作中机器人主动避碰技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109500811A (zh) * | 2018-11-13 | 2019-03-22 | 华南理工大学 | 一种面向人机共融的机器人主动避让人类的方法 |
CN111230854A (zh) * | 2018-11-28 | 2020-06-05 | 沈阳东联智慧科技有限公司 | 一种智能协作机器人安全控制软件*** |
CN109920208A (zh) * | 2019-01-31 | 2019-06-21 | 深圳绿米联创科技有限公司 | 跌倒预测方法、装置、电子设备及*** |
CN110163113B (zh) * | 2019-04-25 | 2023-04-07 | 上海师范大学 | 一种人体行为相似度计算方法及装置 |
CN110163113A (zh) * | 2019-04-25 | 2019-08-23 | 上海师范大学 | 一种人体行为相似度计算方法及装置 |
CN110561432A (zh) * | 2019-08-30 | 2019-12-13 | 广东省智能制造研究所 | 一种基于人机共融的安全协作方法及装置 |
CN110900601A (zh) * | 2019-11-15 | 2020-03-24 | 武汉理工大学 | 一种面向人-机器人协作安全保障的机器人运行自主控制方法 |
CN110900601B (zh) * | 2019-11-15 | 2022-06-03 | 武汉理工大学 | 一种面向人-机器人协作安全保障的机器人运行自主控制方法 |
CN111300491A (zh) * | 2019-11-20 | 2020-06-19 | 深圳市烨嘉为技术有限公司 | 基于协作化驱控一体机器人的人机协作安全*** |
CN111044045A (zh) * | 2019-12-09 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 基于神经网络的导航方法、装置及终端设备 |
CN111044045B (zh) * | 2019-12-09 | 2022-05-27 | 中国科学院深圳先进技术研究院 | 基于神经网络的导航方法、装置及终端设备 |
WO2021114666A1 (zh) * | 2019-12-11 | 2021-06-17 | 山东大学 | 人机协作中人体安全评估方法及*** |
CN113001536A (zh) * | 2019-12-20 | 2021-06-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种面向协作多机器人的防碰撞检测方法及装置 |
CN111203875B (zh) * | 2020-01-07 | 2022-08-09 | 重庆邮电大学 | 一种机械臂碰撞安全等级检测*** |
CN111203875A (zh) * | 2020-01-07 | 2020-05-29 | 重庆邮电大学 | 一种机械臂碰撞安全等级检测*** |
CN112247993B (zh) * | 2020-04-15 | 2022-02-18 | 牧今科技 | 具有碰撞避免机制的机器人***及其操作方法 |
CN112247993A (zh) * | 2020-04-15 | 2021-01-22 | 牧今科技 | 具有碰撞避免机制的机器人***及其操作方法 |
US11919175B2 (en) | 2020-04-15 | 2024-03-05 | Mujin, Inc. | Robotic system with collision avoidance mechanism and method of operation thereof |
CN112140102A (zh) * | 2020-06-08 | 2020-12-29 | 深圳市越疆科技有限公司 | 一种工业机器人的避障方法、装置和*** |
CN112775971A (zh) * | 2021-01-07 | 2021-05-11 | 配天机器人技术有限公司 | 提升安全性能的方法、机器人控制柜及存储介质 |
CN112967336A (zh) * | 2021-01-25 | 2021-06-15 | 广东技术师范大学 | 一种基于视频目标运动跟踪的人机安全协作方法及装置 |
CN112936268A (zh) * | 2021-01-30 | 2021-06-11 | 埃夫特智能装备股份有限公司 | 一种协作机器人安全控制*** |
CN114905500A (zh) * | 2021-02-06 | 2022-08-16 | 赣州创格自动化设备有限公司 | 一种简便的机器人控制方法 |
CN113219926A (zh) * | 2021-05-13 | 2021-08-06 | 中国计量大学 | 基于数字孪生***的人机共融制造单元安全风险评估方法 |
CN113524175A (zh) * | 2021-06-22 | 2021-10-22 | 香港理工大学深圳研究院 | 一种基于多模态行为在线预测的人机协作方法和*** |
CN113524175B (zh) * | 2021-06-22 | 2022-08-12 | 香港理工大学深圳研究院 | 一种基于多模态行为在线预测的人机协作方法和*** |
CN113822253A (zh) * | 2021-11-24 | 2021-12-21 | 天津大学 | 一种人机协作方法及*** |
WO2023123257A1 (zh) * | 2021-12-30 | 2023-07-06 | 西门子(中国)有限公司 | 一种机器人的控制方法及装置 |
CN114706403A (zh) * | 2022-04-19 | 2022-07-05 | 广西大学 | 一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的***及方法 |
CN114757293A (zh) * | 2022-04-27 | 2022-07-15 | 山东大学 | 基于动作识别和人机距离的人机共融风险预警方法及*** |
CN115007765A (zh) * | 2022-08-03 | 2022-09-06 | 山东迪格重工机械有限公司 | 一种基于红外线的冲压机床防夹手自动控制方法 |
CN116985142A (zh) * | 2023-09-25 | 2023-11-03 | 北京航空航天大学 | 一种机器人运动规划方法、装置和机器人 |
CN116985142B (zh) * | 2023-09-25 | 2023-12-08 | 北京航空航天大学 | 一种机器人运动规划方法、装置和机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN108527370B (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108527370A (zh) | 基于视觉的人机共融安全防护控制*** | |
CN110253570A (zh) | 基于视觉的工业机械臂人机安全*** | |
Dröder et al. | A machine learning-enhanced digital twin approach for human-robot-collaboration | |
CN107193371A (zh) | 一种基于虚拟现实的实时人机交互***及方法 | |
CN111694428A (zh) | 基于Kinect的手势与轨迹远程控制机器人*** | |
CN109968310A (zh) | 一种机械臂交互控制方法及*** | |
CN112706158A (zh) | 基于视觉和惯导定位的工业人机交互***及方法 | |
Tellaeche et al. | Human robot interaction in industrial robotics. Examples from research centers to industry | |
Cheng et al. | Human-robot interaction method combining human pose estimation and motion intention recognition | |
Uzakov et al. | UAV vision-based nonlinear formation control applied to inspection of electrical power lines | |
Manns et al. | Identifying human intention during assembly operations using wearable motion capturing systems including eye focus | |
US11478932B2 (en) | Handling assembly comprising a handling device for carrying out at least one work step, method, and computer program | |
CN110142769A (zh) | 基于人体姿态识别的ros平台在线机械臂示教*** | |
Wakabayashi et al. | Associative motion generation for humanoid robot reflecting human body movement | |
CN114757293A (zh) | 基于动作识别和人机距离的人机共融风险预警方法及*** | |
Ottogalli et al. | Framework for the simulation of an aircraft final assembly line | |
Zhou | Human‐Machine Cooperation and Path Planning for Complex Road Conditions | |
Timofeev et al. | Design and implementation of multi-agent man-machine interface on the base of virtual reality models | |
Erdős et al. | Visual servo guided cyber-physical robotic assembly cell | |
DE102020104359B4 (de) | Arbeitsraumbegrenzung für einen Robotermanipulator | |
CN109807913A (zh) | 一种双臂机器人排雷协同控制***及排雷方法 | |
Zheng et al. | Development of an internet-based multi-robot teleoperation system | |
CN108170108A (zh) | 一种基于虚拟现实的串联机器人远程监控*** | |
Duan et al. | A MR-Assisted and Scene Perception System for Human-Robot Collaborative Disassembly of Power Batteries | |
Latif et al. | Human robot Interaction–Object Detection and Distance Measurement Using Kinect V2 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |