CN112706158A - 基于视觉和惯导定位的工业人机交互***及方法 - Google Patents
基于视觉和惯导定位的工业人机交互***及方法 Download PDFInfo
- Publication number
- CN112706158A CN112706158A CN201911020300.5A CN201911020300A CN112706158A CN 112706158 A CN112706158 A CN 112706158A CN 201911020300 A CN201911020300 A CN 201911020300A CN 112706158 A CN112706158 A CN 112706158A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- information
- camera
- operator
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明涉及基于视觉和惯导定位的工业人机交互***及方法,包括:至少1个机械手,用于抓握以及加工目标工件;至少1个机械臂,机械臂的底部为基座,机械臂末端安装所述机械手;至少4个工业摄像机,用于获取操作人员工作区域的手臂、手指关节及机械手的彩色图像;至少4个摄像机,用于对空间机械臂机械手的位置进行立体定位,至少1组体感穿戴设备,穿戴于操作人员手臂位置,用于获取移动方向的位移、速度、加速度信息;至少1台计算机,用于获取信息并在操作人员工作区域的小视场内,计算机通过获取穿戴设备信息以及摄像机图像信息,判断操作人员是否与机械臂及机械手发生碰撞。
Description
技术领域
本发明涉及一种基于视觉和惯导定位的工业人机交互***及方法,属于人 机交互和工业测量领域。
背景技术
当前工业现场有很多人机交互保证人机安全的方法,包括有通过手持控制 器保证人在安全范围内、通过护栏保证人身安全、操作人员在机器人工作范围 外保证人身安全等,这些人机交互方式大多数都是串行、人机并没有真正接触 的工作方式。现有人机交互***中,操作人员主要进行的工作为机器人工作原 料的装载、在安全距离外机器人运行的监督以及成品的检验。现有方案人机交 互过程依然受到空间限制,无法使人机交互摆脱空间限制随人走动,且识别图 像处理过程复杂。
本发明旨在发明一种基于视觉和惯导定位的工业人机交互***及方法,以 克服上述缺点。
发明内容
为了解决上述技术问题,本发明提供一种基于视觉和惯导定位的工业人机 交互***,可以消除人机交互中的空间限制和交互程度,提高人机交互的便利 性,且能够提高人机交互过程中的人机安全程度。
本发明的技术方案如下:
一种基于视觉和惯导定位的人机主动安全及协作***,包括:
至少1个机械手,用于抓握以及加工目标工件;
至少1个机械臂,机械臂的底部为基座,机械臂末端安装所述机械手;
至少4个工业摄像机,用于获取操作人员工作区域的手臂及机械手的彩色 图像;
至少4个摄像机,用于对空间机械臂机械手的位置进行立体定位,采集摄 像机信息,包括机械臂工作环境的彩色图像信息、深度图像信息;
至少1组体感穿戴设备,穿戴于操作人员手臂位置,用于获取体感穿戴设 备信息,包括操作人员手臂的手肘,手腕,手指关节的移动方向的位移、速度、 加速度信息;
至少1台计算机,用于获取体感穿戴设备中的惯导传感器的信息并在操作 人员工作区域的小视场内,计算机通过获取体感穿戴设备信息、摄像机信息以 及工业摄像机的彩色图像,判断操作人员是否与机械臂及机械手发生碰撞。
所述体感穿戴设备包括:
安装在手臂关节位置及手掌的惯导传感器;
安装在手指关节及手指末端的主动光源。
所述计算机用于:
摄像机处获得的彩色图像信息与深度图像信息用于计算场景中无人区域移 动目标的空间位置信息、移动速度及方向信息,得到场景中移动目标与机械臂 及机械手的相对位置、相对速度信息,并对移动目标是否与机械臂及机械手是 否发生碰撞进行预测和判断;
处理惯导传感器获得的手臂关节及手掌的位置信息、速度信息、加速度信 息;
从操作人员工作区域的工业摄像机获取的彩色图像得到参与工作的手指关 节位置信息及机械手的位置信息。
一种基于视觉和惯性定位的人机主动安全及协作方法,包括以下步骤:
(1)将所述机械臂基座的中心点作为三维空间坐标系的原点建立世界坐标 系,将所述机械手的末端中心点作为原点建立末端坐标系;
(2)采用所述摄像机发射红外激光,采集彩色图像信息和深度图像信息, 以摄像头作为原点建立相机坐标系,对大视场中摄像机进行标定,建立摄像机 间的坐标变换;
(3)采用所述惯导传感器,采集操作人员手臂关节及手掌的位置信息;
(4)采用所述主动光源及工业摄像机,采集操作人员手指关节及手指末端 的位置及图像信息;
(5)采用所述计算机基于大视场中摄像机及工业摄像机获取的彩色图像、 彩色图像信息及深度图像信息,获取场景图像每个像素点的图像坐标及相机坐 标,通过光流估计方法检测移动目标在图像中的位置信息,采用图像坐标到世 界坐标的映射以及相机坐标系到世界坐标系的坐标变换,得到大视场内移动目 标的世界坐标中的位置信息;结合计算机获取的机械臂的位置信息,获得移动 目标与机械臂及机械手的相对位置和相对速度,判断移动目标是否与机械臂发 生碰撞,并指定机械臂及机械手的主动避让行为;
(6)采用所述计算机基于小视场内获取的图像信息、小视场内场景及操作 人员肢体的三维坐标信息、速度、加速度信息,采用积分运算得到操作人员的 手臂位置信息,通过主动光源获得的手指位姿信息,判断操作人员在工作区域 内是否与机械臂及机械手发生碰撞,并指定机械臂及机械手的主动避让行为。 所述大视场为机械臂最大工作空间周围的设置的包括摄像机和工业摄像机的成 像设备能够采集到的最大范围;所述小视场为完成具体工作时机械臂末端与操 作人员发生直接接触或间接接触的场景中成像设备能采集到的最大范围。
步骤(5)中所述判断移动目标是否与机械臂发生碰撞,包括:
移动目标与机械臂的最近点p、移动目标与机械臂的相对位置d、相对速度 v作为是否发生碰撞的评价指标,具体内容如下:
当d<T_d,v<T_v时,判定可能发生碰撞;
当d<T_d,v>T_v时,判定可能发生碰撞;
当d>T_d,v<T_v时,无干扰;
当d>T_d,v>T_v时,判定可能发生碰撞;
其中,T_d、T_v为在不同的应用时设置不同的数值。
步骤(6)中所述判断操作人员在工作区域内是否与机械臂及机械手发生碰 撞,包括:
移动目标与机械臂的相对速度v作为是否发生碰撞的评价指标,具体内容 如下:
当v≥T_v时,判定可能发生碰撞;
当v<T_v时,无干扰;
其中,T_v为在不同的应用时设置不同的数值。
本发明具有以下有益效果及优点:
1.本发明避免人机交互工程中的人机碰撞概率,保证工作人员的人身安全。
2.本发明估计误闯入工作空间的目标对生产过程的影响,提高***安全性。
3.本发明支持机械臂工作空间的实时检测,无需设置额外的防护栏,提高 空间利用率,降低设备成本。
4.本发明允许机械臂与人体发生直接接触,并实时估计机械臂对人体碰撞 的风险,可以扩大机械臂在工业生产中的应用范围。
5.本发明穿戴设备可以泛化到不同的人体关节迁移性较强,可实时提供各 个关节位置信息,为其他人机交互场景提供了解决方案。
附图说明
图1为本发明应用场景的工作区域整体示意图;
图2为本发明的非交互场景障碍物检测流程图;
图3为本发明的***内坐标变化示意图;
图4为本发明的受限关节速度确定示意图;
图5为本发明的机械臂在线避障路径规划示意图;
图6a为本发明的穿戴设备示意图一;
图6b为本发明的穿戴设备示意图二;
图7为本发明的穿戴设备辅助流程图;
图8为本发明的交互场景避障流程图;
图9为本发明的末端关节速度确定示意图。
具体实施方式
下面结合附图对本发明进行详细说明。
基于视觉和惯导定位的工业人机交互***,包括被控设备、场景图像采集 ***及穿戴在操作者手臂、手掌及指尖的辅助定位设备。
本***将人机交互的场景可以被分为两类:非交互工作空间、交互工作空 间。其中交互工作空间内工作过程中操作人员与机械臂本会发生直接或间接地 接触。人机交互过程中威胁人及安全的主要问题为操作人员与被控设备之间的 碰撞,该***在运行过程中的主要任务为预测即将发生的碰撞。针对两类不同 的场景本***将保证人机安全的问题分成两个子问题:(一)非交互工作空间 避障及路径规划;(二)交互工作空间避障及路径规划。
协作方法在应用中具有两种工作场景:非交互工作空间、交互工作空间, 不同的工作场景所判断移动目标与机械臂是否发生碰撞的评价指标不同。所述 非交互工作空间为大视场场景;所述交互空间为小视场场景。大视场为机械臂 最大工作空间周围的设置的包括摄像机和工业摄像机的成像设备能够采集到的 最大范围;所述小视场为完成具体工作时机械臂末端与操作人员发生直接接触 或间接接触的场景中成像设备能采集到的最大范围;所述直接接触为人机交互 中操作人员与机械臂发生直接的物理接触;所述间接接触为人机交互过程中操 作人员与机械臂进行工件传递等对同一个目标同时进行操作时间接产生的接触。
(一)非交互工作空间避障及路径规划
人机协作场景的基本框架中,场景中存在一个或者多个机械臂,工作人员 的正常操作区域与机器人的活动区域有重叠,在重叠区域完成人机协作。在实 际应用过程中可能出现在正常操作区域之外的交互场景中的人与目标,我们称 之为非交互工作空间异物。在操作区域外的有异物入侵会引发人机安全问题, 本子***采用计算机视觉检测技术,解决非交互工作i空间中的人机安全问题。
所述计算机视觉检测子***连接到控制设备软件操作界面,检测***利用 场景中安装的多组Kinect2.0成像设备实时采集非交互场景中的场景图像和场 景深度信息,然后判断场景中是否有异物侵入。计算机视觉检测子***实时对 场景目标进行点云重构,并检测当前场景中目标与机械臂的最近点。该子*** 通可以通过实时获取点云确定最近点p非交互场景中的位置,与被控设备的相对 速度、相对位置信息。子***可以通过获取的点p的位置与被控设备的相对位置、 相对速度等信息,并将其作为标准判断前景目标是否与机械臂发生碰撞。计算 机视觉检测子***在运行过程中的状态可以分为以下几种:a.若判断异物与被 控设备会发生碰撞,根据***设置的路径规划方法对机械臂进行路径规划;b.若判断异物与被控设备不发生碰撞时,被控设备正常运行,执行当前命令。c.若 未检测到异物侵入,被控设备正常运行,执行当前命令。
(二)交互工作空间避障及路径规划
操作区域为生产过程中操作人员身体部位应该频繁出现,并且正常过程中 必须与被控设备发生接触的区域,实际生产过程中执行人机交互操作的区域是 ***设计时进行规定的。受人机交互过程中人体不同部位的不同移动尺度限制, 操作区域内的目标定位及异常检测子***采用了惯导传感定位***对手臂、手 掌的关节位置进行标记,采用可见光定位技术在手指关节及尖端安装主动光源 进行定位。
控制器通过蓝牙与操作人员的穿戴设备进行通讯,可以获取操作人员手臂 关节位置、手掌关节位置,从而估计进入交互区域的人体部位三维空间位置。 操作***周围的摄像头可以获取安装在手指关节及手指末端的不同颜色发光等 的图像,控制器通过可见光定位技术实时的获取操作人员手部的详细位姿信息。 操作区域内***结合视觉成像设备与惯导传感器实时评估前景目标的移动速度, 将速度作为是否发生碰撞的依据。计算机视觉检测子***在运行过程中的状态 可以分为以下几种:a.若相对速度过大,判断异物与被控设备末端会发生碰撞, 根据***设置的路径规划方法对机械臂进行路径规划;b.若相对速度不超过 预定阈值,判断异物与被控设备不发生碰撞,被控设备继续执行当前操作命令。
如图1所示,应用场景分为非交互空间寄交互空间两个区域,***在两个 区域采用不同的障碍检测及路径规划策略。
(一)非交互工作空间障碍物检测及机械臂路径规划:
自动化流程生产场地需要严格的管理和设定,机械臂周围出现的非必要人 员及目标都是与机械臂发生碰撞引发事故的安全隐患。本专利中将上述场景中 的协作机械臂的避障行为定义机械臂非交互工作空间中的障碍物检测。
如图1所示,我们利用机械臂非交互场景周围安装的Kinect2.0获取场景 RGBD图像,并进行图像拼接和场景重建,获取预设工作场景的三维信息。在机 械臂正常运行过程中,***根据Kinect2.0获取的RGBD信息进行实时重建当 前工作场景。
如图2所示,通过***根据Kinect2.0获取的RGBD信息对预设工作场景进 行重建,结合实时获得的工作场景可以对工作场景进行精准实施重建。世界坐 标系以机械臂基座中心所在的位置为基准点,***已知机械臂的三维空间位置, 进行机械臂滤除后,***可以实时获得场景中的障碍物信息,获取障碍物与机 械臂的最近点p,并实时评估点p与机械臂的相对位置及相对速度等信息。
场景内的成像设备已经进行标定,按照图3进行坐标变换,将成像设备获 取的图像转换到世界坐标系内。Kinect2.0可以获得场景内的深度图像与彩色图 像,获取的彩色图像及深度图像进行配准可以完成单Kinect2.0的三维场景重 建。标定后的成型设备间的关系已知,根据***内坐标变换可以拼接多个成像 设备获得的信息完成整个场景的实时三维点云重建。
障碍物与机械臂相对速度确定:
世界坐标以机器人基座中心点为基准点,机械臂与控制***直接连接,系 统可以实时获取机械臂各关节的运动信息、机械臂的三维空间信息及机械臂骨 架线。利用Kinect2.0实时获取的图像可以对场景中进行三维重建。遍历场景 的点云坐标与机械臂坐标可以获得障碍物与机械臂的最近点p。障碍物在以p为 球心,r为半径的球体内的点集构成障碍物距离机械臂最近的区域Z。如图4所 示,由p点机械臂骨架线l最近的一段l’最近点作垂线。在点p及对应骨架线 l’构成的平面A内,可以计算点p速度v相对骨架线l’的垂直分量v’。
点p与机械臂的相对位置d、相对速度v做为评价指标,我们将障碍物与 机械臂关系及分为以下几类:
其中,T_d、T_v根究经验在不同的应用场景设置不同的数值。
如图5所示,判定机械臂与障碍物发生碰撞时,***对机械臂进行路径规 划。当预测发生碰撞时,为了不继续减小障碍物与机械臂间的最小距离,我们 控制机械臂关节使l’在平面A内的运动速度为v’。***运行时实时更新点p 位置信息,从而实现机械臂整体远离障碍物避免碰撞。
机械臂关节及速度确定:
以完成当前任务为前提机械臂能够躲避障碍物进行路径规划,执行任务与 避障同时进行时。由于障碍物的存在部分关节受到限制为受限关节,其余关节 为冗余关节。***利用冗余关节补充受限关节的自由度躲避障碍并维持末端执 行器的运动状态。机械臂在线避障过程中的路径规划可表示为以下流程:
机械臂关节与执行任务的在笛卡尔空间中的表示可以描述为:
其中x,q为任务及机械臂关节位置空间表示,J#为雅可比矩阵J的伪逆, J∈Rm×n,m为完成任务所需自由度,n为机械臂自由度,m<n,R为实数。
其中I∈Rn×n为单位矩阵,qc,qv为约束关节及冗余关节的空间表示,x为 任务的笛卡尔空间坐标表示,x′为受限关节的空间坐标表示, (JW)#为雅可比矩阵(JW)的伪逆,W=diag{Wii},i=[1,…,n]为关节约束的示 性矩阵,关节i被约束时Wii=1,反之Wii=0。
冗余关节对任务x进行补偿,关节速度可有以下公式获得:
其中,Jc与Jv分别表示受限及冗余关节的雅可比矩阵表示,O为0矩阵,xv为 补偿关节点的笛卡尔空间坐标表示。
如图4所示,***运行过程中根据障碍物的当前运动实时更新点受限关节 及其速度。实际生产中,机械臂依靠末端执行器完成任务,机械臂末端的笛卡 尔坐标可表示为xe,xe的一阶导数xe′为机械臂关节的速度可由以下公式获得
(二)交互工作空间避障及路径规划:
穿戴设备及辅助原理:
如图6a~图6b所示,为***设计的穿戴设备。交互场景中工作人员与机械 臂末端执行器存在直接或间接接触,人机交互过程中存在多种交互场景周围预 设相机不能确定的盲区。根据上述情况人机交互场景中工作人员需佩戴设计的 穿戴设备进行辅助定位。
穿戴设备包含两种传感器,关节惯导定位传感器佩戴在关节位置并附有主 动光源进行辅助定位。手部穿戴设备在关节及手指末尾安装有主动光源。穿戴 设备在***运行过程中,时刻T开始,可以实时记录关节的运行轨迹。当工作 人员肢体出现遮挡时,视觉成像设备失效,可以利用惯导传感器记录关节轨迹, 辅助定位。
如图7所示,***中以成像设备获取的图像进行三维成像确定的人体定位 为主,实时更新人体在三维空间中的位置。交互场景中多摄像机三维成像技术 可实时对主动光源位置进行定位,进而实时获取工作人员手部及上肢重要关节 的位姿、运动速度信息。当人体在成像设备中出现遮挡时,***将遮挡发生时 记为起始时刻,以原有位姿为基础,对惯导穿戴设备获取的速度进行积分,计 算遮挡时间内工作人员上肢的位移,辅助估计人体在三维空间中的位置。
交互场景避障相对速度计算及避障流程
如图8所示,交互场景中***由预设的相机进行实时场景三维重建。交互 场景以机械臂基座中心点为基点进行坐标变换后进行机械臂滤除可以获得场景 中前景目标的三维信息,由于可能存在多种盲区需要用惯导定位传感器进行补 全得到前景目标在笛卡尔坐标系中的三维坐标表示。
在交互工作空间内机械臂末端执行器与工作人员本身存在直接或间接地接 触,在交互场景中以相对速度作为评价指标判断是否发生碰撞。障碍物在以p 为球心,r为半径的球体内的点集构成障碍物距离机械臂最近的区域Z。世界坐 标以机器人基座中心点为基准点,机械臂与控制***直接连接,***可以实时 获取机械臂各关节的运动信息、机械臂的三维空间信息及机械臂骨架线。利用 Kinect2.0实时获取的图像可以对场景中进行三维重建。遍历场景的点云坐标与 机械臂坐标可以获得障碍物与机械臂的最近点p。图9展示了两种障碍及机械臂 末端执行器最近点的两种情况:(1)由p点执行器骨架线e最近点作垂线;(2) 及执行器末端与点p的直接连线。在点p及执行器骨架线e构成的平面A内, 对机械臂骨架线及障碍物的相对距离做微分可以计算点p速度v,其相对骨架线 e的垂直分量为v’。
图9所示为v’为障碍物与机械臂执行器末端地相对速度大小。点p与机械 臂的相对速度v做为评价指标,我们将障碍物与机械臂关系及分为以下几类:
其中,T_v根究经验在不同的应用场景设置不同的数值。
根据上述表格判断机械臂与障碍物可能发生碰撞时,为了不继续减小障碍 物与执行器间的最小距离,我们控制机械臂使机械臂末端执行器e在平面A内 的运动速度为v’。***运行时实时更新点p位置信息,从而实现机械臂末端远 离障碍物避免碰撞。
Claims (7)
1.一种基于视觉和惯性定位的人机主动安全及协作***,其特征在于,包括:
至少1个机械手,用于抓握以及加工目标工件;
至少1个机械臂,机械臂的底部为基座,机械臂末端安装所述机械手;
至少4个工业摄像机,用于获取操作人员工作区域的手臂及机械手的彩色图像;
至少4个摄像机,用于对空间机械臂机械手的位置进行立体定位,采集摄像机信息,包括机械臂工作环境的彩色图像信息、深度图像信息;
至少1组体感穿戴设备,穿戴于操作人员手臂位置,用于获取体感穿戴设备信息,包括操作人员手臂的手肘,手腕,手指关节的移动方向的位移、速度、加速度信息;
至少1台计算机,用于获取体感穿戴设备中的惯导传感器的信息并在操作人员工作区域的小视场内,计算机通过获取体感穿戴设备信息、摄像机信息以及工业摄像机的彩色图像,判断操作人员是否与机械臂及机械手发生碰撞。
2.根据权利要求1所述的一种基于视觉和惯性定位的人机主动安全及协作***,其特征在于,所述体感穿戴设备包括:
安装在手臂关节位置及手掌的惯导传感器;
安装在手指关节及手指末端的主动光源。
3.根据权利要求1所述的一种基于视觉和惯性定位的人机主动安全及协作***,其特征在于,所述计算机用于:
摄像机处获得的彩色图像信息与深度图像信息用于计算场景中无人区域移动目标的空间位置信息、移动速度及方向信息,得到场景中移动目标与机械臂及机械手的相对位置、相对速度信息,并对移动目标是否与机械臂及机械手是否发生碰撞进行预测和判断;
处理惯导传感器获得的手臂关节及手掌的位置信息、速度信息、加速度信息;
从操作人员工作区域的工业摄像机获取的彩色图像得到参与工作的手指关节位置信息及机械手的位置信息。
4.一种基于视觉和惯性定位的人机主动安全及协作方法,其特征在于,包括以下步骤:
(1)将所述机械臂基座的中心点作为三维空间坐标系的原点建立世界坐标系,将所述机械手的末端中心点作为原点建立末端坐标系;
(2)采用所述摄像机发射红外激光,采集彩色图像信息和深度图像信息,以摄像头作为原点建立相机坐标系,对大视场中摄像机进行标定,建立摄像机间的坐标变换;
(3)采用所述惯导传感器,采集操作人员手臂关节及手掌的位置信息;
(4)采用所述主动光源及工业摄像机,采集操作人员手指关节及手指末端的位置及图像信息;
(5)采用所述计算机基于大视场中摄像机及工业摄像机获取的彩色图像、彩色图像信息及深度图像信息,获取场景图像每个像素点的图像坐标及相机坐标,通过光流估计方法检测移动目标在图像中的位置信息,采用图像坐标到世界坐标的映射以及相机坐标系到世界坐标系的坐标变换,得到大视场内移动目标的世界坐标中的位置信息;结合计算机获取的机械臂的位置信息,获得移动目标与机械臂及机械手的相对位置和相对速度,判断移动目标是否与机械臂发生碰撞,并指定机械臂及机械手的主动避让行为;
(6)采用所述计算机基于小视场内获取的图像信息、小视场内场景及操作人员肢体的三维坐标信息、速度、加速度信息,采用积分运算得到操作人员的手臂位置信息,通过主动光源获得的手指位姿信息,判断操作人员在工作区域内是否与机械臂及机械手发生碰撞,并指定机械臂及机械手的主动避让行为。
5.根据权利要求4所述的一种基于视觉和惯性定位的人机主动安全及协作方法,其特征在于,所述大视场为机械臂最大工作空间周围的设置的包括摄像机和工业摄像机的成像设备能够采集到的最大范围;所述小视场为完成具体工作时机械臂末端与操作人员发生直接接触或间接接触的场景中成像设备能采集到的最大范围。
6.根据权利要求4所述的一种基于视觉和惯性定位的人机主动安全及协作方法,其特征在于,步骤(5)中所述判断移动目标是否与机械臂发生碰撞,包括:
移动目标与机械臂的最近点p、移动目标与机械臂的相对位置d、相对速度v作为是否发生碰撞的评价指标,具体内容如下:
当d<T_d,v<T_v时,判定可能发生碰撞;
当d<T_d,v>T_v时,判定可能发生碰撞;
当d>T_d,v<T_v时,无干扰;
当d>T_d,v>T_v时,判定可能发生碰撞;
其中,T_d、T_v为在不同的应用时设置不同的数值。
7.根据权利要求4所述的一种基于视觉和惯性定位的人机主动安全及协作方法,其特征在于,步骤(6)中所述判断操作人员在工作区域内是否与机械臂及机械手发生碰撞,包括:
移动目标与机械臂的相对速度v作为是否发生碰撞的评价指标,具体内容如下:
当v≥T_v时,判定可能发生碰撞;
当v<T_v时,无干扰;
其中,T_v为在不同的应用时设置不同的数值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911020300.5A CN112706158B (zh) | 2019-10-25 | 2019-10-25 | 基于视觉和惯导定位的工业人机交互***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911020300.5A CN112706158B (zh) | 2019-10-25 | 2019-10-25 | 基于视觉和惯导定位的工业人机交互***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112706158A true CN112706158A (zh) | 2021-04-27 |
CN112706158B CN112706158B (zh) | 2022-05-06 |
Family
ID=75540419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911020300.5A Active CN112706158B (zh) | 2019-10-25 | 2019-10-25 | 基于视觉和惯导定位的工业人机交互***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112706158B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113428649A (zh) * | 2021-07-02 | 2021-09-24 | 东莞新友智能科技有限公司 | 一种液晶屏搬运机械手执行末端及其防撞方法 |
CN113822253A (zh) * | 2021-11-24 | 2021-12-21 | 天津大学 | 一种人机协作方法及*** |
CN114800524A (zh) * | 2022-05-25 | 2022-07-29 | 宁波职业技术学院 | 一种人机交互协作机器人主动避碰的***及方法 |
CN115024715A (zh) * | 2022-05-20 | 2022-09-09 | 北京航天时代光电科技有限公司 | 一种人体运动智能测量与数字训练*** |
WO2023274000A1 (zh) * | 2021-06-29 | 2023-01-05 | 武汉联影智融医疗科技有限公司 | 一种机器人***及其评价方法、控制方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104570731A (zh) * | 2014-12-04 | 2015-04-29 | 重庆邮电大学 | 一种基于Kinect的无标定人机交互控制***及方法 |
CN105690386A (zh) * | 2016-03-23 | 2016-06-22 | 北京轩宇智能科技有限公司 | 一种新型机械手臂遥操作***及遥操作方法 |
CN107253192A (zh) * | 2017-05-24 | 2017-10-17 | 湖北众与和智能装备科技有限公司 | 一种基于Kinect的无标定人机交互控制***及方法 |
WO2017211031A1 (zh) * | 2016-06-07 | 2017-12-14 | 南方科技大学 | 无人机机械臂的控制方法和装置 |
CN109145802A (zh) * | 2018-08-14 | 2019-01-04 | 清华大学 | 基于Kinect的多人手势人机交互方法及装置 |
CN109822579A (zh) * | 2019-04-10 | 2019-05-31 | 江苏艾萨克机器人股份有限公司 | 基于视觉的协作机器人安全控制方法 |
CN110125909A (zh) * | 2019-05-22 | 2019-08-16 | 南京师范大学镇江创新发展研究院 | 一种多信息融合人体外骨骼机器人控制保护*** |
CN110216674A (zh) * | 2019-06-20 | 2019-09-10 | 北京科技大学 | 一种冗余自由度机械臂视觉伺服避障*** |
CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全*** |
-
2019
- 2019-10-25 CN CN201911020300.5A patent/CN112706158B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104570731A (zh) * | 2014-12-04 | 2015-04-29 | 重庆邮电大学 | 一种基于Kinect的无标定人机交互控制***及方法 |
CN105690386A (zh) * | 2016-03-23 | 2016-06-22 | 北京轩宇智能科技有限公司 | 一种新型机械手臂遥操作***及遥操作方法 |
WO2017211031A1 (zh) * | 2016-06-07 | 2017-12-14 | 南方科技大学 | 无人机机械臂的控制方法和装置 |
CN107253192A (zh) * | 2017-05-24 | 2017-10-17 | 湖北众与和智能装备科技有限公司 | 一种基于Kinect的无标定人机交互控制***及方法 |
CN109145802A (zh) * | 2018-08-14 | 2019-01-04 | 清华大学 | 基于Kinect的多人手势人机交互方法及装置 |
CN109822579A (zh) * | 2019-04-10 | 2019-05-31 | 江苏艾萨克机器人股份有限公司 | 基于视觉的协作机器人安全控制方法 |
CN110125909A (zh) * | 2019-05-22 | 2019-08-16 | 南京师范大学镇江创新发展研究院 | 一种多信息融合人体外骨骼机器人控制保护*** |
CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全*** |
CN110216674A (zh) * | 2019-06-20 | 2019-09-10 | 北京科技大学 | 一种冗余自由度机械臂视觉伺服避障*** |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023274000A1 (zh) * | 2021-06-29 | 2023-01-05 | 武汉联影智融医疗科技有限公司 | 一种机器人***及其评价方法、控制方法 |
CN113428649A (zh) * | 2021-07-02 | 2021-09-24 | 东莞新友智能科技有限公司 | 一种液晶屏搬运机械手执行末端及其防撞方法 |
CN113822253A (zh) * | 2021-11-24 | 2021-12-21 | 天津大学 | 一种人机协作方法及*** |
CN115024715A (zh) * | 2022-05-20 | 2022-09-09 | 北京航天时代光电科技有限公司 | 一种人体运动智能测量与数字训练*** |
CN114800524A (zh) * | 2022-05-25 | 2022-07-29 | 宁波职业技术学院 | 一种人机交互协作机器人主动避碰的***及方法 |
CN114800524B (zh) * | 2022-05-25 | 2023-06-20 | 宁波职业技术学院 | 一种人机交互协作机器人主动避碰的***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112706158B (zh) | 2022-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112706158B (zh) | 基于视觉和惯导定位的工业人机交互***及方法 | |
US20210205986A1 (en) | Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose | |
US10755096B2 (en) | 3D gaze control of robot for navigation and object manipulation | |
CN108838991B (zh) | 一种自主类人双臂机器人及其对运动目标的跟踪操作*** | |
CN108527370B (zh) | 基于视觉的人机共融安全防护控制*** | |
Krupke et al. | Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction | |
CN113829343B (zh) | 基于环境感知的实时多任务多人人机交互*** | |
CN110216674B (zh) | 一种冗余自由度机械臂视觉伺服避障*** | |
Jevtić et al. | Comparison of interaction modalities for mobile indoor robot guidance: Direct physical interaction, person following, and pointing control | |
CN105319991B (zh) | 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 | |
JP7067816B1 (ja) | 画像分割及び表面筋電図に基づくロボットの教示システム及び方法 | |
Tang et al. | The integration of contactless static pose recognition and dynamic hand motion tracking control system for industrial human and robot collaboration | |
Tellaeche et al. | Human robot interaction in industrial robotics. Examples from research centers to industry | |
CN111230854A (zh) | 一种智能协作机器人安全控制软件*** | |
Lemmerz et al. | A hybrid collaborative operation for human-robot interaction supported by machine learning | |
Chen et al. | A human–robot interface for mobile manipulator | |
CN111552315A (zh) | 一种飞行驾驶方法、装置、设备和存储介质 | |
Han et al. | Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning | |
Du et al. | An intelligent interaction framework for teleoperation based on human-machine cooperation | |
CN117893998A (zh) | 基于机器视觉的人机位姿智能防碰方法 | |
Martinelli et al. | Remote control for mobile robots using gestures captured by the rgb camera and recognized by deep learning techniques | |
Negishi et al. | Operation assistance using visual feedback with considering human intention on master-slave systems | |
Lu et al. | Human-robot collision detection based on the improved camshift algorithm and bounding box | |
CN114800524A (zh) | 一种人机交互协作机器人主动避碰的***及方法 | |
Kobayashi et al. | Overlay what humanoid robot perceives and thinks to the real-world by mixed reality system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |