CN107756417A - 智能双臂安全协作人机共融机器人*** - Google Patents
智能双臂安全协作人机共融机器人*** Download PDFInfo
- Publication number
- CN107756417A CN107756417A CN201711167408.8A CN201711167408A CN107756417A CN 107756417 A CN107756417 A CN 107756417A CN 201711167408 A CN201711167408 A CN 201711167408A CN 107756417 A CN107756417 A CN 107756417A
- Authority
- CN
- China
- Prior art keywords
- machine
- robot
- man
- intelligent
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003181 co-melting Methods 0.000 title claims abstract description 29
- 230000004438 eyesight Effects 0.000 claims abstract description 70
- 238000004891 communication Methods 0.000 claims abstract description 26
- 230000002452 interceptive effect Effects 0.000 claims abstract description 5
- 210000000707 wrist Anatomy 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 15
- 210000003414 extremity Anatomy 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 7
- 230000033001 locomotion Effects 0.000 description 16
- 238000000034 method Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 11
- 230000005021 gait Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000003252 repetitive effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000001930 leg bone Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/022—Optical sensing devices using lasers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Manipulator (AREA)
Abstract
本发明涉及智能双臂安全协作人机共融机器人***，其包括机器人的胸部支架、安装在胸部支架的主板、集成在主板上的通信模块、硬盘、视觉板卡和总控制处理器、与总控制处理器电连接的交互式显示屏、与总控制处理器电连接的控制器、与胸部支架连接的肢体、设置在肢体上且与通信模块电连接的深度视觉传感器、下端与胸部支架连接的两轴以上驱动的头部、以及设置在两轴以上驱动的头部且与通信模块和/或视觉板卡电连接的360度旋转的视觉摄像机；通信模块、硬盘、视觉板卡分别与总控制处理器6通信连接；控制器与肢体的转动轴驱动电机电连接。本发明设计合理、结构紧凑且使用方便。
Description
技术领域
本发明涉及人机交互技术领域，具体涉及智能双臂安全协作人机共 融机器人***。
背景技术
面对产品的生命周期越来越短，用户的个性化要求越来越强烈的情 况，需要灵活的调整制造***，生产线变更所需的时间需要大幅度缩 短。而传统的机器人***生产线部署成本变高，周期较长，已无法满足 中小型企业的需求和新兴的柔性生产的要求。再者根据阿西莫夫机器人 三大定律，安全性是机器人的首要问题和强制性的约束。新科技、新技术的发展使得人们可以制造越来越精密、先进的机器人，但新机器人更 多考虑其功能性，而对安全性考虑较少。机器人的可靠性≠安全性， IEC 61508中规定了***安全的生命周期，在整个周期中安全问题始终 是与***功能分开独立考虑的，以避免功能可靠性最终会产生安全的假 设，机器人的安全性必须要被考虑。综上对智能制造的核心机器人技术 提出了更高的要求。
机器人是具备一定的感知能力、决策能力和安全监测的机器，但是 能力和期望相去甚远。在很多应用领域，许多看似简单的劳动，传统的 机器人还不能胜任。方兴未艾的再制造环节中，很多部分都是由人与机 器人共同协作完成，人机协作成为上述有效的解决方案。人机协作即由 人类负责对柔性，触觉，灵活性要求比较高的工序，机器人则利用其快速、准确的特点来负责重复性的工作。人机协作的核心为人机共融，是 下一代机器人的本质特征。人机共融意味着人机共同处于同一自然空 间，二者紧密协调，在确保人员安全和机器人安全的前提下，机器人能 够自主提高技能，实现与人的自然交互。人机协作机器人在ISO 10218-2 中定义为指被设计成可以在协作区域内与人直接进行交互的机器人，2016年ISO专门针对协作机器人编写ISO-TS 15066-2016《Robot and Robotic Devices-Collaborative Robots》安全规范。
但是如何围绕人机共融中的人机协作机器人多模态环境感知方法与 自然交互进行设计，能够一定程度上解决人与机器人协作的环境认知以 及人机安全等问题，同时也是实现真正意义的以人机共融为特征机器人 成为急需解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种智能双臂安全协作人机共融 机器人***；详细解决的技术问题以及取得有益效果在后述内容以及结 合具体实施方式中内容具体描述。
为解决上述问题，本发明所采取的技术方案是：
智能双臂安全协作人机共融机器人***包括机器人状态显示屏、机 器人手腕深度视觉组件、腿部深度视觉组件以及处理部件、头部视觉组 件以及处理部件、双臂组件以及遍布全身的防碰撞传感器、可移动底座 以及控制部件等。
机器人集成一体化控制部件主要集成在机器人的胸部，设有电源模 块、机器人总控制处理器、通信模块、主板和硬盘等；
机械手爪腕深度视觉组件包括2个分别集成在双手腕出的深度视觉 传感器，深度视觉传感器的摄像机通过通信线路与主板连接，由集成一 体化控制双臂进行精确手眼协作抓取等工作；
腿部深度视觉组件包括至少2个采集深度图像采集环境信息、提取 人腿骨骼运动信息的摄像机，摄像机连接视觉板卡以及专用处理部件， 此部分通过专用通信线与集成一体化控制部件连接；
机器人头部包括1台对人的手势进行跟踪识别的可沿水平进行360 度旋转的视觉摄像机，摄像机与视觉板卡以及处理部件等连接，此部分 通过专用通信线与集成一体化控制部件连接；
可移动底座以及控制部件为带控制***的全向轮移动平台，主要是 根据协作机器人的状态完成机器人的自主导航、避障和制动等的功能。
机器人的各个部分的检测与控制采用分布式计算，采用机器人操作 ***ROS(Robot Operating System)进行分布式控制，完成各个硬件模 块的信息通信、协调和功能实现。
本发明提供的一种智能双臂安全协作人机共融机器人***，双臂协 作作业速度快，手眼协同定位精准，人体步态识别安全、手势交互方式 可靠、通过更加的拟人化设置，操作简单方便，可提高双臂动作的精准 度及灵活性，人与协作机器人的安全性。
对于其中三种模式的介绍如下：
正常工作空间(自主运动模式)：应用和水平倾斜的深度视觉传感 器感、激光测距传感器组成多模态环境感知***，设定机器人工作区 间，在此划定的范围内为机器人工作区域，区域内没有其他不明物体和 人移动出现，机器人按照常规的工作流程和速度进行作业。机器人双臂 上以及本体上都安装有红外传感器防止自碰撞和外部碰撞。
过渡工作区间(人机接近模式)：当深度视觉传感器、激光测距传 感器检测到工作区域有人出现的时候，尤其是腿部的激光扫描仪实时监 测人或者其他物体移动的情况进行识别，实时检测识别和跟踪人腿的运 动，判断人是否靠近机器人，若是靠近，控制器控制机器人作业运动速 度减缓，此时机器人头部深度视觉传感器等待检测和人进行交互，在嘈杂的工业环境中，利用简单的手势和机器人交互，机器人通过头部的深 度视觉传感器识别。若在未检测到人的指令时，机器人实时检测与人之 间的距离，当超过一定阈值，机器人在移动过程中主动避让人与物体， 当来不及主动避让，机器人自动停止运动。若是监测到人的手势并能正 常识别人的手势命令，那么机器人就进行协作模式，和人一起进行人机协作。
协作工作区间(人机协作模式)：当机器人接收到人的指令后，开 启协作模式。人对机器人进行引导牵引示教，机器人根据人的牵引示 教，利用其快速、准确的特点来进行重复性的作业工作，而人主要负责 对柔性，触觉，灵活性要求比较高的工序。
智能双臂安全协作人机共融机器人***的控制方法如下：
1)机器人初始化各模块工作。手腕的深度视觉传感器协同头部摄像 机配合机器人双臂手眼协同按照无人模式进行常速工作，腿部深度视觉 传感器进行人腿的检测以及外部环境的深度检测，机器人可进行自主的 避障和导航。
2)一旦腿部深度视觉传感器检测到人腿的出现，机器人减速工作， 移动底座减速运动，腿部深度视觉传感器实时检测和跟踪人腿部骨骼的 步态信息，判断人是否靠近机器人，同时头部的调集摄像机跟踪人，检 测人是否有相应的手势动作。(在工业复杂和嘈吵的作业环境中，声音 噪声太多，无法使用语言，若是利用按钮和遥控器也太过于繁杂，直接采用简单手势识别，让机器人的头部摄像机识别是否进行人机协作模 式)，若人没有发出具体的手势，腿部的深度视觉传感器检测依旧向机 器人靠近，那么机器人总控制器控制机器人减速，一旦机器人防碰撞传 感器检测到碰到人或者外部，机器人立即停止工作，保障了人与机器人 的安全。一旦人碰到机器人，机器人立即停止工作，保证人与机器人的 安全。
3)若机器人头部摄像机检测到人的手势，要求进行人与机器人的协 作，那么机器人速度减慢，人进行机器人工作空间，进行人机协作。
本专利的有益效果在于：
(1)可以基于本***，针对不同的工作条件与要求，对协作机器 人工作环境进行编程设计，实现控制视觉伺服传感与运动，从而使得具 有相应的协作机器人机械臂的自我避障与外物避障的功能；
(2)可以基于本***，满足人进入协作机器人工作空间的识别与安 全的需要，在分析人运动意图的基础上，实现协作机器人协作空间中的 人腿步态识别与跟踪。
(3)根据人机协作机器人***的双臂协作控制算法以及环境认知的 方法，本人机协作机器人具有三种工作模式，实现了人与机器人的协作 模式以及共融，实现了机器人的智能化。
本发明设计合理、成本低廉、结实耐用、安全可靠、操作简单、省 时省力、节约资金、结构紧凑且使用方便。
本发明的有益效果不限于此描述，为了更好的便于理解，在具体实 施方式部分进行了更加详细的描述。
附图说明
图1是本发明的结构示意图。
图2是本发明的流程控制示意图。
其中：1、胸部支架；2、电源模块；3、主板；4、通信模块；5、 交互式显示屏；6、总控制处理器；7、六轴腕部；8、腕部深度视觉传 感器；9、机械手爪；10、六轴腿部；11、腿部深度视觉传感器；12、 激光测距仪；13、两轴以上驱动的头部；14、360度旋转的视觉摄像 机；15、全向轮移动平台；16、脚部深度视觉传感器；17、拍摄工作示 意视角。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本实施例的智能双臂安全协作人机共融机器人***，包 括机器人的胸部支架1、安装在胸部支架1的主板3、集成在主板3上的通 信模块4、硬盘、视觉板卡和总控制处理器6、与总控制处理器6电连接的 交互式显示屏5、与总控制处理器6电连接的控制器、与胸部支架1连接的 肢体、设置在肢体上且与通信模块4电连接的深度视觉传感器、下端与胸 部支架1连接的两轴以上驱动的头部13、以及设置在两轴以上驱动的头部 13且与通信模块4和/或视觉板卡电连接的360度旋转的视觉摄像机14；
通信模块4、硬盘、视觉板卡分别与总控制处理器6通信连接；
控制器与肢体的转动轴驱动电机电连接。
在胸部支架1上与主板3电连接有电源模块2，作为公知常识，两轴以 上驱动的头部13包括左右旋转轴驱动电机以及上下摆动驱动电机。
在胸部支架1上两侧分别转动连接有两个六轴腕部7；在六轴腕部7的 端部上设置有用于感知周围物体的腕部深度视觉传感器8，在六轴腕部7 的端部连接有机械手爪9；
六轴腕部7的各个驱动电机以及机械手爪9的驱动电机与控制器电连 接；腕部深度视觉传感器8与通信模块4电连接，机械手爪9在360度旋转 的视觉摄像机14的拍摄工作示意视角17的摄像范围内。
在胸部支架1上两侧分别转动连接有两个六轴腿部10；在六轴腿部 10的端部上设置有用于感知周围物体的腿部深度视觉传感器11和/或激光 测距仪12；
六轴腿部10的各个驱动电机与控制器电连接；腿部深度视觉传感器 11与视觉板卡电连接和/或激光测距仪12与通信模块4电连接。
六轴腿部10下端连接有全向轮移动平台15，在全向轮移动平台15设 置有与视觉板卡电连接的脚部深度视觉传感器16。
总控制处理器6为具有与分布式控制的操作***对接的英特尔处理 器。
深度视觉传感器为DMK72AUC02工业相机IMAGING德国。
在主板3集成与总控制处理器6电连接的无线通信模块，无线通信模 块无线连接有智能终端。
本机器人***还包括搭载有ubuntu14.04以上的操作***。
在肢体和胸部支架1上安装有与总控制处理器6电连接的防碰撞传 感器。
具体地说，机器人的工作模式显示屏,1)自主模式下，显示相应的 状态信息，信息表示为自主运行，2)人接近机器人模式，显示接近模式， 当相应手势识别后，及时显示协作模式；3)协作模式下，用户调整头部 的360度的摄像机，在显示屏上实时显示协作模式下机器人的工作区域， 并可根据显示内容调整头部摄像机的视野大小等。
头部的360度的摄像机组件，可水平或者垂直移动，有三种功能。1) 机器人自主运动模式下，该摄像机配合机器人双腕上的深度视觉传感器 进行物品精确定位等，协助机器人快速精准的作业；2)人接近机器人的 模式下，当腿部的深度视觉传感器检测到有人靠近的时候，该摄像头对 准人，对手势进行识别，判断是否进入协作模式；3)协作模式，该摄像机旋转到机器人作业的正前方，用户可通过调节胸部的显示器，选择该 摄像机的视野大小和清晰度等。该摄像机的视野区间，就是为协作区域 下机器人的空间，在此空间内，利用机器人快速、准确的特点来进行重 复性的作业工作。在此区域外为人的空间，机器人机械手爪臂出了机器 人区域，到达人的区域的话，立即停止。在人的空间内，人进行柔性， 触觉，灵活性要求比较高的工序。
机器人手腕部的深度视觉传感器以及部件，1)在自主工作模式下， 双腕部的深度视觉传感器协同头部的360度的摄像机采集作业目标信息， 进行双臂协作的手眼协同精准作业；2)人机接近模式下，双腕部的深度 视觉传感器进行双臂协作的手眼协同精准作业，双臂速度减慢；3)人机 协作模式下，双腕部的深度视觉传感器停止工作，双臂根据人的牵引示 教，在机器人区域内进行快速的、重复性的工作。
双腿的腿部前后安装有深度视觉传感器以及组件，1)自主模式下， 可对外界环境进行感知，实现协作机器人的自主移动，2)人机接近模式 下，可以检测是否有人靠近，当在一定范围内，有人靠近的时候，深度 视觉传感器提取人腿的骨骼信息，根据骨骼运动状态，进行人体的步态 分析，实时判断人是否在靠近机器人，从而使机器人减速作业，头部摄 像机识别的手势，是否进入协作模式；3)人机协作模式下，停止工作。
可移动底座以及组件，1)机器人自主运动模式下，根据腿部深度视 觉信息进行自主避障和导航，2)人接近机器人模式，减速避让人乃至停 止移动，保障人和协作机器人的安全；3)人机协作模式下，移动底座制 动，停止工作。
如图2所示，本实施例的智能双臂安全协作人机共融机器人***的控 制方法，包括以下步骤；
步骤一，搭建智能双臂安全协作人机共融机器人***平台，其包括； 上述的***。
步骤二，分两种情况，
第一情况，初始化步骤一中各个模块；
步骤三，当按照第一种情况各个模块初始化后，进入机器人自主模 式；
首先，从硬盘中调取或直接输入预设工作程序；
其次，总控制处理器6根据预设工作程序通过控制器控制六轴腕部7、 机械手爪9、六轴腿部10、全向轮移动平台15动作；同时，腕部深度视觉 传感器8与360度旋转的视觉摄像机14将机械手爪9工作区域的立体影像 信息传递给总控制处理器6，腿部深度视觉传感器11和/或激光测距仪12 以及脚部深度视觉传感器16将人腿的检测信息和周围环境的空间检测信 息反馈给总控制处理器6；
再次，总控制处理器6根据反馈的立体影像信息闭环纠正两个六轴腕 部7与机械手爪9动作；总控制处理器6根据反馈的人腿的检测信息和周围 环境的空间检测信息控制全向轮移动平台15行驶路线。
进一步，当在步骤三中，腿部深度视觉传感器11和/或激光测距仪12 检测到人腿的出现预设范围内后；进入步骤四人与机器人接近模式
执行步骤四，即首先，总控制处理器6通过控制器控制相应的机器人 作业的肢体控制电机同步减速动作；
然后，腿部深度视觉传感器11和/或激光测距仪12将该人腿移动的情 况进行实时检测识别信息和跟踪人腿的运动信息，总控制处理器6根据该 实时检测识别与运动信息判断该人是远离或靠近；
如果远离，其继续执行步骤三的内容；
如果靠近，执行步骤五；
步骤五，总控制处理器6通过控制器控制机器人作业肢体控制电机同 步继续减速动作或待机暂停；
步骤六，360度旋转的视觉摄像机14等待检测并识别：
当在设定的时间内没有检测到人的指令时，则腿部深度视觉传感器 11和/或激光测距仪12实时检测其与该人之间的距离，并传递给总控制处 理器6，当该距离超过设定距离阈值，总控制处理器6通过控制器控制全 向轮移动平台15避让该人，当该距离小于设定距离阈值，总控制处理器6 通过控制器控制全向轮移动平台15自动待机暂停行走。
当在步骤六中，在设定的时间内检测到人的指令时，进入步骤七人 机协作模式；
步骤七，按照预设指令，该人对通过360度旋转的视觉摄像机14进行 引导牵引示教，总控制处理器6根据360度旋转的视觉摄像机14采集人的 动作指示信息，通过控制器控制相应控制电机重复动作。
在步骤七中，该人协同进行柔性工序。
在步骤七之后，执行步骤八，
步骤八，自动或手动将步骤七控制电机重复动作指令备份到硬盘中， 并记录步骤七控制电机动作终止状态指令，最后执行完毕。
在步骤二中，其第二种情况，为二次开机工作步骤，
首先，从硬盘中调取上一次步骤八备份的控制电机重复动作指令；
然后，总控制处理器6根据当前电机动作终止状态位置信息，继续进 行控制电机重复动作指令；
最后，当执行完毕后，总控制处理器6记录本次控制电机动作终止状 态指令。
针对基于视觉伺服的机器人机械(双)臂识别、跟踪与控制、深度 视觉扫描的人腿步态识别与跟踪、多模态传感的人机协作***的控制等 技术问题，本发明的具体内容如下：
(1)协作机器人视觉伺服***控制
以协作机器人为对象，针对协作机器人面对的非结构化的复杂环境 下自我避障和外物避障问题，利用机器视觉，机器人路径规划、机器人 运动控制技术等构建协作机器人视觉伺服***，对作业环境进行多视点 检测与识别以及机械臂实时运动轨迹的调整，提高协作机器人自身的灵 活性和安全性。
(2)协作机器人协作空间目标识别与跟踪
针对人进入协作机器人工作空间的识别与安全问题，利用深度视觉、 运动目标检测与识别、机器学习等技术构建协作机器人空间检测***， 对协作区域中的人腿的步态运动状态进行实时的跟踪和运动趋势分析， 进而对人的意图与行为进行判断，根据判断结果实时控制协作机器人是 否正常作业以及减速作业乃至停止，保证人身与协作机器人的安全。
(3)人机协作共融***的设计
根据协作机器人的手眼伺服控制和协作空间的运动目标与跟踪的方 法，搭建人机协作控制***。本***拟利用ROS(Robot Operating System)分布式控制的原理，硬件虚拟化为节点构建各功能模块搭建模 块化的软件框架，完成整个***的各功能设计要求。在此***下满足协 作机器人***的设计性能要求，针对自主运行、人机靠近和人机协作三种工作模式的控制原理以及方法进行实践，对人与机器人的交互与协作 模式进行设计与试验，实现了人机共融***的机理过程。
本专利的有益效果在于：
(1)可以基于本***，针对不同的工作条件与要求，对协作机器 人工作环境进行编程设计，实现控制视觉伺服传感与运动，从而使得具 有相应的协作机器人机械臂的自我避障与外物避障的功能；
(2)可以基于本***，满足人进入协作机器人工作空间的识别与安 全的需要，在分析人运动意图的基础上，实现协作机器人协作空间中的 人腿步态识别与跟踪。
(3)根据人机协作机器人***的双臂协作控制算法以及环境认知的 方法，本人机协作机器人具有三种工作模式，实现了人与机器人的协作 模式以及共融，实现了机器人的智能化。
本发明设计合理、成本低廉、结实耐用、安全可靠、操作简单、省 时省力、节约资金、结构紧凑且使用方便。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的 描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技 术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的 这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.智能双臂安全协作人机共融机器人***，其特征在于：所述***包括机器人的胸部支架(1)、安装在胸部支架(1)的主板(3)、集成在主板(3)上的通信模块(4)、硬盘、视觉板卡和总控制处理器(6)、与总控制处理器(6)电连接的交互式显示屏(5)、与总控制处理器(6)电连接的控制器、与胸部支架(1)连接的肢体、设置在肢体上且与通信模块(4)电连接的深度视觉传感器、下端与胸部支架(1)连接的两轴以上驱动的头部(13)、以及设置在两轴以上驱动的头部(13)且与通信模块(4)和/或视觉板卡电连接的360度旋转的视觉摄像机(14)；
通信模块(4)、硬盘、视觉板卡分别与总控制处理器(6)通信连接；
控制器与肢体的转动轴驱动电机电连接。
2.根据权利要求1所述的智能双臂安全协作人机共融机器人***，其特征在于:在胸部支架(1)上与主板(3)电连接有电源模块(2)。
3.根据权利要求1所述的智能双臂安全协作人机共融机器人***，其特征在于:在胸部支架(1)上两侧分别转动连接有两个六轴腕部(7)；在六轴腕部(7)的端部上设置有用于感知周围物体的腕部深度视觉传感器(8)，在六轴腕部(7)的端部连接有机械手爪(9)；
六轴腕部(7)的各个驱动电机以及机械手爪(9)的驱动电机与控制器电连接；腕部深度视觉传感器(8)与通信模块(4)电连接，机械手爪(9)在360度旋转的视觉摄像机(14)的拍摄工作示意视角(17)的摄像范围内。
4.根据权利要求1所述的智能双臂安全协作人机共融机器人***，其特征在于:在胸部支架(1)上两侧分别转动连接有两个六轴腿部(10)；在六轴腿部(10)的端部上设置有用于感知周围物体的腿部深度视觉传感器(11)和/或激光测距仪(12)；
六轴腿部(10)的各个驱动电机与控制器电连接；腿部深度视觉传感器(11)与视觉板卡电连接和/或激光测距仪(12)与通信模块(4)电连接。
5.根据权利要求4所述的智能双臂安全协作人机共融机器人***，其特征在于:六轴腿部(10)下端连接有全向轮移动平台(15)，在全向轮移动平台(15)设置有与视觉板卡电连接的脚部深度视觉传感器(16)。
6.根据权利要求5所述的智能双臂安全协作人机共融机器人***，其特征在于:总控制处理器(6)为具有与分布式控制的操作***对接的英特尔处理器。
7.根据权利要求6所述的智能双臂安全协作人机共融机器人***，其特征在于:深度视觉传感器为DMK72AUC02工业相机IMAGING德国。
8.根据权利要求6所述的智能双臂安全协作人机共融机器人***，其特征在于:在主板(3)集成与总控制处理器(6)电连接的无线通信模块，无线通信模块无线连接有智能终端。
9.根据权利要求6所述的智能双臂安全协作人机共融机器人***，其特征在于:本机器人***还包括搭载有ubuntu14.04以上的操作***。
10.根据权利要求6所述的智能双臂安全协作人机共融机器人***，其特征在于:在肢体和胸部支架(1)上安装有与总控制处理器(6)电连接的防碰撞传感器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711167408.8A CN107756417A (zh) | 2017-11-21 | 2017-11-21 | 智能双臂安全协作人机共融机器人*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711167408.8A CN107756417A (zh) | 2017-11-21 | 2017-11-21 | 智能双臂安全协作人机共融机器人*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107756417A true CN107756417A (zh) | 2018-03-06 |
Family
ID=61278619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711167408.8A Pending CN107756417A (zh) | 2017-11-21 | 2017-11-21 | 智能双臂安全协作人机共融机器人*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107756417A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108312128A (zh) * | 2018-03-20 | 2018-07-24 | 麦格瑞（北京）智能科技有限公司 | 人机协作机器人 |
| CN109483580A (zh) * | 2018-12-29 | 2019-03-19 | 浙江大学 | 轴类件装配协作机器人*** |
| CN110434847A (zh) * | 2018-05-02 | 2019-11-12 | 深圳市优必选科技有限公司 | 一种降低机器人***总线通信数据量的方法及机器人 |
| CN110507972A (zh) * | 2019-09-26 | 2019-11-29 | 江西福方科技有限公司 | 一种人与机器人协作投篮竞赛*** |
| CN110640749A (zh) * | 2018-06-26 | 2020-01-03 | 精工爱普生株式会社 | 机器人控制装置以及机器人*** |
| CN111702787A (zh) * | 2020-04-15 | 2020-09-25 | 上海工程技术大学 | 人机协作控制***及控制方法 |
| CN113524067A (zh) * | 2021-04-20 | 2021-10-22 | 张家港松春机械设备制造有限公司 | 一种连铸机维修调整机架 |
| CN113804106A (zh) * | 2021-08-18 | 2021-12-17 | 南京理工大学 | 一种基于视觉的两次校准的双臂协同装配方法 |
| CN115063267A (zh) * | 2022-05-11 | 2022-09-16 | 广东职业技术学院 | 一种阅卷评分方法及装置 |
| CN115781764A (zh) * | 2022-12-08 | 2023-03-14 | 北京工业大学 | 协作机器人共融能力测试任务及其综合评价方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060293787A1 (en) * | 2003-08-12 | 2006-12-28 | Advanced Telecommunications Research Institute Int | Communication robot control system |
| JP2007319973A (ja) * | 2006-05-31 | 2007-12-13 | Hitachi Ltd | ロボット装置 |
| US20090118865A1 (en) * | 2007-11-05 | 2009-05-07 | Hitachi, Ltd. | Robot |
| CN101927490A (zh) * | 2009-06-26 | 2010-12-29 | 王蕾睿 | 全自动啤酒机器人 |
| CN102323817A (zh) * | 2011-06-07 | 2012-01-18 | 上海大学 | 一种服务机器人控制平台***及其多模式智能交互与智能行为的实现方法 |
| CN105500381A (zh) * | 2016-02-05 | 2016-04-20 | 中国科学院自动化研究所 | 通用模块化双臂服务机器人平台及*** |
| CN206140504U (zh) * | 2016-08-08 | 2017-05-03 | 许志林 | 一种模块化机器人 |
| CN106737714A (zh) * | 2016-11-28 | 2017-05-31 | 清研华宇智能机器人（天津）有限责任公司 | 一种服务机器人 |
| CN106863307A (zh) * | 2017-04-13 | 2017-06-20 | 苏州宇希新材料科技有限公司 | 一种基于视觉和语音智能控制的机器人 |
| CN106985141A (zh) * | 2017-05-22 | 2017-07-28 | 中科新松有限公司 | 一种双臂协作机器人 |
| CN107127760A (zh) * | 2017-07-12 | 2017-09-05 | 清华大学 | 一种足履复合式人形机器人 |
| CN207578422U (zh) * | 2017-11-21 | 2018-07-06 | 北方民族大学 | 智能双臂安全协作人机共融机器人*** |
-
2017
- 2017-11-21 CN CN201711167408.8A patent/CN107756417A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060293787A1 (en) * | 2003-08-12 | 2006-12-28 | Advanced Telecommunications Research Institute Int | Communication robot control system |
| JP2007319973A (ja) * | 2006-05-31 | 2007-12-13 | Hitachi Ltd | ロボット装置 |
| US20090118865A1 (en) * | 2007-11-05 | 2009-05-07 | Hitachi, Ltd. | Robot |
| CN101927490A (zh) * | 2009-06-26 | 2010-12-29 | 王蕾睿 | 全自动啤酒机器人 |
| CN102323817A (zh) * | 2011-06-07 | 2012-01-18 | 上海大学 | 一种服务机器人控制平台***及其多模式智能交互与智能行为的实现方法 |
| CN105500381A (zh) * | 2016-02-05 | 2016-04-20 | 中国科学院自动化研究所 | 通用模块化双臂服务机器人平台及*** |
| CN206140504U (zh) * | 2016-08-08 | 2017-05-03 | 许志林 | 一种模块化机器人 |
| CN106737714A (zh) * | 2016-11-28 | 2017-05-31 | 清研华宇智能机器人（天津）有限责任公司 | 一种服务机器人 |
| CN106863307A (zh) * | 2017-04-13 | 2017-06-20 | 苏州宇希新材料科技有限公司 | 一种基于视觉和语音智能控制的机器人 |
| CN106985141A (zh) * | 2017-05-22 | 2017-07-28 | 中科新松有限公司 | 一种双臂协作机器人 |
| CN107127760A (zh) * | 2017-07-12 | 2017-09-05 | 清华大学 | 一种足履复合式人形机器人 |
| CN207578422U (zh) * | 2017-11-21 | 2018-07-06 | 北方民族大学 | 智能双臂安全协作人机共融机器人*** |
Non-Patent Citations (1)
| Title |
|---|
| 王茂森: "仿造人类智能 机器人与人工智能发展", 哈尔滨工业大学出版社, pages: 194 - 197 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108312128A (zh) * | 2018-03-20 | 2018-07-24 | 麦格瑞（北京）智能科技有限公司 | 人机协作机器人 |
| CN110434847A (zh) * | 2018-05-02 | 2019-11-12 | 深圳市优必选科技有限公司 | 一种降低机器人***总线通信数据量的方法及机器人 |
| CN110640749A (zh) * | 2018-06-26 | 2020-01-03 | 精工爱普生株式会社 | 机器人控制装置以及机器人*** |
| CN109483580A (zh) * | 2018-12-29 | 2019-03-19 | 浙江大学 | 轴类件装配协作机器人*** |
| CN109483580B (zh) * | 2018-12-29 | 2020-06-30 | 浙江大学 | 轴类件装配协作机器人*** |
| CN110507972A (zh) * | 2019-09-26 | 2019-11-29 | 江西福方科技有限公司 | 一种人与机器人协作投篮竞赛*** |
| CN111702787A (zh) * | 2020-04-15 | 2020-09-25 | 上海工程技术大学 | 人机协作控制***及控制方法 |
| CN111702787B (zh) * | 2020-04-15 | 2021-10-22 | 上海工程技术大学 | 人机协作控制***及控制方法 |
| CN113524067A (zh) * | 2021-04-20 | 2021-10-22 | 张家港松春机械设备制造有限公司 | 一种连铸机维修调整机架 |
| CN113804106A (zh) * | 2021-08-18 | 2021-12-17 | 南京理工大学 | 一种基于视觉的两次校准的双臂协同装配方法 |
| CN115063267A (zh) * | 2022-05-11 | 2022-09-16 | 广东职业技术学院 | 一种阅卷评分方法及装置 |
| CN115781764A (zh) * | 2022-12-08 | 2023-03-14 | 北京工业大学 | 协作机器人共融能力测试任务及其综合评价方法 |
| CN115781764B (zh) * | 2022-12-08 | 2024-06-11 | 北京工业大学 | 协作机器人共融能力测试任务及其综合评价方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107756417A (zh) | 智能双臂安全协作人机共融机器人*** | |
| CN107891425A (zh) | 智能双臂安全协作人机共融型机器人***的控制方法 | |
| CA2950979C (en) | Humanoid robot with collision avoidance and trajectory recovery capabilities | |
| CN109571513B (zh) | 一种沉浸式移动抓取服务机器人*** | |
| Asfour et al. | Toward humanoid manipulation in human-centred environments | |
| US20170348858A1 (en) | Multiaxial motion control device and method, in particular control device and method for a robot arm | |
| Jevtić et al. | Comparison of interaction modalities for mobile indoor robot guidance: Direct physical interaction, person following, and pointing control | |
| Tölgyessy et al. | The Kinect sensor in robotics education | |
| Kim et al. | Motion segmentation and control design for UCF-MANUS—An intelligent assistive robotic manipulator | |
| Narayanan et al. | Vision-based adaptive assistance and haptic guidance for safe wheelchair corridor following | |
| CN106377228A (zh) | 基于Kinect的无人机操作员状态监视与分层控制方法 | |
| CN207578422U (zh) | 智能双臂安全协作人机共融机器人*** | |
| Petit et al. | An integrated framework for humanoid embodiment with a BCI | |
| Tellaeche et al. | Human robot interaction in industrial robotics. Examples from research centers to industry | |
| Bley et al. | Supervised navigation and manipulation for impaired wheelchair users | |
| Cheng et al. | Human-robot interaction method combining human pose estimation and motion intention recognition | |
| Li et al. | An egocentric computer vision based co-robot wheelchair | |
| Matsumoto et al. | The essential components of human-friendly robot systems | |
| CN111673745A (zh) | 一种基于体感互动的机器人控制***和方法 | |
| De La Puente et al. | Grasping objects from the floor in assistive robotics: Real world implications and lessons learned | |
| Jayasurya et al. | Gesture controlled AI-robot using Kinect | |
| Asghari Oskoei et al. | An autonomous proxemic system for a mobile companion robot | |
| KR20210115842A (ko) | 인공지능 영상처리로 사용자를 인식하고 추종하는 이동체 장치 및 동작방법 | |
| Saha et al. | Gesture driven remote robot manoeuvre for unstructured environment | |
| Udsatid et al. | Human position tracking for side by side walking mobile robot using foot positions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |