CN108519814B - 一种人机交互操作*** - Google Patents
一种人机交互操作*** Download PDFInfo
- Publication number
- CN108519814B CN108519814B CN201810234048.7A CN201810234048A CN108519814B CN 108519814 B CN108519814 B CN 108519814B CN 201810234048 A CN201810234048 A CN 201810234048A CN 108519814 B CN108519814 B CN 108519814B
- Authority
- CN
- China
- Prior art keywords
- unit
- information
- execution unit
- force
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 96
- 230000010365 information processing Effects 0.000 claims abstract description 51
- 230000003190 augmentative effect Effects 0.000 claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims description 24
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 229910001069 Ti alloy Inorganic materials 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000002068 genetic effect Effects 0.000 claims description 3
- 230000010399 physical interaction Effects 0.000 claims description 3
- 239000012636 effector Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种人机交互操作***，能够提高人机交互***的智能性和交互性。所述***包括：采集单元，用于采集作业场景和实时作业信息；信息处理单元，用于构建增强现实显示，并下发任务指令；视觉交互单元，用于增强现实的显示远端作业场景和实时作业信息；力觉交互单元，用于基于力反馈的实时远端控制执行单元作业；控制单元，用于根据信息处理单元下发的任务指令和力觉交互单元输出的信息，向驱动单元下发控制指令；驱动单元，用于将控制单元下发的控制指令分解为力矩和转速以驱动动力单元提供执行单元作业所需的动力；执行单元，用于根据动力单元提供的动力，执行自主和人机协同两种作业模式下的作业任务。本发明适用于工业机械臂控制领域。
Description
技术领域
本发明涉及机器人人机交互技术领域，特别是指一种人机交互操作***。
背景技术
近年来，机器人在现代生产、生活中的应用领域不断扩宽，一方面，机器人是制造加工业实现智能化、数字化和信息化的重要载体，其基础研发、高端制造和领域应用是衡量一个国家科技创新和高精尖技术实力的重要标志；另一方面，机器人技术在社会生活领域的广泛应用，还催生了可从事修理、清洗、运输、救援及监护等工作的服务机器人和特种机器人，机器人的发展已经成为现代社会一种必然趋势。然而现阶段，机器人的智能和自主能力仍很薄弱,人机交互能力有待提高，这些都成为机器人进一步发展的制约。
针对目前存在许多工业领域高危行业仍然需要作业人员在现场作业，工作环境恶劣、安全系数低，安全事故频发，导致生命财产安全等问题，提高人机交互能力，提升机器人智能性是工业机器人进一步发展的必然选择。
发明内容
本发明要解决的技术问题是提供一种人机交互操作***，以解决现有技术所存在的机器人智能化程度相对较低、人机交互能力不足的问题。
为解决上述技术问题，本发明实施例提供一种人机交互操作***，包括：采集单元、信息处理单元、视觉交互单元、力觉交互单元、控制单元、驱动单元、动力单元和执行单元；其中，
所述采集单元，用于采集作业场景和实时作业信息，将采集的信息通过控制单元传输至信息处理单元，其中，所述作业信息包括：执行单元各关节的位姿信息；
所述信息处理单元，用于根据采集的信息、控制单元反馈的执行单元各关节实际的位姿，构建增强现实显示，并确定作业模式，根据确定的作业模式，对控制单元下发任务指令，其中，所述作业模式包括：自主作业模式和人机协同作业模式；
所述视觉交互单元，用于增强现实的显示远端作业场景和实时作业信息；
所述力觉交互单元，用于根据控制单元接收到的任务指令、执行单元末端力信息，基于力反馈，通过控制单元实时远端控制执行单元作业；
所述控制单元，用于根据信息处理单元下发的任务指令和力觉交互单元输出的期望执行单元各关节的位姿，向驱动单元下发控制指令；
所述驱动单元，用于将控制单元下发的控制指令分解为力矩和转速以驱动动力单元提供执行单元作业所需的动力；
所述执行单元，用于根据动力单元提供的动力，执行自主和人机协同两种作业模式下的作业任务。
进一步地，所述采集单元包括：垂直陀螺仪、双目相机、激光雷达、六维力传感器和防碰撞超声波传感器；其中，
所述垂直陀螺仪，用于检测执行单元的横滚角和俯仰角，确定执行单元末端姿态信息，并将确定的执行单元末端姿态信息通过控制单元传输至信息处理单元；
所述双目相机，用于实时采集作业环境和作业目标的位置状态，并将所采集的作业环境和作业目标的位置状态通过控制单元传输至信息处理单元；
所述激光雷达，用于扫描作业环境，建立作业环境三维点云，并将建立的作业环境三维点云通过控制单元传输至信息处理单元；
所述六维力传感器，用于实时采集执行单元末端力信息，将采集到的力信息通过控制单元传输至力觉交互单元和信息处理单元；
所述防碰撞超声波传感器，用于执行单元作业过程中，实时检测执行单元与障碍物间的距离，并将距离通过控制单元传输至信息处理单元。
进一步地，所述力觉交互单元，采用串并联平动转动机构，具有航空钛合金构建的六自由度本体和重力补偿机制；其中，
所述串并联平动转动机构包括：Delta平动并联机构和串联转动机构；
所述六自由度本体包括：3个平动自由度和3个旋转自由度。
进一步地，所述信息处理单元，用于根据采集到的信息，构建增强现实显示包括：
根据采集到的信息，基于模糊遗传算法进行作业路径规划，并生成导引信息，其中，规划的作业路径包括：规划的执行单元各关节的位姿；
通过深度学习算法进行作业目标识别；
通过单字样旋转矢量法和运动学方程进行执行单元各关节位姿解算；
通过三维环境建模技术与虚拟现实无缝融合技术，将远端作业场景和实时作业信息进行增强现实显示，并增强显示作业路径规划信息、导引信息。
进一步地，所述信息处理单元，具体用于按照预设的环境友好性判断标准，对环境友好性进行判断，若环境友好，则采用自主作业模式；若环境恶劣或自主作业模式无法完成任务，则采用人机协同作业模式；根据采取的作业模式，对控制单元下发任务指令，并监控作业执行过程中执行单元各关节的位姿信息，直到作业任务完成，其中，所述任务指令包括：执行单元各关节位姿解算结果，路径规划信息和导引信息。
进一步地，所述控制单元，具体用于基于动力学和运动学分析，建立阻抗控制机制，根据信息处理单元下发的任务指令和力觉交互单元输出的期望执行单元各关节的位姿，向驱动单元下发控制指令。
进一步地，所述驱动单元采用的驱动方式是电气驱动；
所述驱动单元，还用于将动力单元的工作情况反馈给控制单元。
进一步地，所述动力单元包括：伺服电机和UPS电源；
所述伺服电机，用于为执行单元作业提供动力，控制执行单元各关节的位姿，使得执行单元完成相应作业任务；
所述UPS电源，用于为***供电。
进一步地，所述执行单元，还用于向驱动单元反馈各关节的位姿信息；
所述执行单元包括：机械臂；
所述机械臂是一个多输入多输出、非线性、耦合的末端执行机构。
进一步地，所述力觉交互单元通过输出增强现实环境中的机械阻抗来模拟实际存在的物理交互，使操作者与增强现实环境实现了物理上的连接；
所述力觉交互单元基于力反馈的阻抗控制采用六维力传感器采集操作者的作用力，实现了力控制的闭环。
本发明的上述技术方案的有益效果如下：
上述方案中，通过采集单元采集作业场景和实时作业信息，将采集的信息通过控制单元传输至信息处理单元；信息处理单元根据采集的信息、控制单元反馈的执行单元各关节实际的位姿，构建增强现实显示，并确定作业模式，根据确定的作业模式，对控制单元下发任务指令；视觉交互单元增强现实的显示远端作业场景和实时作业信息，辅助完成人机协同作业；力觉交互单元根据控制单元接收到的任务指令、执行单元末端力信息，基于力反馈，通过控制单元实时远端控制执行单元作业，完成人机协同作业；控制单元根据信息处理单元下发的任务指令和力觉交互单元输出的期望执行单元各关节的位姿，向驱动单元下发控制指令；驱动单元将控制单元下发的控制指令分解为力矩和转速以驱动动力单元提供执行单元作业所需的动力；执行单元根据动力单元提供的动力，执行自主和人机协同两种作业模式下的作业任务；采集单元实时反馈作业场景、执行单元的位姿信息，反馈给控制单元形成闭环控制，保障顺利完成作业目标。这样，采用基于视觉反馈、力觉反馈的人机交互方式来进行自主或人机协同作业，能够有效的提高人机交互操作作业效率，提高人机交互***的智能性和交互性，实现基于力/视觉反馈的人机交互操作***智能化、自主化及友好化交互作业。
附图说明
图1为本发明实施例提供的人机交互操作***的结构示意图；
图2为本发明实施例提供的视觉交互单元工作原理示意图；
图3为本发明实施例提供的信号处理单元的工作流程示意图；
图4为本发明实施例提供的力觉交互单元工作流程示意图；
图5为本发明实施例提供的控制单元工作原理图；
图6为本发明实施例提供的驱动单元工作流程示意图；；
图7为本发明实施例提供的执行单元工作流程图；
图8为本发明实施例提供的阻抗控制原理示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的机器人智能化程度相对较低、人机交互能力不足的问题，提供一种人机交互操作***。
如图1所示，本发明实施例提供的人机交互操作***，包括：采集单元11、信息处理单元13、视觉交互单元14、力觉交互单元15、控制单元12、驱动单元16、动力单元17和执行单元18；其中，
所述采集单元11，用于采集作业场景和实时作业信息，将采集的信息通过控制单元12传输至信息处理单元13，其中，所述作业信息包括：执行单元各关节的位姿信息；
所述信息处理单元13，用于根据采集的信息、控制单元12反馈的执行单元18各关节实际的位姿，构建增强现实显示，并确定作业模式，根据确定的作业模式，对控制单元12下发任务指令，其中，所述作业模式包括：自主作业模式和人机协同作业模式；
所述视觉交互单元14，用于增强现实的显示远端作业场景和实时作业信息；
所述力觉交互单元15，用于根据控制单元12接收到的任务指令、执行单元18末端力信息，基于力反馈，通过控制单元12实时远端控制执行单元18作业；
所述控制单元12，用于根据信息处理单元13下发的任务指令和力觉交互单元15输出的期望执行单元18各关节的位姿，向驱动单元16下发控制指令；
所述驱动单元16，用于将控制单元12下发的控制指令分解为力矩和转速以驱动动力单元17提供执行单元18作业所需的动力；
所述执行单元18，用于根据动力单元17提供的动力，执行自主和人机协同两种作业模式下的作业任务。
本发明实施例所述的人机交互操作***，通过采集单元采集作业场景和实时作业信息，将采集的信息通过控制单元传输至信息处理单元；信息处理单元根据接收到的信息，构建增强现实显示，并确定作业模式，根据确定的作业模式，对控制单元下发任务指令；视觉交互单元增强现实的显示远端作业场景和实时作业信息，辅助完成人机协同作业；力觉交互单元根据控制单元接收到的任务指令、执行单元末端力信息，基于力反馈，通过控制单元实时远端控制执行单元作业，完成人机协同作业；控制单元根据信息处理单元下发的任务指令和力觉交互单元输出的期望执行单元各关节的位姿，向驱动单元下发控制指令；驱动单元将控制单元下发的控制指令分解为力矩和转速以驱动动力单元提供执行单元作业所需的动力；执行单元根据动力单元提供的动力，执行自主和人机协同两种作业模式下的作业任务；采集单元实时反馈作业场景、执行单元各关节的位姿信息，反馈给控制单元形成闭环控制，保障顺利完成作业目标。这样，采用基于视觉反馈、力觉反馈的人机交互方式来进行自主或人机协同作业，能够有效的提高人机交互操作作业效率，提高人机交互***的智能性和交互性，实现基于力/视觉反馈的人机交互操作***智能化、自主化及友好化交互作业。
本实施例中，执行单元各关节的位姿信息包括但不限于：执行单元末端的位置、力矩和转速信息，在实际应用中，根据实际情况确定。
本实施例中，所述针对基于力/视觉反馈的人机交互操作***可以运行在Windows操作***上，所述***中的信息处理单元是基于因特尔平台的E5-2600V4系列处理器，主频2400MHz，处理器性能稳定，内存采用DDR4内存技术，总容量达2.5T，超高的主频和内存可以满足处理视觉交互单元、力觉交互单元、采集单元等多源信息，运行速率快，运行稳定，支持I/O扩展和分级储存，能够保证所述基于力/视觉反馈的人机交互操作***安全稳定运行。
本实施例中，所述采集单元包括但不限于：垂直陀螺仪、双目相机、激光雷达、六维力传感器和防碰撞超声波传感器等；其中，
所述垂直陀螺仪，作为多源传感器的惯性基准，用于检测执行单元的横滚角和俯仰角，确定执行单元末端姿态信息，并将确定的执行单元末端姿态信息通过控制单元传输至信息处理单元，辅助***作业；所述垂直陀螺仪为高精度横滚角与俯仰角测量设备，重要性能指标包括：重量＜80g、启动时间<2s、角度精度＜0.8°、零点温漂＜0.15°/s、带宽50Hz等。
所述双目相机，用于实时采集作业环境和作业目标的位置状态，并将所采集数据通过控制单元传输至信息处理单元进行处理，辅助人机协同作业模式下操作者完成作业任务；所述双目相机主要用来观测真实作业场景，重要性能指标包括：分辨率1920 x 1080、帧率25fps、彩色、接口USB 3.0。
所述激光雷达，用于扫描作业环境，建立作业环境三维点云，并将建立的作业环境三维点云通过控制单元传输至信息处理单元，通过信息处理单元进行处理，实现作业路径规划、导引信息、执行单元与作业目标定位；重要性能指标包括：测量距离为0.1m-30m，测量范围为0°-70°，测量精度为0.1-10m:±30mm、10-30m:±50mm，角分辨率为0.25°(360°/1,440steps)，扫描时间为25ms。
所述六维力传感器，用于实时采集执行单元末端力信息，将采集到的力信息通过控制单元传输至力觉交互单元和信息处理单元，辅助***感知作业力大小，同时及时发现盲区下碰撞力过大等突发情况；
所述防碰撞超声波传感器，用于执行单元作业过程中，实时检测执行单元与障碍物间的距离，并将距离通过控制单元传输至信息处理单元，保证机器人在安全范围内作业。
本实施例中，所述控制单元包括：接口模块和控制器(也可称为：机械臂控制器)；所述接口模块包括：人机交互数据接口、目标环境数据接口、任务指令传输接口、控制指令传输接口；其中，
所述人机交互数据接口，用于控制单元与视觉交互单元和力觉交互单元进行通信；
所述目标环境数据接口包括：RS232、RS422、RS485、USB及CAN总线接口中的一个或多个，用于实现控制单元与采集单元之间的通信；
所述任务指令传输接口，用于实现控制单元与信息处理单元之间的通信；
所述控制指令传输接口，用于实现控制单元与驱动单元之间的通信。
所述控制器，用于接收信息处理单元下发的任务指令、力觉交互单元输出的期望执行单元各关节的位姿和采集单元采集的信息，基于动力学和运动学分析，建立阻抗控制机制，根据所述信息处理单元下发的任务指令和力觉交互单元输出的期望执行单元各关节的位姿，向驱动单元下发控制指令。
如图2所示，本实施例中，可以利用垂直陀螺仪、双目相机、激光雷达、六维力传感器、防碰撞超声波传感器进行环境感知，得到作业场景和实时作业信息，将感知到的作业场景和实时作业信息通过控制单元传输至信息处理单元；所述信息处理单元，用于根据接收到的作业场景和实时作业信息、控制单元反馈的执行单元各关节实际的位姿，通过信息融合与处理，构建增强现实显示的视觉***，在此基础上，如图3所示，所述信息处理单元，还用于按照预设的环境友好性判断标准，对环境友好性进行判断，对于环境比较清晰，无烟尘，定位精度较高的作业环境(环境友好)，使用自主作业模式，在环境条件较恶劣或自主作业模式无法完成任务时候采用人机协同作业模式；随后根据相应作业模式，对控制单元下发任务指令，并监控作业执行过程中执行单元各关节的位姿信息，直到作业任务完成，其中，所述任务指令包括：执行单元各关节位姿解算结果，路径规划信息和导引信息。
本实施例中，通过信息融合与处理，构建增强现实显示的视觉***的执行步骤可以包括：
根据采集到的信息，基于模糊遗传算法进行作业路径规划，并生成导引信息，其中，规划的作业路径包括：规划的执行单元各关节的位姿；
通过深度学习算法进行作业目标识别；
通过单字样旋转矢量法和运动学方程进行执行单元各关节位姿解算；
通过三维环境建模技术与虚拟现实无缝融合技术，将远端作业场景和实时作业信息进行增强现实显示，并增强显示作业路径规划信息、导引信息。
本实施例中，所述视觉交互单元，用于根据得到的辅助作业信息，通过三维环境建模技术与虚拟现实无缝融合技术，将远端作业场景和实时作业信息进行增强现实显示，给出人机协同作业导引信息、作业路径规划等辅助信息，辅助完成人机协同作业；也就是说，所述视觉交互单元通过垂直陀螺仪、双目相机、激光雷达、六维力传感器、防碰撞超声波传感器进行环境感知，采用真实场景和虚拟信息的无缝融合技术，实现增强现实显示远端作业场景和实时作业信息。
本实施例中，在人机协同作业时，操作者可以根据视觉交互单元显示的远端作业场景、实时作业信息和任务需求，确定任务指令。
本实施例中，所述力觉交互单元包括：手柄、传动设备、滑动导轨、支架等部分组成。所述力觉交互单元，采用串并联平动转动机构，具有航空钛合金构建的六自由度本体和重力补偿机制；其中，
所述串并联平动转动机构包括：独特的Delta平动并联机构、串联转动机构，其中，Delta平动并联结构是机器人的一种机构，具有精度高、承载能力强，串联转动机构工作空间大、正向运动学求解容易等优点；
所述六自由度本体包括：3个平动自由度(沿X、Y、Z平动)、3个旋转自由度(沿X、Y、Z旋转)，可满足高度灵活的精密力反馈操作。所采用的航空钛合金材料具有质量轻、强度高、抗腐蚀性能和工艺性能好等特点，可满足力觉交互单元本体设计需求。
所述重力补偿机制，是基于运动学和动力学分析，推导各关节力矩的重力项理论计算公式，提出了重力补偿机制，缓解操作者长时间作业存在的疲劳感。
如图4所示，作业人员通过力觉交互单元发出对执行单元的控制指令，所述控制指令包括但不限于：期望的执行单元各关节的位姿信息，所述控制指令的信号是模拟信号；力觉交互单元将输出的模拟信号传递给控制单元，控制单元对力觉交互单元进行操作约束，防止误操作带来的潜在人机安全危险；控制单元结合信息处理单元下发的任务指令和力觉交互单元发出的控制指令，向驱动单元下发控制指令；驱动单元把控制指令分解为力矩和转速，以驱动动力单元提供执行单元作业所需的动力。
本实施例中，所述控制单元对数据实时性有着很高的要求，采用分层递阶式体系结构，如图5所示，具体采用“LINUX即时核心+Embedded+PLC+EtherCAT总线”方案，在LINUX环境下利用Embedded和内嵌PLC，获得400us的控制周期，计算并处理数据，实现实时控制。EtherCAT实时以太网总线采用环形冗余拓扑结构，增强***稳定通信性能。控制单元通过接收信息处理单元下发的任务指令；随后进行任务调度及配置管理，完成任务规划、信息监控、算法调度、人机交互等功能，向驱动单元下发控制指令。
本实施例中，所述驱动单元包括：驱动器(机械臂驱动器)。
本实施例中，所述驱动单元接收控制单元下发的控制指令，将接收到的控制指令分解为力矩和转速，得到各驱动单元驱动参数以驱动动力单元提供作业动力，并将动力单元的工作情况反馈给控制单元，本发明驱动单元所采用的驱动方式是电气驱动。
本实施例中，所述电力驱动，是以电动机为动力源的驱动***，是直交机械手臂最常用的一种驱动方式，其特点包括：操作响应快，驱动力强，光电检测、传动和控制功能强大，并且控制方式灵活多样，控制效果好。
本实施例中，所述驱动单元的工作原理如图6所示，所述驱动单元将控制指令分解为力矩和转速，假设控制指令为执行单元末端移动，首先正运动学公式如下：
0T6＝0T1(θ1)1T2(θ2)2T3(θ3)3T4(θ4)4T5(θ5)5T6(θ6) ⑴
其中，0T1、1T2、2T3、3T4、4T5、5T6为执行单元相应关节的力矩和转速间的变换矩阵，θ1、θ2、θ3、θ4、θ5、θ6都表示自由度的关节，0T6表示执行单元各关节的位姿信息。
本实施例中，所述动力单元包括：伺服电机及UPS电源；
所述伺服电机，用于接收驱动单元下发的驱动指令，给执行单元作业提供动力，精确控制执行单元各关节的位姿，使得执行单元完成相应作业任务，本实施例中，所选用的伺服电机额定电压220V，额定功率1500W，额定转速2000rpm，额定力矩27N.m，重量：25.5Kg；
所述UPS电源，用于避免***作业过程中发生以为断电，保证不间断供电，高效安全的完成作业任务，所选用的UPS类型为离线式，输出电压范围110V-300V，额定功率4.8KVA，输出频率范围47-53Hz，可满足设备意外断电后持续工作1.5h。
本实施例中，所述执行单元包括：机械臂；所述机械臂，机械臂是一个多输入多输出、高度非线性、强耦合的末端执行机构，用于接收驱动单元下发的驱动指令，同时向驱动单元反馈各关节的位姿信息。本实施例中，所述执行单元，根据控制单元实时发出控制指令，执行自主和人机协同两种作业模式下的多种作业任务。
本实施例中，执行单元工作流程如图7所示，机械臂完成启动后，自检各关节及与驱动单元通信状态，一切正常后向驱动单元反馈就绪指令，随后接收驱动指令，各关节按驱动指令移动，采集单元实时向控制单元执行单元各关节的位姿信息和超声波探测器探测障碍物坐标信息，进而判断是执行单元末端是否达到指定坐标，执行单元末端姿态是否符合作业要求，当满足上述2个条件时，执行单元末端开始对作业目标作业，并实时反馈各关节的位姿信息直达完成作业，完成作业后，执行单元复位等待下一次驱动指令；当不满足上述2个条件中的任一条件时，各关节按驱动指令继续移动，直至满足上述2个条件。
进一步地，所述阻抗控制策略，是基于动力学和运动学分析提出的，适用于机械臂与作业环境交互控制，解决了位置控制或者力控制中的柔顺性问题。
如图8所示，力觉交互单元通过输出增强现实环境中的机械阻抗来模拟实际存在的物理交互，使操作者与增强现实环境实现了物理上的连接，力觉控制采用阻抗控制策略，解决位置控制或者力控制中的柔顺性问题，适用于机器臂与作业环境的交互控制。F为操作者移动手臂和力觉交互单元的输出力，Fu为操作者作用在力觉交互单元上的力，Fe为增强现实环境的反馈力，X为力觉交互单元的位置，Zu、Zm、Ze分别为操作者、力觉交互单元以及虚拟环境的阻抗，J为转动惯量，K为力反馈的增益系数。基于力反馈的阻抗控制采用六维力传感器采集操作者的作用力，实现了力控制的闭环。控制单元将末端实际输出力与期望的输出力相比，利用二者的差值对设备进行调节。
本实施例中，力觉交互单元能够接收反馈的力和力矩，增加作业体验感，提升人机交互能力。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种人机交互操作***，其特征在于，包括：采集单元、信息处理单元、视觉交互单元、力觉交互单元、控制单元、驱动单元、动力单元和执行单元；其中，
所述采集单元，用于采集作业场景和实时作业信息，将采集的信息通过控制单元传输至信息处理单元，其中，所述作业信息包括：执行单元各关节的位姿信息；
所述信息处理单元，用于根据采集的信息、控制单元反馈的执行单元各关节实际的位姿，构建增强现实显示，并确定作业模式，根据确定的作业模式，对控制单元下发任务指令，其中，所述作业模式包括：自主作业模式和人机协同作业模式；
所述视觉交互单元，用于增强现实的显示远端作业场景和实时作业信息；
所述力觉交互单元，用于根据控制单元接收到的任务指令、执行单元末端力信息，基于力反馈，通过控制单元实时远端控制执行单元作业；
所述控制单元，用于根据信息处理单元下发的任务指令和力觉交互单元输出的期望执行单元各关节的位姿，向驱动单元下发控制指令；
所述驱动单元，用于将控制单元下发的控制指令分解为力矩和转速以驱动动力单元提供执行单元作业所需的动力；
所述执行单元，用于根据动力单元提供的动力，执行自主和人机协同两种作业模式下的作业任务；
其中，所述控制单元采用“LINUX即时核心+Embedded+PLC+EtherCAT总线”方案；
其中，所述采集单元包括：垂直陀螺仪、双目相机、激光雷达、六维力传感器和防碰撞超声波传感器；其中，
所述垂直陀螺仪，用于检测执行单元的横滚角和俯仰角，确定执行单元末端姿态信息，并将确定的执行单元末端姿态信息通过控制单元传输至信息处理单元；
所述双目相机，用于实时采集作业环境和作业目标的位置状态，并将所采集的作业环境和作业目标的位置状态通过控制单元传输至信息处理单元；
所述激光雷达，用于扫描作业环境，建立作业环境三维点云，并将建立的作业环境三维点云通过控制单元传输至信息处理单元；
所述六维力传感器，用于实时采集执行单元末端力信息，将采集到的力信息通过控制单元传输至力觉交互单元和信息处理单元；
所述防碰撞超声波传感器，用于执行单元作业过程中，实时检测执行单元与障碍物间的距离，并将距离通过控制单元传输至信息处理单元；
其中，所述力觉交互单元，采用串并联平动转动机构，具有航空钛合金构建的六自由度本体和重力补偿机制；其中，
所述串并联平动转动机构包括：Delta平动并联机构和串联转动机构；
所述六自由度本体包括：3个平动自由度和3个旋转自由度；
其中，所述信息处理单元，用于根据采集到的信息，构建增强现实显示包括：
根据采集到的信息，基于模糊遗传算法进行作业路径规划，并生成导引信息，其中，规划的作业路径包括：规划的执行单元各关节的位姿；
通过深度学习算法进行作业目标识别；
通过单字样旋转矢量法和运动学方程进行执行单元各关节位姿解算；
通过三维环境建模技术与虚拟现实无缝融合技术，将远端作业场景和实时作业信息进行增强现实显示，并增强显示作业路径规划信息、导引信息；
其中，所述信息处理单元，具体用于按照预设的环境友好性判断标准，对环境友好性进行判断，若环境友好，则采用自主作业模式；若环境恶劣或自主作业模式无法完成任务，则采用人机协同作业模式；根据采取的作业模式，对控制单元下发任务指令，并监控作业执行过程中执行单元各关节的位姿信息，直到作业任务完成，其中，所述任务指令包括：执行单元各关节位姿解算结果，路径规划信息和导引信息；
其中，所述控制单元，采用分层递阶式体系结构，具体用于基于动力学和运动学分析，建立阻抗控制机制，根据信息处理单元下发的任务指令和力觉交互单元输出的期望执行单元各关节的位姿，向驱动单元下发控制指令；
其中，所述动力单元包括：伺服电机和UPS电源；
所述伺服电机，用于为执行单元作业提供动力，控制执行单元各关节的位姿，使得执行单元完成相应作业任务；
所述UPS电源，用于为***供电；
其中，所述力觉交互单元通过输出增强现实环境中的机械阻抗来模拟实际存在的物理交互，使操作者与增强现实环境实现了物理上的连接；
所述力觉交互单元基于力反馈的阻抗控制采用六维力传感器采集操作者的作用力，实现了力控制的闭环。
2.根据权利要求1所述的人机交互操作***，其特征在于，所述驱动单元采用的驱动方式是电气驱动；
所述驱动单元，还用于将动力单元的工作情况反馈给控制单元。
3.根据权利要求1所述的人机交互操作***，其特征在于，所述执行单元，还用于向驱动单元反馈各关节的位姿信息；
所述执行单元包括：机械臂；
所述机械臂是一个多输入多输出、非线性、耦合的末端执行机构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810234048.7A CN108519814B (zh) | 2018-03-21 | 2018-03-21 | 一种人机交互操作*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810234048.7A CN108519814B (zh) | 2018-03-21 | 2018-03-21 | 一种人机交互操作*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108519814A CN108519814A (zh) | 2018-09-11 |
| CN108519814B true CN108519814B (zh) | 2020-06-02 |
Family
ID=63433852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810234048.7A Active CN108519814B (zh) | 2018-03-21 | 2018-03-21 | 一种人机交互操作*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108519814B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11855831B1 (en) | 2022-06-10 | 2023-12-26 | T-Mobile Usa, Inc. | Enabling an operator to resolve an issue associated with a 5G wireless telecommunication network using AR glasses |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109048924A (zh) * | 2018-10-22 | 2018-12-21 | 深圳控石智能***有限公司 | 一种基于机器学习的智能机器人柔性作业装置及其方法 |
| CN109491505B (zh) * | 2018-11-13 | 2021-01-12 | 天津城建大学 | 基于虚拟现实技术的打击乐器演奏模拟***及力反馈装置 |
| CN110039547B (zh) * | 2019-05-27 | 2021-08-10 | 清华大学深圳研究生院 | 一种柔性机械臂遥操作的人机交互终端及方法 |
| CN110389664B (zh) * | 2019-06-25 | 2020-09-01 | 浙江大学 | 一种基于增强现实的火灾场景模拟分析装置及方法 |
| CN113064417B (zh) * | 2019-12-13 | 2022-11-15 | 苏州宝时得电动工具有限公司 | 自移动设备及其工作方法 |
| CN111168660B (zh) * | 2020-01-21 | 2021-05-07 | 北京科技大学 | 一种冗余自由度液压重载机器臂主动安全*** |
| CN111443619B (zh) * | 2020-04-17 | 2021-06-08 | 南京工程学院 | 一种虚实融合的人机协作仿真方法和*** |
| CN112068457B (zh) * | 2020-08-17 | 2022-08-05 | 杭州电子科技大学 | 一种基于WebGL的PLC组态虚拟仿真实验*** |
| CN112936267B (zh) * | 2021-01-29 | 2022-05-27 | 华中科技大学 | 一种人机协作智能制造方法及*** |
| CN113618731A (zh) * | 2021-07-22 | 2021-11-09 | 中广核研究院有限公司 | 机器人控制*** |
| CN114332936A (zh) * | 2021-12-29 | 2022-04-12 | 北京理工大学 | 虚拟环境下提高紧凑空间手部运动精度的视觉反馈方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006004894A2 (en) * | 2004-06-29 | 2006-01-12 | Sensable Technologies, Inc. | Apparatus and methods for haptic rendering using data in a graphics pipeline |
| CN102176222A (zh) * | 2011-03-18 | 2011-09-07 | 北京科技大学 | 多传感器信息采集分析***及自闭症儿童监护辅助*** |
| CN106527177A (zh) * | 2016-10-26 | 2017-03-22 | 北京控制工程研究所 | 一种多功能一站式遥操作控制设计与仿真***及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107728642B (zh) * | 2017-10-30 | 2021-03-09 | 北京博鹰通航科技有限公司 | 一种无人机飞行控制***及其方法 |
-
2018
- 2018-03-21 CN CN201810234048.7A patent/CN108519814B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006004894A2 (en) * | 2004-06-29 | 2006-01-12 | Sensable Technologies, Inc. | Apparatus and methods for haptic rendering using data in a graphics pipeline |
| CN102176222A (zh) * | 2011-03-18 | 2011-09-07 | 北京科技大学 | 多传感器信息采集分析***及自闭症儿童监护辅助*** |
| CN106527177A (zh) * | 2016-10-26 | 2017-03-22 | 北京控制工程研究所 | 一种多功能一站式遥操作控制设计与仿真***及方法 |
Non-Patent Citations (1)
| Title |
|---|
| "重载工业机器人控制关键技术综述";游玮，孔民秀;《机器人技术与应用》;20130502(第5期);第13-19页 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11855831B1 (en) | 2022-06-10 | 2023-12-26 | T-Mobile Usa, Inc. | Enabling an operator to resolve an issue associated with a 5G wireless telecommunication network using AR glasses |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108519814A (zh) | 2018-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108519814B (zh) | 一种人机交互操作*** | |
| US10932874B2 (en) | Remote control robot system | |
| CN103978474B (zh) | 一种面向极端环境的特种作业机器人 | |
| Gambao et al. | A new generation of collaborative robots for material handling | |
| CN102085664B (zh) | 自主作业林业机器人智能控制*** | |
| CN104950885A (zh) | 一种基于视觉和力觉反馈的uav群双边遥操作控制***及其方法 | |
| CN103753601A (zh) | 空间串联旋转关节型遥操作机械臂及其组合 | |
| CN101791750A (zh) | 用于远程焊接的机器人遥控焊接***及方法 | |
| Xiao et al. | Visual servoing for teleoperation using a tethered uav | |
| CN111015681A (zh) | 信通机房巡检机器人*** | |
| CN111515951A (zh) | 机器人的遥操作***及遥操作控制方法 | |
| CN107553467B (zh) | 一种低重心多功能主手装置 | |
| CN110539315B (zh) | 基于虚拟现实控制的建筑机器人 | |
| Hamaza et al. | 2d contour following with an unmanned aerial manipulator: Towards tactile-based aerial navigation | |
| CN214846390U (zh) | 基于自动导引小车的动态环境避障*** | |
| CN107662210A (zh) | 一种耐辐照动力机械手控制*** | |
| CN113290549A (zh) | 特种机器人及其控制方法 | |
| CN113618731A (zh) | 机器人控制*** | |
| CN115847428B (zh) | 一种基于ar技术的机械装配辅助引导***及方法 | |
| CN111376263B (zh) | 一种复合机器人人机协作***及其交叉耦合力控制方法 | |
| CN114589680A (zh) | 操控装置、特种机器人***及其控制方法 | |
| CN202622813U (zh) | 一种全驱动复合吸附式爬行机器人的控制*** | |
| CN113263494A (zh) | 操控装置及特种机器人*** | |
| Kim et al. | Preventive maintenance and remote inspection of nuclear power plants using tele-robotics | |
| CN112936258A (zh) | 一种面向空中作业机器人的人机协作***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |