CN115502961A - 基于人体手臂运动信息预测的人机在线避障方法及*** - Google Patents
基于人体手臂运动信息预测的人机在线避障方法及*** Download PDFInfo
- Publication number
- CN115502961A CN115502961A CN202210922002.0A CN202210922002A CN115502961A CN 115502961 A CN115502961 A CN 115502961A CN 202210922002 A CN202210922002 A CN 202210922002A CN 115502961 A CN115502961 A CN 115502961A
- Authority
- CN
- China
- Prior art keywords
- human
- robot
- field
- target point
- motion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 230000004888 barrier function Effects 0.000 claims abstract description 11
- 230000007787 long-term memory Effects 0.000 claims abstract description 10
- 230000006403 short-term memory Effects 0.000 claims abstract description 10
- 238000005381 potential energy Methods 0.000 claims description 18
- 238000013459 approach Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000012617 force field calculation Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 11
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000005421 electrostatic potential Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000001846 repelling effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101100301564 Staphylococcus aureus repF gene Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/08—Programme-controlled manipulators characterised by modular constructions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于人体手臂运动信息预测的人机在线避障方法及***，其中方法包括：获取人体手臂运动信息；将人体手臂运动信息输入LSTM‑BP模型进行人体手臂运动的预测；将人体手臂作为障碍物，根据人体手臂运动的预测信息获取斥力场；将机器人的移动终点作为目标点，根据目标点获取引力场；根据斥力场和引力场获取机器人的末端位姿，根据获得的末端位姿控制机器人运动；其中，斥力场不仅与机器人和障碍物之间的距离有关，还与机器人和目标点之间的距离有关。本发明利用长短期记忆神经网络结合反向传播神经网络预测人体手臂运动，并通过人工势场算法实现人机交互下的在线避障，提升人机交互的安全性，可广泛应用于人机交互技术领域。
Description
技术领域
本发明涉及人机交互技术领域，尤其涉及一种基于人体手臂运动信息预测的人机在线避 障方法及***。
背景技术
机器人制造业正在成为衡量一个国家科技创新和高端制造水平的代表性产业。随着机器 人技术的发展，其应用从工业制造越来越多地进入到家庭服务、医疗护理、航天科技等诸多 领域。工作环境逐渐由传统结构单一化转为复杂非结构化。由此，在人机环境中机器人与人 如何安全且高效的进行作业，成为当前机器人领域重要的研究方向。在该方向，人体运动信 息预测及机器人在线避障规划成为了一个主要的研究课题。
目前，在人机交互环境下机器人与传感器之间出现通信延迟导致人机可能发生物理碰撞 的问题，目前仍有待解决。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基 于人体手臂运动信息预测的人机在线避障方法及***。
本发明所采用的技术方案是：
一种基于人体手臂运动信息预测的人机在线避障方法，包括以下步骤：
获取人体手臂关键点坐标，根据人体手臂关键点坐标获取人体手臂运动信息；
将获取的人体手臂运动信息输入LSTM-BP模型进行人体手臂运动的预测，其中LSTM-BP模型包括长短期记忆神经网络和反向传播神经网络；
将人体手臂作为障碍物，根据人体手臂运动的预测信息获取斥力场；
将机器人的移动终点作为目标点，根据目标点获取引力场；
根据斥力场和所述引力场获取机器人的末端位姿，根据获得的末端位姿控制机器人运动；
其中，所述斥力场不仅与机器人和障碍物之间的距离有关，还与机器人和目标点之间的 距离有关。
进一步地，所述获取人体手臂关键点坐标，根据人体手臂关键点坐标获取人体手臂运动 信息，包括：
采用光学三维动作捕捉***提取人体手臂关键点坐标；
根据人体手臂关键点坐标计算人体手臂关键点在三个维度上的速度与加速度，获得人体 手臂运动信息。
进一步地，所述LSTM-BP模型通过以下方式训练：
采用光学三维动作捕捉***获取人体手臂运动信息；
利用滑动窗口法所述人体手臂运动信息进行数据分割；
利用分割的数据信息对数据进行归一化预处理，并划分出训练集和测试集；
采用训练集训练长短期记忆神经网络，初始化网络参数，在网络中进行参数训练和迭代；
利用长短期记忆神经网络训练获得的输出数据，训练反向传播神经网络，在反向传播神 经网络中进行参数学习和迭代；
将测试集输进训练后的LSTM-BP模型，对输出数据进行反归一化处理，获得模型中的 预测值。
进一步地，所述斥力场的表达式为：
其中，η表示斥力场正比例增益因子；q为机器人位置坐标；qobs为目标点的位置坐标； d(q,qgoal)表示障碍物与机器人当前位置之间的空间距离；d0表示障碍物斥力势场所影响的最 大距离；n表示斥力修正因子；
当机器人向目标点靠近时，斥力在斥力修正因子n的调节下逐渐趋近于零，从而保证目 标点在势场中为全局最小。
进一步地，根据斥力场获得的斥力，斥力的表达式为：
其中，分力
和
分别为：
其中，η表示斥力场正比例增益因子；q为机器人位置坐标；qobs为目标点的位置坐标； d(q,qgoal)表示障碍物与机器人当前位置之间的空间距离；d0表示障碍物斥力势场所影响的最 大距离；d(q,qgoal)表示机器人当前位置与目标点之间的空间距离；n表示斥力修正因子。
进一步地，所述引力场的表达式如下：
根据引力场获得引力，引力的表达式为：
其中，ε为引力势场正比例增益因子；m为引力势场因子；q为机器人位置坐标；qgoal为目标点的位置坐标；d(q,qgoal)表示机器人当前位置与目标点之间的欧式距离。
进一步地，所述将人体手臂作为障碍物，根据人体手臂运动的预测信息获取斥力场，包 括：
以人体手臂关键点坐标为中心，生成边界包围盒，根据边界包围盒计算机器人和人体手 臂间的距离；
根据计算获得的距离获取斥力场，以在人体手臂中形成高势能地区，从而排斥机器人往 远离障碍物方向移动。
进一步地，所述根据获得的末端位姿控制机器人运动，包括：
判断机器人是否到达预设的目标点，若机器人未到达目标点，则重新获取斥力场和引力 场，再进行下一步长的运动规划；若机器人到达目标点则结束程序，从而完成机器人在线避 障规划。
本发明所采用的另一技术方案是：
一种基于人体手臂运动信息预测的人机在线避障***，包括：
运动信息获取模块，用于获取人体手臂关键点坐标，根据人体手臂关键点坐标获取人体 手臂运动信息；
手臂运动预测模块，用于将获取的人体手臂运动信息输入LSTM-BP模型进行人体手臂 运动的预测，其中LSTM-BP模型包括长短期记忆神经网络和反向传播神经网络；
斥力场计算模块，用于将人体手臂作为障碍物，根据人体手臂运动的预测信息获取斥力 场；
引力场计算模块，用于将机器人的移动终点作为目标点，根据目标点获取引力场；
机器人控制模块，用于根据斥力场和所述引力场获取机器人的末端位姿，根据获得的末 端位姿控制机器人运动；
其中，所述斥力场不仅与机器人和障碍物之间的距离有关，还与机器人和目标点之间的 距离有关。
本发明所采用的另一技术方案是：
一种基于人体手臂运动信息预测的人机在线避障***，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述 方法。
本发明的有益效果是：本发明利用长短期记忆神经网络结合反向传播神经网络预测人体 手臂运动，并通过改进型的人工势场算法实现人机交互下的在线避障，使斥力场不仅与机器 人和障碍物之间的距离有关，还与机器人和目标点之间的距离有关，提升人机交互的安全性。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者 现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方 便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创 造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种基于人体手臂运动信息预测的人机在线避障方法的步骤流程 图；
图2是本发明实施例中合力场模型的示意图；
图3是本发明实施例中机器人势场受力分析的示意图；
图4是本发明实施例中人工势场出现的问题的示意图；
图5是本发明实施例中改进势场受力分析的示意图；
图6是本发明实施例中基于双向长短期记忆神经网络结合反向传播神经网络的人体手臂 预测示意图；
图7是本发明实施例中基于改进型人工势场法的人机在线避障框架示意图；
图8是本发明实施例中基于人机预测在线避障对比实验示意图；
图9是本发明实施例中基于人机预测在线避障对比实验的人机距离结果示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或 类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的 实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中 的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的 各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化 描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作， 因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、 超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二 只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的 技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属 技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
1、人工势场法的说明
人工势场法(Artificial potential field,APF)，通过在空间中建立一个非物理的抽象势场， 可应用于到机器人运动规划中。其中，障碍物对机械臂产生斥力，目标点对机械臂产生引力， 通过斥力和引力的相互作用来改变机械臂的运动方向，从而实现机器人运动避障规划并最终 抵达终点。人工势场模型是通过仿照静电势场模型构造出的势场模型，由于势能的作用，机 器人会往低势能方向运动。根据上述可得，在人工势场U中可以分为两部分：引力势场和斥 力势场。
1.1、引力势场
目标点产生引力场Uatt，可以类比成静电势场中的负极，会吸引机器人往低势能方向移 动。机器人距离目标越近，所具的势能就越小。因此，在移动的同时势能随着目标的距离越 来越短而逐渐递减，直至到达目标点(势能为零)。引力场Uatt可以表示为:
其中ε为引力势场正比例增益因子；m为引力势场因子；q为机器人位置坐标；qgoal为目标点的位置坐标；d(q,qgoal)表示机器人当前位置与目标点之间的欧式距离。当m≥1时，引力势场的形状类似立椎体的侧面，当m≥2时，引力势场形状类似球体的表面，可以 很直观的看出二次势场中势能下降更为平滑，引力变化更平滑，更易实现机器人的平滑运动。因此，本项目设置引力势场因子m＝2。
由式(1)可得引力场Uatt和机器人到坐标点的最短距离d(q,qgoal)成平方关系，而目 标点产生的引力Fatt随着机器人的距离单调递减，引力Fatt为引力场Uatt的负梯度方向，即是引力场Uatt对机器人和目标点距离的一阶导数，表达式：
由于引力势场因子m＝2，所以当引力场Uatt对机器人和目标点距离求完一阶导后，引 力Fatt便是一次函数，计算更为简单。
1.2、斥力势场
环境中障碍物产生的斥力，可以类比成静电势场的正极，机器人离障碍物的距离越近其 势能就越大，从而阻碍机器人靠近障碍物，达到排斥机器人的目的。反之，当机器人离障碍 物越远时，其势能便会单调递减。因此，在传统的人工势场中，障碍物产生的斥力势场函数 可以表示为：
其中，q为机器人位置坐标；qobs为目标点的位置坐标；η表示斥力场正比例增益因子； d0表示障碍物斥力势场所影响的最大距离；d(q,qobs)表示机器人当前位置与障碍物之间的距 离；当机器人到障碍物的距离d(q,qobs)超过d0时，障碍物便不再对机器人产生影响，对应式 (3)中的Ureq(q)＝0的情况。当机器人到障碍物的距离d(q,qobs)小于d0时，机器人越靠近 障碍物则势能越大，越远离障碍物势能越小。
在障碍物的斥力作用下，机器人会逐渐远离障碍物，从而实现机器人避障。当两者相处 的距离趋近于d0时，斥力则会逐渐变为零，可以看出斥力场函数Ureq是连续的，即障碍物 对机器人的斥力是逐渐衰减的。
障碍物产生的斥力场Ureq对机器人产生斥力，斥力Frep随着机器人的距离单调递减， 应为斥力势场Ureq的负梯度。因此，斥力Frep应是斥力势场Ureq对机器人和障碍物距离的一阶导数，可表达为：
由上式(4)可得，当障碍物和机器人距离d(q,qobs)趋近于0时，斥力Freq(q)趋近于无穷，表明当机器人与障碍物靠的越近，机器人受到的力将趋近于无穷，从而防止了机器人与障碍物之间的发生碰撞的可能性。当障碍物和机器人距离d(q,qobs)趋近于d0时，斥力Freq(q)趋近于0，表明机器人远离障碍物时，机器人所受的斥力将逐渐趋近于0。因此， 根据障碍物的分布和形状，选择较为合适的障碍物斥力势场所影响的最大距离d0。从而确保 机器人可以高效地躲避障碍物，完成机器人避障运动规划。
1.3、合力势场
根据上文中的引力场Uatt和斥力场Urep的定义，可以算出两个势场叠加形成的人工合 力势场，表达式U为：
U(q)＝Uatt(q)+Urep(q) (5)
如图2所示，目标点qgoal＝(0.3,0.3)为势场中势能最小的点，引力势场由目标点qgoal) 产生，而障碍物qobs＝(0.15,0.15)则是势场中势能最大的点，机器人的初始位置为q＝(0,0)。 由于障碍物具有很大的势能，因此，在图2中机器人在运动时会绕开障碍物qobs＝(0.15,0.15) 并到达目标点qgoal＝(0.3,0.3)，从而实现机器人避障规划。
同样地，如图3所示，机器人受到的合力F也是势场中的引力Fatt和斥力Freq矢量叠加形成，其表达式为：
根据式(6)计算出运动空间中的势场力，机器人在势场力的作用下运动，直到到达目标 点为止，这样就能规划出机器人的运动。
1.4、改进势场
图4(a)表示人工势场法会出现目标不可达的情况，即环境中的障碍物在目标点附近， 由于斥力和引力作用，导致机器人的受力方向总是背离目标点，而当机器人远离一定距离后， 斥力也随之减少，机器人又开始向目标点靠近，如此反复机器人始终无法完成路径规划到达 目标点。图4(b)表示人工势场法可能会出现的局部最小点，即障碍物产生的斥力和目标点 产生的引力矢量相加形成的合力为0，此时机器人陷入局部最小无法到达目标点。
为解决目标不可达问题，在上述说明的斥力势场函数中引入机器人和目标点之间的距离 d(q,qgoal)和修正斥力因子n，改进型斥力势场函数Ur*eq(q)表达式如下：
其中，η表示斥力场正比例增益因子；q为机器人位置坐标；qobs为目标点的位置坐标； d(q,qobs)表示障碍物与机器人当前位置之间的空间距离；d0表示障碍物斥力势场所影响的最大 距离；n表示斥力修正因子。可以看出
不仅与机器人和障碍物之间的距离有关还跟机器 人与目标点之间的距离有关。当机器人向目标点靠近时，斥力在斥力修正因子n的调节下逐 渐趋近于零，从而保证目标点在势场中为全局最小。
同理，改进型斥力可表示为：
其中，其中，分力
和
分别为：
d(q,qgoal)表示机器人当前位置与目标点之间的空间距离。
受力分析如图5所示，分力
方向是原斥力分力Frep方向，而分力
则是由机器人 指向目标点。
在引入机器人和目标点之间的距离d(q,qgoal)和斥力修正因子n后，可以通过改变斥力方 向来解决目标不可达问题。当斥力修正因子n＝0时分力
则
此时改 进型势场等价于人工势场。当n>1时且机器人离目标点越来越近时，即d(q,qgoal)→0,分力 
同样的分力
此时，改进斥力*repF→0，机器人依靠引力Fatt来运动 至目标点。当n＝1且机器人离目标点越来越近时，分力
同样的分力
其中c为常数，此时改进斥力Frep*→c，机器人所受合力指向目标点，在合力的作用下到达 目标点。当0<n<1且机器人离目标点越来越近时，分力
同样的分力
此时改进斥力Frep*→∞，斥力指向目标点，在该情况下能够更加迅速到达目标点。因此， 本实施例中设定的斥力修正因子n系数范围在(0,1)。
基于上述，如图1所示，本实施例提供一种基于人体手臂运动信息预测的人机在线避障 方法，包括以下步骤：
S1、获取人体手臂关键点坐标，根据人体手臂关键点坐标获取人体手臂运动信息。
根据光学三维动作捕捉***提取人体手臂关键点坐。然后利用计算出关键点在三个维度 上的速度与加速度，并利用滑动窗口法划分数据集，最后得到待输入网络人体手臂信息。
S2、将获取的人体手臂运动信息输入LSTM-BP模型进行人体手臂运动的预测，其中LSTM-BP模型包括长短期记忆神经网络和反向传播神经网络。
基于长短期记忆神经网络结合反向传播神经网络预测人体手臂预测模型，其结构流程如 图6。首先，对数据进行归一化预处理，并划分出训练集和测试集；接着，训练BiLSTM模 型，初始化模型参数，在网络中进行参数训练和迭代；进一步地，训练BP模型，将BiLSTM模型训练出的输出数据作为输入，在BP神经网络中进行参数学习和迭代；用测试集数据输进训练好LSTM-BP的模型，对输出数据进行反归一化，从而获得模型中的预测值。
S3、将人体手臂作为障碍物，根据人体手臂运动的预测信息获取斥力场。
S4、将机器人的移动终点作为目标点，根据目标点获取引力场。
S5、根据斥力场和所述引力场获取机器人的末端位姿，根据获得的末端位姿控制机器人 运动。
其中，所述斥力场不仅与机器人和障碍物之间的距离有关，还与机器人和目标点之间的 距离有关。
图7为本发明实施例中一种基于改进型人工势场法的人机在线避障框架示意图。首先， 进行算法参数的初始化。接着，光学三维动作捕捉***通过TCP/IP协议将障碍物或人体运 动信息作为改进型人工势场运动规划算法的输入，算法输出机器人末端位姿。进一步地，将 机器人的规划位置作为输入，输入给机械臂逆运动学模型，求出机器人的各关节角度。将关 节角度传给机器人控制器，控制机器人运动。接着，判断机器人是否到达设置的目标点，若 机器人未到达目标点则再进行下一步长的运动规划，若机器人到达目标点则结束程序，从而 完成机器人在线避障规划。
目标点产生引力场Uatt，可以类比成静电势场中的负极，会吸引机器人往低势能方向移 动。机器人距离目标越近，所具的势能就越小。因此，在移动的同时势能随着目标的距离越 来越短而逐渐递减，直至到达目标点(势能为零)。引力场Uatt可以表示为:
其中ε为引力势场正比例增益因子；m为引力势场因子；q为机器人位置坐标；qgoal为 目标点的位置坐标；d(q,qgoal)表示机器人当前位置与目标点之间的欧式距离。目标点产生的 引力Fatt为：
改进型斥力势场函数Ur*eq(q)表达式如下：
其中，η表示斥力场正比例增益因子；q为机器人位置坐标；qobs为目标点的位置坐标； d(q,qgoal)表示障碍物与机器人当前位置之间的空间距离；d0表示障碍物斥力势场所影响的最 大距离；d(q,qgoal)表示机器人当前位置与目标点之间的空间距离；n表示斥力修正因子。可 以看出
不仅与机器人和障碍物之间的距离有关还跟机器人与目标点之间的距离有关。 当机器人向目标点靠近时，斥力在斥力修正因子n的调节下逐渐趋近于零，从而保证目标点 在势场中为全局最小。
同理，改进型斥力可表示为：
其中，分力
和
分别为：
实验结果
基于长短期记忆神经网络结合反向传播神经网络预测人体手臂预测模型，预测精度如表 1所示：
表1不同运动下各网络的预测值与真实值之间的均方根误差
为验证预测人体运动能够提高人机共存中人机之间的安全性。本实施例要求受试者按如 图8所示进行运动，机器人在避障时与人手和目标点距离如图9所示，可以看出在相同运动 中，利用人体运动预测信息进行避障规划中，机器人的响应速度更快，人机最短距离更远。 其中，图8(a)为人体手臂前后运动模式中加预测模型进行的机械臂运动避障，图8(b)为 人体手臂前后运动模式中不加预测模型进行的机械臂运动避障，图8(c)为人体手臂左右运 动模式中加预测模型进行的机械臂运动避障，图8(d)为人体手臂前后运动模式中不加预测 模型进行的机械臂运动避障；图9(a)为在图8(a)中机器人在避障时与障碍物和目标点的 距离，图9(b)为在图8(b)中机器人在避障时与障碍物和目标点的距离，图9(c)为在 图8(c)中机器人在避障时与障碍物和目标点的距离，图9(d)为在图8(d)中机器人在 避障时与障碍物和目标点的距离。
综上所述，本实施例根据光学三维动作捕捉***提取人体手臂关键点坐标，并利用长短 期记忆神经网络结合反向传播神经网络(BILSTM-BP)预测人体手臂运动，人体手臂运动预 测信息输入给改进型人工势场算法，接着，机器人控制器根据改进型人工势场规划出的路径 进行运动避障。然后利用长短期记忆神经网络结合反向传播神经网络预测人体手臂运动，并 通过改进型人工势场算法实现人机交互下的在线避障，提升人机交互的安全性。由于，传感 器之间的通讯存在着延迟，因而，利用本方法可以抵消部分延迟做到机器人的快速响应。同 时，改进型人工势场实时性较高。因而，在改进型人工势场进行运动规划中安全性更好。因 而可以将该发明实施例所提供的基于人体手臂运动信息预测的人机在线避障方法方法应用到 人机共存、人机交互等对人机安全性要求很高的领域中。
本实施例还提供一种基于人体手臂运动信息预测的人机在线避障***，包括：
运动信息获取模块，用于获取人体手臂关键点坐标，根据人体手臂关键点坐标获取人体 手臂运动信息；
手臂运动预测模块，用于将获取的人体手臂运动信息输入LSTM-BP模型进行人体手臂 运动的预测，其中LSTM-BP模型包括长短期记忆神经网络和反向传播神经网络；
斥力场计算模块，用于将人体手臂作为障碍物，根据人体手臂运动的预测信息获取斥力 场；
引力场计算模块，用于将机器人的移动终点作为目标点，根据目标点获取引力场；
机器人控制模块，用于根据斥力场和所述引力场获取机器人的末端位姿，根据获得的末 端位姿控制机器人运动；
其中，所述斥力场不仅与机器人和障碍物之间的距离有关，还与机器人和目标点之间的 距离有关。
本实施例的一种基于人体手臂运动信息预测的人机在线避障***，可执行本发明方法实 施例所提供的一种基于人体手臂运动信息预测的人机在线避障方法，可执行方法实施例的任 意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种基于人体手臂运动信息预测的人机在线避障***，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图图1 所示方法。
本实施例的一种基于人体手臂运动信息预测的人机在线避障***，可执行本发明方法实 施例所提供的一种基于人体手臂运动信息预测的人机在线避障方法，可执行方法实施例的任 意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机 程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以 从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执 行图1所示的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序 发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执 行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例 以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现 的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描 述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明， 所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个 或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每 个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公 开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了 解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下 实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的， 并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决 定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在 一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技 术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产 品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服 务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储 介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现 逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行 ***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、 装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。 就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以 供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电 连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘 只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其 他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必 要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施 方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件 来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术 中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻 辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门 阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例” 或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料 或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性 表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可 以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离 本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发 明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领 域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的 变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于人体手臂运动信息预测的人机在线避障方法，其特征在于，包括以下步骤：
获取人体手臂关键点坐标，根据人体手臂关键点坐标获取人体手臂运动信息；
将获取的人体手臂运动信息输入LSTM-BP模型进行人体手臂运动的预测，其中LSTM-BP模型包括长短期记忆神经网络和反向传播神经网络；
将人体手臂作为障碍物，根据人体手臂运动的预测信息获取斥力场；
将机器人的移动终点作为目标点，根据目标点获取引力场；
根据斥力场和所述引力场获取机器人的末端位姿，根据获得的末端位姿控制机器人运动；其中，所述斥力场不仅与机器人和障碍物之间的距离有关，还与机器人和目标点之间的距离有关。
2.根据权利要求1所述的一种基于人体手臂运动信息预测的人机在线避障方法，其特征在于，所述获取人体手臂关键点坐标，根据人体手臂关键点坐标获取人体手臂运动信息，包括：
采用光学三维动作捕捉***提取人体手臂关键点坐标；
根据人体手臂关键点坐标计算人体手臂关键点在三个维度上的速度与加速度，获得人体手臂运动信息。
3.根据权利要求1所述的一种基于人体手臂运动信息预测的人机在线避障方法，其特征在于，所述LSTM-BP模型通过以下方式训练：
采用光学三维动作捕捉***获取人体手臂运动信息；
利用滑动窗口法所述人体手臂运动信息进行数据分割；
利用分割的数据信息对数据进行归一化预处理，并划分出训练集和测试集；
采用训练集训练长短期记忆神经网络，初始化网络参数，在网络中进行参数训练和迭代；利用长短期记忆神经网络训练获得的输出数据，训练反向传播神经网络，在反向传播神经网络中进行参数学习和迭代；
将测试集输进训练后的LSTM-BP模型，对输出数据进行反归一化处理，获得模型中的预测值。
4.根据权利要求1所述的一种基于人体手臂运动信息预测的人机在线避障方法，其特征在于，所述斥力场的表达式为：
其中，η表示斥力场正比例增益因子；q为机器人位置坐标；qobs为目标点的位置坐标；
d0表示障碍物斥力势场所影响的最大距离；n表示斥力修正因子；
当机器人向目标点靠近时，斥力在斥力修正因子n的调节下逐渐趋近于零，从而保证目标点在势场中为全局最小。
5.根据权利要求4所述的一种基于人体手臂运动信息预测的人机在线避障方法，其特征在于，根据斥力场获得的斥力，斥力的表达式为：
其中，分力
和
分别为：
其中，η表示斥力场正比例增益因子；q为机器人位置坐标；qobs为目标点的位置坐标；
d(q,qgoal)表示障碍物与机器人当前位置之间的空间距离；d0表示障碍物斥力势场所影响的最大距离；d(q,qgoal)表示机器人当前位置与目标点之间的空间距离；n表示斥力修正因子。
6.根据权利要求1所述的一种基于人体手臂运动信息预测的人机在线避障方法，其特征在于，所述引力场的表达式如下：
根据引力场获得引力，引力的表达式为：
其中，ε为引力势场正比例增益因子；m为引力势场因子；q为机器人位置坐标；qgoal为目标点的位置坐标；d(q,qgoal)表示机器人当前位置与目标点之间的欧式距离。
7.根据权利要求1所述的一种基于人体手臂运动信息预测的人机在线避障方法，其特征在于，所述将人体手臂作为障碍物，根据人体手臂运动的预测信息获取斥力场，包括：
以人体手臂关键点坐标为中心，生成边界包围盒，根据边界包围盒计算机器人和人体手臂间的距离；
根据计算获得的距离获取斥力场，以在人体手臂中形成高势能地区，从而排斥机器人往远离障碍物方向移动。
8.根据权利要求1所述的一种基于人体手臂运动信息预测的人机在线避障方法，其特征在于，所述根据获得的末端位姿控制机器人运动，包括：
判断机器人是否到达预设的目标点，若机器人未到达目标点，则重新获取斥力场和引力场，再进行下一步长的运动规划；若机器人到达目标点则结束程序，从而完成机器人在线避障规划。
9.一种基于人体手臂运动信息预测的人机在线避障***，其特征在于，包括：
运动信息获取模块，用于获取人体手臂关键点坐标，根据人体手臂关键点坐标获取人体手臂运动信息；
手臂运动预测模块，用于将获取的人体手臂运动信息输入LSTM-BP模型进行人体手臂运动的预测，其中LSTM-BP模型包括长短期记忆神经网络和反向传播神经网络；
斥力场计算模块，用于将人体手臂作为障碍物，根据人体手臂运动的预测信息获取斥力场；
引力场计算模块，用于将机器人的移动终点作为目标点，根据目标点获取引力场；
机器人控制模块，用于根据斥力场和所述引力场获取机器人的末端位姿，根据获得的末端位姿控制机器人运动；
其中，所述斥力场不仅与机器人和障碍物之间的距离有关，还与机器人和目标点之间的距离有关。
10.一种基于人体手臂运动信息预测的人机在线避障***，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-8任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210922002.0A CN115502961B (zh) | 2022-08-02 | 2022-08-02 | 基于人体手臂运动信息预测的人机在线避障方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210922002.0A CN115502961B (zh) | 2022-08-02 | 2022-08-02 | 基于人体手臂运动信息预测的人机在线避障方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115502961A true CN115502961A (zh) | 2022-12-23 |
| CN115502961B CN115502961B (zh) | 2024-07-26 |
Family
ID=84501647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210922002.0A Active CN115502961B (zh) | 2022-08-02 | 2022-08-02 | 基于人体手臂运动信息预测的人机在线避障方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115502961B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115933688A (zh) * | 2022-12-28 | 2023-04-07 | 南京衍构科技有限公司 | 一种多机器人协同工作避障方法、***、设备及存储介质 |
| CN116352714A (zh) * | 2023-04-11 | 2023-06-30 | 广东工业大学 | 一种机械臂避障路径规划方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130094533A (ko) * | 2012-02-16 | 2013-08-26 | 인하대학교 산학협력단 | 이동로봇의 충돌방지 시스템 및 방법 |
| CN110900611A (zh) * | 2019-12-13 | 2020-03-24 | 合肥工业大学 | 一种新型机械臂目标定位及路径规划方法 |
| CN111421540A (zh) * | 2020-04-01 | 2020-07-17 | 唐山航宏电子科技有限公司 | 一种机械臂运动控制方法 |
| CN114643576A (zh) * | 2020-12-17 | 2022-06-21 | 中国科学院沈阳自动化研究所 | 一种基于虚拟力引导的人机协同目标抓取方法 |
-
2022
- 2022-08-02 CN CN202210922002.0A patent/CN115502961B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130094533A (ko) * | 2012-02-16 | 2013-08-26 | 인하대학교 산학협력단 | 이동로봇의 충돌방지 시스템 및 방법 |
| CN110900611A (zh) * | 2019-12-13 | 2020-03-24 | 合肥工业大学 | 一种新型机械臂目标定位及路径规划方法 |
| CN111421540A (zh) * | 2020-04-01 | 2020-07-17 | 唐山航宏电子科技有限公司 | 一种机械臂运动控制方法 |
| CN114643576A (zh) * | 2020-12-17 | 2022-06-21 | 中国科学院沈阳自动化研究所 | 一种基于虚拟力引导的人机协同目标抓取方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115933688A (zh) * | 2022-12-28 | 2023-04-07 | 南京衍构科技有限公司 | 一种多机器人协同工作避障方法、***、设备及存储介质 |
| CN115933688B (zh) * | 2022-12-28 | 2024-03-29 | 南京衍构科技有限公司 | 一种多机器人协同工作避障方法、***、设备及存储介质 |
| CN116352714A (zh) * | 2023-04-11 | 2023-06-30 | 广东工业大学 | 一种机械臂避障路径规划方法 |
| CN116352714B (zh) * | 2023-04-11 | 2023-09-26 | 广东工业大学 | 一种机械臂避障路径规划方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115502961B (zh) | 2024-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kalweit et al. | Uncertainty-driven imagination for continuous deep reinforcement learning | |
| CN115502961A (zh) | 基于人体手臂运动信息预测的人机在线避障方法及*** | |
| Zhang et al. | An obstacle avoidance algorithm for robot manipulators based on decision-making force | |
| Godoy et al. | Adaptive learning for multi-agent navigation | |
| EP4085392A1 (en) | Multi-objective reinforcement learning using objective-specific action-value functions | |
| KR20230122118A (ko) | 지도된 자율 파지 | |
| CN118201742A (zh) | 使用图神经网络的多机器人协调 | |
| Li et al. | Hybrid trajectory replanning-based dynamic obstacle avoidance for physical human-robot interaction | |
| Arsenic | Developmental learning on a humanoid robot | |
| Mora et al. | Path planning and trajectory generation using multi-rate predictive artificial potential fields | |
| Kim et al. | Reinforcement learning-based path generation using sequential pattern reduction and self-directed curriculum learning | |
| Zaheer et al. | Performance analysis of path planning techniques for autonomous mobile robots | |
| CN116834014A (zh) | 一种空间多臂机器人捕获非合作目标的智能协同控制方法和*** | |
| Leottau et al. | Decentralized reinforcement learning applied to mobile robots | |
| Peng et al. | Moving object grasping method of mechanical arm based on deep deterministic policy gradient and hindsight experience replay | |
| Afzali et al. | A Modified Convergence DDPG Algorithm for Robotic Manipulation | |
| Vijayan et al. | Comparative study on the performance of neural networks for prediction in assisting visual servoing | |
| Hong et al. | Dynamics-aware metric embedding: Metric learning in a latent space for visual planning | |
| Fuseiller et al. | Reactive path planning for collaborative robot using configuration space skeletonization | |
| CN113681560A (zh) | 基于视力融合的机械臂操作铰接物体的方法 | |
| Ku et al. | A Motion Planning Algorithm for Live Working Manipulator Integrating PSO and Reinforcement Learning Driven by Model and Data | |
| Sunwoo et al. | Optimal Path Search for Robot Manipulator using Deep Reinforcement Learning | |
| Zhang et al. | Using Implicit Behavior Cloning and Dynamic Movement Primitive to Facilitate Reinforcement Learning for Robot Motion Planning | |
| Coors | Navigation of mobile robots in human environments with deep reinforcement learning | |
| Junare et al. | Deep Learning based end-to-end Grasping Pipeline on a lowcost 5-DOF Robotic arm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |