CN115847422A - 一种用于遥操作的姿态识别方法、装置及*** - Google Patents
一种用于遥操作的姿态识别方法、装置及*** Download PDFInfo
- Publication number
- CN115847422A CN115847422A CN202211704251.9A CN202211704251A CN115847422A CN 115847422 A CN115847422 A CN 115847422A CN 202211704251 A CN202211704251 A CN 202211704251A CN 115847422 A CN115847422 A CN 115847422A
- Authority
- CN
- China
- Prior art keywords
- current
- operator
- gesture recognition
- feedback data
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000033001 locomotion Effects 0.000 claims abstract description 120
- 230000036544 posture Effects 0.000 claims description 93
- 239000013598 vector Substances 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 33
- 238000005457 optimization Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 19
- 210000000707 wrist Anatomy 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
本申请实施例属于机器人技术领域，涉及一种用于遥操作的姿态识别方法，包括获取操作者N个部位的N组当前运动反馈数据，其中N为大于等于2的整数；及通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别，得到操作者的当前姿态，其中，当前姿态包括操作者M个部位的当前姿态，M为大于N的整数。本申请还提供一种用于遥操作的姿态识别装置、***、计算机设备及存储介质。本申请可以基于更少数量的姿态传感器得到操作者更为精确的姿态识别结果。
Description
技术领域
本申请涉及遥操作技术领域，尤其涉及一种用于遥操作的姿态识别方法、装置及***。
背景技术
随着科技的发展，机器人应用领域越发广泛，在一些复杂和危险环境中，需要机器人灵活性更高，具有更高的仿人工作的能力，为此，遥操作机器人应运而生。遥操作机器人是通过在操作人员身上安装姿态传感器，比如，惯性传感器(Inertial Measurement UnitIMU)，操作人员在另一真实或者虚拟场景下进行目标任务操作，通过IMU捕捉操作人员在操作过程中的动作并采集相应的运动反馈数据发送给控制器，控制器根据反馈数据生成相应的运动控制指令等，以控制从端机器人，从而实现遥操作的目的。
现有的动作捕捉方案主要是在人体上密集布置惯性传感器以获得动作相关的运动反馈数据，为实现全身动作捕捉一般需在操作者身上分布16-20个IMU。
而通常IMU成本较高，需要处理的数据量也较大，算力要求高，不利于实时的动作捕捉。
发明内容
本申请实施例的目的在于提出一种用于遥操作的姿态识别方法、装置及***，以基于更少数量的姿态传感器得到操作者更为精确的姿态识别结果。
为了解决上述技术问题，本申请实施例提供一种用于遥操作的姿态识别方法，采用了如下所述的技术方案：
一种用于遥操作的姿态识别方法，用于识别操作者的姿态，包括下述步骤：
获取操作者N个部位的N组当前运动反馈数据，其中N为大于等于2的整数；及
通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别，得到操作者的当前姿态，其中，当前姿态包括操作者M个部位的当前姿态，M为大于N的整数。
进一步的，所述N等于4；所述操作者N个部位的N组当前运动反馈数据包括：
对应操作者的左腕部的运动反馈数据；
对应操作者的右腕部的运动反馈数据；
对应操作者的腰部的反馈数据；
对应操作者的头部的运动反馈数据。
进一步的，获取操作者N个部位的N组当前运动反馈数据包括：
获取满足预设时间间隔的当前时刻以及所述当前时刻前预设时间窗口内的运动反馈数据；和/或
所述姿态识别模型为Transformer模型。
进一步的，所述通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别之前还包括：
构建在人体多个姿态下的N组运动反馈数据的训练样本集，其中，以基于SMPL上半身模型的姿态表示作为训练样本集的标注；
设定预设的姿态识别模型的超参数；
基于运动反馈数据的训练样本集对姿态识别模型进行训练。
进一步的，所述通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别的步骤之后还包括：
基于人体先验模型，以所述当前姿态为目标进行跟踪优化，得到优化后的当前姿态。
进一步的，所述基于人体先验模型，以所述当前姿态为目标进行跟踪优化的步骤具体包括：
将所述当前姿态作为优化目标；
将所述人体先验模型的各个关节的转矩和脚部受力作为控制向量；
定义所述人体先验模型跟踪所述当前姿态的目标函数和约束条件，对所述目标函数和所述约束条件进行联合最优化求解，得到当前最优控制向量；
对所述人体先验模型执行所述当前最优控制向量，得到人体先验模型的当前姿态；
将所述人体先验模型的当前姿态作为优化后的当前姿态。
进一步的，所述目标函数为：
其中，Q和R均为权重矩阵；N1表示预测时域；p(k+it)表示人体先验模型运动位姿向量以t时刻值为基准向前预测k+i时刻的值；pr(k+i t)表示神经网络输出的目标运动位姿向量以t时刻值为基准向前预测k+i时刻的值；t表示当前时刻；N2表示控制时域；Δu(k+it)表示控制向量增量以t时刻值为基准向前预测k+i时刻的值；
所述约束公式为：
u_min≤u≤u_max(2.3)；
其中，公式(2.1)表示所述人体先验模型的各个关节的旋转角度
需被约束在一定范围内；公式(2.2)表示所述人体先验模型的各个关节的旋转角速度/>
需被约束在一定范围内；公式(2.3)表示所述人体先验模型的各个关节的转矩和脚部受力，即所述控制向量u的大小被约束在一定范围内。
第二方面，本申请实施例还提供一种用于遥操作的姿态识别装置，用于识别操作者的姿态，采用了如下所述的技术方案：
一种用于遥操作的姿态识别装置，包括：
获取模块，用于获取操作者N个部位的N组当前运动反馈数据，其中N为大于等于2的整数；
识别模块，用于通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别，得到操作者的当前姿态，其中，当前姿态包括操作者M个部位的当前姿态，M为大于N的整数。
第三方面，本申请实施例还提供一种遥操作***，采用了如下所述的技术方案：
一种遥操作***，包括：N个姿态传感器、控制器和机器人,其中，N为大于等于2的整数；
所述N个姿态传感器和所述机器人分别与所述控制器130通信连接；
所述N个姿态传感器，用于分别采集操作者N个部位的N组当前运动反馈数据；
所述控制器，用于获取所述操作者N个部位的N组当前运动反馈数据；及通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别，得到操作者的当前姿态，其中，当前姿态包括操作者M个部位的当前姿态，M为大于N的整数；
所述机器人，用于根据所述当前姿态的指示进行运动。
第四方面，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的用于遥操作的姿态识别方法的步骤。
第五方面，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的用于遥操作的姿态识别方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请实施例，将更少数量的姿态传感器采集的关节的运动反馈数据通过姿态识别模型进行操作者的姿态识别，由于该姿态识别模型基于大量的运动反馈数据训练得到，因此可以基于更少数量的姿态传感器采集的关节的运动反馈数据得到操作者更为精确的姿态识别结果。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性***架构图；
图2是本申请的用于遥操作的姿态识别方法的一个实施例的流程图；
图3是本申请的用于遥操作的姿态识别方法的另一个实施例的流程图；
图4是本申请的用于遥操作的姿态识别方法的另一个实施例的流程图；
图5是本申请的用于遥操作的姿态识别装置的一个实施例的结构示意图；
图6是本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，图1是本申请可以应用于其中的示例性***架构图。
本申请实施例提供一种遥操作***100，该***包括：N个姿态传感器110、机器人120和控制器130，其中，N为大于等于2的整数。
N个姿态传感器110和机器人120分别与控制器130通过有线或者无线的方式通信连接。
需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
N个姿态传感器110，用于分别采集操作者N个部位的N组当前运动反馈数据。
上述姿态传感器110可以为可直接或者基于某些处理后得到运动反馈数据的各种现在已有或将来开发的传感器，比如：IMU、图像传感器等等。为方便理解，本申请实施例主要以姿态传感器为IMU为例进行详细说明。
其中，IMU是惯性测量单元，用于测量目标物相关的运动数据，包括：三维加速度和三维旋转角度。
示例性的，如图1所示，本申请实施例中，可以只在操作人员200上半身的左手腕、右手腕、头部和腰部四个部位安装IMU110。
机器人120，用于根据控制器生成的当前姿态的指示进行运动。
上述机器人120，可以是指整个机器人，也可以是指基于遥操作控制的机器人的某个部分，比如：机器人的上半身或者机器人的手爪部分等等。
控制器130，用于执行本申请实施例所述的用于遥操作的姿态识别方法，生成操作者M个部位的当前姿态。
本申请实施例N个IMU110按照预设频率连续分别采集操作人员200在真实或者虚拟环境下进行操作过程中的运动反馈数据，并将该运动反馈数据发送给控制器130；控制器基于连续接收的N组当前运动反馈数据，生成(t0,t1,…)时刻的当前姿态，并将该姿态识别结果发送给机器人120；机器人120的各个部位根据对应的姿态识别结果的指示进行运动，从而实现遥操作的目的。
本发明实施例提供的用于遥操作的姿态识别方法可以应用于计算机终端(Personal Computer，PC)；工业控制计算机终端(Industrial Personal Computer，IPC)；移动终端；服务器；包括终端和服务器的***，并通过终端和服务器的交互实现；可编程逻辑控制器(Programmable Logic Controller，PLC)；现场可编程门阵列(Field-Programmable Gate Array，FPGA)；数字信号处理器(Digital SignalProcesser，DSP)或微控制单元(Microcontroller unit，MCU)等类似的控制器中执行。控制器根据预先固定的程序，结合外部的IMU110等采集的数据等生成程序指令。有关控制器的具体限定可以参见下面实施例中用于遥操作的姿态识别方法的限定。
具体的，可以应用于如图6所示的计算机设备中，该计算机设备可以是终端,也可以是服务器。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其它技术实现。该计算机程序被处理器执行时以实现一种用于遥操作的姿态识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的安检、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等等。
其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)，以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音响、智能手表等，但并不局限于此。终端以及服务器可以通过有线或者无线通信方式进行直接或间接地连接，本申请在此不做限定。
需要说明的是，本申请实施例所提供的用于遥操作的姿态识别方法一般由控制器130执行，相应地，用于遥操作的姿态识别装置一般设置于控制器130中。
如图2所示，图2为本申请的用于遥操作的姿态识别方法的一个实施例的流程图。所述用于遥操作的姿态识别方法，包括以下步骤：
步骤201，获取操作者N个部位的N组当前运动反馈数据，其中N为大于等于2的整数。
在本申请实施例中，控制器获取通过IMU采集并发送的当前运动反馈数据，比如：计算机终端可以访问存储地址对应的存储空间，从访问的存储空间中提取在此之前通过IMU采集并发送的当前运动反馈数据，或者获取通过服务器发送的上述运动反馈数据等等。
需要说明的是，对于上述当前运动反馈数据，不同的姿态传感器可以对应不同的数据内容。比如：获取每个IMU以一定的时间间隔返回的当前运动反馈数据，当前运动反馈数据至少包括两个部分，一个部分是IMU测量得到的本地坐标系下的三个方向的加速度[ax,ay,az]，第二个部分是该IMU相对于惯性坐标系的姿态，这个姿态可以四元数表示，如[1.0,0,0,0]。
其中，当前运动反馈数据可以是指当前某个时刻的运动反馈数据；或者，满足预设时间间隔的当前时刻以及当前时刻前预设时间窗口内的运动反馈数据。
示例性的，IMU每秒采集一次运动反馈数据并通过数据传输接口发送给控制器。控制器将每秒一次接收的运动反馈数据发送到对应的存储空间；以预设时间窗口为10秒为例，则每间隔10秒访问存储地址对应的存储空间调取一次预设时间窗口内的运动反馈数据，比如：第一调取第10秒及1至9秒内的所有运动反馈数据；第二次调取第11至20秒内的运动反馈数据……依次类推。
需要说明的是，上述N可以根据需要设定为任意大于等于2的整数，只要保证N小于M都属于本申请保护的范围。可以理解，通常IMU的数量越多，则采集的运动反馈数据越多，得到的姿态识别结果越精确，但也同时会造成需要处理的数据量也较大，算力要求高，不利于实时的动作捕捉，因此，在满足姿态识别精度要求的同时，选择更少数量的IMU可以提高实时动作捕捉能力。
步骤202，通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别，得到操作者的当前姿态；其中，当前姿态包括操作者M个部位的当前姿态，M为大于N的整数。
在本实施例中，控制器将操作者N个部位的N组当前运动反馈数据输入预设的姿态识别模型。
在一个实施例中，操作者的姿态可以是用人体各个关节的旋转角度来表达的，这里可以参考标准的人体模型，比如：(Skinned Multi-Person Linear SMPL)人体模型，为了定义一个人体的动作，我们需要对人体的每个可以活动的关节点进行参数化，这个SMPL模型对人体全身规定了24个关节。在一个实施例中，通常机器人主要是上半身在执行具体操作，我们可以做一些裁剪，把下半身8个关节去掉，剩下16个关节。每个关节的旋转角度是三维的，用一个3*3的矩阵来表达(比如：[[0,0,1],[0,1,0],[-1,0,0]])，所以姿态识别模型的输出就是16*3*3的一个矩阵，通过该矩阵代表人体上半身的姿态。
预设的姿态识别模型可以是指预先经过训练的姿态识别模型。该模型可以基于监督、半监督或无监督等等各种现在已有或将来开发的神经网络模型训练方式进行训练。
具体地，上述姿态识别模型可以为transformer、LSTM、RNN等等各种现在已有或将来开发的姿态识别模型。
本申请实施例，将更少数量的姿态传感器采集的关节的运动反馈数据通过姿态识别模型进行操作者的姿态识别，由于该姿态识别模型基于大量的运动反馈数据训练得到，因此可以基于更少数量的姿态传感器采集的关节的运动反馈数据得到操作者更为精确的姿态识别结果。
继续如图1所示，在本实施例的一些可选的实现方式中，N等于4，则步骤S201中的操作者N个部位的N组当前运动反馈数据包括：对应操作者的左腕部的运动反馈数据；对应操作者的右腕部的运动反馈数据；对应操作者的腰部的反馈数据；和对应操作者的头部的运动反馈数据。
具体地，可以将4个IMU分别设置在操作人员的左手腕、右手腕、头部和腰部，则控制器每次获取四组来自于左手腕、右手腕、头部和腰部的运动反馈数据。
本申请实施例通过在左手腕、右手腕、头部和腰部四个地方分别设置IMU，能够采集到决定操作者姿态的关键位置的运动反馈数据，控制器后续基于四组运动反馈数据可以得到操作者更多部位更精确的当前姿态。可以在满足最少数量的IMU的同时，又实现更为精确的操作者的姿态识别。
在本实施例的一些可选的实现方式中，步骤S201中的当前运动反馈数据为当前满足预设时间间隔的当前时刻以及当前时刻前预设时间窗口内的运动反馈数据。
由于本方案采用的惯性传感器数量较少，因此当前一个时间窗口内的运动反馈数据对判断该时刻的人体姿态就显得特别重要，结合当前一个时间窗口内的运动反馈数据可以改善少量传感器设定下的动作欠定问题，提高姿态识别模型的预测精度。
在本实施例的一些可选的实现方式中，上述姿态识别模型采用transformer网络模型结构。因为采用多层注意力的transformer结构有很强的表达能力，同时也不存在长期记忆丢失等在传统RNN网络，以及LSTM网络中较为突出的问题，能够更好地提高姿态预测精度。进一步，在一个优选实施例中，当前运动反馈数据为当前满足预设时间间隔的当前时刻以及当前时刻前预设时间窗口内的运动反馈数据，由于本方案采用的惯性传感器数量较少，因此transformer模型结合当前时刻以及当前时刻前预设时间窗口内的运动反馈数据对判断该时刻的人体姿态就显得特别重要，可以进一步改善少量传感器设定下的动作欠定问题，提高姿态识别模型的预测精度。
如图3所示，图3为本申请的用于遥操作的姿态识别方法的另一个实施例的流程图。
在本实施例的一些可选的实现方式中，步骤S202通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别之前,上述控制器还可以执行以下步骤：
步骤S203构建在人体多个姿态下的N组运动反馈数据的训练样本集，其中，以基于SMPL上半身模型的姿态表示作为训练样本集的标注。
以SMPL模型的上半身模型的16个关节为基础，在构建训练样本时，操作者的16个关节分别设置IMU，以采集16个关节的运动反馈数据。其中，每个姿态下的操作者的N个预设部位的N组运动反馈数据作为一组训练样本，而用操作者的每个姿态下的16个关节的矩阵所表示的人体的姿态作为每组训练样本的标注。
步骤S205设定预设的姿态识别模型的超参数。
根据姿态识别模型需要达到的姿态预测精度和实时性要求，调节并确定神经网络模型的超参数，以transformer模型为例，调节词嵌入向量维度，自注意力层层数，多头注意力头数等影响网络大小和性能的参数，以及训练周期数，学习率，数据批次大小等影响训练过程的控制参数，使得姿态识别模型既能保证一定的姿态预测精度，同时网络模型的推理时间也能符合实时性的要求。
步骤S207基于运动反馈数据的训练样本集对姿态识别模型进行训练。
可以将训练样本集输入到设定超参数的姿态识别模型中，将模型的输出结果与训练样本集的标注结果进行对比，根据差值不断更新模型的参数，直到满足预设条件，从而完成模型的训练。
本申请实施例基于构建在人体多个姿态下的N组运动反馈数据的训练样本集，以基于SMPL上半身模型的姿态表示作为训练样本集的标注能够更好地实现以更少数量的IMU得到有关操作者更精确的姿态的识别结果。
如图4所示，图4为本申请的用于遥操作的姿态识别方法的另一个实施例的流程图。
在本实施例的一些可选的实现方式中，在步骤202通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别之后，上述控制器还可以执行以下步骤：
步骤204，基于人体先验模型，以当前姿态为目标进行跟踪优化，得到优化后的当前姿态。
其中，人体先验模型是基于人体部位或关节的空间定位会满足一定的先验分布要求而定义的一个物理模型，它会有一定的规定，比如，手腕不能转动超过多少角度，上臂的摆动速度不能超过多少速度等等，这些规定比较符合实际的人体生理状况，能够合理反映人体的动作。也就是说，人体先验模型也可以得到人体有关16个关节的姿态识别结果，但这些姿态识别结果是需要满足一些特定的先验分布要求的。
本实施例中，当预设的姿态识别模型每次输出一个姿态识别结果后，该结果往往只能视为期待姿态识别结果，利用人体先验模型对期待姿态识别结果进行跟踪，也就是使得人体先验模型输出的识别的结果尽量跟上期待姿态识别结果，如果姿态识别模型的结果比较符合实际，这个跟踪就会比较顺利，如果姿态识别模型输出的结果比较不合理，这个跟踪的结果会基于人体先验模型本身被限制在合理的范围内，从而总体上取得一个合理的姿态识别结果。
进一步地，在本实施例的一些可选的实现方式中，在步骤204，基于人体先验模型，以当前姿态为目标进行跟踪优化，得到优化后的当前姿态中，上述控制器具体可以执行以下步骤：
步骤2041，将当前姿态作为优化目标。
步骤2042，将人体先验模型的各个关节的转矩和脚部受力作为控制向量。
步骤2043，定义人体先验模型跟踪当前姿态的目标函数和约束条件，对目标函数和约束条件进行联合最优化求解，得到当前最优控制向量。
步骤2044，对人体先验模型执行当前最优控制向量，得到人体先验模型的当前姿态。
步骤2045，将人体先验模型的当前姿态作为优化后的当前姿态。
本申请实施例通过将姿态识别模型给出的当前姿态作为优化目标；将人体先验模型的各个关节的转矩和脚部受力作为控制向量；定义人体先验模型跟踪目标姿态的目标函数和约束条件，对该目标函数和约束条件进行联合最优化求解，得到各个时刻下(t0,t1,…)的最优控制向量；对人体先验模型执行t0时刻的最优控制向量,并在每个时刻都重复以上优化跟踪过程；将在该过程下得到的人体先验模型的姿态，作为每个时刻最终的优化后的当前姿态。
需要说明的是，目标函数可以根据需要进行设定，在一个实施例中，目标函数如下：
其中，Q和R均为权重矩阵，N1表示预测时域，p(k+it)表示人体先验模型运动位姿向量以t时刻值为基准向前预测k+i时刻的值，pr(k+i t)表示神经网络输出的目标运动位姿向量以t时刻值为基准向前预测k+i时刻的值，t表示当前时刻，N2表示控制时域，Δu(k+it)表示控制向量增量以t时刻值为基准向前预测k+i时刻的值。
约束公式为：
φmi n≤φ≤φmax (2.1)；
Vφ_mi n≤Vφ≤Vφ_max (2.2)；
u_mi n≤u≤u_max (2.3)；
式(2.1)表示人体先验模型的各个关节的旋转角度φ需被约束在一定范围内；式(2.2)表示人体先验模型的各个关节的旋转角速度Vφ需被约束在一定范围内；式(2.3)表示人体先验模型的各个关节的转矩和脚部受力，即控制向量u的大小需被约束在一定范围内。
在本申请实施例中，通过求解满足所述目标函数(1)和所述约束式(2.1,2.2,2.3)的优化问题，得到人体先验模型为了能够跟踪姿态识别模型输出的目标姿态所需的各个时刻下(t0,t1,t2…)的最优控制向量，并对人体先验模型执行t0时刻的控制向量。在每个时刻都重复以上优化跟踪过程，并将在该过程下的人体先验模型的姿态作为每个时刻的最终的优化姿态。
本申请实施例通过设定上述目标函数进行目标姿态的优化，结合各种约束条件，可以使得优化后的当前姿态尽量跟上姿态识别模型输出的目标姿态识别结果的同时，并满足操作者的人体先验模型和速度等的限制。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-On ly Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图5，作为对上述图2所示方法的实现，本申请提供了一种用于遥操作的姿态识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种控制器中。
如图5所示，本实施例所述的用于遥操作的姿态识别装置300包括：获取模块301和识别模块302。其中：
获取模块301，获取操作者N个部位的N组当前运动反馈数据，其中N为大于等于2的整数。
识别模块302，通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别，得到操作者的当前姿态；其中，当前姿态包括操作者M个部位的当前姿态，M为大于N的整数。
在本实施例的一些可选的实现方式中，N等于4，操作者N个部位的N组当前运动反馈数据包括：对应操作者的左腕部的运动反馈数据；对应操作者的右腕部的运动反馈数据；对应操作者的腰部的反馈数据；和对应操作者的头部的运动反馈数据。
在本实施例的一些可选的实现方式中，上述姿态识别模型采用transformer网络结构。
在本实施例的一些可选的实现方式中，当前运动反馈数据为当前满足预设时间间隔的当前时刻以及当前时刻前预设时间窗口内的运动反馈数据。
本申请实施例，将更少数量的姿态传感器采集的关节的运动反馈数据通过姿态识别模型进行操作者的姿态识别，由于该姿态识别模型基于大量的运动反馈数据训练得到，因此可以基于更少数量的姿态传感器采集的关节的运动反馈数据得到操作者更为精确的姿态识别结果。
在本实施例的一些可选的实现方式中，上述装置300还包括：样本构建模块303、参数设定模块305和模型训练模块307。其中：
样本构建模块303，用于构建在人体多个姿态下的N组运动反馈数据的训练样本集，其中，以基于SMPL上半身模型的姿态表示作为训练样本集的标注。
参数设定模块305，用于设定预设的姿态识别模型的超参数。
模型训练模块307，用于基于运动反馈数据的训练样本集对姿态识别模型进行训练。
本申请实施例基于构建在人体多个姿态下的N组运动反馈数据的训练样本集，以基于SMPL上半身模型的姿态表示作为训练样本集的标注能够更好地实现以更少数量的IMU得到有关操作者更精确的姿态识别结果。
在本实施例的一些可选的实现方式中，上述装置300还包括：姿态优化模块304，用于基于人体先验模型，以当前姿态为目标进行跟踪优化，得到优化后的当前姿态。
本实施例中，当预设的姿态识别模型每次输出一个姿态识别结果后，该结果由于人体先验条件、速度等等的限制，往往只能视为期待的目标姿态识别结果，利用人体先验模型对姿态识别模型输出的期待姿态识别结果进行跟踪，也就是使得人体模型的动作尽量跟上姿态识别模型的姿态识别结果，如果姿态识别模型的结果比较符合实际，这个跟踪就会比较顺利，如果姿态识别模型输出的结果比较不合理，这个跟踪的结果会被限制在合理的范围内，从而总体上取得一个合理的姿态识别结果。
进一步地，在本实施例的一些可选的实现方式中，姿态优化模块304包括目标设定子模块3041、向量设定子模块3042、向量优化子模块3043、先验优化子模块3044和结果确定子模块3045。其中：
目标设定子模块3041，用于步骤2041，将当前姿态作为优化目标。
向量设定子模块3042，用于将人体先验模型的各个关节的转矩和脚部受力作为控制向量。
向量优化子模块3043，用于定义人体先验模型跟踪当前姿态的目标函数和约束条件，对目标函数和约束条件进行联合最优化求解，得到当前最优控制向量。
先验优化子模块3044，对人体先验模型执行当前最优控制向量，得到人体先验模型的当前姿态。
结果确定子模块3045，将人体先验模型的当前姿态作为优化后的当前姿态。
进一步地，在本实施例的一些可选的实现方式中，目标函数如下：
约束公式为：
u_min≤u≤u_max(2.3)。
本申请实施例通过设定上述目标函数进行目标姿态的优化，结合各种约束条件，可以使得优化后的当前姿态尽量跟上姿态识别模型输出的目标姿态识别结果的同时，并满足操作者的人体先验模型和速度等的限制。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图6，图6为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过***总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作***和各类应用软件，例如用于遥操作的姿态识别方法的程序代码等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据，例如运行所述用于遥操作的姿态识别方法的程序代码。
所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有用于遥操作的姿态识别程序，所述用于遥操作的姿态识别程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的用于遥操作的姿态识别方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (11)
1.一种用于遥操作的姿态识别方法，用于识别操作者的姿态，其特征在于，包括下述步骤：
获取操作者N个部位的N组当前运动反馈数据，其中N为大于等于2的整数；及
通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别，得到操作者的当前姿态，其中，当前姿态包括操作者M个部位的当前姿态，M为大于N的整数。
2.根据权利要求1所述的用于遥操作的姿态识别方法，其特征在于，所述N等于4；所述操作者N个部位的N组当前运动反馈数据包括：
对应操作者的左腕部的运动反馈数据；
对应操作者的右腕部的运动反馈数据；
对应操作者的腰部的反馈数据；
对应操作者的头部的运动反馈数据。
3.根据权利要求1或2所述的用于遥操作的姿态识别方法，其特征在于，获取操作者N个部位的N组当前运动反馈数据包括：
获取满足预设时间间隔的当前时刻以及所述当前时刻前预设时间窗口内的运动反馈数据；和/或
所述姿态识别模型为Transformer模型。
4.根据权利要求1或2所述的用于遥操作的姿态识别方法，其特征在于，所述通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别之前还包括：
构建在人体多个姿态下的N组运动反馈数据的训练样本集，其中，以基于SMPL上半身模型的姿态表示作为训练样本集的标注；
设定预设的姿态识别模型的超参数；
基于运动反馈数据的训练样本集对姿态识别模型进行训练。
5.根据权利要求1或2所述的用于遥操作的姿态识别方法，其特征在于，所述通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别的步骤之后还包括：
基于人体先验模型，以所述当前姿态为目标进行跟踪优化，得到优化后的当前姿态。
6.根据权利要求5所述的用于遥操作的姿态识别方法，其特征在于，所述基于人体先验模型，以所述当前姿态为目标进行跟踪优化的步骤具体包括：
将所述当前姿态作为优化目标；
将所述人体先验模型的各个关节的转矩和脚部受力作为控制向量；
定义所述人体先验模型跟踪所述当前姿态的目标函数和约束条件，对所述目标函数和所述约束条件进行联合最优化求解，得到当前最优控制向量；
对所述人体先验模型执行所述当前最优控制向量，得到人体先验模型的当前姿态；
将所述人体先验模型的当前姿态作为优化后的当前姿态。
7.根据权利要求6所述的用于遥操作的姿态识别方法，其特征在于，所述目标函数为：
其中，Q和R均为权重矩阵；N1表示预测时域；p(k+it)表示人体先验模型运动位姿向量以t时刻值为基准向前预测k+i时刻的值；pr(k+it)表示神经网络输出的目标运动位姿向量以t时刻值为基准向前预测k+i时刻的值；t表示当前时刻；N2表示控制时域；Δu(k+it)表示控制向量增量以t时刻值为基准向前预测k+i时刻的值；
所述约束公式为：
u_min≤u≤u_max(2.3)；
其中，公式(2.1)表示所述人体先验模型的各个关节的旋转角度
需被约束在一定范围内；公式(2.2)表示所述人体先验模型的各个关节的旋转角速度/>
需被约束在一定范围内；公式(2.3)表示所述人体先验模型的各个关节的转矩和脚部受力，即所述控制向量u的大小被约束在一定范围内。
8.一种用于遥操作的姿态识别装置，用于识别操作者的姿态，其特征在于，包括：
获取模块，用于获取操作者N个部位的N组当前运动反馈数据，其中N为大于等于2的整数；
识别模块，用于通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别，得到操作者的当前姿态，其中，当前姿态包括操作者M个部位的当前姿态，M为大于N的整数。
9.一种遥操作***，其特征在于，包括：N个姿态传感器、控制器和机器人,其中，N为大于等于2的整数；
所述N个姿态传感器和所述机器人分别与所述控制器130通信连接；
所述N个姿态传感器，用于分别采集操作者N个部位的N组当前运动反馈数据；
所述控制器，用于获取所述操作者N个部位的N组当前运动反馈数据；及通过预设的姿态识别模型对当前运动反馈数据进行操作者的姿态识别，得到操作者的当前姿态，其中，当前姿态包括操作者M个部位的当前姿态，M为大于N的整数；
所述机器人，用于根据所述当前姿态的指示进行运动。
10.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的用于遥操作的姿态识别方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的用于遥操作的姿态识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211704251.9A CN115847422A (zh) | 2022-12-29 | 2022-12-29 | 一种用于遥操作的姿态识别方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211704251.9A CN115847422A (zh) | 2022-12-29 | 2022-12-29 | 一种用于遥操作的姿态识别方法、装置及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115847422A true CN115847422A (zh) | 2023-03-28 |
Family
ID=85655736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211704251.9A Pending CN115847422A (zh) | 2022-12-29 | 2022-12-29 | 一种用于遥操作的姿态识别方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115847422A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116394265A (zh) * | 2023-06-08 | 2023-07-07 | 帕西尼感知科技(张家港)有限公司 | 一种姿态传感器标定方法、装置、设备及存储介质 |
| CN116394276A (zh) * | 2023-06-06 | 2023-07-07 | 帕西尼感知科技(张家港)有限公司 | 一种样本生成、模型训练方法、装置及*** |
| CN117590756A (zh) * | 2024-01-19 | 2024-02-23 | 清华大学 | 水下机器人的运动控制方法、装置、设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090322763A1 (en) * | 2008-06-30 | 2009-12-31 | Samsung Electronics Co., Ltd. | Motion Capture Apparatus and Method |
| CN108108009A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 基于惯性动作捕捉的机器人远程控制***及方法 |
| CN112562068A (zh) * | 2020-12-24 | 2021-03-26 | 北京百度网讯科技有限公司 | 人体姿态生成方法、装置、电子设备及存储介质 |
| CN113218249A (zh) * | 2021-05-30 | 2021-08-06 | 中国人民解放***箭军工程大学 | 跟随式遥操作战车及控制方法 |
| CN114417738A (zh) * | 2022-03-28 | 2022-04-29 | 清华大学 | 稀疏imu实时人体动作捕捉及关节受力预测方法及*** |
| US20220355487A1 (en) * | 2021-05-05 | 2022-11-10 | Sanctuary Cognitive Systems Corporation | Robots, tele-operation systems, and methods of operating the same |
-
2022
- 2022-12-29 CN CN202211704251.9A patent/CN115847422A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090322763A1 (en) * | 2008-06-30 | 2009-12-31 | Samsung Electronics Co., Ltd. | Motion Capture Apparatus and Method |
| CN108108009A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 基于惯性动作捕捉的机器人远程控制***及方法 |
| CN112562068A (zh) * | 2020-12-24 | 2021-03-26 | 北京百度网讯科技有限公司 | 人体姿态生成方法、装置、电子设备及存储介质 |
| US20220355487A1 (en) * | 2021-05-05 | 2022-11-10 | Sanctuary Cognitive Systems Corporation | Robots, tele-operation systems, and methods of operating the same |
| CN113218249A (zh) * | 2021-05-30 | 2021-08-06 | 中国人民解放***箭军工程大学 | 跟随式遥操作战车及控制方法 |
| CN114417738A (zh) * | 2022-03-28 | 2022-04-29 | 清华大学 | 稀疏imu实时人体动作捕捉及关节受力预测方法及*** |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116394276A (zh) * | 2023-06-06 | 2023-07-07 | 帕西尼感知科技(张家港)有限公司 | 一种样本生成、模型训练方法、装置及*** |
| CN116394276B (zh) * | 2023-06-06 | 2023-08-15 | 帕西尼感知科技(张家港)有限公司 | 一种样本生成、模型训练方法、装置及*** |
| CN116394265A (zh) * | 2023-06-08 | 2023-07-07 | 帕西尼感知科技(张家港)有限公司 | 一种姿态传感器标定方法、装置、设备及存储介质 |
| CN116394265B (zh) * | 2023-06-08 | 2023-11-07 | 帕西尼感知科技(张家港)有限公司 | 一种姿态传感器标定方法、装置、设备及存储介质 |
| CN117590756A (zh) * | 2024-01-19 | 2024-02-23 | 清华大学 | 水下机器人的运动控制方法、装置、设备和存储介质 |
| CN117590756B (zh) * | 2024-01-19 | 2024-04-19 | 清华大学 | 水下机器人的运动控制方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111797893B (zh) | 一种神经网络的训练方法、图像分类***及相关设备 | |
| CN115847422A (zh) | 一种用于遥操作的姿态识别方法、装置及*** | |
| Li | Human–robot interaction based on gesture and movement recognition | |
| CN109712234B (zh) | 三维人体模型的生成方法、装置、设备和存储介质 | |
| Selvaraj et al. | Openhands: Making sign language recognition accessible with pose-based pretrained models across languages | |
| CN113034652A (zh) | 虚拟形象驱动方法、装置、设备及存储介质 | |
| Xu et al. | Diverse human motion prediction guided by multi-level spatial-temporal anchors | |
| CN109840508A (zh) | 一个基于深度网络架构自动搜索的机器人视觉控制方法，设备及存储介质 | |
| Staretu et al. | Leap motion device used to control a real anthropomorphic gripper | |
| Dang | Smart home management system with face recognition based on ArcFace model in deep convolutional neural network | |
| CN113119104B (zh) | 机械臂控制方法、机械臂控制装置、计算设备及*** | |
| CN114241597A (zh) | 一种姿态识别方法及其相关设备 | |
| Sanchez-Matilla et al. | Motion prediction for first-person vision multi-object tracking | |
| Bose et al. | In-situ enhanced anchor-free deep CNN framework for a high-speed human-machine interaction | |
| CN116079727A (zh) | 基于3d人体姿态估计的人形机器人动作模仿方法及装置 | |
| CN115795025A (zh) | 一种摘要生成方法及其相关设备 | |
| Wang et al. | Design and implementation of virtual reality interactive product software based on artificial intelligence deep learning algorithm | |
| CN115205750A (zh) | 基于深度学习模型的运动实时计数方法和*** | |
| CN115205737A (zh) | 基于Transformer模型的运动实时计数方法和*** | |
| Bhuyan et al. | Hand gesture recognition and animation for local hand motions | |
| Lu et al. | Dynamic hand gesture recognition using HMM-BPNN model | |
| CN116912314A (zh) | 一种姿态估计方法及其相关设备 | |
| Zhong et al. | A Human Digital Twin Based Framework for Human–Robot Hand-Over Task Intention Recognition | |
| Kavitha et al. | A Real-Time Hand-Gesture Recognition Using Deep Learning Techniques | |
| CN116945201A (zh) | 一种模型训练方法及其相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |