CN118141619A - 基于人体体姿识别的轮椅无级调速控制方法、轮椅及介质 - Google Patents

Abstract

本发明提供基于人体体姿识别的轮椅无级调速控制方法、轮椅及介质，包括步骤：获取深度相机输出的经过对齐的深度图像和RGB图像；通过RGB图像和深度图像得到人体关键点三维坐标；将人体躯干简化模型的活动端距离固定端的水平分量和垂直分量映射为轮椅底盘的平动速度和转动角速度；将轮椅底盘的平动速度和转动角速度转换为速度控制话题进行发布；接收到速度控制话题后，将速度控制话题的内容转换为对应的轮毂电机速度，以执行底盘运动控制。不同于现有控制策略中只能进行简单的左转、右转、前进、后退及停止等控制指令的执行，本发明将小车运动分为平动和转动两个分量，根据体姿倾斜程度分配平动速度和转动角速度的大小，从而实现无级控速。

Description

基于人体体姿识别的轮椅无级调速控制方法、轮椅及介质

技术领域

本发明涉及轮椅智能控制技术领域，特别涉及基于人体体姿识别的轮椅无级调速控制方法、轮椅及介质。

背景技术

目前，市面上的电动轮椅多采用简单的摇杆控制轮椅运动。但残障人群多样、残障等级不同，使得这种轮椅控制方式无法满足所有使用者的需求。例如，腿部不便需要轮椅的人群，其手臂或者手部也有可能伴随着疾病或者伤残，对于这部分无法精准操作摇杆的人群，单一的摇杆控制并不能满足使用者的要求。

现有技术中也有一些通过采集人体体姿进行轮椅控制的方法，但这种方法有些采用普通相机进行体姿识别控制轮椅，导致在前倾后倾的识别精度不准确，还有些采用压力垫等方式识别体姿重心，导致一些特殊坐姿下无法和实际体姿完全对应。同时，以上方法通常将识别结果简单转换为轮椅的前进、后退、左转、右转及停止等简单动作，无法实现类似摇杆控制这种无级顺滑调速控制。这种只能执行简单指令的轮椅存在以下问题：

首先，有限的指令使得用户无法进行更加精准和灵活的控制，在复杂环境下，如狭窄通道或拥挤场所，用户可能无法有效地应对。

其次，这种轮椅通常缺乏对不同场景和路况的适应能力。在需要灵活转向或调整速度的情况下，这种轮椅可能表现不佳。

再次，控制选项有限，用户需要更多外部支持或协助来应对复杂的移动任务，这限制了他们的独立性和自主性。

此外，简单指令操作的轮椅通常不能提供流畅和舒适的移动体验。突然的加速或减速以及笨拙的转向会使用户感到不适。

最后，由于控制能力有限，这种轮椅可能在复杂环境中更容易发生碰撞或意外，从而降低了使用的安全性。

发明内容

为了实现本发明的上述目的和其他优点，本发明的第一目的是提供基于人体体姿识别的轮椅无级调速控制方法，包括以下步骤：

获取深度相机输出的经过对齐的深度图像和RGB图像；

通过所述RGB图像进行人体关键点识别并提取人体关键点在XY平面的坐标信息；其中，所述人体关键点包括第一关节和第二关节；

通过所述深度图像提取所述人体关键点在XY平面的坐标信息对应位置的深度信息；

通过所述人体关键点在XY平面的坐标信息和所述深度信息，得到以所述深度相机为基准的人体关键点三维坐标；

将人体躯干简化模型的活动端距离固定端的水平分量和垂直分量映射为轮椅底盘的平动速度和转动角速度；其中，所述人体躯干简化模型通过所述人体关键点形成，所述活动端根据所述第一关节进行配置，所述固定端根据所述第二关节进行配置；

将所述轮椅底盘的平动速度和转动角速度转换为速度控制话题进行发布；

接收到所述速度控制话题后，将所述速度控制话题的内容转换为对应的轮毂电机速度，以执行底盘运动控制。

进一步地，所述第一关节为肩关节，所述第二关节为髋关节。

进一步地，所述活动端被配置为所述肩关节的中点，所述固定端被配置为所述髋关节的中点。

进一步地，所述将人体躯干简化模型的活动端距离固定端的水平分量和垂直分量映射为轮椅平动速度和转动角速度包括以下步骤：

通过左右肩关节的三维坐标计算所述活动端的三维坐标，计算公式如下：

；

其中，为左肩关节的三维坐标，/>为右肩关节的三维坐标，为活动端的三维坐标；

通过左右髋关节的三维坐标计算所述固定端的三维坐标，计算公式如下：

；

其中，为左髋关节的三维坐标，/>为右髋关节的三维坐标，/>为固定端的三维坐标；

将所述固定端作为基准，通过所述活动端的三维坐标和所述固定端的三维坐标计算轮椅底盘的平动速度和转动角速度，计算公式如下：

；

其中，为活动端的三维坐标中/>坐标值，/>为固定端的三维坐标中/>坐标值，/>为活动端的三维坐标中/>坐标值，/>为固定端的三维坐标中/>坐标值，/>为平动速度，/>为转动角速度。

进一步地，所述将所述轮椅底盘的平动速度和转动角速度转换为速度控制话题进行发布包括以下步骤：

将计算出的平动速度赋值给所述速度控制话题中控制底盘前后直线运动的参数；

将计算出的转动角速度赋值给所述速度控制话题中控制底盘原地顺时针或逆时针转动的参数。

进一步地，所述将所述速度控制话题的内容转换为对应的轮毂电机速度包括以下步骤：

根据通信协议解析得到轮椅底盘的平动速度和转动角速度；

根据差速控制底盘的运动学模型，解算得到轮椅的左右轮速度，公式如下：

；

其中，为两轮之间的距离，/>为左轮目标速度，/>为右轮目标速度。

进一步地，所述人体关键点还包括手腕。

进一步地，在发布所述速度控制话题之前还包括以下步骤：

通过手腕的坐标信息判断手腕是否交叉；

若手腕交叉，则判断是否为第一次交叉；

若是第一次交叉，则开启体姿控制；

若是再次交叉，则关闭体姿控制；

若手腕未交叉，则正常执行后续程序。

进一步地，所述通过手腕的坐标信息判断手腕是否交叉包括以下步骤：

根据所述深度相机的坐标系，获取左手腕和右手腕处于自然状态下的坐标值；其中，沿手腕从右向左移动的方向，左手腕处于自然状态下的坐标值大于右手腕处于自然状态下的坐标值；

获取左手腕和右手腕最新的坐标值；

判断右手腕最新的坐标值是否大于左手腕最新的坐标值；

若是，则判定手腕交叉；

若否，则判定手腕未交叉。

进一步地，所述获取深度相机输出的经过对齐的深度图像和RGB图像包括以下步骤：

接收深度图像话题发布的深度图像以及RGB图像话题发布的RGB图像；

所述通过所述RGB图像进行人体关键点识别并提取人体关键点在XY平面的坐标信息包括以下步骤：

通过回调函数加载人体关键点识别模型；

通过关键点获取函数读取人体关键点数据；

将读取的人体关键点数据保存在三维数组中，所述三维数组的第一列和第二列存放人体关键点在XY平面的坐标信息；

所述通过所述深度图像提取所述人体关键点在XY平面的坐标信息对应位置的深度信息包括以下步骤：

将所述三维数组的第一列和第二列作为二维图像索引的行和列；

在所述深度图像话题中深度图像的二维数组中通过二维图像索引的行和列找到对应点的值，记录为深度信息；

将所述深度信息赋值给所述三维数组的第三列。

本发明的第二目的是提供一种电控轮椅，应用上述的方法，包括若干体姿识别控制节点模块、底盘运动控制节点模块、通信模块，所述底盘运动控制节点模块、所述通信模块设置在电控轮椅本体上；

所述通信模块用于实现所述体姿识别控制节点模块与所述底盘运动控制节点模块在同一局域网内；

所述体姿识别控制节点模块用于采集人体图像数据并将人体图像数据处理结果转换为速度控制话题进行发布；

所述底盘运动控制节点模块用于接收到所述速度控制话题后，将所述速度控制话题的内容转换为对应的轮毂电机速度，以执行底盘运动控制。

进一步地，所述体姿识别控制节点模块包括第一体姿识别控制节点模块和第二体姿识别控制节点模块；其中，

所述第一体姿识别控制节点模块包括安装在所述电控轮椅本体上的深度相机，以及主控制器、与所述通信模块通信连接的有线通信模块；

所述第二体姿识别控制节点模块包括在所述电控轮椅本体外的深度相机以及主控制器、与所述通信模块通信连接的无线通信模块；

所述深度相机用于采集人体图像数据并处理，输出经过对齐的深度图像和RGB图像；

所述主控制器用于对所述深度相机输出的图像进行处理，将处理得到的轮椅底盘的平动速度和转动角速度转换为速度控制话题进行发布。

进一步地，所述体姿识别控制节点模块、所述底盘运动控制节点模块均基于ROS***实现。

进一步地，所述电控轮椅本体还包括支撑架，所述支撑架用于安装所述深度相机，以及调整所述深度相机与人体的距离，以保证人体髋关节以上，颈部以下的部位都被所述深度相机采集到。

本发明的第三目的是提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被执行时实现上述的方法。

与现有技术相比，本发明实施例的有益效果是：

本发明提供基于人体体姿识别的轮椅无级调速控制方法、轮椅及介质，能够帮助需要借助轮椅来完成出行或者移动等任务，同时手部有疾病或者出现伤残以至无法通过摇杆来操控轮椅的人群无障碍操控轮椅。

相比于通过其他传感器（如臀部压力垫，扶手压力垫）来识别人体体姿进行轮椅控制的方法准确度、可靠性更高，更不容易发生误判导致轮椅失控等情况。

相比于普通相机进行人体体姿识别控制轮椅，采用深度相机能更精准地获得人体前后倾斜地变化，比通过普通相机二维估算的精度更高。

本发明提供的体姿控制方式不仅能够让使用者在乘坐轮椅时进行底盘运动控制；同时，能够帮助使用者在一些特殊情况下（如轮椅不在使用者身边、使用者不方便移动到轮椅旁边）通过远程无线体姿控制的方式来控制轮椅运动到身边，方便乘坐。

不同于现有控制策略中只能进行简单的左转、右转、前进、后退及停止等控制指令的执行，本发明将小车运动分为平动和转动两个分量，根据体姿倾斜程度，能够分配平动速度和转动角速度的大小，从而实现无级控速。使得用户能够进行更加精准和灵活的控制轮椅，在复杂环境下，如狭窄通道或拥挤场所，用户能够有效地应对；具有对不同场景和路况的适应能力，在需要灵活转向或调整速度的情况下，这种轮椅表现较佳；用户不需要更多外部支持或协助来应对复杂的移动任务，不会限制用户的独立性和自主性；能够提供流畅和舒适的移动体验，不会使用户感到不适；在复杂环境中也不容易发生碰撞或意外，提升了使用的安全性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为实施例1的电控轮椅示意图；

图2为实施例1的床端体姿识别控制节点模块示意图；

图3为实施例1的电控轮椅通信原理图；

图4为实施例2的基于人体体姿识别的轮椅无级调速控制方法流程图一；

图5为实施例2的基于人体体姿识别的轮椅无级调速控制方法流程图二；

图6为实施例2的轮椅速度映射流程图；

图7为实施例2的速度转换为速度控制话题流程图；

图8为实施例2的速度控制话题转换为轮毂电机速度流程图；

图9为实施例2的体姿控制启停流程图；

图10为实施例2的手腕交叉判断流程图；

图11为实施例2的速度映射原理图；

图12为实施例2的手腕交叉示意图；

图13为实施例3的存储介质示意图。

图中：1、电控轮椅本体；2、深度相机；3、支撑架；4、扶手；5、移动端；6、三档开关；7、床；8、主控箱；9、显示屏。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

在后续的描述中，使用用于表示元件的诸如“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“部件”或“单元”可以混合地使用。

实施例1

一种电控轮椅，如图1、图3所示，包括若干体姿识别控制节点模块、底盘运动控制节点模块、通信模块，底盘运动控制节点模块、通信模块设置在电控轮椅本体1上；

通信模块用于实现体姿识别控制节点模块与底盘运动控制节点模块在同一局域网内；

体姿识别控制节点模块用于采集人体图像数据并将人体图像数据处理结果转换为速度控制话题进行发布；

底盘运动控制节点模块用于接收到速度控制话题后，将速度控制话题的内容转换为对应的轮毂电机速度，以执行底盘运动控制。

在一些实施例中，体姿识别控制节点模块包括第一体姿识别控制节点模块和第二体姿识别控制节点模块；其中，

如图1、图3所示，第一体姿识别控制节点模块包括安装在电控轮椅本体1上的深度相机2，以及主控制器、与通信模块通信连接的有线通信模块；即第一体姿识别控制节点为图3中的轮椅本体体姿识别控制节点。

如图1所示，电控轮椅本体1还包括支撑架3，支撑架3用于安装深度相机2，以及调整深度相机2与人体的距离，以保证人体髋关节以上，颈部以下的部位都被深度相机2采集到。

电控轮椅本体1上用于控制车身运动的传统摇杆可以保留在电控轮椅本体1的左端或者右端扶手4上。在此基础上，可以通过支撑架3安装深度相机2。不同型号的深度相机2视场角不同，故在选定深度相机2后，需要调节支撑架3的长度来改变深度相机2与人体的距离，保证人体髋关节以上，颈部以下的部位都能够被深度相机2采集到。深度相机2的传输线沿着支撑架3延伸到电控轮椅本体1座椅下方的主控箱，主控箱通常包含两个电机驱动器、控制底盘运动的底层控制器嵌入式主控板（ESP32芯片、STM32芯片等）、用于运行体姿识别程序的高算力运算平台（Jetson系列板卡、NUC主机等）以及用于接入位于床边或者其他地方的体姿识别终端的无线路由器等。此处的用于运行体姿识别程序的高算力运算平台就是第一体姿识别控制节点模块中的主控制器，该高算力运算平台与上述嵌入式主控板通过以太网口连接路由器。

上述位于电控轮椅本体1的无线路由器是所有其他节点与轮椅建立连接的交点。位于床端或者其余地方（与电控轮椅本体1有一定距离）的体姿识别控制节点通过WiFi连接以该无线路由器为中心的局域网。

电控轮椅本体1的右端扶手4下方嵌入有丝杠滑台，丝杠滑台的移动端5和支撑架3固定连接，图1中的三档开关6用于控制丝杠滑台的移动，进而调节人体与深度相机2的距离，以保证人体颈部以下、髋关节以上的部分都能被深度相机2采集到，为后续识别结果的准确度提供保障。三档开关6和控制丝杠滑台电机的驱动器连接主控箱中的嵌入式主控板，通过通用输入输出端口判断三档开关的挡位。若判断为0档，则通过控制丝杠滑台电机的驱动器控制丝杠滑台电机停止运动；若判断为1档，则通过控制丝杠滑台电机的驱动器控制丝杠滑台电机往前运动，拉开深度相机2与人体的距离；判断为2档，则通过控制丝杠滑台电机的驱动器控制丝杠滑台电机往后运动，缩小深度相机2与人体的距离。

如图2、图3所示，第二体姿识别控制节点模块包括在电控轮椅本体外的深度相机2以及主控制器、与通信模块通信连接的无线通信模块；如图2所示为位于床端的体姿识别控制节点安装示意图，在床7周围任意位置都可以安装体姿识别控制节点模块，深度相机2通过支撑杆连接到主控箱8，通过显示屏9可以实时观察使用者当前体姿以及对轮椅速度位置等状态信息进行监控或者执行开关机等操作。主控箱8中的主控制器需具备有较高算力，可以运行Ubuntu操作***，同时拥有无线网卡，可以通过WiFi连接电控轮椅本体1的主控箱中的无线路由器，进而可以与电控轮椅本体1的嵌入式主控板通信，从而完成轮椅车运动指令的下发。

深度相机用于采集人体图像数据并处理，输出经过对齐的深度图像和RGB图像；

主控制器用于对深度相机输出的图像进行处理，将处理得到的轮椅底盘的平动速度和转动角速度转换为速度控制话题进行发布。

在一些实施例中，体姿识别控制节点模块、底盘运动控制节点模块均基于ROS***实现；例如，可以基于ROS2***实现。即体姿识别控制节点模块中的主控制器、底盘运动控制节点模块的嵌入式主控板都运行ROS2***。不同的体姿识别控制节点分别作为单独的ROS2节点，电控轮椅本体上的底盘运动控制节点也作为单独的ROS2节点。其中，体姿识别控制节点建立以/cmd_vel命名的话题（即速度控制话题），并将识别到的人体体姿转换为底盘运动的平动速度和转动角速度，赋值给/cmd_vel话题并发布。底盘运动控制节点接收/cmd_vel命名的话题，并进入对应的回调函数处理分析/cmd_vel话题数据并控制两个轮毂电机。

关于电控轮椅的无级调速控制方法的详细描述，可以参照下述方法实施例中的对应描述，在此不再赘述。

本实施例提供一种电控轮椅，通过深度相机采集并识别人体躯干体姿来实现无级顺滑操控轮椅，以帮助手臂不便的人群用轮椅来完成出行移动等任务。这种通过深度相机采集识别人体体姿进而控制轮椅运动的方式，能够实现高精度的无级调速控制，而不是简单的左转、右转、前进、后退等单一动作，提高了不同环境下的轮椅适应性、乘坐的舒适性和安全性及用户的独立性和自主性，而且相对于普通相机、通过压力垫或其他传感器采集得到的人体体姿控制的方式精度和准确度更高。

实施例2

基于人体体姿识别的轮椅无级调速控制方法，通过上述的电控轮椅实现。关于电控轮椅的详细描述，可以参照上述电控轮椅实施例中的对应描述，在此不再赘述。如图4、图5所示，该方法包括以下步骤：

S1、获取深度相机输出的经过对齐的深度图像和RGB图像；

本实施例中，可以通过厂家提供的接口函数或者第三方函数库读取深度相机的RGB图像和深度图像。其中，RGB图像用于完成人体体姿的识别并提取在XY平面的坐标信息，深度图像用于提取对应XY平面对应位置的深度信息。

结合实施例1记载的体姿识别控制节点模块中的主控制器运行Ubuntu操作***。具体的，在Ubuntu命令行通过以下命令启动深度相机：

ros2 launch realsense2_camera rs_launch.py enable_rgbd:=true enable_sync:=true align_depth.enable:=true enable_color:=true enable_depth:=true。

通过此命令启动Intel RealSense D435i的控制节点，该节点读取深度相机数据，并发送/camera/camera/aligned_depth_to_color/image_raw话题(深度图像话题)的深度图像和/camera/camera/color/image_raw话题(RGB图像话题)的RGB图像，在体姿识别控制节点中订阅上述两个话题并通过对应的回调函数receive_RGBD_callback()能够获取到深度相机输出的经过对齐的深度图像和RGB图像。

S2、通过RGB图像进行人体关键点识别并提取人体关键点在XY平面的坐标信息；其中，人体关键点包括第一关节和第二关节；

由于用户使用电控轮椅时，用户坐在电控轮椅本体上，髋关节位置基本保持不变，髋关节以上的肩关节活动较易被识别且较能体现用户的运动意图。优选的，第一关节为肩关节，第二关节为髋关节。

在一些实施例中，采用MediaPipe框架或者OpenPose框架来完成人体关键点的提取，主要包括提取人体左右手腕、肩关节以及髋关节的坐标。具体包括以下步骤：

通过回调函数加载人体关键点识别模型；

通过关键点获取函数读取人体关键点数据；

将读取的人体关键点数据保存在三维数组中，三维数组的第一列和第二列存放人体关键点在XY平面的坐标信息。

当采用OpenPose模型读取关键点数据时，需要在回调函数中使用cv2.dnn.readNetFromTensorflow("path/to/pose/estimation/model.pb")加载模型，并用net.forward()函数获得人体关键点数据。

当采用MediaPipe模型时，使用mp_pose.Pose()读取人体关键点数据。

以上两种方法获得的人体关键点数据保存到三维数组points中，并让points中的第一列x和第二列y分别存放通过上述方式得到的XY平面的x坐标和y坐标，其第三列z为0值。具体的，人体左右手腕、左右肩关节以及左右髋关节的二维数据分别记录为

；

其中，为左手腕在XY平面的坐标信息，/>为右手腕在XY平面的坐标信息，/>为左肩关节在XY平面的坐标信息，/>为右肩关节在XY平面的坐标信息，/>为左髋关节在XY平面的坐标信息，/>为右髋关节在XY平面的坐标信息。

根据所获得的人体关键点在XY平面的坐标就能够在深度图像中对应位置索引深度信息z。

S3、通过深度图像提取人体关键点在XY平面的坐标信息对应位置的深度信息；

在得到人体关键点在XY平面坐标之后检索深度图像中的Z坐标，进而得到人体左右手腕、肩关节以及髋关节在以深度相机为基准的三维空间的坐标信息。具体包括以下步骤：

将三维数组的第一列和第二列作为二维图像索引的行和列；即将上述points数组中的第一列x值和第二列y值作为二维图像索引的行和列。

在深度图像话题中深度图像的二维数组中通过二维图像索引的行和列找到对应点的值，记录为深度信息；

例如，在/camera/camera/aligned_depth_to_color/image_raw话题中深度图像的二维数组中通过二维图像索引的行和列找到对应点的值，记录为z，该z就是需要的深度信息。

将深度信息赋值给三维数组的第三列；即将深度信息z赋值给points数组中的第三列。

S4、通过人体关键点在XY平面的坐标信息和深度信息，得到以深度相机为基准的人体关键点三维坐标，分别记为

；

其中，为左手腕的三维坐标，/>为右手腕的三维坐标，为左肩关节的三维坐标，/>为右肩关节的三维坐标，。

由于体姿控制实质是通过身体的倾斜进行控制。不管什么体姿，髋关节位置基本保持不变，故可以把人体躯干简化为一个摇杆。如图11所示，该摇杆的固定端为人体髋关节中点100，活动端为人体的肩关节中点101，人体体姿的变化即可映射为该简化摇杆的变化。肩关节中点101在三维空间走过的弧线长度及方向可以表示为身体的倾斜幅度和角度。

如图11所示，当某一时刻身体倾斜时，肩关节中点的位置移动至102。此时，髋关节中点依然保持在原位置。肩关节中点的位置102较其垂直位置101在三维空间走过弧线长度及方向可以表示为身体倾斜幅度和角度，但因为身体的倾斜幅度一般较小，故此处可以近似用肩关节中点的位置102到101与100连接所成直线的垂线代表。从俯视图看，此时可以将身体的倾斜映射到图11中最右边的图表示，此时，102映射为图中103。因为髋关节中点100保持不变，故可以作为基准，即图11中最右边图中xy的原点，进而可以根据103距离原点的水平和垂直分量，映射为轮椅前进的速度和转动的角速度，因为肩关节中点在俯视图中距离原点的变化是连续值，不存在跳变的情况，故可以实现无级控速。

S5、将人体躯干简化模型的活动端距离固定端的水平分量和垂直分量映射为轮椅底盘的平动速度和转动角速度；其中，人体躯干简化模型通过人体关键点形成，活动端根据第一关节进行配置，固定端根据第二关节进行配置；优选的，活动端被配置为肩关节的中点，固定端被配置为髋关节的中点。

如图6所示，将人体躯干简化模型的活动端距离固定端的水平分量和垂直分量映射为轮椅平动速度和转动角速度包括以下步骤：

S51、通过左右肩关节的三维坐标计算活动端的三维坐标，计算公式如下：

；

其中，为左肩关节的三维坐标，/>为右肩关节的三维坐标，/>为活动端的三维坐标，即图11中肩关节中点的位置102的三维坐标；

S52、通过左右髋关节的三维坐标计算固定端的三维坐标，计算公式如下：

；

其中，为左髋关节的三维坐标，/>为右髋关节的三维坐标，/>为固定端的三维坐标，即图11中髋关节中点100的三维坐标；

S53、将固定端作为基准，通过活动端的三维坐标和固定端的三维坐标计算轮椅底盘的平动速度和转动角速度，计算公式如下：

；

其中，为活动端的三维坐标中/>坐标值，/>为固定端的三维坐标中/>坐标值，/>为活动端的三维坐标中/>坐标值，/>为固定端的三维坐标中/>坐标值，/>为平动速度，/>为转动角速度。

S6、将轮椅底盘的平动速度和转动角速度转换为速度控制话题进行发布；如图7所示，具体包括以下步骤：

S61、将计算出的平动速度赋值给速度控制话题中控制底盘前后直线运动的参数；例如，将平动速度赋值给/cmd_vel话题中的linear.x参数。

S62、将计算出的转动角速度赋值给速度控制话题中控制底盘原地顺时针或逆时针转动的参数。例如，将转动角速度赋值给/cmd_vel话题中的angular.z参数。

由于轮椅只能平面运动，故在给/cmd_vel话题赋上述值后，其余参数赋值为0，在赋值完成后即可发布该/cmd_vel话题。

在赋值完之后即可发布该/cmd_vel话题，但该体姿识别控制节点一直在运行，有时候并不需要启动控制，故需要增加开关触发动作来完成体姿识别控制，即需要设置可以开启和关闭体姿控制的功能。本实施例提供通过手腕交叉来启停运动控制的方法，故人体关键点还包括手腕。

如图11中最左侧图所示，右手104和左手105此时处于自然状态，根据左上角坐标系（即深度相机坐标系），此时右手的Y坐标值小于左手的Y坐标值。在需要体姿控制时，如图12所示，交叉双手，此时XY平面内可以读取到两个手腕的坐标，手腕交叉时，右手104位于左手105的右边，根据坐标系方向，此时右手的Y坐标值大于左手的Y坐标值，故可以通过判断手腕处在Y轴坐标大小判断手腕是否交叉，进而判断是否需要开启体姿控制，当第一次交叉时，开启体姿控制，再次交叉关闭体姿控制，重复上述动作即可实现反复关停。

具体的，如图9所示，在发布速度控制话题之前还包括以下步骤：

S80、通过手腕的坐标信息判断手腕是否交叉；如图10所示，具体包括以下步骤：

S800、根据深度相机的坐标系，获取左手腕和右手腕处于自然状态下的坐标值；其中，沿手腕从右向左移动的方向，左手腕处于自然状态下的坐标值大于右手腕处于自然状态下的坐标值；

需要说明的是，根据实际选定的坐标系的不同，左右手腕处于自然状态下的坐标值不限于左手腕处于自然状态下的Y坐标值大于右手腕处于自然状态下的Y坐标值，只要左右手腕处于自然状态下的坐标值不同，能分辨出左右手腕即可。

S801、获取左手腕和右手腕最新的坐标值；

S802、判断右手腕最新的坐标值是否大于左手腕最新的坐标值；

S803、若是，则判定手腕交叉；

S804、若否，则判定手腕未交叉。

S81、若手腕交叉，则判断是否为第一次交叉；

S82、若是第一次交叉，则开启体姿控制；

S83、若是再次交叉，则关闭体姿控制；然后重新对手腕交叉动作进行监测和识别，以进行新一轮的体姿控制启停控制。

S84、若手腕未交叉，则正常执行后续程序。

S7、接收到速度控制话题后，将速度控制话题的内容转换为对应的轮毂电机速度，以执行底盘运动控制。如图8所示，具体包括以下步骤：

S71、根据通信协议解析得到轮椅底盘的平动速度和转动角速度；

在一些实施例中，控制底盘运动的底层控制器嵌入式主控板通过UART协议和具有硬实时功能的下位机通信，在嵌入式主控板收到/cmd_vel话题后发送给下位机，下位机会立刻执行串口回调函数中的内容，先根据UART协议解析得到轮椅运动的平动速度和转动角速度/>，根据差速控制底盘的运动学模型，解算得到轮椅的左右轮速度。

S72、根据差速控制底盘的运动学模型，解算得到轮椅的左右轮速度，公式如下：

；

其中，为两轮之间的距离，/>为左轮目标速度，/>为右轮目标速度。

在得到和/>之后，通过左右轮毂电机的驱动器驱动电机，使得轮椅按照设定的速度和角速度运动。具体的，下位机通过CAN或者RS485等总线协议和两轮驱动器通信，设置驱动器处于速度模式，并发送左右轮目标速度/>和/>即可控制两轮按照目标速度运动。

本实施例提供基于人体体姿识别的轮椅无级调速控制方法，通过深度相机采集并识别人体躯干体姿来实现无级顺滑操控轮椅，以帮助手臂不便的人群用轮椅来完成出行移动等任务。这种通过深度相机采集识别人体体姿进而控制轮椅运动的方式，能够实现高精度的无级调速控制，而不是简单的左转、右转、前进、后退等单一动作，提高了不同环境下的轮椅适应性、乘坐的舒适性和安全性及用户的独立性和自主性，而且相对于普通相机、通过压力垫或其他传感器采集得到的人体体姿控制的方式精度和准确度更高。

实施例3

一种计算机可读存储介质，如图13所示，其上存储有程序指令，程序指令被执行时实现基于人体体姿识别的轮椅无级调速控制方法。关于方法的详细描述，可以参照上述方法实施例中的对应描述，在此不再赘述。

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

本说明书实施例提供的装置、电子设备、非易失性计算机存储介质与方法是对应的，因此，装置、电子设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、电子设备、非易失性计算机存储介质的有益技术效果。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件单元又可以是硬件部件内的结构。

上述实施例阐明的***、装置或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书实施例可提供为方法、***、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序单元。一般地，程序单元包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序单元可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的权利要求范围之内。

Claims (15)

1.基于人体体姿识别的轮椅无级调速控制方法，其特征在于，包括以下步骤：

获取深度相机输出的经过对齐的深度图像和RGB图像；

通过所述RGB图像进行人体关键点识别并提取人体关键点在XY平面的坐标信息；其中，所述人体关键点包括第一关节和第二关节；

通过所述深度图像提取所述人体关键点在XY平面的坐标信息对应位置的深度信息；

通过所述人体关键点在XY平面的坐标信息和所述深度信息，得到以所述深度相机为基准的人体关键点三维坐标；

将人体躯干简化模型的活动端距离固定端的水平分量和垂直分量映射为轮椅底盘的平动速度和转动角速度；其中，所述人体躯干简化模型通过所述人体关键点形成，所述活动端根据所述第一关节进行配置，所述固定端根据所述第二关节进行配置；

将所述轮椅底盘的平动速度和转动角速度转换为速度控制话题进行发布；

接收到所述速度控制话题后，将所述速度控制话题的内容转换为对应的轮毂电机速度，以执行底盘运动控制。

2.如权利要求1所述的基于人体体姿识别的轮椅无级调速控制方法，其特征在于：所述第一关节为肩关节，所述第二关节为髋关节。

3.如权利要求2所述的基于人体体姿识别的轮椅无级调速控制方法，其特征在于：所述活动端被配置为所述肩关节的中点，所述固定端被配置为所述髋关节的中点。

4.如权利要求3所述的基于人体体姿识别的轮椅无级调速控制方法，其特征在于：所述将人体躯干简化模型的活动端距离固定端的水平分量和垂直分量映射为轮椅平动速度和转动角速度包括以下步骤：

通过左右肩关节的三维坐标计算所述活动端的三维坐标，计算公式如下：

；

其中，为左肩关节的三维坐标，/>为右肩关节的三维坐标，为活动端的三维坐标；

通过左右髋关节的三维坐标计算所述固定端的三维坐标，计算公式如下：

；

其中，为左髋关节的三维坐标，/>为右髋关节的三维坐标，为固定端的三维坐标；

将所述固定端作为基准，通过所述活动端的三维坐标和所述固定端的三维坐标计算轮椅底盘的平动速度和转动角速度，计算公式如下：

；

其中，为活动端的三维坐标中/>坐标值，/>为固定端的三维坐标中/>坐标值，为活动端的三维坐标中/>坐标值，/>为固定端的三维坐标中/>坐标值，/>为平动速度，/>为转动角速度。

5.如权利要求4所述的基于人体体姿识别的轮椅无级调速控制方法，其特征在于：所述将所述轮椅底盘的平动速度和转动角速度转换为速度控制话题进行发布包括以下步骤：

将计算出的平动速度赋值给所述速度控制话题中控制底盘前后直线运动的参数；

将计算出的转动角速度赋值给所述速度控制话题中控制底盘原地顺时针或逆时针转动的参数。

6.如权利要求4所述的基于人体体姿识别的轮椅无级调速控制方法，其特征在于：所述将所述速度控制话题的内容转换为对应的轮毂电机速度包括以下步骤：

根据通信协议解析得到轮椅底盘的平动速度和转动角速度；

根据差速控制底盘的运动学模型，解算得到轮椅的左右轮速度，公式如下：

；

其中，为两轮之间的距离，/>为左轮目标速度，/>为右轮目标速度。

7.如权利要求2所述的基于人体体姿识别的轮椅无级调速控制方法，其特征在于：所述人体关键点还包括手腕。

8.如权利要求7所述的基于人体体姿识别的轮椅无级调速控制方法，其特征在于：在发布所述速度控制话题之前还包括以下步骤：

通过手腕的坐标信息判断手腕是否交叉；

若手腕交叉，则判断是否为第一次交叉；

若是第一次交叉，则开启体姿控制；

若是再次交叉，则关闭体姿控制；

若手腕未交叉，则正常执行后续程序。

9.如权利要求8所述的基于人体体姿识别的轮椅无级调速控制方法，其特征在于：所述通过手腕的坐标信息判断手腕是否交叉包括以下步骤：

根据所述深度相机的坐标系，获取左手腕和右手腕处于自然状态下的坐标值；其中，沿手腕从右向左移动的方向，左手腕处于自然状态下的坐标值大于右手腕处于自然状态下的坐标值；

获取左手腕和右手腕最新的坐标值；

判断右手腕最新的坐标值是否大于左手腕最新的坐标值；

若是，则判定手腕交叉；

若否，则判定手腕未交叉。

10.如权利要求1所述的基于人体体姿识别的轮椅无级调速控制方法，其特征在于：所述获取深度相机输出的经过对齐的深度图像和RGB图像包括以下步骤：

接收深度图像话题发布的深度图像以及RGB图像话题发布的RGB图像；

所述通过所述RGB图像进行人体关键点识别并提取人体关键点在XY平面的坐标信息包括以下步骤：

通过回调函数加载人体关键点识别模型；

通过关键点获取函数读取人体关键点数据；

将读取的人体关键点数据保存在三维数组中，所述三维数组的第一列和第二列存放人体关键点在XY平面的坐标信息；

所述通过所述深度图像提取所述人体关键点在XY平面的坐标信息对应位置的深度信息包括以下步骤：

将所述三维数组的第一列和第二列作为二维图像索引的行和列；

在所述深度图像话题中深度图像的二维数组中通过二维图像索引的行和列找到对应点的值，记录为深度信息；

将所述深度信息赋值给所述三维数组的第三列。

11.一种电控轮椅，应用如权利要求1~10任一项所述的方法，其特征在于：包括若干体姿识别控制节点模块、底盘运动控制节点模块、通信模块，所述底盘运动控制节点模块、所述通信模块设置在电控轮椅本体上；

所述通信模块用于实现所述体姿识别控制节点模块与所述底盘运动控制节点模块在同一局域网内；

所述体姿识别控制节点模块用于采集人体图像数据并将人体图像数据处理结果转换为速度控制话题进行发布；

所述底盘运动控制节点模块用于接收到所述速度控制话题后，将所述速度控制话题的内容转换为对应的轮毂电机速度，以执行底盘运动控制。

12.如权利要求11所述的电控轮椅，其特征在于：所述体姿识别控制节点模块包括第一体姿识别控制节点模块和第二体姿识别控制节点模块；其中，

所述第一体姿识别控制节点模块包括安装在所述电控轮椅本体上的深度相机，以及主控制器、与所述通信模块通信连接的有线通信模块；

所述第二体姿识别控制节点模块包括在所述电控轮椅本体外的深度相机以及主控制器、与所述通信模块通信连接的无线通信模块；

所述深度相机用于采集人体图像数据并处理，输出经过对齐的深度图像和RGB图像；

所述主控制器用于对所述深度相机输出的图像进行处理，将处理得到的轮椅底盘的平动速度和转动角速度转换为速度控制话题进行发布。

13.如权利要求11所述的电控轮椅，其特征在于：所述体姿识别控制节点模块、所述底盘运动控制节点模块均基于ROS***实现。

14.如权利要求12所述的电控轮椅，其特征在于：所述电控轮椅本体还包括支撑架，所述支撑架用于安装所述深度相机，以及调整所述深度相机与人体的距离，以保证人体髋关节以上，颈部以下的部位都被所述深度相机采集到。

15.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令被执行时实现如权利要求1~10任一项所述的方法。