CN109172066B - 基于语音控制与视觉识别的智能假肢手及其***和方法 - Google Patents

Abstract

本发明公开了一种基于语音控制与视觉识别的智能假肢手及其***和方法，属于假肢手技术领域，智能假肢手采用三自由度假肢手本体，还包括深度摄像头模块、语音交互模块、LED触摸屏、核心处理模块及无线充电模块，其中，深度摄像头模块用于获取图像数据；语音交互模块用于与用户进行语音交互；LED触摸屏用于用户输入操作指令及显示数据；核心处理模块实现总体的任务调度和数据处理；并公开了物联网智能假肢手***及手势动作实现方法。本发明解了决现有主流假肢手仅依靠肌电控制、牵引控制，控制效率低、肌电信号干扰大、操作训练复杂的问题，以及语音控制功能单一、无法完成复杂手势操作、智能化低的技术问题。

Description

基于语音控制与视觉识别的智能假肢手及其***和方法

技术领域

本发明属于假肢手技术领域，更具体地，涉及一种基于语音控制与视觉识别的智能假肢手及其***和方法。

背景技术

智能假肢手可以通过直流微电机驱动假手的开闭和腕、肘关节的运动，来完成假肢的代偿功能，能为上肢缺失残疾人患者的日常生活提供便利，提高生活质量。在康复工程领域的研究中有巨大的价值。现有假肢手产品分为单自由度、两自由度的前臂肌电假肢和两自由度、三自由度的上臂肌电假肢。前两种自由度低，很多场景并不适用。

三自由度肌电假肢手如在专利CN201610520941.7中公开的，虽然假肢手有了足够高的自由度，解决了制作上的问题，但其中只提及假肢手的关节由电机控制，使用者如何运用残肢肌肉运动产生肌电信号控制假肢进行复杂的运动，在专利中并没有提及。事实上根据用户体验反馈，高自由度假肢手难以控制,肌电信号的相互干扰往往产生误动作，并且装肢前的肌力训练和装肢后的操纵训练更加复杂，肌电信号的识别效率低。因此对于高自由度假肢手就需要肌电信号以外的其它识别方法来控制。

专利CN200710144648.6公开了基于蓝牙无线通讯的多自由度假手语音控制装置，通过蓝牙将语音控制器与假肢手连接，一方面只能语音提取关键词匹配已有的动作，产生的动作具有局限性。另一方面，由于过于依赖无线通讯控制，在语音控制器不在身旁、周边无线电干扰较大等情况下，会导致控制失灵的发生。仅从语音控制这一角度看，对于特定手势，语音控制存在对动作难以描述的局限。

并且，在供电方式上，现有的假肢手都是采用有线充电的方法。一方面在充电的过程中，较长时间限制了用户的移动或假肢的使用。另一方面，由于充电接口的暴露，限制了假肢的防水性能提升。

前沿方面，通过脑电波控制假肢手也是一个方向。通过脑电波控制有更加直接，更接近人手的优点。但目前脑电波领域只能识别控制情绪、开闭等简单指令，尚不适用于手部的复杂操作。且成本高、复杂指令识别率低、操作设备复杂、个体脑电波差异度大。所以在脑电波控制技术成熟前，需要有更加智能化的假肢手控制***帮助残疾用户更好地使用假肢手。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于语音控制与视觉识别的智能假肢手及其***和方法，其目的在于，提供将语音控制与视觉识别功能相结合的智能假肢手，以及基于物联网的假肢手三级操作控制***及其实现方法，由此解决现有主流假肢手仅依靠肌电控制、牵引控制，控制效率低、肌电信号干扰大、操作训练复杂的问题，以及现有假肢手语音控制***功能单一、无法完成复杂手势操作、智能化低的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种智能假肢手。

智能假肢手，采用三自由度假肢手本体，包括手指部件、手掌部件、残臂部件、肌电信号传感器以及用于供电的电源，其中，手指部件中的各手指各关节处及连接手掌部件与残臂部件的手腕处均设有电机，用于驱动各手指各关节及手腕处的转动，其特征在于，还包括深度摄像头模块、语音交互模块、LED触摸屏、核心处理模块、存储器模块及无线充电模块，其中，

所述深度摄像头模块设置在所述手掌部件上的手掌处，用于获取图像数据，并传送至所述核心处理模块；

所述语音交互模块用于与用户进行语音交互，将获取的语音数据传送至所述核心处理模块，以及播放从核心处理模块获取的指定格式的语音文件；

所述LED触摸屏设置在所述手掌部件上的手背处或残臂部件上，用于用户输入操作指令及显示数据；

所述核心处理模块用于将所述图像数据通过图像算法进行三维比对，拼凑出手势动作的模型，进而得出每个电机各时间节点所需要转动的角度，并输出机器指令码；还用于根据所述语音数据调用所述存储器模块内的手势动作并输出机器指令码，或者新增手势动作至所述存储器模块；还用于根据用户通过LED触摸屏输入的操作指令，输出机器指令码或者输出显示数据至LED触摸屏；所述机器指令码用于控制各电机动作，以使智能假肢手做出指定的手势动作；

所述存储器模块用于保存数据，该数据包括手势动作、各手势动作的使用情况、图像数据、语音数据；所述各手势动作的使用情况包括使用时间、场景、频次；

所述无线充电模块用于采用无线充电方式为所述电源充电；

智能假肢手的最表层材料为导体材料，如此能够操作电容屏。

优选地，上述智能假肢手还包括定位模块和心率监测模块，所述定位模块用于获取智能假肢手当前地理位置信息并传输至所述核心处理模块；所述心率监测模块用于监测用户的心率，并将心率数据传输至所述核心处理模块；所述核心处理模块对所述地理位置信息和心率数据进行处理后传输至所述存储器模块进行存储，或在接受指令后通过所述LED触摸屏或所述语音交互模块反馈给用户。

按照本发明的另一方面，提供了一种基于语音控制与视觉识别的物联网智能假肢手***。其特征在于，由通过无线方式建立连接的云服务器端、二级操作终端和智能假肢手组成，其中，

所述二级操作终端包括安装在智能手机或电脑上的客户端，和/或动作捕捉手套；

所述云服务器用于为所述客户端和智能假肢手提供云服务，所述云服务包括在线存储、在线技术支持和云计算。

按照本发明的另一方面，提供了一种基于上述物联网智能假肢手***的手势动作实现方法，其特征在于，包括如下步骤：

步骤1：通过智能假肢手进行信息采集，并上传至云服务器端；

步骤2：通过云服务器端调用百度AI开放平台的图像识别/语言处理基础技术接口，进行识别，并将识别结果发送给智能假肢手的核心处理模块；

步骤3：核心处理模块结合云服务器识别信息、此时智能假肢手的状态信息以及比对以往的各手势动作的使用情况，推断最可能被使用的手势动作；智能假肢手的状态信息是指智能假肢手目前所处的空间位置、手指形态、手掌形态等；以往的各手势动作的使用情况包扩使用时间、位置、场景、频率、用户心率等；

步骤4：将推断的手势动作发送至LED触摸屏供用户选择；

步骤5：将用户选择数据反馈至核心处理模块，核心处理模块输出机器指令码，控制各手指各关节及手腕处的电机动作，使智能假肢手做出指定的手势动作。

优选地，步骤1中，信息采集的方式为：通过智能假肢手的深度摄像头组件拍摄二维场景及物品图片；

相应地，步骤2中，识别结果为相应物体及场景。

优选地，步骤1中，信息采集的方式为：通过智能假肢手的语音交互模块收集语音信息并进行语音降噪，转换为指定格式；

相应地，步骤2中，识别结果为命令文本信息以及语音文件；

命令文本信息为用于控制电机动作的机器控制码，或者相应物体及场景信息；语音文件用于通过语音交互模块播放，实现语音交互功能。

优选地，步骤1中，信息采集的方式为：使用动作捕捉手套采集手势动作信息；

相应地，步骤2中，识别信息为相应的手势动作信息；

步骤3中，核心处理模块直接将该相应的手势动作信息作为最可能被使用的手势动作。

优选地，步骤1中，上传至云服务器端，替换为，上传至客户端；

相应地，步骤2中，通过客户端进行识别。

优选地，步骤3中，识别结果包括物体及场景、时间、地点、使用频率及根据心率监测模块反映的心率状态。

按照本发明的另一方面，提供了一种基于上述物联网智能假肢手***的手势动作远程控制方法，其特征在于，包括如下步骤：

步骤S1：动作捕捉手套与客户端无线连接，客户端与智能假肢手无线连接；

步骤S2：由动作捕捉手套演示手势动作，并记录手势的空间位置信息，实时传输至客户端；

步骤S3：客户端将手势的空间位置信息直接传输至智能假肢手的核心处理模块，或者转化为机器控制码后或者传输至核心处理模块；

步骤S3：核心处理模块将手势的空间位置信息转化为机器控制码并输出，或者直接输出机器控制码，实时控制各手指各关节及手腕处的电机动作，使智能假肢手做出指定的手势动作，实现手势动作的在线远程控制。

按照本发明的另一方面，提供了一种基于上述物联网智能假肢手***的手势动作客户端控制方法，其特征在于，包括如下步骤：

步骤P1：在客户端内设置智能假肢手的3D模型，二者无线连接；

步骤P2：用户在客户端输入数据精确调整3D模型确定手势动作；

步骤P3：客户端将确定的手势动作转换为机器控制码，并传输至智能假肢手的核心控制模块；

步骤P4：核心控制模块输出机器控制码，控制各电机动作，实现指定的手势动作。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、通过深度摄像头模块，获取物体及场景的二维图像数据，通过核心处理模块转换为机器控制码，控制指关节及手腕电机动作，实现基于视觉识别的对假肢手手势动作的控制；通过语音交互模块采集语音数据，通过核心处理模块转换为机器控制码，实现基于语音识别的对假肢手手势动作的控制，且可以语音新增手势动作至动作库；通过LED触摸屏实现用户交互，用户使用体验好；大大提升了假肢手的智能化，可实现复杂连续动作的控制，克服了传统肌电信号等识别效率低，无法实现复杂动作的缺陷；采用无线充电模块，相比传统的有线充电模式，本发明随用随充，避免了充电线及插口的束缚；在假肢手电源失电无法动作的情况情况下也能便捷充电；减少了暴露的充电接口，提升了假肢手的防水性能；

2、由云服务器端、二级操作终端、智能假肢手构建的三级操作***，实现了对假肢手的离线操作、联网操作混合模式，以适应不同的需求环境；对于离线本地操作，可以在不联网情况下，通过调用智能假肢手自身模块及时实现假肢手功能需求；在连接网络的情况下，通过云计算、AI开放平台接口提升识别效果和交互体验；与云服务器端和二级操作端交换传输数据；借助网络与连接有动作捕捉手套的操作端实现远程即时协助；

3、提供了多种基于本发明智能假肢手***的手势动作实现方法，借助云服务器、客户端、动作手势手套，利用互联网资源，使手势动作的资源库无限丰富，手势动作的控制方式、实现方式多种多样，实现数据共享与远程即时协助，极大地为用户提供便利和服务。

附图说明

图1是本发明实施例1中智能假肢手手掌视角的结构示意图；

图2是本发明实施例1中智能假肢手手背视角的结构示意图；

图3是本发明实施例1中智能假肢手动作控制的架构及数据流程示意图；

图4是本发明实施例2中智能假肢手三级操作***的物理架构图；

在所有的附图中，相同的附图标记用来表示相同的元件或结构，其中：

1、语音交互模块 2、深度摄像头模块 3、定位模块

4、心率监测模块 5、LED触摸屏 6、无线通讯模块

7、无线充电接收端 8、核心处理模块 9、电源

10、肌电信号传感器 11、存储器模块

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1：

如图1和图2所示，智能假肢手采用三自由度假肢手作为智能假肢手本体，其包括手指部件、手掌部件、残臂部件、用于供电的电源以及存储器模块，其中，手指部件中的各手指各关节处及连接手掌部件与残臂部件的手腕处均设有电机，用于驱动各手指各关节及手腕处的转动。

在上述三自由度假肢手本体上，还设置有语音交互模块1、深度摄像头模块2、LED触摸屏5、无线通讯模块6、无线充电模块7、核心处理模块8、电源9、肌电信号传感器10及存储器模块11，其中，

语音交互模块1用于实现语音交互功能，通过收集语音信息并对生成的语音文件进行初步的语音降噪，继而将语音文件转换成指定格式，完成语音信息的采集，采集完成后将语音文件交给核心处理模块；还用于将从核心处理模块获取的指定格式的语音文件播放出去，从而实现语音信息的推送；

深度摄像头模块2设置在所述手掌部件上的手掌处，用于获取图像数据，并传送至核心处理模块；深度摄像头2可以捕捉他人的手部动作进行记录模仿学习，为用户手势动作库增添新的手势，提供了快捷高效的方法；结合云服务器/客户端/核心处理模块，可以识别物体以及场景得出相应的备选动作，呈现在LED触摸屏上方便用户及时选择。深度摄像头模块2为用户提供了通过视觉信息操纵控制手势的方法，完善了语音控制对于复杂动作描述方面的不足。根据深度摄像头配备的三维扫描仪扫描角度范围的不同，对于个别手势动作可变换深度摄像头与物体的相对位置多次扫描，以获取精确的手势动作。

本实施例中，深度摄像头模块2采用TOF(Time of Flight，飞行时间)技术。TPF激光发射器发出经调制的近红外光，遇物体后反射；传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息；结合相机拍摄，将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

LED触摸屏5设置在所述手掌部件上的手背处或残臂部件上，用于用户输入操作指令及显示数据。可显示时间、心率、电量等日常信息，以及用户当前最可能使用的手势；可设置智能假肢手的参数；可输入控制智能假肢手的操作指令等。

无线通讯模块6通过使用包括但不限于wifi、3G、4G、蓝牙、NFC的无线通讯技术，与云端服务器以及手机/PC建立连接，实现数据的交互、位置共享等功能。

无线充电模块用于实现对电源9的无线充电，包括发射端和内置于假肢手的无线充电接收端7。电源9用于为智能假肢手供电，包括各模块和电机需用的电能。相比传统的有线充电模式，本发明随用随充，避免了充电线及插口的束缚；在假肢手电源失电无法动作的情况情况下也能便捷充电；减少了暴露的充电接口，提升了假肢手的防水性能。

核心处理模块8用于实现总体的任务调度和参数传递。包括：

(1)将图像数据通过图像算法进行三维比对，拼凑出手势动作的模型，进而得出每个电机各时间节点所需要转动的角度，并输出机器指令码；

(2)根据交互模块1采集的语音文件调用存储器模块内的手势动作并输出机器指令码，完成相应的控制操作或者新增手势动作至存储器模块；

(3)根据用户通过LED触摸屏5输入的操作指令，输出机器指令码或者输出显示数据至LED触摸屏5；机器指令码用于控制各电机动作，以使智能假肢手做出指定的手势动作；

(4)将接收或处理过的数据传输至存储器；接收到已有的手势动作指令后，调用存储器中已保存的手势机器指令码控制电机动作完成手势；调用存储器模块储存的音频及图像视频，并发出播放指令至LED触摸屏或语音交互模块；将存储器模块保存的数据，通过无线通讯模块6上传至手机/PC客户端及云服务器。

肌电信号传感器10设置于残臂部件与用户自身手臂的结合处，可以测取患者残肢肌肉收缩时，在皮肤表面产生的微小电位差，经电极中的放大器进行放大，成为控制信号，输入核心处理模块；由核心处理模块8处理为机器指令码并发出指令，通过设置在各手指关节及手腕处的电机驱动智能假肢手各手指关节、手掌、残臂等动作。识别能力低但反馈及时，能实现简单动作操作。

存储器模块11用于保存数据；记录各手势动作的使用情况，包括使用时间、场景、频次；保存语音交互模块1记录的音频；保存深度摄像头模块记录的图像信息等；

各模块和器件的实际安装位置也可据情况而定。特别的，有别于传统假肢手表皮使用的绝缘塑料橡胶材料，该假肢手的最表层材质为导体材料，使得用户能直接使用假肢手操纵电容屏。

作为一种优选的实施方式，智能假肢手还可以包括定位模块3和心率监测模块4，其中，

定位模块3通过调用智能假肢手的位置接口API来获取用户的地理位置信息；地理位置信息可在与云服务器建立无线连接后，通过用户账号密码保护上传到云服务器，通过定位达到防丢失以及确定用户位置保障安全的作用；也可以将地理位置信息传输至核心处理模块，由核心处理模块8发送至存储器模块进行存储，或者接收到语音指令或来自LED触摸屏的操作指令后，由核心处理模块8发送至语音交互模块或LED触摸屏，进行语音播报或者数据显示；

心率监测模块4用于监测用户的心率，并将心率数据传输至核心处理模块8；由核心处理模块8判断用户的心情及健康状况并反馈给用户；在发生心律失常等的紧急情况下，由语音交互模块1或者LED触摸屏5发出预警。

核心处理模块8对地理位置信息和心率数据进行处理后传输至存储器模块11进行存储，或在接受指令后通过LED触摸屏或语音交互模块反馈给用户。

如图3所示，为本发明所提供的智能假肢手的架构及数据流程图，图像动作信号由动作捕捉手套获取；语音信号由语音交互模块获取；肌电信号由肌电信号传感器获取；客户端及与云服务器可以传输数据命令；定位模块和心率监测模块获取位置及心率；核心处理器对数据处理后转换为机器控制码，控制电机动作；可以将数据存储至存储器模块；可以与服务器、AI接口通过无线通讯交流数据。

本实施例提供的方法，假肢手手势功能相较于现有技术具有通过语音控制、视觉识别新增手势的特点。对网络状况依赖低，在离线操作下用户使用体验好，但基于离线计算，对设备的处理能力要求高，电源的消耗较大。

实施例2：

如图4所示，基于语音控制与视觉识别的物联网智能假肢手***，由通过无线方式建立连接的云服务器端、二级操作终端和智能假肢手组成，其中，

智能假肢手采用实施例1中的智能假肢手。

二级操作终端包括安装在智能手机或电脑上的用于控制智能假肢手的客户端，和/或动作捕捉手套，其中，

客户端可以与云服务器和智能假肢手建立无线连接；客户端内置有假肢手的3D模型，用户可以输入数据精确调整确定手势，由客户端转换为机器控制码；客户端可以连接动作捕捉手套获取运动模型，分析运动模型的动作信息转换为机器控制码；通过无线通讯将机器控制码传输给智能假肢手，存至存储器模块；机器控制码用于控制各电机动作，以使智能假肢手完成指定的手势动作；

动作捕捉手套，基于惯性传感器的动作捕捉技术；其测量单元(IMU)由惯性传感器和数据处理单元组成。其***采集到的信号量少，便于实时完成姿态跟踪任务，解算得到的姿态信息范围大、灵敏度高、动态性能好，且惯性传感器体积小、便于佩戴、价格低廉。优选的，具有无线通讯模块，可以连接应用客户端及假肢手，将姿态信息传输。具有两种使用模式：离线采集并保存，以备使用；实时采集并传输至假肢手端在线帮助假肢手使用者实时操作完成较复杂任务。

云服务器端，为应用客户端及智能假肢手提供在线存储、在线技术支持和云计算等服务。应用客户端及假肢手操作端可以上传手势动作、使用习惯数据至服务器，进行备份共享；也可以下载技术人员及其他用户上传分享的手势动作至假肢手进行使用；视情况可以对手势动作提供有偿分享和下载，形成手势动作商店；可以构建手臂残疾患者的在线交流社区；云服务器提供手势、图片、语音内容匹配计算；云服务器端可在经用户同意的情况下对用户的位置、心率进行监控，结合使用数据对用户健康状况进行评估，在紧急情况进行预警；定期推送假肢手固件升级；提供在线问题诊断排查服务。

云计算是指：将通过深度摄像头、动作捕捉手套获取的三维动作信息、根据情景预测判断最可能被使用动作这部分技术交给云服务器进行计算，减少核心处理模块计算量。

使用时，(1)语音控制假肢手功能：智能假肢手的核心处理模块从语音交互模块获取格式化的语音文件；在连接网络的情况下，将提取的紧急求救信息转换求救信号通过无线通讯模块发送至紧急联系人及云端；通过调用讯飞或百度语音接口将路径信息转换为语音信息；将转换为语音的路径信息传递给语音交互模块；通过云服务器调用百度AI开放平台的语言处理基础技术接口，可以和用户进行交流谈话，完成更复杂的、基于云服务的指定手势任务；

在离线情况下，通过调用讯飞或百度语音接口将语音信息转化为文本信息；从获取的文本信息中提取关键信息，调用控制相应模块；如：将提取的手势动作信息，转化为机器指令码控制手腕及手指等处相应的电机转动，进而做出相应手势动作；将提取的部件状态命令，转化为控制信号控制如深度摄像头、LED触摸屏等的开关；在离线情况下，语音交互通过智能假肢手本地的语音数据包实现。

(2)图像信息控制假肢手功能：智能假肢手的核心处理模块从深度摄像头获取深度图像(depth image)；在连接网络的情况下，通过云服务器调用百度AI开放平台的图像识别接口，识别出相应物体及场景；核心处理模块结合云服务器数据比对以及用户使用习惯，推断最可能被使用的手势动作；将推测的手势动作发送至LED触摸屏屏供用户快捷选择；接受用户选择的相应手势动作，将手势动作信息反馈至核心处理模块；由核心处理模块转换为机器控制码，控制相应电机动作，使假肢手做出期望的手势动作；

在离线情况下，核心处理模块通过图像算法三维比对，拼凑出手势动作的完整模型，进而得出每一个关节电机各时间节点所需要转动的角度；转化为机器指令码控制手腕及手指等处的相应电机转动，进而做出相应手势动作。

(3)情景智能方面：云服务器/客户端/核心处理模块通过学习用户使用习惯，结合不同时间段、位置场景、用户心率等，通过智能算法，推测最可能被使用的手势动作，发送至LED触摸屏供用户选择。

(4)无线通讯方面：通过智能假肢手的无线通讯模块与手机/PC客户端及云服务器建立连接；在经用户许可下将假肢手位置、所测心率数据实时上传；从手机/PC客户端及云服务器下载手势动作至存储器模块；上传新建手势动作保存至手机/PC客户端及云服务器；获取来自云服务器的在线支持及固件升级；连接动作捕捉手套，获取运动模型；分析运动模型得到机器控制码，控制关节电机动作；将语音交互音频与百度AI开放平台的语言处理基础技术接口连接；将用户的音频上传至接口；接受语言处理基础技术接口反馈的语音；控制语音交互模块播放；将摄像头获取的物体场景图片信息通过百度AI开放平台的图像识别接口上传；获取图像识别接口的图像识别结果；将图像识别结果上传至云服务器，应用场景与用户使用习惯比对匹配手势动作选项；接收匹配手势动作选项控制电机完成操作。

通过本发明搭建的智能假肢手三级操作***，实现了对假肢手的离线操作、联网操作混合模式，以适应不同的需求环境。对于离线本地操作，可以在不联网情况下，通过调用智能假肢手自身模块及时满足基础功能需求；在连接网络的情况下，通过云计算、AI开放平台接口提升识别效果和交互体验；与云服务器端和二级操作端交换传输数据；借助网络与连接有动作捕捉手套的操作端实现远程即时协助。

基于云共享技术的云服务器平台，使用户不仅能将自己录入的手势动作、日常使用***台的工作服务人员也可以在线定期对设备进行升级、故障排查以及技术支持服务。此平台也可以服务于不同残疾类别的智能助残设备的使用者。此交流社区平台的搭建也可以促进交流、提高残疾人士的自我认同，激发残疾人市场的活力。

本实施例提供的方法，形成了智能假肢手三级操作***手势功能，通过云服务器分担计算任务，降低了对核心处理模块的计算能力要求，制作成本低；云服务资源可为所有用户所共享，使得手势动作等丰富资源共享共用。

实施例3：

本实施例提供一种基于实施例2的物联网智能假肢手***的手势动作实现方法，包括如下步骤：

步骤1：通过智能假肢手的深度摄像头组件拍摄二维场景及物品图片，并上传至云服务器端；

步骤2：通过云服务器端调用百度AI开放平台的图像识别接口，进行识别，并将识别得到的相应物体及场景发送给智能假肢手的核心处理模块；

步骤3：核心处理模块结合云服务器识别信息以及比对以往的各手势动作的使用情况，推断最可能被使用的手势动作；

步骤4：将推断的手势动作发送至LED触摸屏供用户选择；

步骤5：将用户选择数据反馈至核心处理模块，核心处理模块输出机器指令码，控制各手指各关节及手腕处的电机动作，使智能假肢手做出指定的手势动作。

作为一种可选的实施方式，本实施例步骤1中，上传至云服务器端，还可以替换为上传至安装在智能手机或电脑上的客户端；相应地，步骤2中，通过客户端进行识别，并将识别得到的相应物体及场景发送给智能假肢手的核心处理模块；步骤3-5不变。

实施例4：

本实施例提供一种基于实施例2的物联网智能假肢手***的手势动作实现方法，包括如下步骤：

步骤1：通过智能假肢手的语音交互模块收集语音信息并进行语音降噪，转换为指定格式并上传至云服务器端；

步骤2：通过云服务器端调用百度AI开放平台的语言处理基础技术接口，进行识别，并将识别得到的命令文本信息以及语音文件发送给智能假肢手的核心处理模块；

步骤3：核心处理模块结合云服务器识别结果、此时智能假肢手的状态信息以及比对以往的各手势动作的使用情况，推断最可能被使用的手势动作；

步骤4：将推断的手势动作发送至LED触摸屏供用户选择；

步骤5：将用户选择数据反馈至核心处理模块，核心处理模块输出机器指令码，控制各手指各关节及手腕处的电机动作，使智能假肢手做出指定的手势动作。

作为一种可选的实施方式，本实施例步骤1中，上传至云服务器端，还可以替换为上传至安装在智能手机或电脑上的客户端；相应地，步骤2中，通过客户端进行识别，并将识别得到的命令文本信息以及语音文件发送给智能假肢手的核心处理模块；步骤3-5不变。

实施例3、4提供的方法，实现了基于情景智能推断手势的功能，减少了用户的操作量，提高了智能化程度。

实施例5：

本实施例提供一种基于实施例2的物联网智能假肢手***的手势动作实现方法，包括如下步骤：

步骤1：使用动作捕捉手套采集手势动作信息，并上传至云服务器端；

步骤2：通过云服务器端进行识别，并将识别得到的相应的手势动作信息发送给智能假肢手的核心处理模块；

步骤3：核心处理模块将相应的手势动作发送至LED触摸屏供用户选择；

步骤4：用户选择数据反馈至核心处理模块，核心处理模块输出机器指令码，控制各手指各关节及手腕处的电机动作，使智能假肢手做出指定的手势动作。

可选地，步骤5：保存手势动作信息至存储器模块，或实时传输同步手势动作至云服务端。

作为一种优选的实施方式，本实施例步骤1中，上传至云服务器端，还可以替换为上传至安装在智能手机或电脑上的客户端；相应地，步骤2中，通过客户端进行识别，并将识别得到的相应的手势动作信息发送给智能假肢手的核心处理模块；其他步骤不变。

作为另一种实施方式，本实施例步骤1中，上传至云服务器端，还可以替换为智能假肢手上的客户端；相应地，步骤2中，通过核心处理模块进行识别；其他步骤不变。

实施例6：

本实施例提供一种基于实施例2的物联网智能假肢手***的手势动作远程控制方法，包括如下步骤：

步骤1：动作捕捉手套与客户端无线连接，客户端与智能假肢手无线连接；

步骤2：由动作捕捉手套演示手势动作，并记录手势的空间位置信息，实时传输至客户端；

步骤3：客户端将手势的空间位置信息直接传输至智能假肢手的核心处理模块，或者转化为机器控制码后或者传输至核心处理模块；

步骤3：核心处理模块将手势的空间位置信息转化为机器控制码并输出，或者直接输出机器控制码，实时控制各手指各关节及手腕处的电机动作，使智能假肢手做出指定的手势动作，实现手势动作的在线远程控制。

本实施例提供的方法，实现了手势动作的在线远程控制，起到了在紧急情况高效及时远程协助假肢手用户的效果。

实施例7：

本实施例提供一种基于实施例2的物联网智能假肢手***的手势动作远程控制方法，包括如下步骤：

步骤1：在客户端内设置智能假肢手的3D模型，客户端与智能假肢手无线连接；

步骤2：用户在客户端输入数据精确调整3D模型确定手势动作；

步骤3：客户端将确定的手势动作转换为机器控制码，并传输至智能假肢手的核心控制模块；

步骤4：核心控制模块输出机器控制码，控制各电机动作，实现指定的手势动作。

实施例3-7提供了几种基于本发明智能假肢手***的手势实现方法的优选实施方式，但基于本发明的智能假肢手及其***的手势实现方法不仅限于此几种。

本发明的基于语音控制与视觉识别的物联网智能假肢手***相较于肌电控制假肢手，具有智能化的特点，相较于单一的语音控制假肢手技术其智能化程度也有大幅度提升；在保留了肌电控制及固定动作语音控制的同时，具有用户自主录入个性化手势、连续动作的功能，使用户能够根据自身日常生活需要，扩充手势和动作库；通过动作捕捉手套和深度摄像头，使得复杂连续的动作录入也得以实现，如演奏乐器(弹琴等)、绘画、玩魔方等等。该智能假肢手不仅能满足用户日常生活的需求，更能将专业技能与艺术享受等带进手臂残疾用户的生活中，真正提高生活质量，增加生活乐趣。

在使用体验方面：本发明中的智能假肢手***操作逻辑清晰；相较于肌电假肢手装肢前的肌力训练和装肢后复杂的的操纵训练，及前沿的脑电波控制技术操作的复杂学习训练，便捷易于上手。

识别效率方面：目前肌电控制对于复杂动作的识别效率低；脑电波控制由于技术不成熟、个体差异大，同样识别效率低；而本发明共开的基于语音控制与视觉识别的物联网残疾智能假肢手***使用了语言及图像识别技术、动作捕捉技术，具有识别效率高，人机交互好的特点。

成本方面：本设备较传统三自由度肌电假肢手增加使用的功能模块如语音交互模块、定位模块、心率监测模块、无线通讯模块、存储器模块、电源及无线充电模块等，在实现智能化的前提下相较于脑电波控制等方案具有成本低、功能稳定的特点。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.智能假肢手，采用三自由度假肢手本体，包括手指部件、手掌部件、残臂部件、肌电信号传感器、用于供电的电源以及存储器模块，其中，手指部件中的各手指各关节处及连接手掌部件与残臂部件的手腕处均设有电机，用于驱动各手指各关节及手腕处的转动，其特征在于，还包括深度摄像头模块、语音交互模块、LED触摸屏、核心处理模块及无线充电模块，其中，

所述深度摄像头模块设置在所述手掌部件上的手掌处，用于获取图像数据，并传送至所述核心处理模块；

所述语音交互模块用于与用户进行语音交互，将获取的语音数据传送至所述核心处理模块，以及播放从核心处理模块获取的指定格式的语音文件；

所述LED触摸屏设置在所述手掌部件上的手背处或残臂部件上，用于用户输入操作指令及显示数据；

所述核心处理模块用于将所述图像数据通过图像算法进行三维比对，拼凑出手势动作的模型，进而得出每个电机各时间节点所需要转动的角度，并输出机器指令码；还用于根据所述语音数据调用所述存储器模块内的手势动作并输出机器指令码，或者新增手势动作至所述存储器模块；还用于根据用户通过LED触摸屏输入的操作指令，输出机器指令码或者输出显示数据至LED触摸屏；所述机器指令码用于控制各电机动作，以使智能假肢手做出指定的手势动作；

所述无线充电模块用于采用无线充电方式为所述电源充电；

所述存储器模块用于保存数据，该数据包括手势动作、各手势动作的使用情况、图像数据、语音数据；

智能假肢手的最表层材料为导体材料。

2.如权利要求1所述的智能假肢手，其特征在于，还包括定位模块和心率监测模块，所述定位模块用于获取智能假肢手当前地理位置信息并传输至所述核心处理模块；所述心率监测模块用于监测用户的心率，并将心率数据传输至所述核心处理模块；所述核心处理模块对所述地理位置信息和心率数据进行处理后传输至所述存储器模块进行存储，或在接受指令后通过所述LED触摸屏或所述语音交互模块反馈给用户。

3.基于语音控制与视觉识别的物联网智能假肢手***，其特征在于，由通过无线方式建立连接的云服务器端、二级操作终端和权利要求1所述的智能假肢手组成，其中，

所述二级操作终端包括安装在智能手机或电脑上的客户端，和/或动作捕捉手套；

所述云服务器用于为所述客户端和智能假肢手提供云服务，所述云服务包括在线存储、在线技术支持和云计算。

4.基于权利要求3所述的物联网智能假肢手***的手势动作实现方法，其特征在于，包括如下步骤：

步骤1：通过智能假肢手进行信息采集，并上传至云服务器端；

步骤2：通过云服务器端调用百度AI开放平台的图像识别或语言处理基础技术接口，进行识别，并将识别结果发送给智能假肢手的核心处理模块；

步骤3：核心处理模块结合云服务器识别信息、此时智能假肢手的状态信息以及比对以往的各手势动作的使用情况，推断最可能被使用的手势动作；

步骤4：将推断的手势动作发送至LED触摸屏供用户选择；

步骤5：将用户选择数据反馈至核心处理模块，核心处理模块输出机器指令码，控制各手指各关节及手腕处的电机动作，使智能假肢手做出指定的手势动作。

5.如权利要求4所述的物联网智能假肢手***的手势动作实现方法，其特征在于，步骤1中，信息采集的方式为：通过智能假肢手的深度摄像头组件拍摄二维场景及物品图片；

相应地，步骤2中，调用接口为百度AI开放平台的图像识别接口，识别结果为相应物体及场景。

6.如权利要求4所述的物联网智能假肢手***的手势动作实现方法，其特征在于，步骤1中，信息采集的方式为：通过智能假肢手的语音交互模块收集语音信息并进行语音降噪，转换为指定格式；

相应地，步骤2中，调用接口为百度AI开放平台的语言处理基础技术接口，识别信息为命令文本信息以及语音文件。

7.如权利要求4所述的物联网智能假肢手***的手势动作实现方法，其特征在于，步骤1中，信息采集的方式为：使用动作捕捉手套采集手势动作信息；

相应地，步骤2中，识别结果为相应的手势动作信息；

步骤3中，核心处理模块直接将该相应的手势动作信息作为最可能被使用的手势动作。

8.如权利要求4-6任一所述的物联网智能假肢手***的手势动作实现方法，其特征在于，步骤1中，上传至云服务器端，替换为，上传至客户端；

相应地，步骤2中，通过客户端进行识别。

9.基于权利要求3所述的物联网智能假肢手***的手势动作远程控制方法，其特征在于，包括如下步骤：

步骤S1：动作捕捉手套与客户端无线连接，客户端与智能假肢手无线连接；

步骤S2：由动作捕捉手套演示手势动作，并记录手势的空间位置信息，实时传输至客户端；

步骤S3：客户端将手势的空间位置信息直接传输至智能假肢手的核心处理模块，或者转化为机器控制码后或者传输至核心处理模块；

步骤S3：核心处理模块将手势的空间位置信息转化为机器控制码并输出，或者直接输出机器控制码，实时控制各手指各关节及手腕处的电机动作，使智能假肢手做出指定的手势动作，实现手势动作的在线远程控制。

10.基于权利要求3所述的物联网智能假肢手***的手势动作客户端控制方法，其特征在于，包括如下步骤：

步骤P1：在客户端内设置智能假肢手的3D模型，二者无线连接；

步骤P2：用户在客户端输入数据精确调整3D模型确定手势动作；

步骤P3：客户端将确定的手势动作转换为机器控制码，并传输至智能假肢手的核心控制模块；

步骤P4：核心控制模块输出机器控制码，控制各电机动作，实现指定的手势动作。