CN112600630A - 一种基于Wi-Fi信号的动作识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于Wi－Fi信号的动作识别方法，包括：获取Wi－Fi信号发射器发射的Wi－Fi信号，并对所述Wi－Fi信号进行预处理操作，得到所述Wi－Fi信号的信道状态信息；将所述信道状态信息进行降噪处理，得到至少一组稳定的幅度比值和相位差值；并对所述幅度比值和相位差值进行滤波，将滤波后方差较大的子载波中的幅度比值和相位差值进行特征提取；其中，所述特征提取包括：提取不同时间段内时域信息和频域信息；将所述时域信息和频域信息通过预设的机器学习模型进行训练和预测，判断识别出用户的动作。通过本发明，使用者不需要额外佩戴用于体感识别的硬件设备，只需在Wi－Fi环境中即可实现动作识别，让用户拥有更好的动作识别体验。

Description

一种基于Wi-Fi信号的动作识别方法及装置

技术领域

本发明涉及Wi-Fi感知技术领域，特别是涉及一种基于Wi-Fi信号的动作识别方法及装置。

背景技术

目前，主流的动作识别方式主要有三种：基于结构光设备，基于摄像头和基于外部设备。基于结构光设备的方法由一组投影仪和摄像头组成，通过向用户进行投影，并采集用户动作引起的光信号变化，以此复原出各时间点用户的三维模型，以此进行动作识别，但结构光***较为昂贵，且此方法受环境影响明显，容易因为环境的变化导致识别失败；基于摄像头的方法通过单目摄像头或多目摄像头采集外部图像，通过机器视觉的方法实现动作识别，但基于摄像头的方法难以在无光或较暗的环境下使用，且在家用设备上使用摄像头采集图像会带来隐私安全的问题；基于外部设备的方式往往借助外部设备上的红外发射器或陀螺仪等传感器，对用户动作产生响应，进行动作识别，但此方法需要用户额外购买硬件设备，且正确佩戴硬件设备，对用户的使用体验会有一定影响，并且由于硬件设备只能对使用者的佩戴部位的动作进行响应，难以识别整体的动作，其识别效果往往不能令人满意。

随着Wi-Fi设备的广泛使用，目前已有部分研究着眼于使用WI-FI的CSI信息进行动作识别。这些研究大多关注基于时域、频域的特征提取，或基于机器学习的特征识别方法，忽略了原始信号噪声的快速消除。现有研究方法难以快速的完成整个动作识别过程，其重要原因之一就是消噪模块过于复杂，需要很多时间进行消噪和特征提取，后续模块也专注于提高方法准确性，忽略了真实动作识别场景的即时性，难以满足大多数的动作识别使用场景。

发明内容

本发明的目的是：提供一种基于Wi-Fi信号的动作识别方法及装置，能够通过使用不同的天线对来控制电磁波通过的路径，并采用计算路径间幅度比和相位差的方法，简单快速的消除掉大部分与人体动作无关的噪声，滤波后提取出相应的特征，再使用机器学习模型预测出动作准确率，从而达到体动作识别的目的。整个方法不需使用者佩戴额外硬件，也不需要昂贵的识别设备，识别速度快，且可通过增加天线对数量的简单方式得到更多特征值，从而提升识别准确率。

为了实现上述目的，本发明提供了一种基于Wi-Fi信号的动作识别方法，包括：获取Wi-Fi信号发射器发射的Wi-Fi信号，并对所述Wi-Fi信号进行预处理操作，得到所述Wi-Fi信号的信道状态信息；其中，所述Wi-Fi信号包括经过用户做出各种相应动作的Wi-Fi信号；将所述信道状态信息进行降噪处理，得到至少一组稳定的幅度比值和相位差值；并对所述幅度比值和相位差值进行滤波，将滤波后方差较大的子载波中的幅度比值和相位差值进行特征提取；其中，所述特征提取包括：提取不同时间段内时域信息和频域信息；将所述时域信息和频域信息通过预设的机器学习模型进行训练和预测，判断识别出用户的动作。

进一步地，所述降噪处理具体为：通过对同一时间不同接收点接收到的Wi-Fi信号中的振幅进行作比处理以及相位进行作差处理。

进一步地，所述时域信息包括：波形因子、脉冲因子、峭度因子、裕度因子、短时能量和短时自相关函数；所述频域信息包括：重心频率、均方频率、基频、频谱、能量谱和小波系数。

进一步地，所述预设的机器学习模型包括：SVM、GBDT、CNN和RNN模型。

本发明实施例还提供一种基于Wi-Fi信号的动作识别装置，包括：获取模块、数据处理模块和判断模块；其中，

所述获取模块，用于获取Wi-Fi信号发射器发射的Wi-Fi信号，并对所述Wi-Fi信号进行预处理操作，得到所述Wi-Fi信号的信道状态信息；其中，所述Wi-Fi信号包括经过用户做出各种相应动作的Wi-Fi信号；

所述数据处理模块，用于将所述信道状态信息进行降噪处理，得到至少一组稳定的幅度比值和相位差值；并对所述幅度比值和相位差值进行滤波，将滤波后方差较大的子载波中的幅度比值和相位差值进行特征提取；其中，所述特征提取包括：提取不同时间段内时域信息和频域信息；

所述判断模块，用于将所述时域信息和频域信息通过预设的机器学习模型进行训练和预测，判断识别出用户的动作。

进一步地，所述降噪处理具体为：通过对同一时间不同接收点接收到的Wi-Fi信号中的振幅进行作比处理以及相位进行作差处理。

进一步地，所述时域信息包括：波形因子、脉冲因子、峭度因子、裕度因子、短时能量和短时自相关函数；所述频域信息包括：重心频率、均方频率、基频、频谱、能量谱和小波系数。

进一步地，所述预设的机器学习模型包括：SVM、GBDT、CNN和RNN模型。

本发明实施例还提供一种计算机终端设备，其特征在于，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一项所述的基于Wi-Fi信号的动作识别方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的基于Wi-Fi信号的动作识别方法。

本发明实施例一种基于Wi-Fi信号的动作识别方法及装置与现有技术相比，其有益效果在于：

1、增加用户体验：通过本发明，使用者不需要额外佩戴用于体感识别的硬件设备，只需在Wi-Fi环境中即可实现动作识别，让用户拥有更好的动作识别体验；

2、降低动作识别成本：本发明不需要额外购买外部设备，也不需要昂贵的摄像头等设备，只需要廉价的WI-FI天线，可大大降低动作识别的硬件成本；

3、可在黑暗环境下运行：本发明采用WI-FI信号，即电磁波信号进行动作识别，对环境亮度无要求，相比于基于摄像头的方法，对使用环境的要求低；

4、避免隐私问题：本发明采用WI-FI信号进行动作识别，相比于摄像头设备给用户隐私带来的高风险，本发明只对经过预先采集的特定动作产生反应，对其他动作无识别作用，其他动作产生的信号是毫无意义的，且在穿墙后信号会有很大改变，使用户的活动信息难以被窃取。

5、识别速度快：不同于其他WI-FI动作识别***，本方法简化了复杂的降噪流程，使识别速度有所提高，更适用于真实的实时动作识别场景。

附图说明

图1为本发明第一实施例提供的一种基于Wi-Fi信号的动作识别方法的流程示意图；

图2为本发明第一实施例提供的一种基于Wi-Fi信号的动作识别方法的整体架构示意图；

图3为本发明某一实施例提供的一种基于Wi-Fi信号的动作识别方法中体感游戏场景示意图；

图4为本发明某一实施例提供的一种基于Wi-Fi信号的动作识别方法中控制智能家居场景示意图；

图5为本发明第二实施例提供的一种基于Wi-Fi信号的动作识别装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本发明第一实施例：

如图1-图4所示，本发明实施例的一种基于Wi-Fi信号的动作识别方法，至少包括如下步骤：

S101、获取Wi-Fi信号发射器发射的Wi-Fi信号，并对所述Wi-Fi信号进行预处理操作，得到所述Wi-Fi信号的信道状态信息；其中，所述Wi-Fi信号包括经过用户做出各种相应动作的Wi-Fi信号；

需要说明的是，对于步骤S101、Wi-Fi信号发射器和接收器结构和功能如下：

1.1)发射端天线组：负责Wi-Fi信号的发射。发射端天线组需有至少两根天线，天线组内所使用的天线数量越多，识别效果越好，每增加或减少一根天线，或使用处于不同位置的其他天线，都是一种新的天线阵列；

1.2)信号发射模块：负责接收用户终端指令并生成要发送的规定格式的定向数据包。此模块由Wi-Fi信号发射器内芯片完成，Wi-Fi信号发射器是发射Wi-Fi信号的设备，包括但不限于Wi-Fi路由器、手机、智能家居设备、体感游戏机等；

1.3)接收端天线组：负责Wi-Fi信号的接收。接收端天线组需有至少一根天线，天线组内所使用天线数量越多，识别效果越好，每增加或减少一根天线，或使用处于不同位置的其他天线，都是一种新的天线阵列；

1.4)信号接收模块：负责接收Wi-Fi信号发射器发送的规定格式的定向数据包。此模块由Wi-Fi信号接收器内芯片完成，Wi-Fi信号接收器是接收Wi-Fi信号的设备，包括但不限于Wi-Fi路由器、手机、智能家居设备、体感游戏机等。

需要说明的是，对于预处理操作，包括：

2.1)数据包解析：负责将信号接收模块得到的规定格式数据包解析成信道状态信息包；

2.2)幅度、相位提取：将信道状态信息包中的信道状态信息矩阵处理成电磁波的幅度和相位信息，并发送给降噪模块。

S102、将所述信道状态信息进行降噪处理，得到至少一组稳定的幅度比值和相位差值；并对所述幅度比值和相位差值进行滤波，将滤波后方差较大的子载波中的幅度比值和相位差值进行特征提取；其中，所述特征提取包括：提取不同时间段内时域信息和频域信息；

需要说明的是，幅度比和相位差的生成具体为：根据所使用天线组的不同，将幅度和相位信息生成所需的幅度比和相位差信息。幅度比和相位差指在所使用的天线阵列中，发射天线间与接收天线间，电磁波路径有所差别的两组或多组天线对之间的幅度比和相位差，其中收发天线只要有一个不同即可视为一组新的天线对；

需要说明的是，对于滤波处理，本发明巴特沃斯滤波器、高通滤波器或其他功能相似的滤波器，对得到的幅度比和相位差进行滤波，保留一定频率范围内人体运动引起的波动，消除人体动作之外的其他因素引起的波动。滤波的频率范围可根据所识别动作的不同加以选择。对滤波后的不同子载波下的幅度比值和相位差值加以选择，可使用选择最大方差等方法，选择滤波后幅度比值和相位差值波动较大的子载波为最佳子载波，并将对应的幅度比和相位差作为动作样本发送给特征提取模块。

需要说明的是，对于特征提取，具体为：将动作样本分割成可用于识别的时间片段。以下给出一参考方法：根据识别动作的不同以及动作发生时间的不同，在需要进行动作识别的时间窗口内，先将动作样本使用划窗或其他方法分隔成合适的时间片段，去掉其中波动较小的时间片，认为在该时间内无有效动作发生，保留波动较大的时间片，再对波动较大的大时间片进行细分，得到合适的用于识别的小时间片。时间片具有顺序性；

按照所识别的动作及识别精度的要求提取出每个时间片内波动的时域特征和频域特征。时域特征包括但不限于波形因子、脉冲因子、峭度因子、裕度因子、短时能量、短时自相关函数等，频域特征包括但不限于重心频率、均方频率、基频、频谱、能量谱、小波系数等。也可通过训练CNN、RNN等模型提取其空间特征。

S103、将所述时域信息和频域信息通过预设的机器学习模型进行训练和预测，判断识别出用户的动作。

需要说明的是，对于预设的机器学习模型，该部分是在***搭建之前进行的，在***搭建时直接将训练好的模型载入***内，不需重复训练。模型训练过程如下：在标准动作与不标准动作下得到多组特征值及其对应的子载波、设备间距、环境类型、所使用的天线阵列和动作标准度等信息，组成训练数据集，使用SVM、GBDT或其他机器学习模型训练出一个可根据以上信息预测出动作标准度的预测模型。所述预测模型负责根据动作样本的特征及其测试环境预测出动作标准度，并根据动作标准度生成相应指令或反馈给用户。

在本发明的某一个实施例中，所述降噪处理具体为：通过对同一时间不同接收点接收到的Wi-Fi信号中的振幅进行作比处理以及相位进行作差处理。

在本发明的某一个实施例中，所述时域信息包括：波形因子、脉冲因子、峭度因子、裕度因子、短时能量和短时自相关函数；所述频域信息包括：重心频率、均方频率、基频、频谱、能量谱和小波系数。

在本发明的某一个实施例中，所述预设的机器学习模型包括：SVM、GBDT、CNN和RNN模型。

为了更好的理解本发明，可以由以下几个例子具体理解：

例1、如图3所示，是一种基于Wi-Fi信号的动作识别方法应用于体感游戏场景下的具体实施例。Wi-Fi信号发射端为一台WI-FI路由器，Wi-Fi信号接收端为一台体感游戏主机，信号接收、信号处理、降噪、特征提取和模型使用由体感游戏主机完成，模型训练阶段在游戏开发时已完成，在游戏装载时所要使用的模型已载入游戏主机，显示器连接体感游戏主机，负责显示体感游戏主机输出的画面。使用者站在指定位置，用游戏手柄或其他方式向游戏主机发送游戏开始指令后，即可开始体感游戏。此时用户在进行一种体感舞蹈游戏。应用的具体流程如下：

1、使用者站在指定位置，通过游戏手柄给体感游戏主机发送游戏开始指令，显示器随着音乐进度显示出相应的舞蹈指导动作展示给用户；

2、使用者做出相应动作的同时，WI-FI路由器向体感游戏主机发送识别数据包；

3、体感游戏主机的接收天线接收到包含信息的数据包，并将数据包传递给信号处理模块；

4、信号处理模块将数据包转换成电磁波信号的信道状态信息，并将其转化为相应的电磁波幅度和相位信息，传递给降噪模块；

5、降噪模块生成响应的与天线对相互对应的幅度比和相位差后，使用高通滤波器在所选频率范围内滤波，选择滤波之后的最佳子载波，将相应的幅度比和相位差信息传递给特征提取模块；

6、特征提取模块对信息进行分割时间片的操作，并提取出相应的时域和频域信息，传递给模型训练模块；

7、模型训练模块通过信息预测出动作准确率，并根据预设的规则给用户的动作打分，将分数传递给显示器，反馈给用户；

8、此时音乐刚好进行到下一个动作，用户得到反馈后，继续跟着音乐做出下一个舞蹈动作，重复以上步骤。

例2、如图4所示，是一种基于Wi-Fi信号的动作识别方法应用于智能家居场景下的具体实施例。Wi-Fi信号发射端为一台WI-FI路由器，Wi-Fi信号接收端为一个接入智能家居***的智能台灯，同时智能家居***由一台智能音箱控制，信号接收、信号处理、降噪、特征提取和模型使用由智能音响完成，模型训练阶段在***开发时已完成，在***装载时所要使用的模型已载入智能音箱。使用者位于指定区域，对智能台灯进行手势控制。应用的具体流程如下：

1、使用者位于指定区域，对台灯做出“V”字型手势；

2、使用者做出相应动作的同时，WI-FI路由器向智能台灯发送识别数据包；

3、智能台灯的接收天线接收到包含信息的数据包，并将数据包传递给智能音箱的数据处理模块；

4、信号处理模块将数据包转换成电磁波信号的信道状态信息，并将其转化为相应的电磁波幅度和相位信息，传递给降噪模块；

5、降噪模块生成响应的与天线对相互对应的幅度比和相位差后，使用高通滤波器在所选频率范围内滤波，选择滤波之后的最佳子载波，将相应的幅度比和相位差信息传递给特征提取模块；

6、特征提取模块对信息进行分割时间片的操作，并提取出相应的时域和频域信息，传递给模型训练模块；

7、模型训练模块通过信息预测出动作准确率，并根据准确率给生成开灯指令，传递给智能台灯；

8、智能台灯接收到指令，开灯。

本发明实施例的一种基于Wi-Fi信号的动作识别方法与现有技术相比，具有如下有益效果：

1、增加用户体验：通过本发明，使用者不需要额外佩戴用于体感识别的硬件设备，只需在Wi-Fi环境中即可实现动作识别，让用户拥有更好的动作识别体验；

2、降低动作识别成本：本发明不需要额外购买外部设备，也不需要昂贵的摄像头等设备，只需要廉价的WI-FI天线，可大大降低动作识别的硬件成本；

3、可在黑暗环境下运行：本发明采用WI-FI信号，即电磁波信号进行动作识别，对环境亮度无要求，相比于基于摄像头的方法，对使用环境的要求低；

4、避免隐私问题：本发明采用WI-FI信号进行动作识别，相比于摄像头设备给用户隐私带来的高风险，本发明只对经过预先采集的特定动作产生反应，对其他动作无识别作用，其他动作产生的信号是毫无意义的，且在穿墙后信号会有很大改变，使用户的活动信息难以被窃取。

5、识别速度快：不同于其他WI-FI动作识别***，本方法简化了复杂的降噪流程，使识别速度有所提高，更适用于真实的实时动作识别场景。

本发明第二实施例：

如图5所示，本发明实施例提供的一种基于Wi-Fi信号的动作识别装置200，包括：获取模块201、数据处理模块202和判断模块203；其中，

所述获取模块201，用于获取Wi-Fi信号发射器发射的Wi-Fi信号，并对所述Wi-Fi信号进行预处理操作，得到所述Wi-Fi信号的信道状态信息；其中，所述Wi-Fi信号包括经过用户做出各种相应动作的Wi-Fi信号；

所述数据处理模块202，用于将所述信道状态信息进行降噪处理，得到至少一组稳定的幅度比值和相位差值；并对所述幅度比值和相位差值进行滤波，将滤波后方差较大的子载波中的幅度比值和相位差值进行特征提取；其中，所述特征提取包括：提取不同时间段内时域信息和频域信息；

所述判断模块203，用于将所述时域信息和频域信息通过预设的机器学习模型进行训练和预测，判断识别出用户的动作。

在本发明的某一个实施例中，所述降噪处理具体为：通过对同一时间不同接收点接收到的Wi-Fi信号中的振幅进行作比处理以及相位进行作差处理。

在本发明的某一个实施例中，所述时域信息包括：波形因子、脉冲因子、峭度因子、裕度因子、短时能量和短时自相关函数；所述频域信息包括：重心频率、均方频率、基频、频谱、能量谱和小波系数。

在本发明的某一个实施例中，所述预设的机器学习模型包括：SVM、GBDT、CNN和RNN模型。

本发明第三实施例：

本发明实施例提供的一种计算机终端设备，包括一个或多个处理器；存储器，与所述处理器耦接，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一项所述的基于Wi-Fi信号的动作识别方法。

本发明第四实施例：

本发明实施例提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于Wi-Fi信号的动作识别方法。

综上，，通过本发明，使用者不需要额外佩戴用于体感识别的硬件设备，只需在Wi-Fi环境中即可实现动作识别，让用户拥有更好的动作识别体验。且本发明对天线性能和计算能力要求低，可移植性强，可以移植到任何有足够计算能力的具有电磁波收发功能的设备上。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (10)

1.一种基于Wi－Fi信号的动作识别方法，其特在于，包括：

获取Wi－Fi信号发射器发射的Wi－Fi信号，并对所述Wi－Fi信号进行预处理操作，得到所述Wi－Fi信号的信道状态信息；其中，所述Wi－Fi信号包括经过用户做出各种相应动作的Wi－Fi信号；

将所述信道状态信息进行降噪处理，得到至少一组稳定的幅度比值和相位差值；并对所述幅度比值和相位差值进行滤波，将滤波后方差较大的子载波中的幅度比值和相位差值进行特征提取；其中，所述特征提取包括：提取不同时间段内时域信息和频域信息；

将所述时域信息和频域信息通过预设的机器学习模型进行训练和预测，判断识别出用户的动作。

2.根据权利要求1所述的基于Wi－Fi信号的动作识别方法，其特征在于，所述降噪处理具体为：通过对同一时间不同接收点接收到的Wi－Fi信号中的振幅进行作比处理以及相位进行作差处理。

3.根据权利要求1所述的基于Wi－Fi信号的动作识别方法，其特征在于，所述时域信息包括：波形因子、脉冲因子、峭度因子、裕度因子、短时能量和短时自相关函数；所述频域信息包括：重心频率、均方频率、基频、频谱、能量谱和小波系数。

4.根据权利要求1所述的基于Wi－Fi信号的动作识别方法，其特征在于，所述预设的机器学习模型包括：SVM、GBDT、CNN和RNN模型。

5.一种基于Wi－Fi信号的动作识别装置，其特征在于，包括：获取模块、数据处理模块和判断模块；其中，

所述获取模块，用于获取Wi－Fi信号发射器发射的Wi－Fi信号，并对所述Wi－Fi信号进行预处理操作，得到所述Wi－Fi信号的信道状态信息；其中，所述Wi－Fi信号包括经过用户做出各种相应动作的Wi－Fi信号；

所述数据处理模块，用于将所述信道状态信息进行降噪处理，得到至少一组稳定的幅度比值和相位差值；并对所述幅度比值和相位差值进行滤波，将滤波后方差较大的子载波中的幅度比值和相位差值进行特征提取；其中，所述特征提取包括：提取不同时间段内时域信息和频域信息；

所述判断模块，用于将所述时域信息和频域信息通过预设的机器学习模型进行训练和预测，判断识别出用户的动作。

6.根据权利要求5所述的基于Wi－Fi信号的动作识别装置，其特征在于，所述降噪处理具体为：通过对同一时间不同接收点接收到的Wi－Fi信号中的振幅进行作比处理以及相位进行作差处理。

7.根据权利要求5所述的基于Wi－Fi信号的动作识别装置，其特征在于，所述时域信息包括：波形因子、脉冲因子、峭度因子、裕度因子、短时能量和短时自相关函数；所述频域信息包括：重心频率、均方频率、基频、频谱、能量谱和小波系数。

8.根据权利要求5所述的基于Wi－Fi信号的动作识别装置，其特征在于，所述预设的机器学习模型包括：SVM、GBDT、CNN和RNN模型。

9.一种计算机终端设备，其特征在于，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至4任一项所述的基于Wi－Fi信号的动作识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于Wi－Fi信号的动作识别方法。

Images