CN113723221B - 基于WiFi信道状态信息的室内行为实时识别方法及*** - Google Patents
基于WiFi信道状态信息的室内行为实时识别方法及*** Download PDFInfo
- Publication number
- CN113723221B CN113723221B CN202110920056.9A CN202110920056A CN113723221B CN 113723221 B CN113723221 B CN 113723221B CN 202110920056 A CN202110920056 A CN 202110920056A CN 113723221 B CN113723221 B CN 113723221B
- Authority
- CN
- China
- Prior art keywords
- behavior
- csi
- phase difference
- matrix
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于计算机技术领域,提供了一种基于WiFi信道状态信息的室内行为实时识别方法及***,方法包括:提取WiFi信号CSI;对CSI相位和幅度进行预处理,得到作为识别特征的相位差扩展矩阵和用于连续行为分割的幅度信息;对构建的相位差扩展矩阵进行行为识别分类器训练;预处理后的幅度信息用于连续行为的分割点的确定,再用找到的分割点对该测试数据CSI序列进行分割,分割后的测试数据与模型构建时训练数据的CSI相位处理一样直至构建扩展矩阵;最后,将该矩阵输入到模型中,进行行为实时判别;本发明对光照不敏感、成本低、保护隐私,可用于跌倒检测、智能家居、医疗保健等领域;本发明识别精度高、速度快,可实时高效的输出判别结果。
Description
技术领域
本发明涉及行为识别领域,更具体的说,涉及一种基于WiFi信道状态信息的室内行为实时识别方法及***。
背景技术
随着无线网络和移动智能终端的日益普及,利用无线感知技术进行人体行为识别已经成为普适计算领域的一个热点研究课题。人体行为识别目前主要借助接触式和非接触式技术实现。相比与接触式,非接触式方法具有无需穿戴移动设备、成本低廉、便捷安全等优点。非接触式行为识别包括基于光学摄像头方法,存在隐私安全入侵且易受光线影响的问题;基于雷达的方法,存在造价高、信号处理较困难的问题。相比于上述传统方式,WiFi信号对光照不敏感、成本低、易于安装并保护隐私,因此比上述方法更实用。
基于WiFi行为识别技术通常包括两种类型的接收信号——信道状态信息(Channel State Information,CSI)和接收信号强度(Radio Signal Strength Index,RSSI)。RSSI易受窄带和多径干扰,识别精度低,性能有限。相比之下,CSI可以呈现不同频率下多径传播的幅值和相位,从而提供更丰富和稳定的信道参数。因此,CSI比RSSI更适合于人体行为识别。
连续行为分割通常包括两种方法:变化点检测(Change Point Detection,CPD)和基于阈值的方法。CPD是一种使用时间序列数据信息来确定是否发生变化以及发生变化点位置的方法。广泛应用于语音识别、图像分析、气候变化检测和医疗状况检测。基于CDP的行为识别方法只有极少数无监督方法适合于人体连续行为的分割,难以满足实时性要求。
基于阈值的连续行为分割方法根据CSI数据中发生活动的幅度与没有活动发生的幅度存在较大差异,来检测活动的起点和终点从而提取活动数据。通常包括基于固定阈值和动态阈值两种。前者分割结果严重依赖于观察者自身的经验,增加了个体的主观性和不稳定性。
与使用固定阈值分割行为相比,动态阈值方法可以根据噪声水平和实验环境调整阈值。然而该方法主要针对单一的细粒度或粗粒度活动,难以用于混合活动。
发明内容
本发明的目的是针对现有技术的不足,提供一种基于WiFi信道状态信息的室内行为实时识别方法,可以高效准确的进行室内行为识别,双重动态阈值分割算法有效解决了识别混合活动时性能下降的问题,可提升识别稳定性,提高识别精度;通过构建相位差扩展矩阵作为识别特征矩阵,能够有效提高识别精度。
为了达到上述目的,本发明采用的技术方案为:一种基于WiFi信道状态信息的室内行为实时识别方法,具体过程如下:
获得各个行为下的CSI数据;
对所述CSI数据的相位和幅度进行预处理,得到CSI相位差矩阵和用于连续行为分割的幅度信息;
根据所述幅度信息确定连续行为的分割点,再用所述分割点对测试数据CSI序列进行分割,构建分割后的测试数据的相位差扩展矩阵;采用双重动态阈值方法确定连续行为的分割点,提出介于动态有行为发生和静态无行为发生的中间状态,并赋予标签,再通过设置滑动窗口和前进步长来优化标签,最后根据标签变化点和平均活动时长确定连续行为分割点;
将所述相位差矩阵用于构建相位差扩展矩阵,再将该扩展矩阵作为特征矩阵输入到高斯混合模型-隐马尔可夫模型中,进行行为实时判别,并输出人体行为的判别结果和运动引起的CSI幅度及相位差变化。
对CSI信息进行预处理,获得含有人体运动特征的CSI相位差矩阵,所述CSI相位差矩阵用于相位差扩展矩阵的构建,具体如下:
1)解卷绕消除相位模糊性
某接收天线第i个子载波采集到的CSI数据,其采集数据相位可表示为:
式中,表示CSI数据的实际相位,δ和β分别表示信道和设备的非理想性引起的时间和相位偏移,N=64表示OFDM***中FFT窗长度,ki表示接收天线采集的第i个子载波的索引,z表示第i个子载波的环境噪声。
采用Matlab库函数“Unwrap”来消除子载波的相位模糊性,恢复出其真实相位。
2)线性变换消除相位线性误差
设置相位斜率a和偏移量b两个参数:
定义线性变换之后的校正相位:
因子载波ki是对称的,则在忽略噪声z的前提下,校正相位/>已基本消除δ和β偏移;
3)构建接收天线间CSI相位差矩阵
采用3根接收天线和1根发射天线,得到接收天线CSI子载波的相位差随时间变化的矩阵Pdf:
式中,为第k、l个接收天线间的相位差相位,表达式为/>
利用Savitzky-Golay滤波器,消除存在于CSI相位差中的环境突发噪声。
构建相位差扩展矩阵时,在CSI相位差信息的基础上,将相位差序列的均值、标准差、相位差平坦度分布特征也作为识别特征,得到基于相位差矩阵的相位差扩展矩阵。
相位差扩展矩阵具体如下:
式中,为相位差序列,/>相位差序列的均值,/>相位差序列的标准差,/>为相位差序列平坦度,其中/>用来描述相位差序列的分散程度,相位差平坦度矩阵的元素计算公式为:
式中,w为选取的相位差序列时间窗长度,Pdf(k)为相位差序列的第k个的相位差值。
将原用于基于人体3D骨骼数据行为识别的高斯混合模型-隐马尔可夫模型用到基于WiFi信号的行为识别;将构建的相位差扩展矩阵作为高斯混合模型-隐马尔可夫模型的识别特征,具体的,将获得的CSI数据按照2:1的比例划分为训练数据集和测试数据集;对于训练数据集,利用鲍姆韦尔奇算法训练得到隐马尔可夫模型的隐藏概率矩阵A和初始概率矩阵π两个参数,利用K均值算法和EM算法得到观测概率矩阵B;训练得到隐含有人体行为类别的HMM模型后,输入测试数据,利用前后向算法对每个测试数据计算得到每个模型对应的概率,概率最大值对应模型下的行为即为预测行为。
将测试数据输入到训练好的高斯混合模型-隐马尔可夫模型中,实时在线输出测试结果,具体如下:
构建一个持续读取数据器,对原始测试数据进行CSI幅度和相位预处理并保存绘图数据;将测试数据输入高斯混合模型-隐马尔可夫模型中,再给定频次刷新数据,实时输出更新的幅度图、相位差图和测试结果。
对CSI幅度信息预处理,提取用于连续行为分割的幅度特征,具体如下:
利用截止频率为50Hz的五阶巴特沃斯低通滤波器进行CSI去噪,再对CSI序列进行下采样和一阶差分,以消除平滑数据。
双重动态阈值方法确定连续行为的分割点,具体如下:
1)利用已知分割点的训练数据CSI序列求取静态无活动阈值y1,动态有活动阈值y2,并给采集的分割点未知的CSI序列每个时间点赋予标签,所述标签包括“静态无行为发生”、“动态有行为发生”和“中间状态”;
2)去除“中间状态”标签,在连续标签中,“中间状态”标签前后有相同数量标签“静态无行为发生”或“动态有行为发生”时,将中间状态标签重新分配为“静态无行为发生”或“动态有行为发生”标签;
3)设定滑动窗口大小m和步长,在CSI序列中,从第一个时间点开始,依次向前取m-1个时间点,使用m个时间点的标签比较所述滑动窗口内“静态无行为发生”或“动态有行为发生”标签出现的次数,给该时间点分配出现次数更多的标签;
4)将标签变化点作为初始活动分割时间点,然后根据实际标签计算出的平均活动时长对计算出的变换长度进行过滤,满足设定条件的变化点存储为连续行为分割点。
本发明提供一种基于WiFi信道状态信息的室内行为实时识别***,包括数据获取模块、数据预处理模块、特征矩阵构建模块以及判别模块;
数据获取模块用于获得各个行为下的CSI数据;
数据预处理模块用于对所述CSI数据的相位和幅度进行预处理,得到CSI相位差矩阵和用于连续行为分割的幅度信息;采用双重动态阈值方法确定连续行为的分割点,介于动态有行为发生和静态无行为发生的中间状态,并赋予标签,再通过设置滑动窗口和前进步长来优化标签,最后根据标签变化点和平均活动时长确定连续行为分割点;
特征矩阵构建模块用于根据所述幅度信息确定连续行为的分割点,再用所述分割点对测试数据CSI序列进行分割,构建分割后的测试数据的相位差扩展矩阵;采用双重动态阈值方法确定连续行为的分割点,提出介于动态有行为发生和静态无行为发生的中间状态,并赋予标签,再通过设置滑动窗口和前进步长来优化标签,最后根据标签变化点和平均活动时长确定连续行为分割点;
判别模块用于将所述相位差矩阵用于构建相位差扩展矩阵,再将该扩展矩阵作为特征矩阵输入到高斯混合模型-隐马尔可夫模型中,进行行为实时判别,并输出人体行为的判别结果和运动引起的CSI幅度及相位差变化。
还包括模型训练模块,模型训练模块采用原用于基于人体3D骨骼数据行为识别的高斯混合模型-隐马尔可夫模型,构建的相位差扩展矩阵作为高斯混合模型-隐马尔可夫模型训练的特征,对所述模型进行训练,具体如下:将采集的CSI数据按照2:1的比例划分为训练数据集和测试数据集;对于训练数据集,利用鲍姆韦尔奇算法训练得到隐马尔可夫模型的隐藏概率矩阵A和初始概率矩阵π两个参数;分别利用K均值算法和EM算法对观测概率矩阵B初始化和参数优化;
训练得到隐含有人体行为类别的HMM模型后,输入测试数据,利用前后向算法对每个测试数据计算得到每个模型对应的概率,概率最大值对应模型下的行为即为预测行为。
与现有技术相比,本发明至少具有以下有益效果:
本发明采用双重动态阈值分割算法,提出介于动态有行为发生和静态无行为发生的中间状态,并赋予标签,再通过设置滑动窗口和前进步长来优化序列标签,去除由于经验等带来的分割点判断误差,避免传统依赖经验的噪声消除和阈值计算并解决识别混合活动时性能下降的问题,提高了行为识别精度。
进一步的,将原用于基于人体3D骨骼数据的行为识别模型高斯混合模型-隐马尔可夫模型(GMM-HMM)进行了方法迁移,用到了基于WiFi信道状态信息的行为识别中,该方法相比于Random Forest、LSTM等方法,有较高的精度。此外,GMM-HMM可以只用很短一段CSI时间点的信息就可以进行行为识别,节省计算内存,缩短了运行时间,为实时识别行为提供了保障。
进一步的,建立了相位差扩展矩阵。相位差作为人体行为识别的特征信号,由于其采用了空间分集和频率分集技术,比相位更能感知环境的微弱变化。基于CSI相位差矩阵构建了相位差扩展矩阵,有效解决了采集的WiFi信号去噪不完全和需要配置大量WiFi节点的问题,增强了***识别准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面对实施例或现有技术描述中所需要使用的附图作简单介绍。
图1是本发明实施例提供的基于WiFi信道状态信息的室内行为实时识别方法的实现流程示意图;
图2a是本发明实施例中CSI信号的原始相位,图2b是本发明实施例中对CSI信号进行解卷绕后相位,图2c是本发明实施例中线性变换后的校正相位;
图3是本发明实施例中GMM-HMM模型框架;
图4a是本发明实施例中原始CSI幅度,图4b是本发明实施例中经低通去噪后幅度,图4c是本发明实施例中下采样幅度以及图4d是本发明实施例中一阶差分幅度;
图5a本发明实施例中双重动态阈值分割算法中去除中间状态标签'0'的第二步图示,图5b是本发明实施例中双重动态阈值分割算法的标签优化图示;
图6a本发明实施例中活动发生时静态状态与动态状态之间的过渡,图6b为本发明实施例中通过阈值比较给每个CSI时间点赋予标签以及通过设置滑动窗口和前进步长去除中间状态标签'0'图示,图6c为本发明实施例中确定行为分割点图示;
图7a为本发明实施例中实时显示的CSI相位差,图7b为本发明实施例中实时显示的CSI幅度;图7c为本发明实施例中实时显示的人体行为判别结果;
图8是本发明实施例中识别自采集的7种行为混淆矩阵;
图9a是本发明实施例中进行实验的场地示意图;图9b是本发明实施例中进行实验的场地实测图。
具体实施方式
下面结合附图对本发明实施方式进行详细阐述,以使本发明的优点和特征更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
根据人体行为发生时,执行不同行为时WiFi信号中的CSI发生的变化不同,进行人体行为识别。首先对采集的CSI数据预处理,再依次进行特征提取和特征矩阵构建;利用GMM-HMM模拟和学习复杂的人体运动:将人体运动时构建的特征矩阵视为观测状态,肢体过渡视为隐藏状态,建模为隐马尔可夫模型(Hidden Markov Model,HMM),利用高斯混合模型(Gaussian Mixed Model,GMM)极强的编码能力拟合人体复杂的运动模式,以求得HMM的参数。最后,利用连续行为分割算法找到测试数据的分割点,分割后的测试数据与模型构建时CSI相位处理一样,依次经过预处理、特征提取、特征矩阵构建,再将构建的特征矩阵输入到已经训练好的GMM-HMM模型中进行测试,并实时输出识别结果。该行为识别方法相较与现有的人体行为识别方法,检测精度高、速率快。
本发明提出的基于WiFi信道状态信息的室内行为实时识别方法,可应用于针对幼童和老年人看护的跌倒检测,以及智能家居、医疗看护、人机交互等领域;本发明提出了一种可以解决识别混合活动性能下降问题的双重动态阈值分割算法,提高了识别性能;在识别方法方面,将原本应用于基于人体3D骨骼数据行为识别的GMM-HMM模型,应用到基于WiFi信号的行为识别中,该模型利用极短时间段的CSI信息就可以完成行为识别,很大程度的缩短了运行时间,为实时输出结果提供了保障。总的来看,本发明的方法具有高精确度、强健壮性、高运行速率的优点。
如图1所示,一种基于WiFi信道状态信息的室内行为实时识别方法。图1是本发明实施例中室内人体行为识别方法的整体流程图,所述方法由硬件设备实现,包括以下步骤:
A.采集含有人体运动特征的CSI数据。具体为:安装有1根全向天线和无线网卡的Intel Core i5 CPU mini主机作为WiFi信号发射机,安装有3根全向天线和无线网卡的Intel Core i5CPU台式电脑作为WiFi信号接收机,在Ubuntu14.04电脑***下,通过对无线网卡的驱动进行修改,利用安装的802.11n Linux CSI tool工具进行CSI数据采集;
B.对采集的CSI数据分别进行相位和幅度预处理,用于行为识别特征提取和连续行为分割点确定;具体包括以下步骤:
B1、解卷绕消除相位模糊性
对某接收天线第i个子载波采集到的CSI数据,其相位可表示为:
式中,为CSI数据的真实相位,δ和β分别表示信道和设备的非理想性引起的时间和相位偏移,ki为子载波索引,N为OFDM***中FFT窗长度,z为环境噪声;
由于测量到的相位会落在[-π,π]区间上,是真实相位对2π取余的结果,因此测量相位存在相位模糊,即真实相位与测量相位相差2π的整数倍,会产生周期性多值问题。为获取真实相位,采用Matlab库函数“Unwrap”解卷绕,来消除30个子载波的相位模糊性,从而恢复出真实相位。
B2、线性变换消除相位线性误差
设置相位斜率a和偏移量b两个参数:
定义线性变换后的校正相位:
因子载波ki是对称的,则在忽略噪声z的前提下,校正相位/>已基本消除δ和β偏移;
参见图2a-图2c,本发明实施例中对CSI信号进行预处理前后相位示意图,图2a,CSI信号的原始相位;图2b,对CSI信号进行解卷绕后相位以及图2c线性变换后的校正相位。由图可知,30个子载波在不同时刻的相位经线性变换之后成簇状分布,且波动较小,证明通过线性变换成功消除了CSI相位中由于时钟同步造成的线性相位误差。
B3、使用3根接收天线和1根发射天线,得到3根接收天线CSI子载波的相位差随时间变化的矩阵Pdf:
式中,为第k、l个接收天线间的相位差,表达式为/>
最后,通过设置拟合最小二乘多项式的阶次为3,窗宽度为15,利用Savitzky-Golay滤波器对存在于CSI相位差中的环境突发噪声进行消除。
C.对预处理后CSI相位信息进行特征提取,构建相位差矩阵Pdfex:
式中,为相位差序列,/>为相位差序列的均值,/>为相位差序列的标准差,为相位差序列的平坦度。其中/>用来描述相位差序列的分散程度,相位差平坦度矩阵的元素计算公式为:
式中,w为选取的相位差序列时间窗长度,Pdf(k)为相位差序列的第k个的相位差值。
D、利用构建的相位差特征矩阵进行GMM-HMM模型的构建。
首先利用鲍姆韦尔奇算法(Baum-Welch)训练得到HMM的隐藏概率矩阵A和初始概率矩阵π两个参数;再利用GMM拟合人体复杂的运动模式,其中使用K均值算法对观测概率矩阵B进行初始化,EM算法对观测概率矩阵B进行了参数优化。
训练得到隐含有人体行为类别的GMM-HMM模型后,输入利用连续行为分割算法分割后的测试数据,利用前后向算法对每个测试数据计算得到每个模型对应的概率,概率最大值对应模型下的行为即为预测行为。
参见图3,图3是本发明实施例中GMM-HMM模型框架,包括行为识别模型训练的整个流程,以及所用算法。其中,HMM的观测概率矩阵B由(ck,μk,∑k)表示,ck为GMM概率密度函数和为1的混合系数,μk为均值,∑k为协方差,K均值算法用于参数初始化,EM算法用于参数优化。
步骤B中对CSI幅度预处理具体如下:
首先利用截止频率为50Hz的五阶巴特沃斯低通滤波器(Butterworth)进行CSI去噪,再对CSI序列进行下采样和一阶差分,以平滑数据。
参见图4a-图4d,本发明实施例中对CSI信号进行预处理前后幅度示意图,包括连续行为的图4a原始CSI幅度、图4b经低通去噪后幅度、图4c下采样幅度以及图4d一阶差分幅度。
经过步骤B预处理的CSI幅度信息包括分割点已知的训练数据和分割点未知的测试数据,所述分割点已知的训练数据的CSI幅度信息用于确定测试数据的连续行为分割点,再利用找到的分割点对该测试数据CSI序列进行分割,分割后的测试数据与模型构建时训练数据的CSI相位处理一样,依次经过CSI相位预处理、特征提取、特征矩阵构建。
双重动态阈值连续行为分割方法包括以下步骤:
1)、利用已知分割点的训练数据CSI序列求取静态无活动阈值y1,动态有活动阈值y2,并给采集的分割点未知的CSI序列每个时间点赋予标签。首先根据分割点将经过预处理的连续CSI振幅分为静态无活动和动态有活动两类,并取其绝对值,然后分别计算两部分的基本统计量;定义静态无活动阈值为y1,动态有活动阈值为y2:
y1=0.7μ+0.3med (8)
y2=0.5μ+0.5med (9)
通过将y1和y2与未标记分割点的CSI序列在第i个时间点的振幅绝对值进行比较,可以为该分割点未知的CSI序列的任意时间点分配标签:
式中,标签'0'表示介于静态无行为和动态有行为的“中间状态”,标签'1'表示静态无行为发生,标签'2'表示动态有行为发生。
2)、去除中间状态标签'0'。经过步骤1)处理,得到一个连续的CSI振幅流,标记为'0'、'1'和'2'。中间状态'0'将通过两步重新确定。第一步,重新对标签为'0'的时间点重新分配标签,比如'101'、'202'、'110011'等连续的标签'0'前后有相同的数量的标签'1'或标签'2'时,对该标签'0'重新分配标签'1'或标签'2';第二步通过设置滑动窗口n对仍然存在于CSI序列中的标签'0'对应的时间点进行重新赋标签:
式中,N1和N2分别表示标签'1'和标签'2'在一个滑动窗口内数量。
3)、对CSI序列标签进行优化。去除所有分散在静态标签'1'和动态标签'2'中的中间状态'0'后,进行行为分割点的获取。首先进行标签优化,去除噪声等因素导致的标签误判。设置滑动窗口大小为m,前进步长为1,从第一个时间点开始,依次向前取m-1个时间点,一共使用m个时间点的标签来比较该滑动窗口内标签'1'和'2'出现的次数,给该时间点分配出现次数更多的标签:
式中,Li表示第i个时间点的标签,N1和N2分别表示标签'1'和标签'2'在一个滑动窗口内数量;
每前进一个步长,该时间点的标签都被重新确定,并且标签在每个时间点的确立互不干扰。
4)、获取连续行为分割点。通过不断跟踪CSI信号时间点状态标签的变化来确定活动的起点和终点。当从静态标签'1'过渡到动态状态'2'时,将该时间点标记为T1,当从动态状态'2'过渡到静态标签'1'时,将该时间点标记为T2。如果ΔT=T1-T2大于根据真实标签计算出的平均活动时长(T1,T2)将自动保留为活动的起始点和结束点,即行为分割点。
参见图5a和图5b,本发明实施例中双重动态阈值分割算法图解,包括图5a为去除中间状态标签'0'的第二步和图5b为标签优化。图6a-图6c,为本发明实施例中为了更直观的理解分割算法,从信号处理角度找行为分割点图示,图6a为活动发生时静态状态与动态状态之间的过渡,图6b为通过阈值比较给每个CSI时间点赋予标签以及通过设置滑动窗口和前进步长去除中间状态标签'0'图示,图6c为确定行为分割点图示。
将经过双重动态阈值连续行为分割方法分割后的测试数据构建的特征矩阵输入到训练好的GMM-HMM模型中测试,输出实时测试结果,具体如下:
构建一个持续读取数据器,对原始测试数据进行CSI幅度和相位预处理并保存绘图数据;将测试数据输入GMM-HMM模型中,再给定频次刷新数据,实时输出更新的幅度图、相位差图和测试结果。
参见图7a-图7c,为本发明实施例中实时显示结果,包括图7a为CSI相位差、图7b为CSI幅度以及图7c为人体行为判别结果。其中,动作类别输出图中横轴是时刻,纵轴是动作类别索引,显示的测试结果是对10秒内的动作数据进行判别的输出结果。如,该图中显示的“测试类别为[动作3:行走]”即为对开始测试起的第70s-80s之间采集的数据进行行为判别的结果显示,“[数据处理时间=1.7259s]”即为识别该10s内的行为数据的时间开销。
场景实验
图8为在自采集数据集上识别7种行为的混淆矩阵,图中的每个元素代表用于分类真实行为和预测行为的比例。参见图9a和图9b,实验场地为一间放置有桌椅的7.25m×9.5m的教室,志愿者活动的区域为2.5m×7m,距离地面高度为1.5m的数据采集设备放置在教室两头。收集了来自3名不同体型、年龄、性别的志愿者进行的7种不同行为(推、打电话、行走、奔跑、蹲下、跌倒、躺下)的数据,共收集了630份样本,其中2/3作为训练集,1/3作为测试集。测试结果显示识别7种行为平均精确度在97%以上,其中,对于推、行走、奔跑、蹲下等特征较明显的行为精确度可达100%,说明本发明在整个行为识别中取得了较高的分类准确率。
另一方面,本发明还提供一种基于WiFi信道状态信息的室内行为实时识别***,包括数据获取模块、数据预处理模块、特征矩阵构建模块以及判别模块;
数据获取模块用于获得各个行为下的CSI数据;
数据预处理模块用于对所述CSI数据的相位和幅度进行预处理,得到CSI相位差矩阵和用于连续行为分割的幅度信息;采用双重动态阈值方法确定连续行为的分割点,介于动态有行为发生和静态无行为发生的中间状态,并赋予标签,再通过设置滑动窗口和前进步长来优化标签,最后根据标签变化点和平均活动时长确定连续行为分割点;
特征矩阵构建模块用于根据所述幅度信息确定连续行为的分割点,再用所述分割点对测试数据CSI序列进行分割,构建分割后的测试数据的相位差扩展矩阵;采用双重动态阈值方法确定连续行为的分割点,提出介于动态有行为发生和静态无行为发生的中间状态,并赋予标签,再通过设置滑动窗口和前进步长来优化标签,最后根据标签变化点和平均活动时长确定连续行为分割点;
判别模块用于将所述相位差矩阵用于构建相位差扩展矩阵,再将该扩展矩阵作为特征矩阵输入到高斯混合模型-隐马尔可夫模型中,进行行为实时判别,并输出人体行为的判别结果和运动引起的CSI幅度及相位差变化。
还包括模型训练模块,模型训练模块采用原用于基于人体3D骨骼数据行为识别的高斯混合模型-隐马尔可夫模型,构建的相位差扩展矩阵作为高斯混合模型-隐马尔可夫模型训练的特征,对所述模型进行训练,具体如下:将采集的CSI数据按照2:1的比例划分为训练数据集和测试数据集;对于训练数据集,利用鲍姆韦尔奇算法训练得到隐马尔可夫模型的隐藏概率矩阵A和初始概率矩阵π两个参数;分别利用K均值算法和EM算法对观测概率矩阵B初始化和参数优化;
训练得到隐含有人体行为类别的HMM模型后,输入测试数据,利用前后向算法对每个测试数据计算得到每个模型对应的概率,概率最大值对应模型下的行为即为预测行为。
Claims (7)
1.一种基于WiFi信道状态信息的室内行为实时识别方法,其特征在于,具体过程如下:
获得各个行为下的CSI数据;
对所述CSI数据的相位和幅度进行预处理,得到CSI相位差矩阵和用于连续行为分割的幅度信息;
根据所述幅度信息确定连续行为的分割点,再用所述分割点对测试数据CSI序列进行分割,构建分割后的测试数据的相位差扩展矩阵;采用双重动态阈值方法确定连续行为的分割点,提出介于动态有行为发生和静态无行为发生的中间状态,并赋予标签,再通过设置滑动窗口和前进步长来优化标签,最后根据标签变化点和平均活动时长确定连续行为分割点;双重动态阈值方法确定连续行为的分割点,具体如下:
1)利用已知分割点的训练数据CSI序列求取静态无活动阈值y1,动态有活动阈值y2,并给采集的分割点未知的CSI序列每个时间点赋予标签,所述标签包括“静态无行为发生”、“动态有行为发生”和“中间状态”;
2)去除“中间状态”标签,在连续标签中,“中间状态”标签前后有相同数量标签“静态无行为发生”或“动态有行为发生”时,将中间状态标签重新分配为“静态无行为发生”或“动态有行为发生”标签;
3)设定滑动窗口大小m和步长,在CSI序列中,从第一个时间点开始,依次向前取m-1个时间点,使用m个时间点的标签比较所述滑动窗口内“静态无行为发生”或“动态有行为发生”标签出现的次数,给该时间点分配出现次数更多的标签;
4)将标签变化点作为初始活动分割时间点,然后根据实际标签计算出的平均活动时长对计算出的变换长度进行过滤,满足设定条件的变化点存储为连续行为分割点;
将所述相位差矩阵用于构建相位差扩展矩阵,再将该扩展矩阵作为特征矩阵输入到高斯混合模型-隐马尔可夫模型中,进行行为实时判别,并输出人体行为的判别结果和运动引起的CSI幅度及相位差变化;将原用于基于人体3D骨骼数据行为识别的高斯混合模型-隐马尔可夫模型用到基于WiFi信号的行为识别;将构建的相位差扩展矩阵作为高斯混合模型-隐马尔可夫模型的识别特征,具体的,将获得的CSI数据按照2:1的比例划分为训练数据集和测试数据集;对于训练数据集,利用鲍姆韦尔奇算法训练得到隐马尔可夫模型的隐藏概率矩阵A和初始概率矩阵π两个参数,利用K均值算法和EM算法得到观测概率矩阵B;训练得到隐含有人体行为类别的HMM模型后,输入测试数据,利用前后向算法对每个测试数据计算得到每个模型对应的概率,概率最大值对应模型下的行为即为预测行为。
2.根据权利要求1所述的基于WiFi信道状态信息的室内行为实时识别方法,其特征在于,对CSI信息进行预处理,获得含有人体运动特征的CSI相位差矩阵,所述CSI相位差矩阵用于相位差扩展矩阵的构建,具体如下:
1)解卷绕消除相位模糊性
某接收天线第i个子载波采集到的CSI数据,其采集数据相位可表示为:
式中,表示CSI数据的实际相位,δ和β分别表示信道和设备的非理想性引起的时间和相位偏移,N=64表示OFDM***中FFT窗长度,ki表示接收天线采集的第i个子载波的索引,z表示第i个子载波的环境噪声;
采用Matlab库函数“Unwrap”来消除子载波的相位模糊性,恢复出其真实相位;
2)线性变换消除相位线性误差
设置相位斜率a和偏移量b两个参数:
定义线性变换之后的校正相位:
因子载波ki是对称的,则在忽略噪声z的前提下,校正相位/>已基本消除δ和β偏移,
3)构建接收天线间CSI相位差矩阵
采用3根接收天线和1根发射天线,得到接收天线CSI子载波的相位差随时间变化的矩阵Pdf:
式中,为第k、l个接收天线间的相位差相位,表达式为/>
利用Savitzky-Golay滤波器,消除存在于CSI相位差中的环境突发噪声。
3.根据权利要求1所述的基于WiFi信道状态信息的室内行为实时识别方法,其特征在于,构建相位差扩展矩阵时,在CSI相位差信息的基础上,将相位差序列的均值、标准差、相位差平坦度分布特征也作为识别特征,得到基于相位差矩阵的相位差扩展矩阵。
4.根据权利要求3所述的基于WiFi信道状态信息的室内行为实时识别方法,其特征在于,相位差扩展矩阵具体如下:
式中,为相位差序列,/>相位差序列的均值,/>相位差序列的标准差,/>为相位差序列平坦度,其中/>用来描述相位差序列的分散程度,相位差平坦度矩阵的元素计算公式为:
式中,w为选取的相位差序列时间窗长度,Pdf(k)为相位差序列的第k个的相位差值。
5.根据权利要求1所述的基于WiFi信道状态信息的室内行为实时识别方法,其特征在于,将测试数据输入到训练好的高斯混合模型-隐马尔可夫模型中,实时在线输出测试结果,具体如下:
构建一个持续读取数据器,对原始测试数据进行CSI幅度和相位预处理并保存绘图数据;将测试数据输入高斯混合模型-隐马尔可夫模型中,再给定频次刷新数据,实时输出更新的幅度图、相位差图和测试结果。
6.根据权利要求1所述的基于WiFi信道状态信息的室内行为实时识别方法,其特征在于,对CSI幅度信息预处理,提取用于连续行为分割的幅度特征,具体如下:
利用截止频率为50Hz的五阶巴特沃斯低通滤波器进行CSI去噪,再对CSI序列进行下采样和一阶差分,以消除平滑数据。
7.一种基于WiFi信道状态信息的室内行为实时识别***,其特征在于,包括数据获取模块、数据预处理模块、特征矩阵构建模块以及判别模块;
数据获取模块用于获得各个行为下的CSI数据;
数据预处理模块用于对所述CSI数据的相位和幅度进行预处理,得到CSI相位差矩阵和用于连续行为分割的幅度信息;采用双重动态阈值方法确定连续行为的分割点,介于动态有行为发生和静态无行为发生的中间状态,并赋予标签,再通过设置滑动窗口和前进步长来优化标签,最后根据标签变化点和平均活动时长确定连续行为分割点;双重动态阈值方法确定连续行为的分割点,具体如下:
1)利用已知分割点的训练数据CSI序列求取静态无活动阈值u1,动态有活动阈值y2,并给采集的分割点未知的CSI序列每个时间点赋予标签,所述标签包括“静态无行为发生”、“动态有行为发生”和“中间状态”;
2)去除“中间状态”标签,在连续标签中,“中间状态”标签前后有相同数量标签“静态无行为发生”或“动态有行为发生”时,将中间状态标签重新分配为“静态无行为发生”或“动态有行为发生”标签;
3)设定滑动窗口大小m和步长,在CSI序列中,从第一个时间点开始,依次向前取m-1个时间点,使用m个时间点的标签比较所述滑动窗口内“静态无行为发生”或“动态有行为发生”标签出现的次数,给该时间点分配出现次数更多的标签;
4)将标签变化点作为初始活动分割时间点,然后根据实际标签计算出的平均活动时长对计算出的变换长度进行过滤,满足设定条件的变化点存储为连续行为分割点;
特征矩阵构建模块用于根据所述幅度信息确定连续行为的分割点,再用所述分割点对测试数据CSI序列进行分割,构建分割后的测试数据的相位差扩展矩阵;采用双重动态阈值方法确定连续行为的分割点,提出介于动态有行为发生和静态无行为发生的中间状态,并赋予标签,再通过设置滑动窗口和前进步长来优化标签,最后根据标签变化点和平均活动时长确定连续行为分割点;
判别模块用于将所述相位差矩阵用于构建相位差扩展矩阵,再将该扩展矩阵作为特征矩阵输入到高斯混合模型-隐马尔可夫模型中,进行行为实时判别,并输出人体行为的判别结果和运动引起的CSI幅度及相位差变化;还包括模型训练模块,模型训练模块采用原用于基于人体3D骨骼数据行为识别的高斯混合模型-隐马尔可夫模型,构建的相位差扩展矩阵作为高斯混合模型-隐马尔可夫模型训练的特征,对所述模型进行训练,具体如下:将采集的CSI数据按照2:1的比例划分为训练数据集和测试数据集;对于训练数据集,利用鲍姆韦尔奇算法训练得到隐马尔可夫模型的隐藏概率矩阵A和初始概率矩阵π两个参数;分别利用K均值算法和EM算法对观测概率矩阵B初始化和参数优化;
训练得到隐含有人体行为类别的HMM模型后,输入测试数据,利用前后向算法对每个测试数据计算得到每个模型对应的概率,概率最大值对应模型下的行为即为预测行为。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110920056.9A CN113723221B (zh) | 2021-08-11 | 2021-08-11 | 基于WiFi信道状态信息的室内行为实时识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110920056.9A CN113723221B (zh) | 2021-08-11 | 2021-08-11 | 基于WiFi信道状态信息的室内行为实时识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113723221A CN113723221A (zh) | 2021-11-30 |
CN113723221B true CN113723221B (zh) | 2023-09-08 |
Family
ID=78675510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110920056.9A Active CN113723221B (zh) | 2021-08-11 | 2021-08-11 | 基于WiFi信道状态信息的室内行为实时识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113723221B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114676739B (zh) * | 2022-05-30 | 2022-08-19 | 南京邮电大学 | 一种基于Faster-RCNN的无线信号的时序动作检测和识别方法 |
CN115412188A (zh) * | 2022-08-26 | 2022-11-29 | 福州大学 | 一种基于无线感知的配电站房操作行为识别方法 |
CN116304888A (zh) * | 2023-05-17 | 2023-06-23 | 山东海看新媒体研究院有限公司 | 基于信道状态信息的连续人体活动感知识别方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105446484A (zh) * | 2015-11-19 | 2016-03-30 | 浙江大学 | 一种基于隐马尔科夫模型的肌电信号手势识别方法 |
CN106411433A (zh) * | 2016-09-08 | 2017-02-15 | 哈尔滨工程大学 | 一种基于wlan的细粒度室内被动入侵检测方法 |
CN106658590A (zh) * | 2016-12-28 | 2017-05-10 | 南京航空航天大学 | 基于WiFi信道状态信息多人室内环境状态监控***的设计与实现 |
CN110120218A (zh) * | 2019-04-29 | 2019-08-13 | 东北大学 | 基于gmm-hmm的高速公路大型车辆识别方法 |
CN111597991A (zh) * | 2020-05-15 | 2020-08-28 | 南京邮电大学 | 一种基于信道状态信息和BiLSTM-Attention的康复检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11340345B2 (en) * | 2015-07-17 | 2022-05-24 | Origin Wireless, Inc. | Method, apparatus, and system for wireless object tracking |
-
2021
- 2021-08-11 CN CN202110920056.9A patent/CN113723221B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105446484A (zh) * | 2015-11-19 | 2016-03-30 | 浙江大学 | 一种基于隐马尔科夫模型的肌电信号手势识别方法 |
CN106411433A (zh) * | 2016-09-08 | 2017-02-15 | 哈尔滨工程大学 | 一种基于wlan的细粒度室内被动入侵检测方法 |
CN106658590A (zh) * | 2016-12-28 | 2017-05-10 | 南京航空航天大学 | 基于WiFi信道状态信息多人室内环境状态监控***的设计与实现 |
CN110120218A (zh) * | 2019-04-29 | 2019-08-13 | 东北大学 | 基于gmm-hmm的高速公路大型车辆识别方法 |
CN111597991A (zh) * | 2020-05-15 | 2020-08-28 | 南京邮电大学 | 一种基于信道状态信息和BiLSTM-Attention的康复检测方法 |
Non-Patent Citations (1)
Title |
---|
Xiaoyan Cheng等.Device-Free Human Activity Recognition Based on GMM-HMM Using Channel State Information. IEEE Access.2021,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN113723221A (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113723221B (zh) | 基于WiFi信道状态信息的室内行为实时识别方法及*** | |
Zhang et al. | Deep neural networks for wireless localization in indoor and outdoor environments | |
Widhalm et al. | Transport mode detection with realistic smartphone sensor data | |
CN111045008B (zh) | 基于展宽计算的车载毫米波雷达目标识别方法 | |
CN111505632B (zh) | 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法 | |
CN111399642A (zh) | 手势的识别方法、装置、移动终端和存储介质 | |
CN104318263A (zh) | 一种实时高精度人流计数方法 | |
Cheng et al. | Device-free human activity recognition based on GMM-HMM using channel state information | |
CN113050797A (zh) | 一种通过毫米波雷达实现手势识别的方法 | |
CN103889051A (zh) | 基于ap id过滤和卡尔曼滤波的室内wlan指纹定位方法 | |
Cheng et al. | CSI-based human continuous activity recognition using GMM–HMM | |
CN101256715A (zh) | 无线传感器网络中基于粒子滤波的多车辆声信号分离方法 | |
Zhang et al. | Device-free wireless localization and activity recognition with deep learning | |
CN113537417B (zh) | 基于雷达的目标识别方法、装置、电子设备及存储介质 | |
CN110619264A (zh) | 基于UNet++的微地震有效信号识别方法及装置 | |
CN106503631A (zh) | 一种人群分析方法及计算机设备 | |
US20160259849A1 (en) | System and method for reducing size of raw data by performing time-frequency data analysis | |
CN113033654A (zh) | 基于WiFi信道状态信息的室内入侵检测方法及*** | |
CN111901028B (zh) | 一种基于多天线上csi的人体行为识别方法 | |
CN111698258A (zh) | 一种基于WiFi的环境入侵检测方法和*** | |
CN114048773A (zh) | 一种基于迁移学习和WiFi的行为识别方法及*** | |
CN115291184A (zh) | 一种毫米波雷达与深度学习结合的姿态监测方法 | |
Matthews et al. | An improved storm cell identification and tracking (SCIT) algorithm based on DBSCAN clustering and JPDA tracking methods | |
CN117315886B (zh) | 一种基于uwb雷达的人员即将跌倒检测方法及装置 | |
CN116482680B (zh) | 一种身体干扰识别方法、装置、***和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |