CN112131972A - 一种基于注意力机制使用WiFi数据进行人体行为识别的方法 - Google Patents
一种基于注意力机制使用WiFi数据进行人体行为识别的方法 Download PDFInfo
- Publication number
- CN112131972A CN112131972A CN202010929951.2A CN202010929951A CN112131972A CN 112131972 A CN112131972 A CN 112131972A CN 202010929951 A CN202010929951 A CN 202010929951A CN 112131972 A CN112131972 A CN 112131972A
- Authority
- CN
- China
- Prior art keywords
- network
- attention
- data
- cir
- csi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000007246 mechanism Effects 0.000 title claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims abstract description 4
- 230000000694 effects Effects 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005562 fading Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 230000001934 delay Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 13
- 230000009466 transformation Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
- H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
- H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
- H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
- H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
- H04B7/0619—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal using feedback from receiving side
- H04B7/0621—Feedback content
- H04B7/0626—Channel coefficients, e.g. channel state information [CSI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L25/00—Baseband systems
- H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
- H04L25/0202—Channel estimation
- H04L25/022—Channel estimation of frequency response
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Power Engineering (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提出了一种基于注意力机制使用WiFi数据进行人体行为识别的方法。本发明首先使用一种基于信道状态信息(CSI)的幅值和相位特征的行为识别的方法,能够有效的解决在使用CSI进行行为识别的过程中的特征损的问题。然后利用信道频率响应(CFR)和信道冲激响应(CIR)可以通过傅里叶变换和反变换进行相互转换的原理,计算出WiFi设备所能得到的最小多径时延差之间的多径数据,通过确定经过人体反射和折射的多径信号到达接收机的时延间隔范围,对相关多径信号进行提取。最后使用一种用于CSI行为识别的注意力机制模型,利用注意力机制可以给不同特征分配学习权重的原理,从而实现高鲁棒性的运动序列切割和高精度的基于WiFi数据的人体行为识别。本发明设计的基于WiFi数据的复杂环境中的行为识别算法有效可靠,解决了传统算法无法对受人体影响的多径信号进行提取的问题和特征无法充分利用的问题,同时解决了传统切割算法鲁棒性差的问题,利用深度学习网络提高了***在各种复杂环境下的识别精度和应用潜力。
Description
技术领域
本发明属于行为识别技术,具体涉及到在WiFi***中,可以在复杂环境下,采用WiFi数据的一种使用注意力机制进行人体行为识别的方法。
背景技术
现如今人机交互领域已经成为了最具潜力的发展方向之一,人体活动感知是其中至关重要的技术,在人类生产和生活中起了越来越重要的作用,它在实现诸如智能家居,安全监控和医疗辅助等领域具有巨大的发展前景和应用价值。信道状态信息(CSI)是一种具有高分辨率的细粒度物理层信息,因此,通过使用CSI数据进行高精度的行为识别成为了一种可行的方法。基于计算机视觉方法,捕获并识别人类活动。它可以通过捕获图像中人类活动的相关特征来识别人类活动。但是计算机视觉具有大量数据和复杂的计算。通过使用计算机视觉来识别人类活动,它可以用于操作游戏界面等。人类活动识别是目前最有潜力的技术之一,在人机交互中起着重要作用,如智能家居,安全监控,医疗帮助等。在以前的研究中,研究人员提出了使用不同技术的各种人类活动识别***。例如,基于可穿戴式传感器的方法,基于计算机视觉的方法,基于环境设备的方法等。但是,这些技术存在问题不便之处或环境限制。此外,特殊设备需要在检测区域内部署,以实现人类活动识别。基于无线信号的方法成本低廉且易于部署,最普遍的方法之一就是使用普通的家用WiFi。基于WiFi的无设备人体活动识别***不需要被检测目标携带的任何设备,并且不受照明环境的影响,甚至可以在穿墙场景下实现人体活动识别。早期基于WiFi设备的人类活动识别算法主要是使用信号强度指示信息(RSSI)实现的。但是,RSSI是一种粗粒度数据,信道状态信息(CSI)是一种细粒度的物理层信息,包括幅度和相位这两种数据特征。随着WiFi技术的发展,CSI开始取代RSSI,成为更具潜力的研究方向。
传统的人体行为识别***中,由于CSI相位信息中包含的误差较多,大多通过分析CSI的幅值变化趋势,并根据幅值的变化进行运动片段切割和特征提取。除此之外,对于CSI进行的特征提取过程(比如数学统计特征的提取)会导致CSI的大量有用信息的损失,这限制了该***的性能。同时现有的运动片段切割算法一般是在处理后人为的设定阈值作为检测活动开始和结束的标志,这种方法一旦被检测目标或者环境发生了变化,就需要重新设定阈值或者训练***,所以会导致运动片段切割的错误或者不完整。而且,之前的人体行为识别***大量使用鲁棒性差且识别效率低的分类器,例如k最近邻(KNN)分类算法和支持向量机(SVM)。在识别相似动作时,此类***的识别准确率不能够满足商用要求。所以在最近的工作中开始关注对CSI中包含的相位信息的提取和使用,但是并没根据幅值和行为信息的不同设计相应的方法区别利用,这种不合适的使用甚至会降低识别精度。本发明提出了一种自适应多径选择算法,该算法可以提取有效的多径信号。同时本发明设计了一种端到端的行为识别方法,以减少数据处理过程中有效信息的丢失。通过设计一种基于长短记忆网络(LSTM)的时频注意力网络,使用注意力机制代替传统的序列分割算法,可以有效在复杂环境中的进行目标行为识别。
发明内容
本发明的目的是在WiFi***下,提供一种基于WiFi数据人体行为识别的方法,它能够在光线不良或者遮挡的复杂环境中,使用WiFi数据作为特征,实现高识别精度和高鲁棒性的人体行为识别。
本发明所述为一种基于WiFi的人体行为识别方法,具体包括以下步骤:
步骤一:已知无线***是一个窄带平坦衰落信道,我们可以假设
Yt=HtZt+Nt,
其中,Yt和Zt分别表示在第t(1≤t≤T)个数据包中接收方接收的数据和发送方发送的数据,T代表接收到的数据包的总数。Ht和Nt分别表示CSI数据和噪声。设I和K代表天线和子载波的总个数。我们可以利用Intel5300网卡获取WiFi信号信道状信息(CSI)信息,假设WiFi设备天线个数为I,子载波个数为K,将第t个数据包表示为Ηt,t为正整数:
其中,csit,i,k表示第t(1≤t≤T)个CSI数据包中第i(1≤i≤I)根天线的第k(1≤k≤K)个子载波上的CSI数据。
步骤二:在WiFi***中,使用正交频分复用(OFDM)将信道宽带选择性衰落分为多个重叠的正交窄带平坦衰落信道,这不仅减弱了码间干扰(ISI)的影响,而且大大提高了无线信道的利用率。我们可以通过傅立叶变换和逆傅里叶变换对信道频率响应(CFR)和信道冲激响应(CIR)进行相互转换:
ht,i=F-1[Ht,i]=(ht,i,1,…,ht,i,Δτ,…,ht,i,M),
其中F-1[·]代表傅里叶逆变换,ht,i代表我们所求的第t个数据包中第i条天线所采集数据CIR的,ht,i,Δτ代表CIR中的第Δτ个多径信息。
步骤三:由于设备之间的同步误差和信道中信号的传播延迟的影响,在获得的实际数据中,CIR会有一定的延迟滞后,并且从不同的数据包获得的CIR中的延迟滞后也存在差异。我们通过统计分析CIR的变化趋势,发现当视线传输(LOS)路径的信号到达接收器时,幅度会突然改变,突变后的多径幅度将逐渐下降到最小值。LOS信号到达后,此最小路径信号到达约500ns。然后,CIR逐渐返回到平滑波动,这与通道中的噪声信号非常相似。由此我们可以推断出,在每个CSI数据包中,CIR幅值的突变值和最小值之间的数据就是我们需要的路径的数据。因此,我们通过以下计算选择所需延迟范围内的数据:
Δt,i,Δτ=ht,i,Δτ-ht,i,Δτ-1,
步骤四:接下来,本发明计算CSI的幅值和相位信息,然后使用巴特沃思滤波器直接滤波CSI的幅值数据,对相位信息进行解卷绕和线性误差消除。在获取到真实相位信息后我们使用与上一个数据包之间的幅值差和相位差作为特征。本发明将处理过的幅值和相位数据重构为:
其中,
步骤五:本发明提出了一种具有时频注意力机制的多层长短期记忆人工神经网络(LSTM),用于人类活动的识别。该模型在通过频率注意模块输入的每个序列特征中自动选择有价值的子载波特征,并通过时间注意模块将不同的注意分配给不同的时间序列。图1显示了总体架构,它由LSTM主网络,中间网络,时间注意力子网络和频率注意力子网络组成。是频率注意子网和时域注意子网的输出,分别用于为序列和特征分配权重。yt和zt分别是中间网络和主网络的输出。
在每个时间序列t时,子载波特征集为xt,注意力子网络会为每个特征分配唯一的注意力权重,注意力权重的集合为αt:
其中Wgα是可以学习的参数矩阵,bα是偏差矢量,而是LSTM层的隐藏变量。我们使用softmax作为频率注意子网的激活函数来获得频率注意权重。该子网控制每个特征传输到主网络的信息量。如图1所示,输入到下一个网络模块的信息为
在时间注意力子网络中,使用具有良好收敛性能的Relu作为激活函数,并将不同的关注βt分配给不同的序列,其中:
其中,pc代表人体正在进行第c种动作的概率,最终概率最大的动作即为我们所识别出的动作,即max(p1,p2,…,pC)。
步骤七:本发明将序列的常规互熵损失函数用于时频注意力网络:
其中li表示数据的标签,如果它属于第i类,则li=1,如果不属于第i类,则li=0。li'代表神经网络模型预测为第i类的概率为li'=pi。λ1,λ2是控制正则化程度的超参数,分别设置为0.01、0.001。
有益效果
本发明提出了一种基于注意力机制使用WiFi数据进行人体行为识别的方法。本发明首先使用一种基于信道状态信息(CSI)的幅值和相位特征的行为识别的方法,能够有效的解决在使用CSI进行行为识别的过程中的特征损的问题。然后利用信道频率响应(CFR)和信道冲激响应(CIR)可以通过傅里叶变换和反变换进行相互转换的原理,计算出WiFi设备所能得到的最小多径时延差之间的多径数据,通过确定经过人体反射和折射的多径信号到达接收机的时延间隔范围,对相关多径信号进行提取。最后使用一种用于CSI行为识别的注意力机制模型,利用注意力机制可以给不同特征分配学习权重的原理,从而实现高鲁棒性的运动序列切割和高精度的基于WiFi数据的人体行为识别。本发明设计的基于WiFi数据的复杂环境中的行为识别算法有效可靠,解决了传统算法无法对受人体影响的多径信号进行提取的问题和特征无法充分利用的问题,同时解决了传统切割算法鲁棒性差的问题,利用深度学习网络提高了***在各种复杂环境下的识别精度和应用潜力。
附图说明
图1为本发明所提出的深度学习网络结构图
图2为本发明所提出的算法行为识别准确率
图3为本发明的流程框图
具体实施方案
步骤一:已知无线***是一个窄带平坦衰落信道,我们可以假设
Yt=HtZt+Nt,
其中,Yt和Zt分别表示在第t(1≤t≤T)个数据包中接收方接收的数据和发送方发送的数据,T代表接收到的数据包的总数。Ht和Nt分别表示CSI数据和噪声。设I和K代表天线和子载波的总个数。我们可以利用Intel5300网卡获取WiFi信号信道状信息(CSI)信息,假设WiFi设备天线个数为I,子载波个数为K,将第t个数据包表示为Ηt,t为正整数:
其中,csit,i,k表示第t(1≤t≤T)个CSI数据包中第i(1≤i≤I)根天线的第k(1≤k≤K)个子载波上的CSI数据。
步骤二:在WiFi***中,使用正交频分复用(OFDM)将信道宽带选择性衰落分为多个重叠的正交窄带平坦衰落信道,这不仅减弱了码间干扰(ISI)的影响,而且大大提高了无线信道的利用率。我们可以通过傅立叶变换和逆傅里叶变换对信道频率响应(CFR)和信道冲激响应(CIR)进行相互转换:
ht,i=F-1[Ht,i]=(ht,i,1,…,ht,i,Δτ,…,ht,i,M),
其中F-1[·]代表傅里叶逆变换,ht,i代表我们所求的第t个数据包中第i条天线所采集数据CIR的,ht,i,Δτ代表CIR中的第Δτ个多径信息。
步骤三:由于设备之间的同步误差和信道中信号的传播延迟的影响,在获得的实际数据中,CIR会有一定的延迟滞后,并且从不同的数据包获得的CIR中的延迟滞后也存在差异。我们通过统计分析CIR的变化趋势,发现当视线传输(LOS)路径的信号到达接收器时,幅度会突然改变,突变后的多径幅度将逐渐下降到最小值。LOS信号到达后,此最小路径信号到达约500ns。然后,CIR逐渐返回到平滑波动,这与通道中的噪声信号非常相似。由此我们可以推断出,在每个CSI数据包中,CIR幅值的突变值和最小值之间的数据就是我们需要的路径的数据。因此,我们通过以下计算选择所需延迟范围内的数据:
Δt,i,Δτ=ht,i,Δτ-ht,i,Δτ-1,
步骤四:接下来,本发明计算CSI的幅值和相位信息,然后使用巴特沃思滤波器直接滤波CSI的幅值数据,对相位信息进行解卷绕和线性误差消除。在获取到真实相位信息后我们使用相邻数据包之间的幅值差和相位差作为特征。本发明将处理过的幅值和相位数据重构为:
其中,
步骤五:本发明提出了一种具有时频注意力机制的多层长短期记忆人工神经网络(LSTM),用于人类活动的识别。该模型在通过频率注意模块输入的每个序列特征中自动选择有价值的子载波特征,并通过时间注意模块将不同的注意分配给不同的时间序列。图1显示了总体架构,它由LSTM主网络,中间网络,时间注意力子网络和频率注意力子网络组成。是频率注意子网和时域注意子网的输出,分别用于为序列和特征分配权重。yt和zt分别是中间网络和主网络的输出。
在每个时间序列t时,子载波特征集为xt,注意力子网络会为每个特征分配唯一的注意力权重,注意力权重的集合为αt:
其中Wgα是可以学习的参数矩阵,bα是偏差矢量,而是LSTM层的隐藏变量。我们使用softmax作为频率注意子网的激活函数来获得频率注意权重。该子网控制每个特征传输到主网络的信息量。如图1所示,输入到下一个网络模块的信息为
在时间注意力子网络中,使用具有良好收敛性能的Relu作为激活函数,并将不同的关注βt分配给不同的序列,其中:
其中,pc代表人体正在进行第c种动作的概率,最终概率最大的动作即为我们所识别出的动作,即max(p1,p2,…,pC)。
步骤七:本发明将序列的常规互熵损失函数用于时频注意力网络:
其中li表示数据的标签,如果它属于第i类,则li=1,如果不属于第i类,则li=0。li'代表神经网络模型预测为第i类的概率为li'=pi。λ1,λ2是控制正则化程度的超参数,分别设置为0.01、0.001。
Claims (3)
1.一种基于注意力机制使用WiFi数据进行人体行为识别方法,包括以下步骤:
步骤一:假设WiFi设备天线个数为I,子载波个数为K,利用Intel5300网卡获取WiFi信号信道状态信息(CSI)信息,将第t个数据包表示为Ηt,t为正整数。csit,i,k表示第t(1≤t≤T)个CSI数据包中第i(1≤i≤I)根天线的第k(1≤k≤K)个子载波上的CSI数据。
步骤二:在WiFi***中,使用正交频分复用(OFDM)将信道宽带选择性衰落分为多个重叠的正交窄带平坦衰落信道,这不仅减弱了码间干扰(ISI)的影响,而且大大提高了无线信道的利用率。我们可以通过傅立叶变换和逆傅里叶变换对信道频率响应(CFR)和信道冲激响应(CIR)进行相互转换。ht,i代表我们所求的第t个数据包中第i条天线所采集数据的CIR,ht,i,Δτ代表CIR中的第Δτ个多径信息。
步骤三:因此,我们通过相关计算选择所需延迟范围内的数据,其中,我们对CIR进行一阶正向差分后计算其最大值,以定位多径选择的起点。同时由于信道噪声的影响,我们无法直接确定最小值的位置,因此我们使用CIR移动平均值的最小值确定多路选择延迟的结束时延。
步骤四:接下来,我们计算CSI的幅值差和相位差信息,构建神经网络输入特征矩阵;
步骤五:发明提出了一种具有时频注意力机制的多层长短期记忆人工神经网络(LSTM),用于人类活动的识别。该模型在通过频率注意模块输入的每个序列特征中自动选择有价值的子载波特征,并通过时间注意模块将不同的注意分配给不同的时间序列。图1显示了总体架构,它由LSTM主网络,中间网络,时间注意力子网络和频率注意力子网络组成。
步骤六:对于活动的分类,本发明使用一种主网络的输出zt来进行计算行为识别结果的方法。
步骤七:本发明提出了一种损失函数计算公式,并通过采集数据测试,确定了相关参数λ1,λ2分别设置为0.01、0.001。
2.根据权利要求1所述的一种基于注意力机制使用WiFi数据进行人体行为识别方法,所述步骤三,通过分析CIR中不同时延差的数据变化,提出一种有效多径提取的方法,包括以下步骤:
由于设备之间的同步误差和信道中信号的传播延迟的影响,在获得的实际数据中,CIR会有一定的延迟滞后,并且从不同的数据包获得的CIR中的延迟滞后也存在差异。我们通过统计分析CIR的变化趋势,发现当视线传输(LOS)路径的信号到达接收器时,幅度会突然改变,突变后的多径幅度将逐渐下降到最小值。LOS信号到达后,此最小路径信号到达约500ns。然后,CIR逐渐返回到平滑波动,这与通道中的噪声信号非常相似。由此我们可以推断出,在每个CSI数据包中,CIR幅值的突变值和最小值之间的数据就是我们需要的路径的数据。因此,我们通过以下计算选择所需延迟范围内的数据:
Δt,i,Δτ=ht,i,Δτ-ht,i,Δτ-1,
3.根据权利要求1所述的一种基于注意力机制使用WiFi数据进行人体行为识别方法,所述步骤五,通过设计一种深度学习网络模型,实现高鲁棒性、高精度的人体行为识别,包括以下步骤:
本发明提出了一种具有时频注意力机制的多层LSTM网络,用于人类活动的识别。该模型在通过频率注意模块输入的每个序列特征中自动选择有价值的子载波特征,并通过时间注意模块将不同的注意分配给不同的时间序列。图1显示了总体架构,它由LSTM主网络,中间网络,时间注意力子网络和频率注意力子网络组成。是频率注意子网和时域注意子网的输出,分别用于为序列和特征分配权重。yt和zt分别是中间网络和主网络的输出。
在每个时间序列t时,子载波特征集为xt,注意力子网络会为每个特征分配唯一的注意力权重,注意力权重的集合为αt:
其中Wgα是可以学习的参数矩阵,bα是偏差矢量,而是LSTM层的隐藏变量。我们使用softmax作为频率注意子网的激活函数来获得频率注意权重。该子网控制每个特征传输到主网络的信息量。如图1所示,输入到下一个网络模块的信息为
在时间注意力子网络中,使用具有良好收敛性能的Relu作为激活函数,并将不同的关注βt分配给不同的序列,其中:
其中,pc代表人体正在进行第c种动作的概率,最终概率最大的动作即为我们所识别出的动作,即max(p1,p2,…,pC)。
本发明将序列的常规互熵损失函数用于时频注意力网络:
其中li表示数据的标签,如果它属于第i类,则li=1,如果不属于第i类,则li=0。l′i代表神经网络模型预测为第i类的概率为l′i=pi。λ1,λ2是控制正则化程度的超参数,分别设置为0.01、0.001。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010929951.2A CN112131972B (zh) | 2020-09-07 | 2020-09-07 | 一种基于注意力机制使用WiFi数据进行人体行为识别的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010929951.2A CN112131972B (zh) | 2020-09-07 | 2020-09-07 | 一种基于注意力机制使用WiFi数据进行人体行为识别的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112131972A true CN112131972A (zh) | 2020-12-25 |
CN112131972B CN112131972B (zh) | 2022-07-12 |
Family
ID=73848466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010929951.2A Active CN112131972B (zh) | 2020-09-07 | 2020-09-07 | 一种基于注意力机制使用WiFi数据进行人体行为识别的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112131972B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112883905A (zh) * | 2021-03-15 | 2021-06-01 | 福州大学 | 基于粗粒度时频特征与多层级融合学习的人体行为识别方法 |
CN112953659A (zh) * | 2021-01-26 | 2021-06-11 | 电子科技大学 | 一种信道状态信息csi幅度指纹优化方法 |
CN114048773A (zh) * | 2021-11-10 | 2022-02-15 | 厦门大学 | 一种基于迁移学习和WiFi的行为识别方法及*** |
CN114513274A (zh) * | 2022-04-15 | 2022-05-17 | 清华大学 | 面向互联网的多跳高精度时间同步协议实现方法及装置 |
CN115001604A (zh) * | 2022-05-19 | 2022-09-02 | 浙江启真医健科技有限公司 | 基于WiFi微控制器的人体感知方法和*** |
CN117725369A (zh) * | 2024-02-07 | 2024-03-19 | 合肥工业大学 | 一种环境鲁棒的WiFi信号行为识别方法及*** |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100073202A1 (en) * | 2008-09-25 | 2010-03-25 | Mazed Mohammad A | Portable internet appliance |
CN102662472A (zh) * | 2012-04-10 | 2012-09-12 | 苏州中科启慧软件技术有限公司 | 基于肢体动作的学习方法及其云服务*** |
CN104898831A (zh) * | 2015-05-08 | 2015-09-09 | 中国科学院自动化研究所北仑科学艺术实验中心 | 人体动作采集和动作识别***及其控制方法 |
CN106604394A (zh) * | 2016-12-28 | 2017-04-26 | 南京航空航天大学 | 一种基于csi的判定室内人体运动速度模型 |
CN106778538A (zh) * | 2016-11-28 | 2017-05-31 | 上海工程技术大学 | 基于层次分析法的智能驾驶行为评判方法 |
CN107895460A (zh) * | 2017-10-25 | 2018-04-10 | 湖南大学 | 一种利用静态图像人体行为识别技术纠正儿童坐姿的装置 |
CN108216252A (zh) * | 2017-12-29 | 2018-06-29 | 中车工业研究院有限公司 | 一种地铁司机车载驾驶行为分析方法、车载终端及*** |
CN108805194A (zh) * | 2018-06-04 | 2018-11-13 | 上海交通大学 | 一种基于wifi信道状态信息的手写识别方法及*** |
CN109151707A (zh) * | 2018-01-22 | 2019-01-04 | 中南大学 | 一种移动状态下的视距/非视距路径识别方法 |
CN109543575A (zh) * | 2018-11-09 | 2019-03-29 | 深圳市云兴科技有限公司 | 基于行为轨迹和动态多维度信息反馈激发大数据的方法和区域多维度探测反馈组合设备 |
CN109784280A (zh) * | 2019-01-18 | 2019-05-21 | 江南大学 | 基于Bi-LSTM-Attention模型的人体行为识别方法 |
CN109947238A (zh) * | 2019-01-17 | 2019-06-28 | 电子科技大学 | 一种基于wifi的非合作式手势识别的方法 |
CN111091045A (zh) * | 2019-10-25 | 2020-05-01 | 重庆邮电大学 | 一种基于时空注意力机制的手语识别方法 |
CN111115400A (zh) * | 2018-10-30 | 2020-05-08 | 奥的斯电梯公司 | 检测电梯井道中的电梯维护行为的***和方法 |
CN111597991A (zh) * | 2020-05-15 | 2020-08-28 | 南京邮电大学 | 一种基于信道状态信息和BiLSTM-Attention的康复检测方法 |
CN111601088A (zh) * | 2020-05-27 | 2020-08-28 | 大连成者科技有限公司 | 一种基于单目摄像头坐姿识别技术的坐姿监控*** |
-
2020
- 2020-09-07 CN CN202010929951.2A patent/CN112131972B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100073202A1 (en) * | 2008-09-25 | 2010-03-25 | Mazed Mohammad A | Portable internet appliance |
CN102662472A (zh) * | 2012-04-10 | 2012-09-12 | 苏州中科启慧软件技术有限公司 | 基于肢体动作的学习方法及其云服务*** |
CN104898831A (zh) * | 2015-05-08 | 2015-09-09 | 中国科学院自动化研究所北仑科学艺术实验中心 | 人体动作采集和动作识别***及其控制方法 |
CN106778538A (zh) * | 2016-11-28 | 2017-05-31 | 上海工程技术大学 | 基于层次分析法的智能驾驶行为评判方法 |
CN106604394A (zh) * | 2016-12-28 | 2017-04-26 | 南京航空航天大学 | 一种基于csi的判定室内人体运动速度模型 |
CN107895460A (zh) * | 2017-10-25 | 2018-04-10 | 湖南大学 | 一种利用静态图像人体行为识别技术纠正儿童坐姿的装置 |
CN108216252A (zh) * | 2017-12-29 | 2018-06-29 | 中车工业研究院有限公司 | 一种地铁司机车载驾驶行为分析方法、车载终端及*** |
CN109151707A (zh) * | 2018-01-22 | 2019-01-04 | 中南大学 | 一种移动状态下的视距/非视距路径识别方法 |
CN108805194A (zh) * | 2018-06-04 | 2018-11-13 | 上海交通大学 | 一种基于wifi信道状态信息的手写识别方法及*** |
CN111115400A (zh) * | 2018-10-30 | 2020-05-08 | 奥的斯电梯公司 | 检测电梯井道中的电梯维护行为的***和方法 |
CN109543575A (zh) * | 2018-11-09 | 2019-03-29 | 深圳市云兴科技有限公司 | 基于行为轨迹和动态多维度信息反馈激发大数据的方法和区域多维度探测反馈组合设备 |
CN109947238A (zh) * | 2019-01-17 | 2019-06-28 | 电子科技大学 | 一种基于wifi的非合作式手势识别的方法 |
CN109784280A (zh) * | 2019-01-18 | 2019-05-21 | 江南大学 | 基于Bi-LSTM-Attention模型的人体行为识别方法 |
CN111091045A (zh) * | 2019-10-25 | 2020-05-01 | 重庆邮电大学 | 一种基于时空注意力机制的手语识别方法 |
CN111597991A (zh) * | 2020-05-15 | 2020-08-28 | 南京邮电大学 | 一种基于信道状态信息和BiLSTM-Attention的康复检测方法 |
CN111601088A (zh) * | 2020-05-27 | 2020-08-28 | 大连成者科技有限公司 | 一种基于单目摄像头坐姿识别技术的坐姿监控*** |
Non-Patent Citations (2)
Title |
---|
ZHENGJIE WANG等: "A Survey on Human Behavior Recognition Using Channel State Information", 《IEEE》 * |
周启臻等: "基于连续图像深度学习的Wi-Fi人体行为识别方法", 《通信学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112953659A (zh) * | 2021-01-26 | 2021-06-11 | 电子科技大学 | 一种信道状态信息csi幅度指纹优化方法 |
CN112883905A (zh) * | 2021-03-15 | 2021-06-01 | 福州大学 | 基于粗粒度时频特征与多层级融合学习的人体行为识别方法 |
CN112883905B (zh) * | 2021-03-15 | 2023-04-18 | 福州大学 | 基于粗粒度时频特征与多层融合学习的人体行为识别方法 |
CN114048773A (zh) * | 2021-11-10 | 2022-02-15 | 厦门大学 | 一种基于迁移学习和WiFi的行为识别方法及*** |
CN114513274A (zh) * | 2022-04-15 | 2022-05-17 | 清华大学 | 面向互联网的多跳高精度时间同步协议实现方法及装置 |
CN114513274B (zh) * | 2022-04-15 | 2022-07-26 | 清华大学 | 面向互联网的多跳高精度时间同步协议实现方法及装置 |
CN115001604A (zh) * | 2022-05-19 | 2022-09-02 | 浙江启真医健科技有限公司 | 基于WiFi微控制器的人体感知方法和*** |
CN115001604B (zh) * | 2022-05-19 | 2024-04-12 | 杭州一炜科技有限公司 | 基于WiFi微控制器的人体感知方法和*** |
CN117725369A (zh) * | 2024-02-07 | 2024-03-19 | 合肥工业大学 | 一种环境鲁棒的WiFi信号行为识别方法及*** |
CN117725369B (zh) * | 2024-02-07 | 2024-05-17 | 合肥工业大学 | 一种环境鲁棒的WiFi信号行为识别方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN112131972B (zh) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112131972B (zh) | 一种基于注意力机制使用WiFi数据进行人体行为识别的方法 | |
Yousefi et al. | A survey on behavior recognition using WiFi channel state information | |
US11675066B2 (en) | Motion detection and classification using ambient wireless signals | |
Ding et al. | WiFi CSI-based human activity recognition using deep recurrent neural network | |
Feng et al. | Wi-multi: A three-phase system for multiple human activity recognition with commercial wifi devices | |
Zhou et al. | Device-free localization based on CSI fingerprints and deep neural networks | |
CN108924736B (zh) | 一种基于PCA-Kalman的无源室内人员状态检测方法 | |
WO2020170221A1 (en) | Handling concept drift in wi-fi-based localization | |
CN109672485B (zh) | 基于信道状态信息室内人员实时入侵及运动速度检测方法 | |
Yang et al. | Temporal-frequency attention-based human activity recognition using commercial WiFi devices | |
CN110475221B (zh) | 一种基于信道状态信息的人员动作识别和位置估计方法 | |
CN108038419B (zh) | 基于Wi-Fi的室内人员被动检测方法 | |
CN113453180B (zh) | 一种人体摔倒智能检测方法、***、信息数据处理终端 | |
CN107340517B (zh) | 一种多传感器多帧检测前跟踪方法 | |
CN110730473A (zh) | 面向WiFi活动识别的信号特征提取方法 | |
Bahadori et al. | ReWiS: Reliable Wi-Fi sensing through few-shot multi-antenna multi-receiver CSI learning | |
Sabek et al. | MonoStream: A minimal-hardware high accuracy device-free WLAN localization system | |
CN103684524A (zh) | 一种基于uwb通信信号的目标识别方法 | |
CN114781463A (zh) | 一种跨场景鲁棒的室内摔倒无线检测方法及相关设备 | |
Khamayseh et al. | Cooperative spectrum sensing in cognitive radio networks: a survey on machine learning-based methods | |
CN116343261A (zh) | 基于多模态特征融合与小样本学习的手势识别方法和*** | |
Yousefi et al. | A survey of human activity recognition using wifi CSI | |
Man et al. | PWiG: A phase-based wireless gesture recognition system | |
Li et al. | Dynamic spectrum tracking using energy and cyclostationarity-based multi-variate non-parametric quickest detection for cognitive radios | |
Fan et al. | Single-site indoor fingerprint localization based on MIMO-CSI |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |