CN109918959A - 一种基于rfid成像的多人轨迹追踪方法 - Google Patents

Abstract

本发明公开了一种基于RFID成像的多人轨迹追踪方法，站在部署在货架上的射频识别(RFID)标签与RFID读写器之间的顾客的移动改变RFID信号追踪路径和(接受信号强度)RSS与RFID相位值，基于读写器观察到的RSS和相位值的这些变化，TagSee使用深度学习技术构建了顾客的粗粒度图像。而后，TagSee通过分析构建的图像来识别顾客正在浏览的商品。本申请通过鲁棒的、基于深度学习的RFID图像构造粗粒度图像，实现对购物活动中多人活动跟踪，使用一台Impinj Speedway R420读写器和多个SMARTRAC DogBone RFID标签实现TagSee***。

Description

一种基于RFID成像的多人轨迹追踪方法

技术领域

本发明应用于零售商店等使用现有的RFID设备来有效地前对正在浏览商品的顾客活动进行成像与活动监控，具体而言，本发明涉及一种基于RFID成像的多人轨迹追踪方法。

背景技术

基于RFID的活动监控最近已成为跟踪实体零售店中顾客活动的一种方式。获取顾客活动信息具有重要意义，因为顾客在浏览商品上花费的时间可以表明顾客对该商品感兴趣的程度。制造商可以使用此类信息来改善其商品的质量，例如美观程度。此外，零售商可以将这些信息用于决定零售物品的放置策略。然而，现有的用于实体零售店基于RFID的***中的顾客活动跟踪方案有主要两个不足。首先，它们需要顾客与带有标签的商品进行接触，进而检测人们对服装店等场所的兴趣程度。其次，它们不适用于实际最常见的多人追踪环境。为此，我们寻求利用COTS RFID设备来监控零售商店中的顾客的浏览活动。

发明内容

针对现有技术中存在的问题，本发明提出了一种基于RFID成像的多人轨迹追踪方法，***TagSee包括一套RFID标签和RFID读写器，标签和读写器都是COTS商品。标签部署在货架两侧。适当选择部署读写器的位置以使顾客位于被监控的货架和读写器之间。随着位于标签和读取器之间的顾客的移动，RFID信号传播的路径发生变化，因此RFID读写器接收到的RSS和相位值也会变化。基于这些变化，TagSee使用深度学习技术构建顾客和标签的粗粒度图像。然后，TagSee通过分析构建的图像来确定顾客正在浏览的不同商品类别的受欢迎程度。本文的关键新颖之处在于使用现有的RFID设备和协议实现多人成像和活动跟踪。TagSee不仅适用于多人购物场景，同时适用于顾客与显示商品之间没有接触的商业场景，并且不需要添加任何设备到货架物品或顾客身上。

为了实现上述发明目的，本发明采用的技术方案为：一种基于RFID成像的多人轨迹追踪方法方法，***TagSee包括一套RFID标签和RFID读写器，标签和读写器都是COTS商品，其特征在于：

首先在Z轴上点P_z处建立一个平行于X-Y轴的图像平面，将图像平面划分为体素，使得沿着X轴部署的每个标签之间距离p_x体素，沿着Y轴部署每个标签之间的距离p_y体素，并且最左下方体素和最右上方体素的坐标分别是(0，0)和(Max_x,Max_y)，然后，根据变化的衰减x和M×N权重矩阵W来写入，其中M＝链路数，N＝图像平面中的体素数量，指定每个链接对在每个不同体素处衰减中观察到的变化的贡献是y_rss＝Wx+n，其中n对应于衰减和测量噪声；

通过在RF链路的两个节点之间采用菲涅耳区的概念来模拟权重矩阵，并使用以网络中不同RF节点的位置为中心的虚拟椭球来确定覆盖监视区域的图像平面中的不同体素的权重；椭圆体确定每个相应链路的LOS路径，并且如果体素与链路的LOS路径相交相比于不属于LOS的体素将被赋予更多权重；针对所有链路获得的RSS差值重建图像，将最小二乘解计算x_LS＝P×y_rss，其中P＝(W^TW)^-1W^T；

估计路径损耗的变化：TX-Tag-RX链路的正向和反向信道都是对称的，每个标签和读取器天线对之间存在一组假想的对称椭球，图像平面切割每个TX-Tag-RX链路之间的菲涅耳区域；权重被分配给图像平面的每个体素，基于它们是否落入TX-Tag-RX链接的假想椭球内部，给定对应于每个标签k的TX-Tag-RX链路的自由空间路径损耗指数的值为4，在校准阶段，初始值为β_k,init＝4+Φ_k,init；监视模式阶段缓冲区B_mon的每次新更新，新的β_k,new＝4+Φ_k,new，根据天线a(y_rss,k)读取的标签k的RSS变化，在路径损耗指数中写出这种变化是

由于RFID读写器使用多个频率，使用这些频率的平均值并选择λ＝λ_avg，TagSee为图像平面上的每个体素分配权重为如果d_kj,1+d_kj,2＜d+Θ，则w_kj＝0；其中d是读写器和标签对于链路k的距离，d_kj,1是从像素j的中心到标签的距离和d_kj,2是从对应于链路k的像素j的中心到与读写器天线的距离，Θ是描述椭圆体宽度的参数；使用通用方程计算链路中间任意点的第一菲涅耳区半径，将Θ写为其中Θ₀是一个环境和RFID基础设施相关参数，调整这些参数以实现合理的成像结果；

最后，TagSee采用正则化技术，通过确定每个体素的衰减值为来重建图像，其中D_X和D_Y分别是沿X和Y方向的微分算子，以适应沿这些轴的RSS值衰减影响的扩散，控制着RSS衰减对图像的相邻像素的影响的空间相关性，基于指数空间衰减模型通过近似获得C_x，其中D_p是距离方阵，包含每对沿虚拟图像平面的像素之间的距离，σ_x是由于人体运动引起的先验方差，σ_N是像素值中的噪声的先验方差；

TagSee沿Z轴建立多个图像平面，然后取相应重建图像的平均值，调整这些图像平面的位置以获得最佳效果。

将线性***x＝P×y_rss建模为深度神经网络，其中y_rss对应于第一层的输入，x对应于最后一层的输出，并且图像重建矩阵P对应输入和输出之间的所有层的组合；基于DNN的成像***，图像重建矩阵捕获人体障碍物对RFID通道中引入的衰减的线性以及与之相关的非线性影响；DNN的前两层为整流线性层，接下来两层为tanh层，最后两层为sigmoid形层；整流线性层的输出始终为非负实数，tanh层的输出保持在-1和1之间，sigmoid层的输出始终保持在0和1之间。

TagSee通过在部署标签的空间分布上移动大小为k_cw列的窗口，从对应于天线的每个新RSS差异向量y_rss创建多个新向量对于每个窗口i，TagSee仅将那些值从y_rss复制到这些值对应于该窗口中包含的标签，并用高斯分布分布的标准偏差值(2·σ_k,a,rss)的两倍替换剩余标签对应的值；当没有障碍物时，分别对这些标签观察到的RSS差值进行建模，在校准模式期间，标签在约定时间内完成；对于k_x列的标签，TagSee首先生成k_x-k_w+1个新向量然后，使用基于DNN的RFID成像技术，使用所有向量重建图像，然后在通过2D滤波器之后合并所有向量，以输出最终图像。

TagSee根据这些商品的受欢迎程度跟踪顾客对不同商品的活动，在监控模式下，TagSee将最终重建的图像帧提供给Blob分析模块，该模块使用一些初始帧确定背景，然后输出每个连续帧它在前景中检测到的任何人体图像的边界框和质心的坐标；由于商品类别的边界是事先已知的，因此TagSee通过检查与每个帧中检测到的斑点相对应的质心与该类别的质心的接近度来确定每个类别的流行度；如果斑点的质心在第j^th类的质心的η₂个体素内，则TagSee递增流行度P_j·η₁和η₂取决于部署的标签的密度，并且根据经验针对特定部署方案进行调整。

有益效果：

我们的实验结果表明，仅仅使用来自2-3个用户的训练数据，TagSee可以获得约90％的真阳性率(TPR)和约10％的假阳性率(FPR)。此外，使用来自3-4个用户的训练数据，TagSee可以在多人场景中实现超过80％的TPR和小于15％的FPR。

具体实施方式

以下通过具体实施例对本发明作进一步详细说明。

本发明的基于RFID成像的多人轨迹追踪方法，第一个技术挑战是对RFID信号中人体阻挡引起的信号衰减与人体阻挡图像之间的关系构建鲁棒模型。由于两个主要原因，这种建模存在一定困难。首先，在浏览商品活动期间人体对象和RFID信号之间的关系非常复杂。其次，由于我们使用单站RFID读写器，其一次使用单个天线来发送和接收来自标签的RFID信号，因此模拟人体障碍物对RFID信号的影响变得更加困难。这是因为在任何读取器-标签-读取器(TX-Tag-RX)路径上，当信号从读取器天线发送到标签，第二次在标签时将这些信号反射到同一个读写器天线，RFID信号由于障碍物而经历两种不同的衰减。采用几何和测量模型，例如先前RF成像技术中使用的模型，将需要高度依赖于多个，依赖于环境和难以调整的参数。此外，这种基于几何和测量模型的***的成像精度不够准确和鲁棒对于解决同时对多个不同商品类别表现出兴趣的多个顾客进行成像问题。为了应对这些挑战，我们提出了一种基于射频成像方法的深度神经网络(DNN)。当人们浏览物品时，通过使用基于RFID信号构建的图像训练我们的***，我们的***可以自动学习这些图像与观察到的动态RFID信号之间的潜在关系。我们基于DNN的方法实际中很容易实现，因为它是环境和硬件独立的，并且阈值和参数易于调整。此外，我们的方法可以实现鲁棒成像，可以处理即使顾客在浏览或拾取/放回商品过程中的自然地来回移动或横向移动的成像问题。

第二个挑战是实现不用改变训练要求的多人成像。也就是说，我们的***不应该要求DNN针对多人场景进行特殊训练，因为首先，将所有可能的多人场景进行DNN训练是难以处理的，其次，它将导致DNN的过度拟合。为了应对这一挑战，我们提出了一种基于空间移动窗口的成像技术，以跟踪同时浏览不同列中商品的多个顾客。直觉是，单个顾客可以显着影响一定区域内标签(即，移动窗口所覆盖的标签)的RSS值，并且多个顾客在浏览任何货架时会自觉保持他们之间的距离。为实现这一目标，TagSee首先选择宽度约为用于训练其DNN的人类受试者平均宽度的2.5倍的移动窗口。其次，它将该窗口移动到空间分布的标签上，每次向右移动，一次移动一列标签距离。第三，对于移动窗口的每个实例，TagSee用随机值替换移动窗口外的标签的观察到的RSS变化，随机值是从在校准阶段(即，周围没有人体障碍物时)由与这些标签对应的RSS变化的均值和方差定义的高斯分布中采样的。第四，TagSee通过使用相应的修改过的RSS变化向量作为DNN的输入来重建每个移动窗口实例的图像。最后，通过应用平均滤波器来组合这些图像以输出最终图像。请注意，我们的方法不需要预先知道已部署标签和读取器天线的确切位置，这使得在实际情况下易于部署。

第三个挑战是鲁棒地量化部署标签的RSS值中人体障碍物引入的变化。这是必要的，因为TagSee使用这些RSS变化作为其DNN的输入来成像障碍物。在浏览商品行为期间，不同标签的RSS值的异常变化经常发生，这是由于多径效应导致的RFID信号的相长/相消干涉的衰减损失，或者是由于RFID读取器的测量噪声。为了应对这一挑战，我们利用了我们的多频UHF RFID***的跳频(FH)功能，该***在902-928MHz频率范围内(分为50个紧密间隔的子载波)工作。首先，在读取器试图询问标签时RFID信号的某些部分处于衰减状态的下，FH功能允许读取器在更强的子载波上***该标签，这有助于TagSee每秒对于每个标签收集足够的测量值，而这对于鲁班和准确的图像重建是非常重要的。第二，由于子载波在902-928MHz的频率范围内是紧密间隔的，所以所有子载波中的发射功率是相同的，因此人体对应于某个标签的RSS值产生的干扰的影响在所有子载波上是相似的，。基于这种直觉，TagSee通过获取在多个子载波上观察到的RSS变化的中值来鲁棒地估计不同标签的RSS值的变化。这种方式减少了RSS值变化的异常的影响，降低构造图像中的失真程度。

使用Impinj Speedway R420读写器和SMARTRAC DogBone RFID标签实施TagSee***。我们以分散的和有序的方式连接RFID标签，就像网格一样，沿着货架的边界，同时覆盖所有以列摆放的商品类别。我们称这些附在货架上标签为静态标签。在由A个RFID天线组成的任何监控场景中，K个RFID标签有唯一的TX-Tag-RX链路(所以链接的数量M＝K)。我们使用的Impinj Speedway R420 RFID读写器，能够读取高达约450个标签/秒，从而可以从部署的标签中收集足够的RSS和相位信息，以实现更加准确的活动跟踪。我们创建真实场景涉及10个不同人类受试者的综合实验，并获得IRB批准，评估TagSee在该数据集上的表现。我们的实验结果表明，平均而言，使用来自2-3个用户的训练数据，TagSee可以实现超过90％的TPR和低于10％的FPR。此外，使用来自3-4个用户的训练数据，TagSee在多人场景中可以实现超过80％的TPR和低于15％的FPR。

A.无线电断层成像

之前地工作中提出的最接近我们工作的RTI方法要么基于传感器网络，要么基于双基无源RFID(pRFID)***。在基于传感器网络的方法中，在受监控区域周围部署的每个节点都能够独立地发送和接收RF信号，并且对于任何TX-RX对，只有一个通信链路受到影响阻碍。从标签返回(我们在本文的其余部分将RFID链接称为TX-Tag-RX)。然而，前述两种RTI场景都是类似的，因为在每种情况下，RF信号在到达接收器侧的途中仅由于障碍物而经历衰减。此外，所有先前的RTI方案都存在一个固有的问题，即高度依赖于多个难以调整的参数，例如与不同类型的几何和测量模型相对应的参数，这些参数用于捕获由于人体障碍导致的衰减效应。首先，这些参数通常高度依赖于实验场景和所使用的硬件。其次，必须手动调整这些参数，这是耗时的，并且通常需要针对每个不同的部署方案进行集约性地校准。第三，这些参数的低效调整导致不稳定且无效的成像结果。此外，大多数先前的RF成像方法需要预先知道所有RF节点的确切位置。上述限制使得先前提出的RTI技术实际上难以实现。与之前的RTI作品相比，我们开发了基于深度学习的RTI技术，该技术摆脱了难以调整的RFID通道参数的手动设置，并使用单站无源RFID硬件实现精确的多人成像。

B.实体零售中的活动跟踪

基于RFID的实体店人员活动跟踪技术利用RFID信号的接收信号强度(RSS)和相位值的变化来监控顾客行为。然而，大多数基于RFID的行为监测技术，如仅关注服装店场景。此外，当前基于RFID的技术高度依赖于参数，并且在多人场景中不能很好地工作。此外，这些技术要求货架上的所有零售物品都使用RFID标签标记，这是在零售商店中通常难以满足的要求。

我们不会将我们的技术与基于摄像头的方法进行比较，因为我们的目标是展示使用COTS RFID设备和协议进行无设备顾客活动监控的可能性，并且我们不寻求替换现有的基于摄像头的***。

预处理RSS和相位

接收信号强度(RSS)：单站RFID信道是双衰减信道，即每次衰减经历两次，一次在前向链路中，一次在反向链路中。典型的RFID应用场景涉及室内多径环境，其中每个链路包括视线(LOS)路径和几个主要反射。RSS第k^th个标签的简化对数关系可以写成如下：

其中A_0,k假定为特定环境的常数，并且在LOS自由空间路径损耗情况下β_k＝4。实际上，β_k取决于室内多径环境和由于障碍物造成的阴影效应。

相位：对于涉及单站读取器的RFID传播环境，读取器提供的从第k^th个标签接收的接收信号的相位信息可写为Φ＝mod(Φ_p+Φ_o+Φ_b,k,2π)，其中Φ_p＝2kd+Φ_m(f＝信号频率和由于多径引起的相长/相消干涉引起的Φ_m相位变化)，Φ_o是相位偏移，包括电缆和其他读取器和天线组件的相位，以及Φ_b,k是第k^th个标签调制的反向散射相位。

A.校准模式

在校准模式期间，TagSee持续读取RSS和相位值时间为t_cal≈2分钟，以确保在跳频期间它从每个标签和读写器载波频率接收足够的读数。对于F频率和K标签，TagSee记录每个RFID天线的FK RSS和相位向量。最后，TagSee将移动平均滤波器和移动中值滤波器(窗口大小＝5)的组合应用于所有FK数量的RSS和相位向量，计算每个FK滤波向量的中值，并记录F×K维RSS和相位校准矩阵(和)，用于每个A天线在监视模式下的图像重建期间的背景提取。

B.监测模式

在监控模式期间，TagSee不断读取RSS和相位值，同时将值保持在缓冲区B_mon中以进行批处理。在我们的实验中，我们观察到每个用户至少需要3到4秒在同时浏览某个商品类别时，这大约相当于N_mon＝2000RSS和相位读数。因此，在监控模式期间，TagSee在缓冲区Bmon中维护最新的N_mon＝2000读数。B_mon每t_mon＝1秒更新一次新读数，相当于大约450个读数。由于所有标签都通过随机访问协议争用介质，因此TagSee可能在3到4秒的时间内没有收到某些标签-频率对的读数。为了在我们稍后讨论的基于频率划分的滤波过程中有效利用RFID读写器的跳频能力，TagSee一直等待除非它从多个不同频率的部署标签获得足够的读数。然而，我们通过实验观察到上述N_mon和t_mon的值允许记录足够的读数以便稳健地构建合理的图像。如果TagSee在B_mon中没有找到某个标签-频率对的读数，它会复制校准的RSS和与该标签-频率对相对应的相位读数。最后，TagSee将移动平均滤波器和移动中值滤波器(窗口大小＝5)的组合应用于对应于每个天线的B_mon中包含的所有FK数量的RSS和相位向量。接下来，我们将描述TagSee如何利用频率划分和相位差来计算每个RFID天线接受的RSS差异向量y_rss的鲁棒估计。

基于相位差的滤波：为了根据相位差过滤RSS，TagSee首先通过减去中与每个FK频率-标签对相对应的校准相位值，计算B_mon中包含的每个FK相位向量的相位差向量，获得B'_mon。接下来，TagSee利用菲涅耳区域的概念来过滤掉B_mon中的RSS值。第一菲涅耳区确定两个RF节点之间的LOS路径，并且包含大部分对RF传播有显着贡献的RF波阵面。因此，如果第一菲涅耳区域没有人体障碍物，我们可以假设标签与其读取器之间为LOS通信。对于单站RFID，直接LOS路径和位于第一菲涅耳区内的任何其他RF传播路径之间的相位差最大可以是2π，如1(c)所示，其对应于一个波长。假设在校准阶段为每个标签-频率对获得的相位值对应于那些标签与其相应读写器天线之间的直接LOS路径，TagSee丢弃B'_mon中的所有RSS值，其相位读数和中相应的校准值小于Φ_mon＝π/4。我们选择Φ_mon＝π/4＝0.125×2π，因为我们想要选择那些用于成像的RSS值，这些RSS值对应于人体阻碍菲涅耳区域的至少6。25％的场景。由于R420读取器仅提供0-2π范围内的相位值，因此可能发生相位缠绕，这可能导致基于相位差的滤波不正确。然而，首先，位于第一菲涅耳区内的两个RF传播路径之间的相位差可以是最大2π。其次，标签和RFID读取器天线在实验期间都不移动。因此，TagSee假设在校准期间读取的相位值与在监视模式期间读取的相位值之间的相位差保持在2π以下，并且不考虑超过2π的相位缠绕。注意，可以在任何时间点存在一些较长的路径，即第一菲涅耳区域之外的路径。然而，我们假设通过上述移动平均和移动中值滤波滤除了与这些路径相对应的相位值。在将该滤波器分别应用于从每个天线获得的读数之后，TagSee计算每个FK滤波向量的中值，并记录对应于每个A天线的F×K维RSS矩阵

基于频率分集的滤波：为了计算y_rss，TagSee首先计算校准和监控的RSS矩阵之间的绝对差值，即它给出了一个F×K维的RSS差分矩阵。接下来，TagSee利用我们使用的RFID***的频率多样性，减少Y_rss的异常变化。由于RFID读写器之间随机跳跃的频率在902-928MHz的频率范围内间隔紧密，假设每个子载波中的传输功率相同，因此在这些多个紧密间隔的频率上观察到标签的RSS差异是相近地，这可以认为是人体障碍在3-4秒的小时间窗口内的影响。因此，TagSee在F＝50个不同频率上取Y_rss中RSS差值的中值，以获得K维RSS差向量y_rss，然后在每t_mon＝1秒后将其送到成像模块中。同样地对每个天线执行该滤波。

RFID成像之前的基于功率的滤波：在将过滤后的y_rss送入成像模块之前，TagSee检查沿着货架部署不同标签的RSS值中观察到的变化是否足以显示障碍物的存在。如果没有观察到显着变化，则应跳过成像，这减少了图像重建期间不必要的计算。为实现此目的，TagSee将y_rss向量中包含的功率与简单调整阈值(P_rss＝10)进行比较，并丢弃任何不满足此阈值的y_rss向量。注意，上述RSS值的基于相位的滤波与y_rss向量的基于功率阈值的滤波滤除了非障碍物的RFID信道中的变化，这也产生更可靠的成像。

本实施例的基于RFID成像的多人轨迹追踪方法方法，首先在Z轴上点P_z处建立一个假想的平行于X-Y轴的图像平面，将图像平面划分为体素，使得沿着X轴部署的每个标签之间距离p_x体素，沿着Y轴部署每个标签之间的距离p_y体素，并且最左下方体素和最右上方体素的坐标分别是(0，0)和(Max_x,Max_y)，然后，我们的RTI问题可以表示为线性方程组，其中不同链路的RSS的变化y_rss可以根据变化的衰减x和M×N权重矩阵W(其中M＝链路数，N＝图像平面中的体素数量)来写入。指定每个链接对在每个不同体素处衰减中观察到的变化的贡献是y_rss＝Wx+n，其中n对应于衰减和测量噪声。

通过在RF链路的两个节点之间采用菲涅耳区的概念来模拟权重矩阵，并使用以网络中不同RF节点的位置为中心的虚拟椭球来确定覆盖监视区域的图像平面中的不同体素的权重。直觉是这些椭圆体确定每个相应链路的LOS路径(通常选择为第一菲涅耳区域)，并且如果体素与链路的LOS路径相交相比于不属于LOS的体素将被赋予更多权重。为了从针对所有链路获得的RSS差值(即y_rss)重建图像，最直接的方式是将最小二乘解计算x_LS＝P×y_rss，其中P＝(W^TW)^-1W^T。然而，在RTI***的情况下，矩阵W不是满秩，这使RTI成为不适定的逆问题。为了处理不适定性，我们使用Tikhonov正则化方法。接下来，我们介绍一种利用调整权重矩阵W估计标签和相应读取器天线之间路径损耗变化的方法。

估计路径损耗的变化：单站RFID通信使得估计权重矩阵W的任务更加困难，因为信号在返回到同一接收器之前经历两次衰减，即信号被发送到已部署的标签和当这些标签将这些信号反向散射回读卡器天线。假设TX-Tag-RX链路的正向和反向信道都是对称的，我们假设每个标签和读取器天线对之间存在一组假想的对称椭球(近似LOS区域)。直观地，图像平面切割每个TX-Tag-RX链路之间的菲涅耳区域。权重被分配给图像平面的每个体素，基于它们是否落入TX-Tag-RX链接的假想椭球内部。给定对应于每个标签k的TX-Tag-RX链路的自由空间路径损耗指数的值为4，我们可以假设在校准阶段，初始值为β_k,init＝4+Φ_k,init。类似地，让我们假设对于监视模式阶段缓冲区B_mon的每次新更新，新的β_k,new＝4+Φ_k,new。这里β_k,init和β_k,new都是未知的，但是，如下所示，只需要β_k,new-β_k,init的值。在任何时间，根据天线a(y_rss,k)读取的标签k的RSS变化，我们可以在路径损耗指数中写出这种变化是

由于RFID读写器使用多个频率，我们使用这些频率的平均值并选择λ＝λ_avg以简化。鉴于这些频率彼此接近的事实，λ的这个值的选择不会损害该方案的结果。在计算Vβ之后，TagSee为图像平面上的每个体素分配权重为如果d_kj,1+d_kj,2＜d+Θ，则w_kj＝0。这里d是读写器和标签对于链路k的距离，d_kj,1是从像素j的中心到标签的距离和d_kj,2是从对应于链路k的像素j的中心到与读写器天线的距离。Θ是描述椭圆体宽度的参数。使用通用方程计算链路中间任意点的第一菲涅耳区半径，我们将Θ写为其中Θ₀是一个环境和RFID基础设施相关参数，我们调整这些参数以在我们当前的实现中实现合理的成像结果。最后，TagSee采用正则化技术，通过确定每个体素(即)的衰减值为来重建图像，其中D_X和D_Y分别是沿X和Y方向的微分算子，以适应沿这些轴的RSS值衰减影响的“扩散”。我们在当前的实现中调整α＝15，以获得合理的成像结果。控制着RSS衰减对图像的相邻像素的影响的空间相关性。虽然我们事先不知道但我们基于指数空间衰减模型通过近似获得C_x，其中D_p是距离方阵，包含每对沿虚拟图像平面的像素之间的距离，σ_x是由于人体运动引起的先验方差。σ_N是像素值中的噪声的先验方差，即，当没有人体运动时。我们将σ_N近似为校准阶段期间RSS值的方差函数c_n*σ_y。我们将像素方差σ_x近似为监测阶段中RSS值的方差函数c_x*σ_y。我们调整c_n，c_x和δ的值以获得最佳结果。

对于成像，TagSee沿Z轴建立多个图像平面，然后取相应重建图像的平均值。调整这些图像平面的位置以获得最佳效果。TagSee通过平均结合了从所有天线获得的图像。在评估TagSee的性能时，我们将此基准(基于测量模型的RTI方法)的成像性能与我们提出的基于DNN的方法进行了比较。

I.基于深度学习的RFID成像

在我们基于深度学习的RFID成像方法中，我们将线性***x＝P×y_rss建模为深度神经网络，其中y_rss对应于第一层的输入，x对应于最后一层的输出，并且图像重建矩阵P对应输入和输出之间的所有层的组合。直觉是，如果我们使用人们在浏览商品时的图像来训练我们的***，它可以自动学习这些图像与在浏览活动期间观察到的RFID通道动态之间的潜在关系，而这种潜在关系通过基于几何或测量模型的方法进行建模极其困难。我们的基于DNN的成像***不需要预先知道静态标签和RFID读取器天线的位置。但是，它假设它们的位置不随时间变化，因为这可能需要重新训练DNN。

神经网络中图层的选择。我们选择了DNN层，以便在网络的不同层上学***面在空间上衰减。线性关系由对应于线性微分算子D_X和D_Y的项引入，以及由于RTI问题的固有线性特性，即所有不同的矩阵通过诸如乘法，加法和逆的基本线性运算连接。对于基于DNN的成像，我们将输入RSS差异向量y_rss和输出图像向量设计为归一化向量，包含0到1之间的值。根据经验，我们通过除以观察到的最大RSS差异来归一化输入y_rss向量。此外，由于其中涉及的逆操作，图像重建矩阵P可以由正值和负值组成。

基于基本参数的上述性质，我们选择DNN的前两层为整流线性层(ReLU)，接下来两层为tanh层，最后两层为sigmoid形层。ReLU层的输出始终为非负实数，tanh层的输出保持在-1和1之间，sigmoid层的输出始终保持在0和1之间。对于当前部署的K＝116个标签在TagSee的实现中，我们分别选择上述层的尺寸为{116×150}，{150×300}，{300×300}，{300×200}，{200×200}和{200×p_xp_y(k_x-1)(k_y-1)}，其中k_x＝29和k_y＝4分别代表沿X和Y轴的标签总数，并且p_xp_y(k_x-1)(k_y-1)＝5×5×28×3＝2100。DNN层的数量以及每个DNN层的尺寸根据经验进行调整，以实现最低的交叉验证误差，并且基于信息量受RFID标签数量限制的直觉，即任何重建图像基本上是对K标签观察到的RSS变化的影响的推断。此外，为了防止DNN过度拟合，我们将L2正则化与dropout结合使用，其中丢失率(即在训练期间保留DNN单元的概率)为0。7。

训练要求。我们分别要求几个志愿者站在他们面前浏览每个不同的商品类别，大约30-60秒。在该训练阶段期间，我们不限制自然人体运动，即，允许浏览不同商品类别的个体来回移动和侧向移动，并以自然方式浏览商品。在标准化之后，TagSee使用在此训练阶段中已标签的RSS值中观察到的变化作为其DNN的输入。对于训练阶段的每次浏览活动，我们还生成人体障碍物的近似标准化图像，TagSee将其用作训练“标签”或输出到其DNN。在这项工作中，我们将人体的图像近似为椭圆，其中这些椭圆的宽度和高度被选择为用于训练TagSee的DNN的人类受试者的平均宽度和高度。椭圆的高度受到部署的标签网格的大小和位置的限制。在我们当前的实施中，我们部署标签使得部署的网格覆盖臀部区域上方的身体部位，直到志愿者的颈部或头部。为了鲁棒性，我们将TagSee的DNN分类模块设计为D个DNN分类器的集合，使得最终输出是从所有D个分类器获得的输出的中值。

II.多人RFID成像

为了开发我们的多人成像技术，TagSee利用人体只会沿着X轴影响k_cw标签列的直觉，用于任何标签网格的部署。基于这种直觉，TagSee通过在部署标签的空间分布上移动大小为k_cw列的窗口，从对应于天线的每个新RSS差异向量y_rss创建多个新向量对于每个窗口i，TagSee仅将那些值从y_rss复制到这些值对应于该窗口中包含的标签，并用高斯分布分布的标准偏差值(2·σ_k,a,rss)的两倍替换剩余标签对应的值。当没有障碍物时，分别对这些标签观察到的RSS差值进行建模。这避免了图像重建期间的伪斑点。在本实施例中，在校准模式期间，标签在约2分钟的时间内完成。我们可以观察到RSS差值近似遵循高斯分布。对应于每个可能的标签-天线对的上述分布 的均值和方差值在校准阶段期间进行估计。对于k_x列的标签，TagSee首先生成k_x-k_w+1个新向量然后，使用基于DNN的RFID成像技术，使用所有向量重建图像，然后在通过2D滤波器(由2D中值和平均滤波器组成)之后合并所有向量，以输出最终图像。TagSee分别对每个天线应用这种多人成像技术，最后通过平均组合从所有天线获得的图像。该技术能够在不改变TagSee成像技术的训练要求的情况下实现多人成像，即我们的***不需要针对多人场景训练DNN。唯一需要做的改变是为每个训练样本对应的所有可能的训练DNN。请注意，对于任何部署，我们训练TagSee的DNN，其数据对应于没有任何人体障碍的情况，其中输入向量包含对应于每个部署标签的2·σ_k,a,rss值，并且输出为零向量，以避免检测图像重建过程中的假斑点。

跟踪顾客活动：TagSee根据这些商品的受欢迎程度跟踪顾客对不同商品的活动。在监控模式下，TagSee将最终重建的图像帧提供给Blob分析模块，该模块使用一些初始帧确定背景，然后输出每个连续帧它在前景中检测到的任何人体图像的边界框和质心的坐标。由于商品类别的边界是事先已知的，因此TagSee通过检查与每个帧中检测到的斑点相对应的质心与该类别的质心的接近度来确定每个类别的流行度。如果斑点的质心在第j^th类的质心的η₂个体素内，则TagSee递增流行度P_j·η₁和η₂取决于部署的标签的密度，并且可以根据经验轻松地针对特定部署方案进行调整。对于鲁棒的的流行度估计，在计算P_j之前，TagSee维护一个由5个最新重建图像组成的缓冲区(对应于～3-4秒的周期)，获取所有这些图像的中值并应用阈值过滤(在0到1的范围内，将0。1以下设置为0)。

我们使用COTS UHF Impinj R420 pRFID读写器和SMARTRAC的Dogbone pRFID标签实现TagSee。为了测试TagSee，我们在货架上部署K＝116个标签，其中k_x＝29和k_x＝4个标签分别沿X和Y轴部署，沿两个轴的标签间距离为5英寸。我们放置两个距离货架约4.2米的读写器天线，天线间距离为12英寸。我们在货架上标记6个商品类别，其中每个类别由4个不同的标签列覆盖，使得每个类别的中心之间的距离为约20英寸。在评估期间，我们选择10名志愿者中的5名进行培训，其余5名进行测试。我们仅针对未用于训练TagSee DNN的用户测试TagSee的性能。

除了我们比较TagSee的成像性能的情况之外，我们使用TPR，FPR和未命中率(MR)来评估TagSee的流行度跟踪表现，这些实验指标是根据在不同的时间窗口中商品流行度P_j的正确性计算的。真阳性对应于TagSee能够检测对被测试类别的兴趣的场景。但是，TagSee可能会错误地检测除被测试类别之外的类别的兴趣，这些类别对应于误报情景。当TagSee在时间窗口期间无法检测到对测试类别的兴趣时(即MR＝1-TPR)，它会丢失。

A.单人成像方案

对于单人监控场景，TagSee可以实现90％以上的TPR和小于5％的FPR。TagSee使用经过3名志愿者培训的DNN，其中所选择的志愿者不包括测试用户。我们可以看到，与使用基准方法重建的图像相比，基于DNN的RFID成像重建的图像非常准确。

1)训练用户数量的影响：选择用于测试的5名志愿者中的3名，对3个不同实验的训练用户数量对TPR，FPR和MR的影响。影响宽度设置为k_cw＝6，报告的错误率在6个不同的商品类别中取平均值。此外，来自2个pRFID读取器天线的数据用于在这些实验中重建图像。对于所有三个用户，可以观察到TPR的增加趋势，这是直观的。对于这种情况，对所有测试用户和类别进行平均后，TagSee可以实现超过85％的TPR和低于15％的FPR。

2)读取器天线数量的影响：在上述实验中，我们使用了2个读取器天线。不同数量的培训用户情况下使用单个读取器天线实现的错误率，观察到TPR和MR的趋势仍然与2个天线情况相对应。我们观察到平均FPR急剧上升至45％以上。这是因为，排除来自其中一个天线的图像会导致连续图像帧的无效滤波，其可能包含未经测试的类别的虚假流行度计数。

B.多人成像方案

对于2人监控方案，TagSee可以实现90％以上的TPR和不到10％的FPR。此外，对于3人监控方案，TagSee可以实现超过80％的TPR，以及不到20％的FPR。可以观察到，TagSee的基于DNN的RFID成像方法甚至可以为多人监控场景生成准确的图像。我们选择5个测试用户中的3个进行TagSee的多人绩效评估。此外，我们保持读取器天线的数量A＝2，以实现鲁棒的成像。

在本文中，我们提出，实施和评估TagSee***，这是第一个基于RFID的多人活动跟踪方案，可用于监控物理零售店等不同显示商品附近的顾客的浏览活动。针对应用提出了基于深度神经网络(DNN)的RFID成像方法，该方法可以有效且高效地对货架前的顾客的浏览活动进行成像。此外，基于DNN的成像方法，我们开发了一种技术，可以跟踪多个顾客的活动，同时表现出对多个不同商品类别的兴趣。这项工作的关键贡献在于展示使用现有RFID设备和协议有效成像多个顾客的浏览活动的可能性，这甚至适用于顾客与显示商品之间没有交互的情况。

Claims (4)

1.一种基于RFID成像的多人轨迹追踪方法方法，***TagSee包括一套RFID标签和RFID读写器，标签和读写器都是COTS商品，其特征在于：

首先在Z轴上点P_z处建立一个平行于X-Y轴的图像平面，将图像平面划分为体素，使得沿着X轴部署的每个标签之间距离p_x体素，沿着Y轴部署每个标签之间的距离p_y体素，并且最左下方体素和最右上方体素的坐标分别是(0，0)和(Max_x,Max_y)，然后，根据变化的衰减x和M×N权重矩阵W来写入，其中M＝链路数，N＝图像平面中的体素数量，指定每个链接对在每个不同体素处衰减中观察到的变化的贡献是y_rss＝Wx+n，其中n对应于衰减和测量噪声；

通过在RF链路的两个节点之间采用菲涅耳区的概念来模拟权重矩阵，并使用以网络中不同RF节点的位置为中心的虚拟椭球来确定覆盖监视区域的图像平面中的不同体素的权重；椭圆体确定每个相应链路的LOS路径，并且如果体素与链路的LOS路径相交相比于不属于LOS的体素将被赋予更多权重；针对所有链路获得的RSS差值重建图像，将最小二乘解计算x_LS＝P×y_rss，其中P＝(W^TW)^-1W^T；

估计路径损耗的变化：TX-Tag-RX链路的正向和反向信道都是对称的，每个标签和读取器天线对之间存在一组假想的对称椭球，图像平面切割每个TX-Tag-RX链路之间的菲涅耳区域；权重被分配给图像平面的每个体素，基于它们是否落入TX-Tag-RX链接的假想椭球内部，给定对应于每个标签k的TX-Tag-RX链路的自由空间路径损耗指数的值为4，在校准阶段，初始值为β_k,init＝4+Φ_k,init；监视模式阶段缓冲区B_mon的每次新更新，新的β_k,new＝4+Φ_k,new，根据天线a(y_rss,k)读取的标签k的RSS变化，在路径损耗指数中写出这种变化是

由于RFID读写器使用多个频率，使用这些频率的平均值并选择λ＝λ_avg，TagSee为图像平面上的每个体素分配权重为如果d_kj,1+d_kj,2＜d+Θ，则w_kj＝0；其中d是读写器和标签对于链路k的距离，d_kj,1是从像素j的中心到标签的距离和d_kj,2是从对应于链路k的像素j的中心到与读写器天线的距离，Θ是描述椭圆体宽度的参数；使用通用方程计算链路中间任意点的第一菲涅耳区半径，将Θ写为其中Θ₀是一个环境和RFID基础设施相关参数，调整这些参数以实现合理的成像结果；

最后，TagSee采用正则化技术，通过确定每个体素的衰减值为来重建图像，其中D_X和D_Y分别是沿X和Y方向的微分算子，以适应沿这些轴的RSS值衰减影响的扩散，控制着RSS衰减对图像的相邻像素的影响的空间相关性，基于指数空间衰减模型通过近似获得C_x，其中D_p是距离方阵，包含每对沿虚拟图像平面的像素之间的距离，σ_x是由于人体运动引起的先验方差，σ_N是像素值中的噪声的先验方差；

TagSee沿Z轴建立多个图像平面，然后取相应重建图像的平均值，调整这些图像平面的位置以获得最佳效果。

2.根据权利要求1所述的基于RFID成像的多人轨迹追踪方法方法，其特征在于：

将线性***x＝P×y_rss建模为深度神经网络，其中y_rss对应于第一层的输入，x对应于最后一层的输出，并且图像重建矩阵P对应输入和输出之间的所有层的组合；基于DNN的成像***，图像重建矩阵捕获人体障碍物对RFID通道中引入的衰减的线性以及与之相关的非线性影响；DNN的前两层为整流线性层，接下来两层为tanh层，最后两层为sigmoid形层；整流线性层的输出始终为非负实数，tanh层的输出保持在-1和1之间，sigmoid层的输出始终保持在0和1之间。

3.根据权利要求1所述的基于RFID成像的多人轨迹追踪方法方法，其特征在于：

TagSee通过在部署标签的空间分布上移动大小为k_cw列的窗口，从对应于天线的每个新RSS差异向量y_rss创建多个新向量对于每个窗口i，TagSee仅将那些值从y_rss复制到这些值对应于该窗口中包含的标签，并用高斯分布分布的标准偏差值(2·σ_k,a,rss)的两倍替换剩余标签对应的值；当没有障碍物时，分别对这些标签观察到的RSS差值进行建模，在校准模式期间，标签在约定时间内完成；对于k_x列的标签，TagSee首先生成k_x-k_w+1个新向量然后，使用基于DNN的RFID成像技术，使用所有向量重建图像，然后在通过2D滤波器之后合并所有向量，以输出最终图像。

4.根据权利要求1所述的基于RFID成像的多人轨迹追踪方法方法，其特征在于：

TagSee根据这些商品的受欢迎程度跟踪顾客对不同商品的活动，在监控模式下，TagSee将最终重建的图像帧提供给Blob分析模块，该模块使用一些初始帧确定背景，然后输出每个连续帧它在前景中检测到的任何人体图像的边界框和质心的坐标；由于商品类别的边界是事先已知的，因此TagSee通过检查与每个帧中检测到的斑点相对应的质心与该类别的质心的接近度来确定每个类别的流行度；如果斑点的质心在第j^th类的质心的η₂个体素内，则TagSee递增流行度P_j·η₁和η₂取决于部署的标签的密度，并且根据经验针对特定部署方案进行调整。