CN102708172B - 一种用于挖掘rfid数据孤立点的方法 - Google Patents

Abstract

本发明公开了一种用于挖掘RFID数据孤立点的方法，该方法步骤包括首先从中间件获取原始RFID数据，然后对获取的原始RFID数据进行聚类后压缩，还有通过RFID读取特征，使压缩后的原始RFID数据以三元组方式作为RFID数据点在读取特征向量空间进行RFID数据孤立点的挖掘，最后采用基于权值的反向最近邻算法对RFID数据点进行数据处理，进而输出RFID数据孤立点。通过使用本发明能够大大减少数据的规模以及提高数据处理的效率，而且大大提高识别RIFD数据孤立点的精确度，特别对边界点有着良好的检测效果。本发明作为一种用于挖掘RFID数据孤立点的方法广泛应用在射频识别领域中。

Description

一种用于挖掘RFID数据孤立点的方法

技术领域

本发明涉及射频识别技术和数字处理技术，尤其涉及一种用于挖掘RFID数据孤立点的方法。

背景技术

在RFID应用领域中RFID数据孤立点的检测具有很深远的意义，因为挖掘出孤立点所隐藏的信息，有助于找到提高标签识别率的方法以及改善作业流程。而目前主要有基于统计学分布、基于距离、基于密度、基于特征等方法用于RFID数据孤立点的挖掘，但是采用这些方法对海量的RFID数据进行孤立点的挖掘，其效果差，处理效率低以及对边界点难以判别，而且由于RFID是通过无线电磁进行传输，因此在标签的读取过程中容易读取到噪声，或者漏读、冗余读、错读等等，这样更加增大挖掘孤立点的难度。

发明内容

为了解决上述技术问题，本发明的目的是提供一种准确度高以及数据处理效率高的用于挖掘RFID数据孤立点的方法。

本发明所采用的技术方案是：一种用于挖掘RFID数据孤立点的方法，该方法步骤包括：

A、从中间件获取原始RFID数据；

B、对获取的原始RFID数据进行聚类后压缩；

C、通过RFID读取特征，使压缩后的原始RFID数据以三元组方式作为RFID数据点在读取特征向量空间进行RFID数据孤立点的挖掘；

D、采用基于权值的反向最近邻算法对RFID数据点进行数据处理，进而输出RFID数据孤立点。

进一步，所述步骤B中采用哈希表对获取的原始RFID数据进行聚类。

进一步，所述步骤B包括：

B1、对获取的原始RFID数据利用哈希表进行聚类；

B2、根据原始RFID数据判断该标签是否已存在哈希表，若存在，则增加该标签的读写次数，更新最近读取时间，并计算当前的读取信号强度；若不存在，则将该标签***哈希表中，并记录读取记录以及该标签的读取信号强度和首次读取时间。

进一步，所述步骤C中所述的RFID读取特征包括标签的读取时间间隔、标签在读取时间间隔内的读取次数以及标签的平均信号读取强度。

进一步，所述步骤D包括：

D1、计算两两RFID数据点之间的距离，进而生成距离矩阵；

D2、根据距离矩阵以及预设的K值，采用K最近邻分类计算每个RFID数据点的K最近邻居集合；

D3、计算每个RFID数据点的平均距离；

D4、选取平均距离最大的RFID数据点后根据平均距离最大的RFID数据点进而计算RFID数据点的密度权值；

D5、采用反向K最近邻分类计算每个RFID数据点的反向K最近邻居集合，每个RFID数据点的反向K最近邻居集合由包含该RFID数据点的K最近邻居集合组成；

D6、计算每个RFID数据点的孤立系数后对每个RFID数据点的孤立系数进行排序，进而按照预设的百分比输出RFID数据孤立点。

进一步，所述步骤D2，根据距离矩阵以及预设的K值，采用K最近邻分类计算每个RFID数据点的K最近邻居集合，其具体为，

根据距离矩阵以及预设的K值，分别计算每个RFID数据点的与其本身距离最近的K个RFID数据点，而计算出的K个RFID数据点则组成K最近邻居集合。

进一步，所述步骤D3，计算每个RFID数据点的平均距离，其具体为，分别计算每个RFID数据点与其K最近邻居集合中的所有RFID数据点的距离的平均值。

进一步，所述步骤D4中计算RFID数据点的密度权值的公式如下，

$w=1-\frac{{\mathrm{KNN}}_{\mathrm{dist}}}{{\mathrm{KNN}}_{\max \mathrm{dist}}}$

上述KNN_maxdist表示RFID数据点的平均距离中最大的平均距离，KNN_dist表示RFID数据点的平均距离。

进一步，所述步骤D6中计算每个RFID数据点的孤立系数的公式如下，

$\mathrm{Isolation}\left(p\right)=\frac{1}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_i}$

上述公式的分母表示RFID数据点的反向K最近邻居集合中所有元素的密度权值总和，分母中m表示RFID数据点的反向K最近邻居集合中的元素个数。

进一步，所述步骤D6中输出孤立点的个数为孤立系数最高的前n*pct％个，所述n表示RFID数据点的总个数，pct％表示预设的百分比。

本发明的有益效果是：在挖掘RFID数据孤立点前对RFID数据进行聚类和压缩，能够大大减少数据的规模以及提高数据处理的效率，而且采用基于权值的反向最近邻算法能够为每个RFID数据点增添象征其所处区域的密集程度的权值，从而大大提高识别RIFD数据孤立点的精确度，特别对边界点有着良好的检测效果。

附图说明

下面结合附图对本发明的具体实施方式作进一步说明：

图1是本发明一种用于挖掘RFID数据孤立点的方法一具体实施方式的步骤流程图；

图2是本发明一种用于挖掘RFID数据孤立点的方法另一具体实施方式的步骤流程图

图3是本发明一种用于挖掘RFID数据孤立点的方法的孤立点检测结果示意图；

图4是本发明一种用于挖掘RFID数据孤立点的方法在不同数据规模下对数据进行压缩的压缩效果示意图；

图5是在不同数据规模下反向K近邻算法与本发明一种用于挖掘RFID数据孤立点中的基于权值的反向最近邻算法的准确率对比示意图。

具体实施方式

由图1所示，一种用于挖掘RFID数据孤立点的方法，该方法步骤包括：

A、从中间件获取原始RFID数据；

B、对获取的原始RFID数据进行聚类后压缩；

C、通过RFID读取特征，使压缩后的原始RFID数据以三元组方式作为RFID数据点在读取特征向量空间进行RFID数据孤立点的挖掘；

D、采用基于权值的反向最近邻算法对RFID数据点进行数据处理，进而输出RFID数据孤立点。

进一步作为优选的实施方式，所述步骤B中采用哈希表对获取的原始RFID数据进行聚类。

由图2所示，一种用于挖掘RFID数据孤立点的方法，该方法步骤包括：

A、从中间件获取原始RFID数据，所述原始RFID数据以<epc，location，time，ss>四元组方式存在，其中epc表示标签ID，location表示标签读取时所处的位置，即阅读器位置信息，time表示标签读取时间，ss表示标签的读取信号强度；

B1、对获取的原始RFID数据利用哈希表进行聚类，所述哈希表有多个，并且每一个哈希表以<epc，location，t_star，t_end>四元组方式表示不一样的类别，进而对原始RFID数据进行聚类，其中t_star表示标签读取时间的开始时间，t_end表示标签读取时间的结束时间，而聚类的具体实施方式为，只要原始RFID数据中的阅读器位置信息location与某一个哈希表的location信息一致，以及原始RFID数据的标签读取时间time满足t_star≤time≤t_end，这样该原始RFID数据被分到该哈希表中，而按照上述聚类的具体实施方式对所有原始RFID数据进行聚类后就会形成多个数据集聚类结果，而一个数据集聚类结果也就是一个哈希表进行原始RFID数据聚类后的结果；

B2、根据原始RFID数据判断该标签是否已存在哈希表，若存在，则增加该标签的读写次数，更新最近读取时间，并计算当前的读取信号强度；若不存在，则将该标签***哈希表中，并记录读取记录以及该标签的读取信号强度和首次读取时间。

C、通过RFID读取特征，使压缩后的原始RFID数据以三元组方式作为RFID数据点在读取特征向量空间进行RFID数据孤立点的挖掘；

D1、计算两两RFID数据点之间的距离，进而生成距离矩阵；

D2、根据距离矩阵以及预设的K值，采用K最近邻分类计算每个RFID数据点的K最近邻居集合；

D3、计算每个RFID数据点的平均距离；

D4、选取平均距离最大的RFID数据点后根据平均距离最大的RFID数据点进而计算RFID数据点的密度权值；

D5、采用反向K最近邻分类计算每个RFID数据点的反向K最近邻居集合，每个RFID数据点的反向K最近邻居集合由包含该RFID数据点的K最近邻居集合组成；

D6、计算每个RFID数据点的孤立系数后对每个RFID数据点的孤立系数进行排序，进而按照预设的百分比输出RFID数据孤立点。

上述步骤C中所述的RFID读取特征包括标签的读取时间间隔、标签在读取时间间隔内的读取次数以及标签的平均信号读取强度，而压缩后的原始RFID数据以<epc，time_duration，tagcnt，ss_avg>四元组方式存在，其中time_duration表示标签的读取时间间隔，tagcnt表示标签在读取时间间隔内的读取次数，ss_avg表示标签的平均信号读取强度，而以<time_duration，tagcnt，ss_avg>三元组方式表示原始RFID数据的RFID读取特征以及作为RFID数据点在读取特征向量空间进行RFID数据孤立点的挖掘，所述读取特征向量空间是根据RFID读取特征而形成的。然而由于采用的RFID读取特征的值的范围大小不一致以及单位不一致，若直接对RFID数据点进行处理则会影响RFID数据孤立点的输出结果，因此为了获取更好的挖掘RFID数据孤立点的效果，消除单位度量的影响，因此在进行RFID数据孤立点挖掘前，需要对RFID数据点进行标准化。

将用于表示RFID数据点的RFID读取特征的三元组方式<time_duration，tagcnt，ss_avg>简化为x_i＝(x_i1，x_i2，x_i3)，其中x_i表示任一RFID数据点，i表示第i个RFID数据点，x_i1表示标签的读取时间间隔，x_i2表示标签在读取时间间隔内的读取次数，x_i3表示标签的平均信号读取强度，因此RFID数据点的集合可用n*3的矩阵表示，其表示形式如下，

$X=\left(\begin{array}{ccc}{x}_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ .& .& .\\ x_{n1}& x_{n2}& x_{n3}\end{array}\right)$

而对RFID数据点进行标准化的公式如下，

$Y_{\mathrm{ij}}=\frac{x_{\mathrm{ij}}-m_j}{s_j}$

其中Y_ij表示标准化的值， $s_j=\frac{1}{n}\left(\right|x_{1j}-m_j|+|x_{2j}-m_j|+.+|x_{\mathrm{nj}}-m_j\left|\right),$

j表示第j个读取特征，m_j是第j个读取特征的平均值，其值为

因此通过对RFID数据点进行标准化后可以得到一个经过标准化的RFID数据点的矩阵Y＝(y_ij)_n×3。

上述步骤D1计算两两RFID数据点之间的距离，进而生成距离矩阵，由于经过标准化后，RFID数据点的集合由Y＝(y_ij)_n×3来表示，而两两RFID数据点之间的距离采用欧式距离进行计算，因此计算两两RFID数据点之间的距离的公式如下，

$d_{\mathrm{ij}}=d_{\mathrm{ji}}=\mathrm{dist}(i,j)=\sqrt{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{(y_{\mathrm{ik}}-y_{\mathrm{jk}})}^2}$

其中i和j表示任意两点RFID数据点，k表示第k个RFID读取特征，m为3。另外由于考虑到RFID数据点i到RFID数据点j的距离dist(i，j)具有自反性以及对称性，因此有dist(i，i)＝0，dist(i，j)＝dist(j，i)，所以在计算距离矩阵的时候可以减少一半的计算量，其最终生成的距离矩阵如下所示，

$R=\left(\begin{array}{cccc}0& & & \\ d_{21}& 0& & \\ .& .& .& .\\ d_{n1}& d_{n2}& .& 0\end{array}\right)$

上述所述步骤D2中采用的K最近邻分类的定义原理为，对于给定的正整数K及数据点集合DataSet，对于任意的点p，p∈Dataset，计算p点与数据点集合DataSet中其它点的距离，从其中选取与p点距离最近的K个点(不包含p点本身)，进而作为p点的K最近邻居集合，因此所述步骤D2，根据距离矩阵以及预设的K值，采用K最近邻分类计算每个RFID数据点的K最近邻居集合，其具体为，

根据距离矩阵以及预设的K值，分别计算每个RFID数据点的与其本身距离最近的K个RFID数据点，而计算出的K个RFID数据点则组成K最近邻居集合，也就是一个RFID数据点具有一个由与其本身距离最近的K个RFID数据点组成的K最近邻居集合，而所述K最近邻居集合并不包含该RFID数据点。

上述步骤D3中计算每个RFID数据点的平均距离，其具体为，分别计算每个RFID数据点与其K最近邻居集合中的所有RFID数据点的距离的平均值，其采用的计算公式如下，

${\mathrm{KNN}}_{\mathrm{dist}}\left(p\right)=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\mathrm{dist}(p,q_i)}{k}.$

其中p表示任一RFID数据点，而q_i表示与RFID数据点p对应的K最近邻居集合中的任一RFID数据点，而k为与RFID数据点p对应的K最近邻居集合中RFID数据点的个数。

上述步骤D4中计算RFID数据点的密度权值的公式如下，

$w=1-\frac{{\mathrm{KNN}}_{\mathrm{dist}}}{{\mathrm{KNN}}_{\max \mathrm{dist}}}$

其中KNN_maxdist表示RFID数据点的平均距离中最大的平均距离，KNN_dist表示RFID数据点的平均距离。

上述步骤D5采用反向K最近邻分类计算每个RFID数据点的反向K最近邻居集合，每个RFID数据点的反向K最近邻居集合由包含该RFID数据点的K最近邻居集合组成，其反向K最近邻分类的定义原理为，对于给定的正整数K及数据点集合DataSet，对于任意的点p，点p属于数据点集合DataSet，而p点的反向K最近邻居集合就是由那些包含有p点的K最近邻居集合组成的，例如求RFID数据点p的反向K最近邻居集合，假设所有RFID数据点的K最近邻居集合共有N个，而N个K最近邻居集合中有M个K最近邻居集合含有RFID数据点p，那么RFID数据点p的反向K最近邻居集合就是由M个含有RFID数据点p的K最近邻居集合组成，即每一个含有RFID数据点p的K最近邻居集合是RFID数据点p的反向K最近邻居集合中的一个元素。

上述步骤D6中计算每个RFID数据点的孤立系数，而一RFID数据点的孤立系数是由该RFID数据点的反向K最近邻居集合中元素的密度权值所决定的，因此步骤D6中计算每个RFID数据点的孤立系数的公式如下，

$\mathrm{Isolation}\left(p\right)=\frac{1}{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_i}$

上述公式的分母表示RFID数据点的反向K最近邻居集合中所有元素的密度权值总和，分母中m表示RFID数据点的反向K最近邻居集合中的元素个数。计算每个RFID数据点的孤立系数后就对每个RFID数据点的孤立系数进行排序，输出孤立系数最高的前n*pct％个RFID数据点，也就是输出RFID数据孤立点，其中n表示RFID数据点的总个数，pct％表示预设的百分比，所述预设的百分比可以根据实际的情况进行调整。

因此通过本发明挖掘RFID数据孤立点，由于采用标签的读取时间间隔、标签在读取时间间隔内的读取次数以及标签的平均信号读取强度作为RFID读取特征，因此能够更准确地挖掘RFID数据孤立点，另外，由于通过对标签进行聚类和压缩，因此能够大大减少数据的规模以及提高数据处理的效率，而且还采用基于权值的反向最近邻算法，因此能够为每个RFID数据点增添象征其所处区域的密集程度的权值，从而大大提高识别RIFD数据孤立点的精确度，特别对边界点有着良好的检测效果。

图3是利用matlab仿真本发明的方法进行RFID数据孤立点挖掘的检测结果示意图。仿真的参数设定为，K值为50，以及按照μ＝0.25，σ＝0.05、μ＝0.5，σ＝0.05、μ＝0.75，σ＝0.05，这三组高斯分布以及每组的元组个数为200进而生成三组数据，其中μ表示均值，σ表示误差，预设的百分比为2％，即按照2％比例输出孤立点，而通过图3所示的检测结果示意图可以看出，读取特征向量空间中X轴是标签的读取时间间隔、Y轴是标签在读取时间间隔内的读取次数以及Z轴是标签的平均信号读取强度，而通过使用本发明的方法能够找出所有的孤立点，共13个孤立点，因此验证了本发明的方法具有很高的有效性。

图4是使用matlab仿真本发明在不同数据规模下对数据进行压缩的压缩效果示意图。按照500，1000，5000，20000，50000，100000元组生成六组数据，得到数据压缩前后的对比。由图4所示，黑色竖条表示原始的数据的元组数，白色竖条表示压缩后的数据的元组数，当原始的数据规模较小时，数据的压缩效果并不是很明显，而当数据规模不断增大时，数据的压缩效果逐渐明显，当数据的规模到达100000元组时，大概可获得5倍的数据压缩率，因此从仿真的实验结果来看，本发明对海量的RFID数据进行压缩处理的效果是非常好的。

图5是在不同数据规模下反向K近邻算法与本发明的基于权值的反向最近邻算法的准确率对比示意图。利用matlab仿真反向K近邻算法和本发明的基于权值的反向最近邻算法分别进行RFID数据孤立点挖掘的准确率。仿真的参数设定为，K值为50，以μ＝0.25，σ＝0.05、μ＝0.5，σ＝0.05、μ＝0.75，σ＝0.05，这三组高斯分布以及分别按照每组的个数为100，500，1000，2000，4000元组的数据规模进而生成数据，其中μ表示均值，σ表示误差，因此总的数据规模变成了300，1500，3000，6000，12000，而预设的百分比为2％，即按照2％比例输出孤立点。由图5所示，WRKNN表示本发明的基于权值的反向最近邻算法，而ODRKNN表示反向K近邻算法，而从图5的准确率对比结果显示，本发明的基于权值的反向最近邻算法明显优于反向K近邻算法，因此本发明的基于权值的反向最近邻算法性能比较稳定。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种用于挖掘RFID数据孤立点的方法，其特征在于：该方法步骤包括：

A、从中间件获取原始RFID数据；

B、对获取的原始RFID数据进行聚类后压缩；

C、通过RFID读取特征，使压缩后的原始RFID数据以三元组方式作为RFID数据点在读取特征向量空间进行RFID数据孤立点的挖掘；

D、采用基于权值的反向最近邻算法对RFID数据点进行数据处理，进而输出RFID数据孤立点；

所述步骤D包括：

D1、计算两两RFID数据点之间的距离，进而生成距离矩阵；

D2、根据距离矩阵以及预设的K值，采用K最近邻分类计算每个RFID数据点的K最近邻居集合； 

D3、计算每个RFID数据点的平均距离；

D4、选取平均距离最大的RFID数据点后根据平均距离最大的RFID数据点进而计算RFID数据点的密度权值；

D5、采用反向K最近邻分类计算每个RFID数据点的反向K最近邻居集合，每个RFID数据点的反向K最近邻居集合由包含该RFID数据点的K最近邻居集合组成；

D6、计算每个RFID数据点的孤立系数后对每个RFID数据点的孤立系数进行排序，进而按照预设的百分比输出RFID数据孤立点。

2.根据权利要求1所述一种用于挖掘RFID数据孤立点的方法，其特征在于：所述步骤B中采用哈希表对获取的原始RFID数据进行聚类。

3.根据权利要求1或2所述一种用于挖掘RFID数据孤立点的方法，其特征在于：所述步骤B包括：

B1、对获取的原始RFID数据利用哈希表进行聚类；

B2、根据原始RFID数据判断该标签是否已存在哈希表，若存在，则增加该标签的读写次数，更新最近读取时间，并计算当前的读取信号强度；若不存在，则将该标签***哈希表中，并记录读取记录以及该标签的读取信号强度和首次读取时间。

4.根据权利要求1所述一种用于挖掘RFID数据孤立点的方法，其特征在于：所述步骤C中所述的RFID读取特征包括标签的读取时间间隔、标签在读取时间间隔内的读取次数以及标签的平均信号读取强度。

5.根据权利要求1所述一种用于挖掘RFID数据孤立点的方法，其特征在于：所述步骤D2，根据距离矩阵以及预设的K值，采用K最近邻分类计算每个RFID数据点的K最近邻居集合，其具体为，

根据距离矩阵以及预设的K值，分别计算每个RFID数据点的与其本身距离最近的K个RFID数据点，而计算出的K个RFID数据点则组成K最近邻居集合。

6.根据权利要求1所述一种用于挖掘RFID数据孤立点的方法，其特征在于：所述步骤D3，计算每个RFID数据点的平均距离，其具体为，分别计算每个RFID数据点与其K最近邻居集合中的所有RFID数据点的距离的平均值。

7.根据权利要求1所述一种用于挖掘RFID数据孤立点的方法，其特征在于：所述步骤D4中计算RFID数据点的密度权值的公式如下，

上述KNN_maxdist表示RFID数据点的平均距离中最大的平均距离，KNN_dist表示RFID数据点的平均距离。

8.根据权利要求7所述一种用于挖掘RFID数据孤立点的方法，其特征在于：所述步骤D6中计算每个RFID数据点的孤立系数的公式如下，

上述公式的分母表示RFID数据点的反向K最近邻居集合中所有元素的密度权值总和，分母中m表示RFID数据点的反向K最近邻居集合中的元素个数。

9.根据权利要求8所述一种用于挖掘RFID数据孤立点的方法，其特征在于：所述步骤D6中输出孤立点的个数为孤立系数最高的前n*pct%个，所述n表示RFID数据点的总个数，pct%表示预设的百分比。

Images