CN109886825B - 一种农业物联网数据多视角投影聚类重构方法及*** - Google Patents
一种农业物联网数据多视角投影聚类重构方法及*** Download PDFInfo
- Publication number
- CN109886825B CN109886825B CN201811594725.2A CN201811594725A CN109886825B CN 109886825 B CN109886825 B CN 109886825B CN 201811594725 A CN201811594725 A CN 201811594725A CN 109886825 B CN109886825 B CN 109886825B
- Authority
- CN
- China
- Prior art keywords
- matrix
- data
- plane
- projection matrix
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 239000011159 matrix material Substances 0.000 claims abstract description 268
- 230000008447 perception Effects 0.000 claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000002159 abnormal effect Effects 0.000 description 11
- 239000002689 soil Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- 238000012098 association analyses Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012271 agricultural production Methods 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 239000001569 carbon dioxide Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 231100000279 safety data Toxicity 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供一种农业物联网数据多视角投影聚类重构方法及***，包括：获取农业物联网发送的感知数据，根据感知数据生成感知矩阵；对感知矩阵在时间平面、空间平面和参数平面进行投影，获得时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵；分别对时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵通过预设的聚类算法进行聚类，分别获得时间平面投影矩阵的偏差值，空间平面投影矩阵的偏差值和参数平面投影矩阵的偏差值；选择偏差值最小的投影矩阵中的数据作为重构数据进行农业物联网数据重构。本发明实施例提供的方法，通过多视角投影技术，降低了聚类算法的执行复杂度，实现多维复杂农业WSN数据高效精准重构。
Description
技术领域
本发明实施例涉及物联网技术领域，尤其涉及一种农业物联网数据多视角投影聚类重构方法及***。
背景技术
农业物联网是感知农业环境进行农业生产决策管理、科研等的重要数据来源，数据的精度与质量对研究与决策结果有着重要影响。由于传感器、网络链路、采集节点等软硬件故障难以避免，导致数据错误、缺失等问题进而降低感知数据质量。农业环境监测网络的工作复杂恶劣、信道条件复杂、能量受限等均会提高故障出现概率，不仅如此，随着网络规模的扩大，其故障出现的频率与类型也随之升高。为了保证农业物联网数据的完整性与质量，为农业生产研究等提供支撑，有效的数据重构方法成为对抗网络故障与数据缺失的关键。
目前常用的数据插值方法有线性插值法、移动平均法、多元回归法、自然邻点插值法、最邻近点插值法等。基于机器学习的数据重构算法，如K-近邻(KNN)，DelaunayTriangulation(DT)以及多通道奇异谱分析(MSSA)。这些方法通常仅适用于少数缺失值场景，当缺失值较多时，该类方法的性能下降明显
经文献检索发现，发明专利“基于压缩感知理论的安全数据传输方法”(申请号：201210392212.X)提供了一种利用压缩感知理论实现安全数据传输的方法，在源端利用随机投影矩阵和随机向量加密，而目的端利用随机投影矩阵的左零矩阵的子矩阵进行解密，从而可以重构出需要传递的数据。该方法主要针对的安全场景下的加解密问题，并不涉及缺失及异常数据的重构问题。发明专利“一种传感器数据传输方法、***及介质”(申请号：201711084602.X)提供了一种低速率物联网平台传感器数据传输方法，将采集数据按预设的数据帧格式进行重构，得到重构数据；将重构数据传输至与低速率物联网平台建立通信连接的服务器；其中，该发明方法的主要作用是统一传感器的数据传输格式，提高物联网传输效率。Kong等在“Data Loss and Reconstruction in Wireless Sensor Networks”一文中提出一种面同高数据丢失率的空间时间改进型压缩感知与重构方法，并从单参数、多参数角度给出了重构精度分析。Sun等在“Compressed-Sensing Reconstruction Based onBlock Sparse Bayesian Learning in Bearing-Condition Monitoring”文中提出了一种面向数据块的稀疏贝叶斯学习(BSBL)算法，利用块属性和内在结构的信号重建CS稀疏系数的变换域和进一步恢复原始信号。
传统插值方法主要解决的是时间序列的个别丢失数据的插值填充问题，其中线性插值方法只适用于解决线性问题，对非线性数据插值结果较差，拉格朗日插值法等虽提高了非线性数据的插值准备性，但仍难以解决多值函数等问题。最新的基于机器学习的方法为无线传感器网络数据重构问题提供了良好的技术手段，但目前的研究多停留在单参数、单一维度、少量缺失数据的重构问题上。对大量数据缺失场景的数据重构研究较少，而且均未采用多参数、多维度相关分析等技术进行重构分析，尤其对于不同异常造成的数据异常缺失问题没有进行区别化处理。
农业物联网工作环境复杂恶劣，传感器、节点软硬件、通信链路等故障均会造成物联网数据的缺失或异常，通过数据间的关联聚类实现农业WSN数据的重构是有待研究解决的问题。
发明内容
本发明实施例提供一种农业物联网数据多视角投影聚类重构方法及***，用以解决现有技术中农业物联网工作环境复杂恶劣，传感器、节点软硬件、通信链路等故障均会造成物联网数据的缺失或异常的问题。
第一方面，本发明实施例提供一种农业物联网数据多视角投影聚类重构方法，包括：
S1，获取农业物联网发送的感知数据，根据所述感知数据生成感知矩阵；
S2，对所述感知矩阵在时间平面，空间平面和参数平面进行投影，获得时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵；
S3，分别对所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵通过预设的聚类算法进行聚类，分别获得所述时间平面投影矩阵的偏差值，空间平面投影矩阵的偏差值和所述参数平面投影矩阵的偏差值；
S4，选择偏差值最小的投影矩阵中的数据作为重构数据进行农业物联网数据重构。
第二方面，本发明实施例提供一种农业物联网数据多视角投影聚类重构方法***，包括：
感知矩阵生成模块，用于获取农业物联网发送的感知数据，根据所述感知数据生成感知矩阵；
投影模块，用于对所述感知矩阵在时间平面，空间平面和参数平面进行投影，获得时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵；
聚类模块，用于分别对所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵通过预设的聚类算法进行聚类，分别获得所述时间平面投影矩阵的偏差值，空间平面投影矩阵的偏差值和所述参数平面投影矩阵的偏差值；
数据重构模块，用于选择偏差值最小的投影矩阵中的数据作为重构数据进行农业物联网数据重构。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所提供的农业物联网数据多视角投影聚类重构方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所提供的农业物联网数据多视角投影聚类重构方法的步骤。
本发明实施例提供的农业物联网数据多视角投影聚类重构方法及***，考虑农业环境的时空参关联特性，通过多视角投影技术，实现了数据的降维处理，大大降低了聚类算法的执行复杂度，同时采用聚类方法寻找数据间相关性，简化数据关联分析的计算复杂度，进而实现多维复杂农业WSN数据高效精准重构。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的农业物联网数据多视角投影聚类重构方法的流程示意图；
图2为本发明一实施例提供的农业物联网数据多视角投影聚类重构方法中，空间平面映射矩阵示意图；
图3为本发明又一实施例提供的农业物联网数据多视角投影聚类重构方法的流程示意图；
图4为本发明一实施例提供的农业物联网数据多视角投影聚类重构方法***的结构示意图
图5为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，图1为本发明一实施例提供的农业物联网数据多视角投影聚类重构方法的流程示意图，所提供的方法包括：
S1，获取农业物联网发送的感知数据，根据所述感知数据生成感知矩阵；
S2，对所述感知矩阵在时间平面、空间平面和参数平面进行投影，获得时间平面投影矩阵、空间平面投影矩阵和参数平面投影矩阵；
S3，分别对所述时间平面投影矩阵、空间平面投影矩阵和参数平面投影矩阵通过预设的聚类算法进行聚类，分别获得所述时间平面投影矩阵的偏差值，空间平面投影矩阵的偏差值和所述参数平面投影矩阵的偏差值；
S4，选择偏差值最小的投影矩阵中的数据作为重构数据进行农业物联网数据重构。
具体的，对于WSN环境数据重构应用场景，感知数据一般可分为三个维度，时间维、空间维、参数维，高维数据的处理不仅会降低聚类算法的执行效率，而且很难快速找到一个完全满足要求的超平面进行类别划分。为此，本发明引入多视角投影方法，首先将农业WSN数据投影在不同的参数维度上，形成对应的参数时空数据，一般采用矩阵形式表示重构前后数据。首先基于采样频率和数据周期确定滑动窗口尺寸大小，按确定的滑动窗口截取感知矩阵作为模型训练的输入数据；并对输入数据(感知矩阵)进行归一化处理。参数矩阵EM(Environment Matrix)定义为：
X(x(i,j,k))n×t×p
其中，i为第i个节点，j为第j个时间点。k表示第k个参数，网络中共有n个节点，每个节点感知有p种参数，算法处理的时间窗口内包括了t个时间点的数据，则X为一n×t×p矩阵。
其中，农业WSN感知数据中对应的参数维度包括但不限于环境温度、环境湿度、土壤温度、土壤湿度、光照强度、土壤PH值、风速、风向、降雨量等。
WSN数据因为软硬件故障或信道链路等问题出现数据丢失或异常数据，其中异常数据经异常检测算法检出后删除，也可视为丢失数据一同处理。此时EM矩阵中会出现0值项，则定义数据丢失矩阵(DMM,Data missing Matrix)表征数据的丢失情况：
则WSN实际采集到的数据可表示为感知矩阵PM＝B.×X。
对于农业WSN数据重构方法而言，即要从采集获得的数据矩阵PM中恢复出数据矩阵X’，使其尽可能地接近原始数据矩阵X。特殊地，由于农业物联网数据是一种时空数据，且拥有诸如空气温度、空气湿度、土壤温度、土壤湿度、光照、气压、二氧化碳浓度等多种参数，因此，农业物联网数据是一种高维时空数据，对其的处理首先要进行数据降维，又称属性约简。
由于农业WSN数据的时空参高维特性，传统方法难以实现高效的分析与聚类，因此本实施例中提出一种多视角投影数据降维方法，在聚类之前对数据不同维度属性进行关联分析，选择关联度大的维度属性进行多视角投影以约简数据维度，具体步骤如下：
感知矩阵PM按预设规则映射到时间、空间、参数其中某一平面，则感知矩阵PM则由三维矩阵变换为二维矩阵。例如，映射到空间平面后的矩阵可表示如图2所示，其中表示PM中第j(j∈(1,n))个节点的数据。对应在时间、参数平面的映射后矩阵可分别表示为(i∈(1,t))和(k∈(1,p))。
进行多视角投影聚类时，可根据数据缺失的实际情况求解
中的一个或多个，为了进一步简化聚类算法的计算复杂度，需要对
进行再次投影约简，继续以
为例，选取其中的最小子空间矩阵
作为约简结果。
需要同时满足以下条件：
在具体实施中，对各视角的投影数据矩阵采用预设的聚类算法进行聚类，以类内均值作为缺失数据的重构值并计算对应的偏差Var，选择三个维度中Var最小的结果作为单点随机丢失模型下的重构数据。
相应地，在使用聚类方法时，需要先对算法模型进行训练，按照数据的缺失形式，预设的损失函数对训练样本数据进行测算，得出最佳的聚类值数量。
通过此方法，考虑农业环境的时空参关联特性，通过多视角投影技术，实现了数据的降维处理，大大降低了聚类算法的执行复杂度，同时采用聚类方法寻找数据间相关性，简化数据关联分析的计算复杂度，进而实现多维复杂农业WSN数据高效精准重构。
在上述实施例的基础上，所述对所述感知矩阵在时间平面，空间平面和参数平面进行投影，获得时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵之后的步骤，还包括：根据所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵判断农业物联网的感知数据的丢失类型；若所述农业物联网的感知数据的丢失类型为单点随机丢失类型，则继续执行S3。
所述根据所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵判断农业物联网的感知数据的丢失类型的步骤之后，还包括：
S21，若所述农业物联网的感知数据的丢失类型为块随机丢失类型，则将所述感知矩阵，根据所述块随机丢失对应的丢失数据的类型，在该类型的平面上进行投影，获得若干个块丢失投影矩阵。
S22，将所述若干个块丢失投影矩阵采用预设的聚类算法进行聚类，获得每一个块丢失投影矩阵的偏差值。
S23，选取所述块丢失投影矩阵的偏差值最小的N个块丢失投影矩阵，作为重构数据，对所述感知矩阵进行数据重构，获得数据重构后的感知矩阵。
S24，将所述数据重构后的感知矩阵作为新的感知矩阵，执行S2。
其中，所述将所述数据重构后的感知矩阵作为新的感知矩阵，进行农业物联网数据重构步骤之后，还包括：根据所述据重构后的感知矩阵投影生成的时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵，判断所述据重构后的感知矩阵的数据缺失类型；若所述据重构后的感知矩阵数据缺失类型为块随机丢失类型，则重新执行S21。
具体的，参考图3所示，图3为本发明又一实施例提供的物联网农业物联网数据多视角投影聚类重构方法的流程示意图，传统的数据丢失模型一般以随机丢失模型为主，但对于WSN数据采集应用而言，其数据丢失模型主要有其下几种：
单点随机丢失模型，这是最简单的数据丢失模型。矩阵中的数据是独立随机地丢弃的，即丢失的数据点是随机分布在监测矩阵PM中的。一般WSNs的噪音和碰撞是这种模式的根本原因。
块随机丢失模型，块随机丢失模型表现为数据矩阵PM中存在相邻的部分数据同时丢失的现象，根据相邻数据的排列维度不同主要分为空间序列块丢失、时间序列块丢失以及参数序列块丢失模型。
其中时间序列块丢失模型为某节点的数据在时间序列上出现频繁丢失，可以表现为持续性丢失和间歇性丢失。在农业WSN应用场景中，不可靠的链路是常见的现象，当链路质量不好时，感知数据易出现时间序列块丢失。
空间序列块模型为某时间节点上相邻节点的数据一同丢失。农业WSN网络拥塞是导致高密度多传感器节点数据丢失的主要原因。
参数序列块丢失表现为某节点多个参数的同时丢失，农业WSN节点传感器硬件故障是造成参数序列块丢失的主要原因。
混合丢失模型在实际应用中一般丢失都由多种因素同时造成，但由于混合模型较为复杂，在具体分析时一般分解为前三种模型进行处理。
相应的，在农业物联网数据缺失模型中，其数据缺失比例一般较高，为此在农业WSN数据重构中需要同时考虑高维数据与缺失率高两方面问题。
对于农业WSN中常见链路故障、网络阻塞故障、传感器硬件故障等，则分别对应于块随机丢失模型的时间、空间、参数序列块丢失模型，因此在数据重构时采用如下方法步骤：
首先，判断属于哪一类序列块丢失模型，则将感知矩阵PM在对应的维度进行多视角投影并获得相应的投影矩阵。例如时间序列块丢失则投影到时间平面，获得若干个在时间平面上的投影矩阵，例如若在i∈[i0,i1]为块丢失，则产生i1-i0+1个投影矩阵。
对获得的投影矩阵采用K-means++方法进行聚类，本发明实施例中采用J(·)作为K-means++方法的损失函数。不失一般性，本步骤中采用其他聚类方法亦可实现类似的效果。
在使用聚类方法时，需要先对算法模型进行训练，按照数据的缺失形式，以作为损失函数对训练样本数据进行测算，得出最佳的聚类值数量。以类内均值作为缺失数据的重构值并计算对应的偏差Var，在多个投影矩阵中选择Var最小的N0个作为对应时间平面的重构数据，一般取N0为总投影矩阵个数的一半；将重构数据加入原始的数据矩阵PM中，得出P’M，则P’M中的缺失部分可能部分转化为单点丢失，而部分仍为块丢失。若仍为块丢失，则继续执行上述块丢失的数据重构步骤，若转化为单点丢失，则采用单点丢失的方式进行重构。
通过此方法，考虑到农业WSN中传感器故障、节点软硬件故障、通信链路故障等，各种典型故障类型造成的数据缺失与异常均存在明显特征规律，本发明通过对不同类型缺失异常数据采用不同的判别方式，进一步提高了数据重构的精度与效率。
在上述实施例的基础上，所述预设的聚类算法包括但不限于K-means++、密度聚类、均值聚类中的任一聚类算法。
所述采用预设的聚类算法进行聚类的步骤具体包括：
采用J(·)作为K-means++方法的损失函数对所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵进行聚类；其中：
式中，W为最小二乘法的系数矩阵，ρ是一个大于零的惩罚项系数，Z为训练样本矩阵，Y为测试样本矩阵。
所述获得所述时间平面投影矩阵的偏差值，空间平面投影矩阵的偏差值和所述参数平面投影矩阵的偏差值的步骤具体包括：将每个矩阵的聚类值作为缺失数据的重构值并计算对应的偏差值Var；其中：
式中，
为二阶Frobenius范数，X为重构前矩阵，X’为重构后矩阵。
具体的，统的方法多采用时间、空间的关联性进行关联估计，农业场景下的WSN除了上述关联外，其部分参数还具有显著的参数间相关性与周期性。为此本实施例提出一种新的数据估计重构方法来解决农业WSN场景下的数据丢失异常问题，从参数间二阶相关性方面对现有算法进行改进。
以恢复矩阵与原始矩阵尽可能接近为算法优化目标，即定义重构偏差Var为：
其中，
为二阶Frobenius范数，X和X’分别为重构前后矩阵。引入最小二乘法作为损失函数，考虑到农业WSN数据的高维特性，选择l2,1范数既较好的融合了l1范数的稀疏性特点，又拥有了l2范数防止损失函数过拟合的特点，因此定义损失函数J(·)：
本发明实施例中采用J(·)作为K-means++方法的损失函数，其中W为最小二乘法的系数矩阵，ρ是一个大于零的惩罚项系数，Z为训练样本矩阵，Y为测试样本矩阵。。
综上所述，本发明提出一种基于聚类的数据关联重构方法，通过修正的F(2，1)范数作为损失函数在保证矩阵稀疏性的同时较好的解决了聚类方法局部过拟合问题，提高了高缺失率非线性数据的重构准确性。同时提出一种多视角投影方法实现数据的降维，简化数据关联分析的计算复杂度，进而实现多维复杂农业WSN数据高效精准重构。
参考图4，图4为本发明一实施例提供的农业物联网数据聚类重构***的结构示意图，所提供的***包括：感知矩阵生成模块41，投影模块42，聚类模块43和数据重构模块44。
其中，感知矩阵生成模块41用于获取农业物联网发送的感知数据，根据所述感知数据生成感知矩阵；
投影模块42用于对所述感知矩阵在时间平面，空间平面和参数平面进行投影，获得时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵；
聚类模块43用于分别对所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵通过预设的聚类算法进行聚类，分别获得所述时间平面投影矩阵的偏差值，空间平面投影矩阵的偏差值和所述参数平面投影矩阵的偏差值；
数据重构模块44用于选择偏差值最小的投影矩阵中的数据作为重构数据进行农业物联网数据重构。
其中，所述***还包括：判断模块，用于根据所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵判断农业物联网的感知数据的丢失类型；若所述农业物联网的感知数据的丢失类型为单点随机丢失类型，则继续执行聚类模块。
具体的，对于WSN环境数据重构应用场景，感知数据一般可分为三个维度，时间维、空间维、参数维，高维数据的处理不仅会降低聚类算法的执行效率，而且很难快速找到一个完全满足要求的超平面进行类别划分。为此，本发明引入多视角投影方法，首先将农业WSN数据投影在不同的参数维度上，形成对应的参数时空数据，一般采用矩阵形式表示重构前后数据。首先基于采样频率和数据周期确定滑动窗口尺寸大小，按确定的滑动窗口截取感知矩阵作为模型训练的输入数据；并对输入数据(感知矩阵)进行归一化处理。参数矩阵EM(Environment Matrix)定义为：
X(x(i,j,k))n×t×p
其中，i为第i个节点，j为第j个时间点。k表示第k个参数，网络中共有n个节点，每个节点感知有p种参数，算法处理的时间窗口内包括了t个时间点的数据，则X为一n×t×p矩阵。
其中，农业WSN感知数据中对应的参数维度包括但不限于环境温度、环境湿度、土壤温度、土壤湿度、光照强度、土壤PH值、风速、风向、降雨量等。
WSN数据因为软硬件故障或信道链路等问题出现数据丢失或异常数据，其中异常数据经异常检测算法检出后删除，也可视为丢失数据一同处理。此时EM矩阵中会出现0值项，则定义数据丢失矩阵(DMM,Data missing Matrix)表征数据的丢失情况：
则WSN实际采集到的数据可表示为感知矩阵PM＝B.×X。
对于农业WSN数据重构方法而言，即要从采集获得的数据矩阵PM中恢复出数据矩阵X’，使其尽可能地接近原始数据矩阵X。特殊地，由于农业物联网数据是一种时空数据，且拥有诸如空气温度、空气湿度、土壤温度、土壤湿度、光照、气压、二氧化碳浓度等多种参数，因此，农业物联网数据是一种高维时空数据，对其的处理首先要进行数据降维，又称属性约简。
由于农业WSN数据的时空参高维特性，传统方法难以实现高效的分析与聚类，因此本实施例中提出一种多视角投影数据降维方法，在聚类之前对数据不同维度属性进行关联分析，选择关联度大的维度属性进行多视角投影以约简数据维度，具体步骤如下：
感知矩阵PM按预设规则映射到时间、空间、参数其中某一平面，则感知矩阵PM则由三维矩阵变换为二维矩阵。例如，映射到空间平面后的矩阵可表示如图2所示，其中表示PM中第j(j∈(1,n))个节点的数据。对应在时间、参数平面的映射后矩阵可分别表示为(i∈(1,t))和(k∈(1,p))。
进行多视角投影聚类时，可根据数据缺失的实际情况求解
中的一个或多个，为了进一步简化聚类算法的计算复杂度，需要对
进行再次投影约简，继续以
为例，选取其中的最小子空间矩阵
作为约简结果。
需要同时满足以下条件：
在具体实施中，对各视角的投影数据矩阵采用K-means++方法进行聚类，以类内均值作为缺失数据的重构值并计算对应的偏差Var，选择三个维度中Var最小的结果作为单点随机丢失模型下的重构数据。
相应地，在使用聚类方法时，需要先对算法模型进行训练，按照数据的缺失形式，预设的损失函数对训练样本数据进行测算，得出最佳的聚类值数量。
通过此***，考虑农业环境的时空参关联特性，通过多视角投影技术，实现了数据的降维处理，大大降低了聚类算法的执行复杂度，同时采用聚类方法寻找数据间相关性，简化数据关联分析的计算复杂度，进而实现多维复杂农业WSN数据高效精准重构。
图5为本发明一实施例提供的电子设备的结构示意图，如图5所示，所提供的电子设备包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和总线504，其中，处理器501，通信接口502，存储器503通过总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行如下方法，例如包括：获取农业物联网发送的感知数据，根据所述感知数据生成感知矩阵；对所述感知矩阵在时间平面，空间平面和参数平面进行投影，获得时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵；分别对所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵通过预设的聚类算法进行聚类，分别获得所述时间平面投影矩阵的偏差值，空间平面投影矩阵的偏差值和所述参数平面投影矩阵的偏差值；选择偏差值最小的投影矩阵中的数据作为重构数据进行农业物联网数据重构。
本发明实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取农业物联网发送的感知数据，根据所述感知数据生成感知矩阵；对所述感知矩阵在时间平面，空间平面和参数平面进行投影，获得时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵；分别对所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵通过预设的聚类算法进行聚类，分别获得所述时间平面投影矩阵的偏差值，空间平面投影矩阵的偏差值和所述参数平面投影矩阵的偏差值；选择偏差值最小的投影矩阵中的数据作为重构数据进行农业物联网数据重构。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：获取农业物联网发送的感知数据，根据所述感知数据生成感知矩阵；对所述感知矩阵在时间平面，空间平面和参数平面进行投影，获得时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵；分别对所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵通过预设的聚类算法进行聚类，分别获得所述时间平面投影矩阵的偏差值，空间平面投影矩阵的偏差值和所述参数平面投影矩阵的偏差值；选择偏差值最小的投影矩阵中的数据作为重构数据进行农业物联网数据重构。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种农业物联网数据多视角投影聚类重构方法，其特征在于，包括：
S1，获取农业物联网发送的感知数据，根据所述感知数据生成感知矩阵；
所述根据所述感知数据生成感知矩阵，包括：基于引入多视角投影方法，将所述感知数据投影在不同的参数维度上，获取参数时空数据，所述参数时空数据为矩阵形式表示；
基于采样频率和数据周期确定滑动窗口尺寸大小，并以所述滑动窗口对所述参数时空数据进行截取，生成所述感知矩阵；
S2，对所述感知矩阵在时间平面、空间平面和参数平面进行投影，获得时间平面投影矩阵
空间平面投影矩阵
和参数平面投影矩阵
所述感知矩阵表示为：X(x(i,j,k))n×t×p，
和
表示所述感知矩阵映射到空间平面、时间平面和参数平面后的矩阵；
其中，i为第i个节点，j为第j个时间点。k表示第k个参数，网络中共有n个节点，每个节点感知有p种参数，算法处理的时间窗口内包括了t个时间点的数据，则X为n×t×p矩阵；
S3，分别对所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵通过预设的聚类算法进行聚类，分别获得所述时间平面投影矩阵的偏差值、空间平面投影矩阵的偏差值和所述参数平面投影矩阵的偏差值；
S4，选择偏差值最小的投影矩阵中的数据作为重构数据进行农业物联网数据重构。
2.根据权利要求1所述的方法，其特征在于，所述对所述感知矩阵在时间平面、空间平面和参数平面进行投影，获得时间平面投影矩阵、空间平面投影矩阵和参数平面投影矩阵之后的步骤，还包括：
根据所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵判断农业物联网的感知数据的丢失类型；
若所述农业物联网的感知数据的丢失类型为单点随机丢失类型，则继续执行S3。
3.根据权利要求2所述的方法，其特征在于，所述根据所述时间平面投影矩阵、空间平面投影矩阵和参数平面投影矩阵判断农业物联网的感知数据的丢失类型的步骤之后，还包括：
S21，若所述农业物联网的感知数据的丢失类型为块随机丢失类型，则将所述感知矩阵在丢失数据所对应的维度进行多视角投影，获取若干个块丢失投影矩阵；
S22，将所述若干个块丢失投影矩阵采用预设的聚类算法进行聚类，获得每一个块丢失投影矩阵的偏差值；
S23，选取所述块丢失投影矩阵的偏差值最小的N个块丢失投影矩阵，作为重构数据，对所述感知矩阵进行数据重构，获得数据重构后的感知矩阵；
S24，将所述数据重构后的感知矩阵作为新的感知矩阵，执行S2。
4.根据权利要求3所述的方法，其特征在于，所述将所述数据重构后的感知矩阵作为新的感知矩阵，进行农业物联网数据重构步骤之后，还包括：
根据所述重构后的感知矩阵投影生成的时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵，判断所述重构后的感知矩阵的数据缺失类型；
若所述重构后的感知矩阵数据缺失类型为块随机丢失类型，则重新执行S21。
5.根据权利要求4所述的方法，其特征在于，所述预设的聚类算法包括但不限于K-means++、密度聚类、均值聚类中的任一聚类算法。
6.根据权利要求5所述的方法，其特征在于，所述采用预设的聚类算法进行聚类的步骤具体包括：
采用J(·)作为K-means++方法的损失函数对所述时间平面投影矩阵，空间平面投影矩阵和参数平面投影矩阵进行聚类；
其中，
式中，W为最小二乘法的系数矩阵，ρ是一个大于零的惩罚项系数，Z为训练样本矩阵，Y为测试样本矩阵。
7.根据权利要求1所述的方法，其特征在于，所述获得所述时间平面投影矩阵的偏差值，空间平面投影矩阵的偏差值和所述参数平面投影矩阵的偏差值的步骤具体包括：
以重构后矩阵与重构前矩阵最接近作为算法优化目标，定义重构偏差值Var，
式中，
为二阶Frobenius范数，X为重构前矩阵，X’为重构后矩阵。
8.一种农业物联网数据多视角投影聚类重构方法***，其特征在于，包括：
感知矩阵生成模块，用于获取农业物联网发送的感知数据，根据所述感知数据生成感知矩阵；
所述根据所述感知数据生成感知矩阵，包括：基于引入多视角投影方法，将所述感知数据投影在不同的参数维度上，获取参数时空数据，所述参数时空数据为矩阵形式表示；
基于采样频率和数据周期确定滑动窗口尺寸大小，并以所述滑动窗口对所述参数时空数据进行截取，生成所述感知矩阵；
投影模块，用于对所述感知矩阵在时间平面、空间平面和参数平面进行投影，获得时间平面投影矩阵
空间平面投影矩阵
和参数平面投影矩阵
所述感知矩阵表示为：X(x(i,j,k))n×t×p，
和
表示所述感知矩阵映射到空间平面、时间平面和参数平面后的矩阵；
其中，i为第i个节点，j为第j个时间点。k表示第k个参数，网络中共有n个节点，每个节点感知有p种参数，算法处理的时间窗口内包括了t个时间点的数据，则X为n×t×p矩阵；
聚类模块，用于分别对所述时间平面投影矩阵、空间平面投影矩阵和参数平面投影矩阵通过预设的聚类算法进行聚类，分别获得所述时间平面投影矩阵的偏差值、空间平面投影矩阵的偏差值和所述参数平面投影矩阵的偏差值；
数据重构模块，用于选择偏差值最小的投影矩阵中的数据作为重构数据进行农业物联网数据重构。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述农业物联网数据多视角投影聚类重构方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述农业物联网数据多视角投影聚类重构方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811594725.2A CN109886825B (zh) | 2018-12-25 | 2018-12-25 | 一种农业物联网数据多视角投影聚类重构方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811594725.2A CN109886825B (zh) | 2018-12-25 | 2018-12-25 | 一种农业物联网数据多视角投影聚类重构方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109886825A CN109886825A (zh) | 2019-06-14 |
| CN109886825B true CN109886825B (zh) | 2021-06-29 |
Family
ID=66925165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811594725.2A Active CN109886825B (zh) | 2018-12-25 | 2018-12-25 | 一种农业物联网数据多视角投影聚类重构方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886825B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990380B (zh) * | 2021-05-11 | 2021-08-03 | 物鼎安全科技(武汉)有限公司 | 物联网缺失数据的填充方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400143A (zh) * | 2013-07-12 | 2013-11-20 | 中国科学院自动化研究所 | 一种基于多视角的数据子空间聚类方法 |
| CN105718950A (zh) * | 2016-01-22 | 2016-06-29 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构约束的半监督多视角聚类方法 |
| CN107895202A (zh) * | 2017-10-24 | 2018-04-10 | 天津大学 | 基于多视角风速模式挖掘的短期风速预测方法 |
| CN108289285A (zh) * | 2018-01-12 | 2018-07-17 | 上海海事大学 | 一种海洋无线传感器网络丢失数据恢复与重构方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650747B (zh) * | 2016-11-16 | 2019-08-02 | 佛山科学技术学院 | 一种基于压缩感知的三维模型特征提取方法 |
| CN109041002B (zh) * | 2018-08-22 | 2020-05-26 | 中国农业科学院农业信息研究所 | 一种智能农业物联网信号压缩方法 |
-
2018
- 2018-12-25 CN CN201811594725.2A patent/CN109886825B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400143A (zh) * | 2013-07-12 | 2013-11-20 | 中国科学院自动化研究所 | 一种基于多视角的数据子空间聚类方法 |
| CN105718950A (zh) * | 2016-01-22 | 2016-06-29 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构约束的半监督多视角聚类方法 |
| CN107895202A (zh) * | 2017-10-24 | 2018-04-10 | 天津大学 | 基于多视角风速模式挖掘的短期风速预测方法 |
| CN108289285A (zh) * | 2018-01-12 | 2018-07-17 | 上海海事大学 | 一种海洋无线传感器网络丢失数据恢复与重构方法 |
Non-Patent Citations (1)
| Title |
|---|
| A spatial-temporal imputation technique for classification with missing data in a wireless sensor network;YuanYuan Li， Lynne E. Parker;《2008 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20080926;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109886825A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107786959B (zh) | 在无线传感器网络中基于自适应测量的压缩数据收集方法 | |
| CN110087207B (zh) | 无线传感器网络缺失数据重建方法 | |
| CN113992718B (zh) | 一种基于动态宽度图神经网络的群体传感器异常数据检测方法和*** | |
| CN115013298B (zh) | 污水泵的实时性能在线监测***及其监测方法 | |
| CN108924148A (zh) | 一种多源信号协同压缩感知数据恢复方法 | |
| CN116455941B (zh) | 基于物联网的室内环境多源数据传输方法及*** | |
| CN115834433B (zh) | 基于物联网技术的数据处理方法及*** | |
| Tasfi et al. | Deep neural networks with confidence sampling for electrical anomaly detection | |
| Liu et al. | RB-Net: Training highly accurate and efficient binary neural networks with reshaped point-wise convolution and balanced activation | |
| CN113225089B (zh) | 一种工业机器人多通道监测数据压缩方法及*** | |
| CN115878603A (zh) | 基于k近邻算法与gan网络的水质缺失数据插补算法 | |
| CN116684878B (zh) | 一种5g信息传输数据安全监测*** | |
| Cheng et al. | Online power system event detection via bidirectional generative adversarial networks | |
| CN108764541B (zh) | 一种结合时空特征和误差处理的风能预测方法 | |
| Li et al. | Robust Low-Rank Tensor Completion Based on Tensor Ring Rank via $\ell _ {p,\epsilon} $-Norm | |
| Sekar et al. | Compressed tensor completion: A robust technique for fast and efficient data reconstruction in wireless sensor networks | |
| CN109886825B (zh) | 一种农业物联网数据多视角投影聚类重构方法及*** | |
| CN115470857A (zh) | 变电站全景数字孪生***及其方法 | |
| CN102355752B (zh) | 基于膨胀图的无线传感器网络压缩感知测量矩阵和重构方法 | |
| CN115879505A (zh) | 一种自适应相关感知无监督深度学习异常检测方法 | |
| Gkillas et al. | Missing data imputation for multivariate time series in industrial iot: A federated learning approach | |
| CN113708771B (zh) | 一种基于斯特拉森算法的半张量积压缩感知方法 | |
| Lu et al. | App-net: Auxiliary-point-based push and pull operations for efficient point cloud classification | |
| Huang et al. | Robust spatial temporal imputation based on spatio-temporal generative adversarial nets | |
| CN116306780B (zh) | 一种动态图链接生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |