CN115423005A - 一种联合收获机大数据重构方法与装置 - Google Patents

一种联合收获机大数据重构方法与装置 Download PDF

Info

Publication number
CN115423005A
CN115423005A CN202211007850.5A CN202211007850A CN115423005A CN 115423005 A CN115423005 A CN 115423005A CN 202211007850 A CN202211007850 A CN 202211007850A CN 115423005 A CN115423005 A CN 115423005A
Authority
CN
China
Prior art keywords
data
combine harvester
big data
values
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211007850.5A
Other languages
English (en)
Other versions
CN115423005B (zh
Inventor
石茂林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202211007850.5A priority Critical patent/CN115423005B/zh
Publication of CN115423005A publication Critical patent/CN115423005A/zh
Priority to PCT/CN2022/144067 priority patent/WO2024040845A1/zh
Application granted granted Critical
Publication of CN115423005B publication Critical patent/CN115423005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2337—Non-hierarchical techniques using fuzzy logic, i.e. fuzzy clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种联合收获机大数据重构方法与装置，该方法基于模糊聚类框架，利用克里金法刻画联合收获机完整数据的参数关联关系，通过数据参数之间的关联关系，以及数据空间分布密度、均值等信息共同推断空值、野值、异常值的真实数值。该装置，采用数据输入模块用于获取农机现场作业数据；数据重构模块用于接收数据输入模块输入的联合收获机大数据，并根据联合收获机大数据重构方法重构数据；数据输出模块输出联合收获机大数据的重构数据；数据保存模块用于保存联合收获机大数据的原始数据、重构数据、隶属度矩阵，提高了联合收获机大数据重构的精准度，为后续联合收获机大数据建模与分析任务提供数据支撑。

Description

一种联合收获机大数据重构方法与装置
技术领域
本发明属于联合收获机、大数据、人工智能的交叉技术领域，特别涉及一种联合收获机大数据重构方法与装置。
背景技术
联合收获机是保障水稻、小麦、玉米等主粮及时收获的关键装备，其作业过程的性能表现对于我国粮食生产安全具有重要意义。联合收获机的作业性能主要由割台、输送槽、脱粒、清选等装置组成的工作部件所决定，不同装置之间的相互作用十分复杂，难以通过物理推导、数值仿真等手段准确刻画。在实际作业过程中，联合收获机的作业参数调整多依赖机手经验，难以准确匹配实时收获工况，作业性能时好时坏。
随着联合收获机工作部件运行监测的日益完善，来源于作业现场的实测数据不断累积。这些数据记录下了联合收获机工作部件内部的运行过程，也隐含了联合收获机工作部件与作物的相互作用机理。通过挖掘这些数据的内部信息，可以有效地指导联合收获机的运行作业，提升联合收获机的作业性能表现。
但是联合收获机在田间作业，部分传感器安装于脱粒、清选等装置内部，服役环境温度高、湿度大、粉尘多；田间地域广阔，难以提供稳定、良好的通讯条件。以上因素共同导致实测数据存在大量空值、野值与异常值，数据不完备。因此，就需要对这些空值、野值、异常值进行数据重构，以形成完备的数据集，为后续数据建模与分析任务提供数据支撑。
数据重构是大数据领域的热点话题之一，其是指根据数据内在特征，对空值、野值、异常值的真实数值进行估计，从而将内含空值、野值、异常值的不完备数据转变为完备数据的过程。
目前，对于联合收获机大数据的重构问题，多是从数据空间分布角度重构数据。例如，通过空值、野值、异常值对应参数的空间分布密度、均值等估计其真实数值，并没有考虑数据参数之间的关联关系，难以实现数据的精准重构。
发明内容
针对上述技术问题，本发明的一个方式的目的之一是提供一种联合收获机大数据重构方法，基于模糊聚类框架，利用克里金法刻画联合收获机完整数据的参数关联关系，通过数据参数之间的关联关系，以及数据空间分布密度、均值等信息共同推断空值、野值、异常值的真实数值，提高联合收获机大数据重构的精准度，为后续联合收获机大数据建模与分析任务提供数据支撑。
本发明的一个方式的目的之一是提供一种实现联合收获机大数据重构方法的装置，采用数据输入模块用于获取农机现场作业数据；数据重构模块用于接收数据输入模块输入的联合收获机大数据，并根据联合收获机大数据重构方法重构数据；数据输出模块输出联合收获机大数据的重构数据；数据保存模块用于保存联合收获机大数据的原始数据、重构数据、隶属度矩阵，提高联合收获机大数据重构的精准度，为后续联合收获机大数据建模与分析任务提供完备的数据支撑。。
注意，这些目的的记载并不妨碍其他目的的存在。本发明的一个方式并不需要实现所有上述目的。可以从说明书、附图、权利要求书的记载中抽取上述目的以外的目的。
本发明是通过以下技术手段实现上述技术目的的。
实施例1
一种联合收获机大数据重构方法，包括如下步骤：
步骤S1、在模糊聚类框架下，利用克里金法刻画联合收获机不包括空值、野值或异常值的作业参数的完整数据的参数之间的关联关系，获取联合收获机完整数据的隶属度；
步骤S2、基于步骤S1获得的联合收获机的完整数据及其隶属度计算类原型，继而获得包含空值、野值和或异常值的作业参数的不完整数据的隶属度；
步骤S3、根据计算的到的类原型、不完整数据的正常数值、不完整数据的隶属度分别估计空值、野值和或异常值的真实数值，实现联合收获机大数据的重构。
上述方案中，所述步骤S1中，采用克里金法刻画数据参数之间的关联关系，通过如下公式计算完整数据的隶属度：
Figure BDA0003809626880000021
uk,i是第k个完整数据对第i个子类的隶属度；
c是聚类的子类个数；
yk是第k个完整数据的预测目标参数的数值；
Figure BDA0003809626880000022
是第i个子类的克里金模型给出第k个完整数据的预测目标参数的预测值；
Figure BDA0003809626880000023
是第t个子类的克里金模型给出第k个完整数据的预测目标参数的预测值。
进一步的，所述步骤S1中，聚类的子类个数c为3，隶属度阈值θ，一般取为为0.5。
上述方案中，所述步骤S2中，通过如下公式计算的类原型：
Figure BDA0003809626880000031
n是完整数据的样本个数，
vi是第i个子类的类原型，
Figure BDA0003809626880000032
是第k个完整数据，
Figure BDA0003809626880000033
Figure BDA0003809626880000034
是第k个完整数据的预测目标参数的数值，
Figure BDA0003809626880000035
是第k个完整数据的除预测目标参数之外其余参数数值组成的向量。
上述方案中，所述步骤S2中，通过如下公式计算不完整数据的隶属度：
Figure BDA0003809626880000036
Figure BDA0003809626880000037
μk,i是第k个不完整数据对第i个子类的隶属度，
zk,j表示第k个数据的第j个参数的数值，
vi,j表示第i个类原型的第j个参数的数值，
XM表示空值、野值、异常值组成的集合，
XP表示正常数值组成的集合，
s是参数的个数。
进一步的，所述步骤S3中，通过如下公式估计空值、野值、异常值的真实值，实现联合收获机大数据的重构：
Figure BDA0003809626880000038
xk,j∈XM，表示数据中的空值、野值或异常值，
vi,j表示第i个类原型的第j个参数的数值，
μk,i表示第k个不完整数据对第i个子类的隶属度。
一种实现所述联合收获机大数据重构方法的装置，包括数据输入模块、数据重构模块、数据输出模块和数据存储模块；
所述数据输入模块用于获取农机现场作业数据；
所述数据重构模块用于接收数据输入模块输入的联合收获机大数据，并根据联合收获机大数据重构方法重构数据；
所述数据输出和保存模块用于输出联合收获机大数据的重构数据，保存联合收获机大数据的原始数据、重构数据、隶属度矩阵。
上述方案中，所述数据输入模块与联合收获机车载监测***、远程监控***或智慧农场平台连接，用于接收标定好空值、野值、异常值的联合收获机大数据。
上述方案中，所述数据重构模块用于在模糊聚类框架下，利用克里金法刻画数据参数之间的关联关系，获取完整数据的隶属度，再基于完整数据及其隶属度计算类原型，继而获得不完整数据的隶属度，最后根据类原型、空值、野值和异常值对应的完整数据的正常数值、不完整隶属度，估计空值、野值和异常值的真实数值，实现联合收获机大数据的重构。
上述方案中，所述数据输出和保存模块将联合收获机的重构大数据与隶属度矩阵输出至云端，将联合收获机原始大数据、重构大数据、隶属度矩阵保存至联合收获机车载监测***。
与现有技术相比，本发明的有益效果是：
根据本发明的一个方式，提供一种联合收获机大数据重构方法，基于模糊聚类框架，利用克里金法刻画联合收获机不包括空值、野值或异常值的作业参数的完整数据的参数之间的关联关系，通过数据参数之间的关联关系，以及数据空间分布密度、均值等信息共同推断空值、野值、异常值的真实数值，提高联合收获机大数据重构的精准度，为后续联合收获机大数据建模与分析任务提供完备的数据支撑。
根据本发明的一个方式，提供一种实现联合收获机大数据重构方法的装置，采用数据输入模块用于获取农机现场作业数据；数据重构模块用于接收数据输入模块输入的联合收获机大数据，并根据联合收获机大数据重构方法重构数据；数据输出模块输出联合收获机大数据的重构数据；数据保存模块用于保存联合收获机大数据的原始数据、重构数据、隶属度矩阵，最终实现提高联合收获机大数据重构的精准度，为后续联合收获机大数据建模与分析任务提供完备的数据支撑。
注意，这些效果的记载不妨碍其他效果的存在。本发明的一个方式并不一定必须具有所有上述效果。可以从说明书、附图、权利要求书等的记载显而易见地看出并抽出上述以外的效果。
附图说明
图1是本发明一实施方式的流程示意图。
图2是本发明一实施方式的完整数据隶属度计算流程示意图。
图3是本发明一实施方式的联合收获机大数据重构装置的示意图。
图4是本发明一实施方式的联合收获机大数据重构方法获取的部分完整数据隶属度矩阵图。
图5是本发明一实施方式的联合收获机大数据重构方法与其他数据重构方法的实验结果对比图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“前”、“后”、“左”、“右”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
图1所示一种联合收获机大数据重构方法，包括如下步骤：
步骤S1、在模糊聚类框架下，利用克里金法刻画联合收获机不包括空值、野值或异常值的作业参数的完整数据的参数之间的关联关系，获取联合收获机完整数据的隶属度；
步骤S2、基于步骤S1获得的联合收获机的完整数据及其隶属度计算类原型，继而获得包含空值、野值和或异常值的作业参数的不完整数据的隶属度；
步骤S3、根据计算的到的类原型、不完整数据的正常数值、不完整数据的隶属度分别估计空值、野值和或异常值的真实数值，实现联合收获机大数据的重构。
如图2所示，所述完整数据的隶属度计算包括如下步骤：
步骤S1)设定聚类的子类个数c，完整数据中的预测目标参数y，隶属度阈值θ，最大迭代次数gmax，初始迭代次数g设定为1；
步骤S2)使用模糊c均值算法对完整数据进行初始聚类，获得隶属度矩阵UFCM，作为初始隶属度矩阵U(0)；
步骤S3)针对每个子类，选用隶属度数值大于θ的完整数据作为该子类的训练数据集；
步骤S4)检查每个子类的训练数据集是否为空集，如果为空集，随机生成一个隶属度矩阵，返回步骤S3)，不为空集，执行下一步骤；
步骤S5)针对每个子类，利用克里金法建立预测模型；
步骤S6)利用每个子类的预测模型，获取对所有完整数据的预测值，构建如下预测值矩阵：
Figure BDA0003809626880000061
式中，Y是预测值矩阵，
Figure BDA0003809626880000062
是第i个子类预测模型对第k个完整数据的预测值；
步骤S7)利用公式计算完整数据隶属度：
Figure BDA0003809626880000063
式中，uk,i表示第k个完整数据对第i个子类的隶属度；
yk是第k个完整数据预测目标参数的真实数值；
Figure BDA0003809626880000064
是第i个子类预测模型对第k个完整数据的预测值；
yk,t是第t个子类预测模型对第k个完整数据的预测值；
步骤S8)对于任意i,j，如果满足
Figure BDA0003809626880000065
或g≥gmax，ε为预设阈值，将当前隶属度矩阵视为最终隶属度矩阵，否则，返回步骤S3)，同时，g＝g+1。
所述利用克里金法建立预测模型包括如下步骤：
步骤S5.1)假设x和y满足如下关系,克里金法建立预测模型：
Figure BDA0003809626880000066
式中，y是完整数据中的预测目标参数；
x是除预测目标参数之外其余参数组成的向量；
fj(x)为第j个基函数；
βj为第j个基函数的系数；
p是基函数的个数；
Z(x)为高斯过程，满足如下条件：
E(Z(x))＝0
E(Z(xi)Z(xj))＝σ2R(θ,xi,xj)
σ2为样本方差；
R(θ,xi,xj)为相关矩阵；
θ为相关矩阵的参数向量；
xi是第i个数据除预测目标参数之外的其余参数组成的向量；
xj是第j个数据除预测目标参数之外的其余参数组成的向量；
步骤S5.2)构建基函数矩阵F：
F＝(f(x1),f(x2),…,f(xn))T
其中n是训练数据的样本数；
f(xi)(i＝1,2,…,n)表示第i个数据通过基函数得到的数值，如下所示：
f(xi)＝(f1(xi),f2(xi),..,fp(xi))
基函数矩阵F可改写为：
Figure BDA0003809626880000071
步骤S5.3)输入向量表示如下：
Y＝Fβ+Z
β是基函数系数组成的向量；
Z是训练数据的高斯过程组成的向量：
Z＝(Z(x1),Z(x2),…,Z(xn))T
步骤S5.4)待预测样本xnew的输出估计值为：
Figure BDA0003809626880000072
Y是训练数据预测目标参数组成的向量；
c(x)T是的系数向量；
步骤S5.5)样本xnew的预测误差如下：
Figure BDA0003809626880000081
y(xnew)是样本xnew的真实输出值；
由线性无偏条件，得：
Figure BDA0003809626880000082
FTc(x)-f(x)＝0
步骤S5.6)计算回归均方差
Figure BDA0003809626880000083
Figure BDA0003809626880000084
σ2＝D(Z)＝E(Z2)-(E(Z))2＝E(Z2)
其中
Figure BDA0003809626880000085
是样本xnew与训练数据输入通过相关矩阵得到的对应向量；
步骤S5.7)建立如下优化问题求解模型最优参数：
Figure BDA0003809626880000086
s.t.FTc(x)-f(x)＝0
s.t.表示约束条件，
步骤S5.8)构建朗格朗日函数：
Figure BDA0003809626880000087
其中λ是拉格朗日乘子；
求偏导，得：
Figure BDA0003809626880000088
Figure BDA0003809626880000089
得
Figure BDA00038096268800000810
步骤S5.9)x的估计值通过下式获得：
Figure BDA00038096268800000811
由
Figure BDA00038096268800000813
得β的最优估计：
Figure BDA00038096268800000812
步骤S5.10)样本xnew的输出值如下所示：
Figure BDA0003809626880000091
所述步骤S2利用如下公式计算类原型：
Figure BDA0003809626880000092
n是完整数据的样本个数；
vi是第i个子类的类原型；
Figure BDA0003809626880000093
是第k个完整数据，
Figure BDA0003809626880000094
Figure BDA0003809626880000095
是第k个完整数据的预测目标参数的数值；
Figure BDA0003809626880000096
是第k个完整数据的除预测目标参数之外其余参数数值组成的向量。
所述步骤S2利用如下公式计算不完整数据的隶属度：
Figure BDA0003809626880000097
Figure BDA0003809626880000098
其中μk,i是第k个不完整数据对第i个子类的隶属度，
zk,j表示第k个数据的第j个参数的数值，
是第个不完整数据对第个子类的隶属度；表示第个数据的第个参数的数值；
vi,j表示第i个类原型的第j个参数的数值；
XM表示空值、野值、异常值组成的集合；
XP表示正常数值组成的集合；
s是参数的个数。
所述步骤S2利用如下公式估计空值、野值、异常值的真实值：
Figure BDA0003809626880000099
其中xj,k∈XM，表示数据中的空值、野值或异常值；
vi,j表示第i个类原型的第j个参数的数值；
μk,i表示第k个不完整数据对第i个子类的隶属度。
为了更好地说明本发明所述联合收获机大数据重构方法的优势，引入以下2种常用的数据重构方法作为对比。
1.参数均值重构方法
在参数均值重构方法中，将联合收获机的空值、野值、异常值对应参数正常值的均值视为其正常数值。
2.最近邻原型重构方法
在最近邻原型重构方法中，利用模糊c均值算法对完整数据聚类，并将空值、野值、异常值的最近类原型的对应参数值视为其真实数值，如下所示。
x＝vi；
式中，x是数据中的空值、野值或异常值；
vi是通过模糊c均值算法获取的最近邻类原型中，空值、野值或异常值对应的参数值。
利用模糊c均值算法对完整数据的聚类过程如下：
步骤(1)设定聚类的子类数目c，最大迭代次数gmax，迭代次数g设定为1；
步骤(2)生成一个随机矩阵U作为初始隶属度矩阵；
Figure BDA0003809626880000101
式中，n是完整数据样本个数；
c是子类个数；
μi,k表示第i个完整数据对第j个子类的隶属程度，取值从0到1，并满足如下条件：
Figure BDA0003809626880000102
步骤(3)计算每个子类的类原型；
Figure BDA0003809626880000103
式中，vi是第i个子类的类原型；
zk是第k个完整数据；
步骤(4)更新隶属度矩阵；
Figure BDA0003809626880000104
步骤(5)对于任意i,j，如果满足
Figure BDA0003809626880000105
或g≥gmax，将当前类原型视为最终类原型；否则，返回步骤(3)，g＝g+1。
根据本实施例，优选的，联合收获机收获作物为水稻，数据样本容量150，包括割台高度、前进速度、风机转速、脱离间隙、清选损失等11个参数。
随机选取10％的数据中作为不完整数据，随机抽取其中的一个数值作为待重构数值，剩余数据作为完整数据。
利用所述联合收获机大数据重构方法、参数均值重构方法、最近邻原型重构方法估计联合收获机大数据中的空值、野值和异常值的真实值。
优选的，本发明提供的一种联合收获机大数据重构方法的参数设定如下：
聚类数设定为3；
克里金法的预测目标参数设定为清选损失数；
隶属度阈值设定为0.5；
最大迭代次数设定为20。
最近邻原型重构方法参数设定如下：
聚类数设定为3；
最大迭代次数设定为20。
进一步详细说明所述联合收获机大数据重构方法的数据重构过程：
1.计算完整数据的隶属度。利用克里金法刻画数据参数之间的关联关系，获取完整数据的隶属度，其中部分数据的隶属度如附图3所示。可以看出，数据对于不同子类的隶属程度有所不同。以第一个数据为例，隶属度分别为0.91，0.08，0.01，其属于第一个子类的可能性最大，为0.91，因此其归为第一类。
2.计算完整数据的类原型。基于完整数据及其隶属度，计算完整数据的类原型。
3.计算不完整数据的隶属度。基于不完整数据和类原型计算其隶属度。
4.计算空值、野值、异常值的真实数值。基于空值、野值、异常值对应的完整数据的参数值，结合获取的不完整数据隶属度，计算空值、野值、异常值的真实数值，部分不完整数据隶属结果如附图4所示。
所述联合收获机大数据重构方法、参数均值重构方法、最近邻原型重构方法获取的数据重构结果如表1所示。
表1数据重构结果
Figure BDA0003809626880000111
Figure BDA0003809626880000121
本发明所述联合收获机大数据重构方法的平均重构误差为1.53％，明显低于参数均值重构方法(16.27％)和最近邻原型重构方法(7.85％)。
本发明所述联合收获机大数据重构方法的重构误差均在3.00％以下，参数均值重构方法误差均高于10.00％，最近邻原型重构方法部分数据重构误差低于5.00％，但仍高于本发明所述联合收获机大数据重构方法。由此可见，本发明所述联合收获机大数据重构方法提高了大数据空值、野值、异常值重构的精准度，能够实现更为精准的联合收获机大数据重构。
实施例2
如图5所示，本实施例提供一种实现实施例1所述联合收获机大数据重构方法的装置，因此具有实施例1的有益效果，此处不再赘述。
所述联合收获机大数据重构方法的装置包括数据输入模块、数据重构模块、数据输出和数据存储模块。所述装置可集成于但不限于联合收获机车载监测、远程监控、智慧农场等平台。
所述数据输入模块对接联合收获机车载监测、远程监控、智慧农场等平台，接收已经标定好空值、野值、异常值的联合收获机大数据；
所述数据重构模块根据本发明所述联合收获机大数据重构方法，重构、联合收获机大数据；
所述数据输出和数据存模块输出联合收获机大数据的重构数据，保存联合收获机大数据的原始数据、重构数据、隶属度矩阵。
在本实施例中，优选的，将本发明实现所述联合收获机大数据重构方法的装置集成于联合收获机车载监测***，主要用于在数据传输至云端前，将获取的联合收获机大数据进行重构。
联合收获机车载监测***利用各子***数据采集装置获取联合收获机大数据，通过CAN总线汇总。
联合收获机车载监测***通过集成的空值判断、野值识别、异常识别等算法标定数据中的空值、野值与异常值。
将标定的联合收获机大数据输入到本发明实现所述联合收获机大数据重构方法的装置中的数据输入模块；
利用本发明提供的一种联合收获机大数据重构方法，重构输入的联合收获机大数据。
通过本发明提供的一种实现所述联合收获机大数据重构方法的装置的数据输出模块和数据存储模块，将联合收获机的重构大数据与隶属度矩阵输出至云端，将联合收获机原始大数据、重构大数据、隶属度矩阵保存至联合收获机车载监测***。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明的具体实施方式。本说明书选取并具体描述实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种联合收获机大数据重构方法，其特征在于，包括如下步骤：
步骤S1、在模糊聚类框架下，利用克里金法刻画联合收获机不包括空值、野值或异常值的作业参数的完整数据的参数之间的关联关系，获取联合收获机完整数据的隶属度；
步骤S2、基于步骤S1获得的联合收获机的完整数据及其隶属度计算类原型，继而获得包括空值、野值和或异常值的作业参数的不完整数据的隶属度；
步骤S3、根据计算的到的类原型、不完整数据的正常数值、不完整数据的隶属度分别估计空值、野值和或异常值的真实数值，实现联合收获机大数据的重构。
2.根据权利要求1所述的联合收获机大数据重构方法，其特征在于，所述步骤S1中，采用克里金法刻画数据参数之间的关联关系，通过如下公式计算完整数据的隶属度：
Figure FDA0003809626870000011
uk,i是第k个完整数据对第i个子类的隶属度；
c是聚类的子类个数；
yk是第k个完整数据的预测目标参数的数值；
Figure FDA0003809626870000012
是第i个子类的克里金模型给出第k个完整数据的预测目标参数的预测值；
Figure FDA0003809626870000013
是第t个子类的克里金模型给出第k个完整数据的预测目标参数的预测值。
3.根据权利要求2所述的联合收获机大数据重构方法，其特征在于，所述步骤S1中，聚类的子类个数c为3，隶属度阈值θ，一般取为为0.5。
4.根据权利要求1所述的联合收获机大数据重构方法，其特征在于，所述步骤S2中，通过如下公式计算的类原型：
Figure FDA0003809626870000014
n是完整数据的样本个数，
vi是第i个子类的类原型，
Figure FDA0003809626870000015
是第k个完整数据，
Figure FDA0003809626870000016
Figure FDA0003809626870000017
是第k个完整数据的预测目标参数的数值，
Figure FDA0003809626870000018
是第k个完整数据的除预测目标参数之外其余参数数值组成的向量。
5.根据权利要求1所述的联合收获机大数据重构方法，其特征在于，所述步骤S2中，通过如下公式计算不完整数据的隶属度：
Figure FDA0003809626870000021
Figure FDA0003809626870000022
μk,i是第k个不完整数据对第i个子类的隶属度，
zk,j表示第k个数据的第j个参数的数值，
vi,j表示第i个类原型的第j个参数的数值，
XM表示空值、野值、异常值组成的集合，
XP表示正常数值组成的集合，
s是参数的个数。
6.根据权利要求5所述的联合收获机大数据重构方法，其特征在于，所述步骤S3中，通过如下公式估计空值、野值、异常值的真实值，实现联合收获机大数据的重构：
Figure FDA0003809626870000023
xk,j∈XM，表示数据中的空值、野值或异常值，
vi,j表示第i个类原型的第j个参数的数值，
μk,i表示第k个不完整数据对第i个子类的隶属度。
7.一种实现权利要求1-6任意一项所述联合收获机大数据重构方法的装置，其特征在于，包括数据输入模块、数据重构模块、数据输出模块和数据存储模块；
所述数据输入模块用于获取农机现场作业数据；
所述数据重构模块用于接收数据输入模块输入的联合收获机大数据，并根据联合收获机大数据重构方法重构数据；
所述数据输出和保存模块用于输出联合收获机大数据的重构数据，保存联合收获机大数据的原始数据、重构数据、隶属度矩阵。
8.根据权利要求7所述的联合收获机大数据重构方法的装置，其特征在于，所述数据输入模块与联合收获机车载监测***、远程监控***或智慧农场平台连接，用于接收标定好空值、野值、异常值的联合收获机大数据。
9.根据权利要求8所述的联合收获机大数据重构方法的装置，其特征在于，所述数据重构模块用于在模糊聚类框架下，利用克里金法刻画数据参数之间的关联关系，获取完整数据的隶属度，再基于完整数据及其隶属度计算类原型，继而获得不完整数据的隶属度，最后根据类原型、空值、野值和异常值对应的完整数据的正常数值、不完整隶属度估计空值、野值和异常值的真实数值，实现联合收获机大数据的重构。
10.根据权利要求8所述的联合收获机大数据重构方法的装置，其特征在于，所述数据输出和保存模块将联合收获机的重构大数据与隶属度矩阵输出至云端，将联合收获机原始大数据、重构大数据、隶属度矩阵保存至联合收获机车载监测***。
CN202211007850.5A 2022-08-22 2022-08-22 一种联合收获机大数据重构方法与装置 Active CN115423005B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211007850.5A CN115423005B (zh) 2022-08-22 2022-08-22 一种联合收获机大数据重构方法与装置
PCT/CN2022/144067 WO2024040845A1 (zh) 2022-08-22 2022-12-30 一种联合收获机大数据重构方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211007850.5A CN115423005B (zh) 2022-08-22 2022-08-22 一种联合收获机大数据重构方法与装置

Publications (2)

Publication Number Publication Date
CN115423005A true CN115423005A (zh) 2022-12-02
CN115423005B CN115423005B (zh) 2023-10-31

Family

ID=84198624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211007850.5A Active CN115423005B (zh) 2022-08-22 2022-08-22 一种联合收获机大数据重构方法与装置

Country Status (2)

Country Link
CN (1) CN115423005B (zh)
WO (1) WO2024040845A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024040845A1 (zh) * 2022-08-22 2024-02-29 江苏大学 一种联合收获机大数据重构方法与装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101633360B1 (ko) * 2015-01-12 2016-06-27 한국과학기술원 구조물 상태 평가를 위한 크리깅 모델 기반 순차적 샘플링 방법
CN107452059A (zh) * 2017-08-09 2017-12-08 中国地质大学（武汉） 一种三维插值建模方法、设备及其存储设备
WO2019218263A1 (zh) * 2018-05-16 2019-11-21 深圳大学 基于极限学习机的极限ts模糊推理方法及***
CN111340069A (zh) * 2020-02-11 2020-06-26 大连理工大学 基于交替学习的不完整数据精细建模及缺失值填补方法
CN111738412A (zh) * 2020-05-28 2020-10-02 江门职业技术学院 一种不完全网络的大数据异常挖掘方法、***及存储介质
CN112229403A (zh) * 2020-08-31 2021-01-15 中国空间技术研究院 基于大地水准面三维修正原理提高海洋重力重构精度方法
US20210081827A1 (en) * 2019-07-15 2021-03-18 Guangdong University Of Technology Fast clustering algorithm based on kernel fuzzy c-means integrated with spatial constraints

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3697957B2 (ja) * 1999-07-16 2005-09-21 株式会社大林組 切羽前方亀裂分布予測方法
CN107729943B (zh) * 2017-10-23 2021-11-30 辽宁大学 信息反馈极限学习机优化估值的缺失数据模糊聚类算法及其应用
CN115423005B (zh) * 2022-08-22 2023-10-31 江苏大学 一种联合收获机大数据重构方法与装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101633360B1 (ko) * 2015-01-12 2016-06-27 한국과학기술원 구조물 상태 평가를 위한 크리깅 모델 기반 순차적 샘플링 방법
CN107452059A (zh) * 2017-08-09 2017-12-08 中国地质大学（武汉） 一种三维插值建模方法、设备及其存储设备
WO2019218263A1 (zh) * 2018-05-16 2019-11-21 深圳大学 基于极限学习机的极限ts模糊推理方法及***
US20210081827A1 (en) * 2019-07-15 2021-03-18 Guangdong University Of Technology Fast clustering algorithm based on kernel fuzzy c-means integrated with spatial constraints
CN111340069A (zh) * 2020-02-11 2020-06-26 大连理工大学 基于交替学习的不完整数据精细建模及缺失值填补方法
CN111738412A (zh) * 2020-05-28 2020-10-02 江门职业技术学院 一种不完全网络的大数据异常挖掘方法、***及存储介质
CN112229403A (zh) * 2020-08-31 2021-01-15 中国空间技术研究院 基于大地水准面三维修正原理提高海洋重力重构精度方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MAOLIN SHI 等: "A fuzzy c-means algorithm based on the relationship among attributes of data and its application in tunnel boring machine", 《KNOWLEDGE-BASED SYSTEMS》 *
MAOLIN SHI 等: "A fuzzy c-means algorithm guided by attribute correlations and its application in the big data analysis of tunnel boring machine", 《KNOWLEDGE-BASED SYSTEMS》 *
XUEGUAN SONG 等: "A new fuzzy c-means clustering-based time series segmentation approach and its application on tunnel boring machine analysis", 《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》 *
李翔;潘瑜春;马景宇;赵春江;王纪华;: "基于多种土壤养分的精准管理分区方法研究", 土壤学报, no. 01 *
段青玲;刘怡然;张璐;李道亮;: "水产养殖大数据技术研究进展与发展趋势分析", 农业机械学报, no. 06 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024040845A1 (zh) * 2022-08-22 2024-02-29 江苏大学 一种联合收获机大数据重构方法与装置

Also Published As

Publication number Publication date
CN115423005B (zh) 2023-10-31
WO2024040845A1 (zh) 2024-02-29

Similar Documents

Publication Publication Date Title
CN108241905B (zh) 用于预测土壤和/或植物状况的方法
EP3816880B1 (en) A yield estimation method for arable crops and grasslands, coping with extreme weather conditions and with limited reference data requirements
CN105792110A (zh) 一种多数据来源的数据融合、智能搜索的处理方法
CN115829162B (zh) 作物产量预测方法、装置、电子设备及介质
CN111126822B (zh) 一种工业机器人健康评估方法、装置及存储介质
CN115423005B (zh) 一种联合收获机大数据重构方法与装置
CN105023011A (zh) 一种基于hmm的农作物物候动态估计方法
CN111814878A (zh) 基于ssda-helm-softmax的农业投入品实时分类预测方法
CN115409153A (zh) 一种基于注意力lstm的畜牧指标预测方法及预测***
CN117787510A (zh) 基于时序预测分析的农药残留监测过程的优化方法
CN112216399B (zh) 基于bp神经网络的食源性疾病致病因子预测的方法和***
CN113705888A (zh) 基于皮尔逊相关性和神经网络的工业蒸汽生成量预测方法和***
CN115423148B (zh) 一种基于克里金法和决策树的农机作业性能预测方法与装置
Sharma et al. Deepg2p: fusing multi-modal data to improve crop production
CN116797204A (zh) 一种基于小波分解与重构和TCN-GRU-Self-Attention的磨煤机一次风量故障预警方法
CN115454988A (zh) 基于随机森林网络的卫星电源***缺失数据补全方法
CN107862394A (zh) 一种设备主动维修保障协同方法
CN114611804A (zh) 基于tso-grnn组合模型的玉米产量预测方法
CN114167730A (zh) 一种火电机组送风机整体健康状态评价方法、计算机及存储介质
CN116720635B (zh) 一种基于实测数据的广西油茶估产方法
CN113378464A (zh) 一种电能表现场检验仪寿命预测方法及装置
KR20210069987A (ko) 영상 이미지를 이용한 작물 성장 진단 시스템 및 방법
CN115577857B (zh) 能源***出力数据预测方法、装置和计算机设备
Whitmire et al. Using Machine Learning and Feature Selection for Alfalfa Yield Prediction. AI 2021, 2, 71–88
CN117521401A (zh) 考虑多风场出力时空相关性的电力场景生成方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant