CN103886508A - 海量农田数据的监控方法和*** - Google Patents
海量农田数据的监控方法和*** Download PDFInfo
- Publication number
- CN103886508A CN103886508A CN201410073678.2A CN201410073678A CN103886508A CN 103886508 A CN103886508 A CN 103886508A CN 201410073678 A CN201410073678 A CN 201410073678A CN 103886508 A CN103886508 A CN 103886508A
- Authority
- CN
- China
- Prior art keywords
- data
- farm field
- field data
- calculation
- different attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种海量农田数据的监控方法和***,属于计算机技术领域。所述海量农田数据的监控方法包括:通过微型无线传感器节点实时采集不同属性的农田数据;通过云计算的方式计算不同属性的农田数据对农田的影响度并作为计算结果;将计算结果通过网络显示给用户。该方法通过云计算的方式对不同属性的农田数据对农田的影响度进行计算,解决了对于海量农田数据的计算效率问题,扩大了数据输入的规模,提高了对于农田数据的挖掘效率。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种海量农田数据的监控方法和***。
背景技术
我国是农业大国,幅员辽阔,土壤类型众多,作物品种复杂,我国曾进行过多次农业普查,科技人员通过各种方式积累了大量与农业生产密切相关的属性数据和空间数据,这些数据具有多维,动态,不确定,不完整,时空变异性强等特点,能具体的反应了农业生产作业的真实情况。传感器是农业科技人员采集田间信息获取数据的常用方法,这些数据除了上述特点外还有大量、集中、持续性的特点。因此实时接收具有如上属性的农田数据是当前研究热点。
当前处理多连接数据接收的方式主要是动态线程池分配方式,根据在线客户端的数目动态增减线程,提高服务器响应速度,避免频繁切换线程带来***开销。
目前的农田数据***可高效实现数据的录入、查询、统计功能,但是无法根据已有数据进行预测,无法发现数据之间的关系,而数据挖掘技术能够发现数据之间的关系,因此可以解决农业领域“数据丰富知识贫乏”的现象。传统的决策树算法因其构造速度快,生成模型简单,精度高等优点而广受欢迎,是数据挖掘中重要的分类方法,然而决策树算法是内存驻留算法,即生成整个决策树过程的所有数据计算必须同时在内存中,并且只能在单机上运行,因此只能适用于小规模的数据输入,当数据挖掘的对象是一个庞大的数据集时,往往因计算量的增大而速度减慢甚至无法运行,大大影响算法的伸缩性,这是该算法的瓶颈。
综上所述,现有的农田数据分析方式,无法完成庞大数据的计算,使得农田信息采集***彼此独立,封闭运行,信息难于集成分析和共享,如何有效的将数据融合分析,是当前农业信息化进程中的重要问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的适于海量农田数据的监控方法及相应的***。
依据本发明的一个方面,提供一种海量农田数据的监控方法,包括:
通过微型无线传感器节点实时采集不同属性的农田数据;
通过云计算的方式计算不同属性的农田数据对农田的影响度并作为计算结果;
将计算结果通过网络显示给用户。
可选地,通过云计算的方式计算不同属性的农田数据对农田的影响度并作为计算结果,包括:
接收不同属性的农田数据;
将对不同属性的农田数据的计算任务发送到云平台的不同的处理机上,执行对不同属性的农田数据对农田影响度的计算;
对不同的处理机上得到的中间计算结果进行归约;
根据进行归约后的数据得到计算结果。
可选地,接收不同属性的农田数据,包括:
开启预设数量的数据接收线程;
创建静态线程池,并以I/O端口复用的方式创建实时监听端口,使数据接收线程通过实时监听端口接收不同属性的农田数据。
可选地,在将对不同属性的农田数据的计算任务发送到云平台的不同的处理机上之前,还包括:
对不同属性的农田数据进行预处理;
其中,预处理包括数据清洗、数据集成、空值处理和连续数据离散化。
可选地,将对不同属性的农田数据的计算任务发送到云平台的不同的处理机上,包括:
创建空闲处理机队列;
将不同属性的农田数据划分为多个训练子集;
将对多个训练子集的计算任务分别分配到空闲处理机队列中的处理机;
其中,当任意一个处理机完成对其对应的训练子集的计算时,将该处理机重新放置到空闲处理机队列中。
可选地,根据进行归约后的数据得到计算结果,包括:
对进行规约后的数据进行哈希映射,建立哈希表;
通过哈希查询计算各个训练子集中每个属性的增益率;
选取最大增益率的属性构造决策树,并将决策树作为计算结果。
可选地,在选取最大增益率的属性构造决策树之后,还包括:
抽取决策树中的分类规则,采用交叉验证法对决策树的精确度进行评估。
依据本发明的一个方面,还提供了一种海量农田数据的监控***,包括:
数据采集模块,配置为通过微型无线传感器节点实时采集农田数据;
数据处理中心模块,配置为通过云计算的方式计算不同属性的农田数据对农田的影响度并作为计算结果;
显示模块,配置为将计算结果通过网络显示给用户。
可选地,数据处理中心模块包括:
数据接收单元,配置为接收不同属性的农田数据;
决策分析单元,配置为将对不同属性的农田数据的计算任务发送到云平台的不同的处理机上,执行对不同属性的农田数据对农田影响度的计算,以及对不同的处理机上得到的中间计算结果进行归约,根据进行归约后的数据得到计算结果。
可选地,数据处理中心模块,还包括:
数据处理单元,配置为在将对不同属性的农田数据的计算任务发送到云平台的不同的处理机上之前,对不同属性的农田数据进行预处理;
其中,预处理包括数据清洗、数据集成、空值处理和连续数据离散化。
本发明提供了一种海量农田数据的监控方法和***,通过云计算的方式对不同属性的农田数据对农田的影响度进行计算,解决了对于海量农田数据的计算效率问题,扩大了数据输入的规模,提高了对于农田数据的挖掘效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是根据本发明一个实施例的一种海量农田数据的监控方法流程图;
图2是根据本发明另一个实施例的一种海量农田数据的具体监控方法流程图;
图3是根据本发明另一个实施例的一种用于海量农田数据的监控***的架构示意图;
图4是根据本发明另一个实施例的基于Map和Rdeuce的并行计算的工作模式的示意图;
图5是根据本发明另一个实施例的Map阶段的工作流程图;
图6是根据本发明另一个实施例的为客户端显示农田数据的架构示意图;以及
图7是根据本发明另一个实施例的一种海量农田数据的监控***结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应该被这里阐述的实施例所限制。相反,提供这些实施例是为了能够透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
图1是根据本发明一个实施例的一种海量农田数据的监控方法流程图,该方法包括步骤S102至S106。
S102,通过微型无线传感器节点实时采集不同属性的农田数据。
S104,通过云计算的方式计算不同属性的农田数据对农田的影响度作为计算结果。
S106,将计算结果通过网络显示给用户。
本发明实施例提供了一种海量农田数据的监控方法,该方法通过云计算的方式对不同属性的农田数据对农田的影响度进行计算,解决了对于海量农田数据的计算效率问题,扩大了数据输入的规模,提高了对于农田数据的挖掘效率。
实施例二
本实施例为上述实施例一的一种具体应用场景,通过本实施例,能够更加清楚、具体地阐述本发明所提供的方法。
图2是根据本发明一个实施例的一种海量农田数据的具体监控方法流程图,该方法包括步骤S201至S209。下面对该方法进行具体介绍:
S201,微型无线传感器节点实时采集不同属性的农田数据,并将农田数据发送给数据处理服务器。
在本实施例中,以微型无线传感器节点作为农田环境感知终端采集不同属性的农田数据。
如图3所示,为本实施例提供的一种用于海量农田数据的监控***的架构示意图,在监控***中,对于农田区域,分别部署多个微型无线传感器节点(例如可以为Sensor Nodes,传感器节点)对农田区域的环境数据进行监控。
并且,在农田区域建立WSN(Wireless Sensor Network,无线传感器网络)-GPRS(General Packet Radio Service,通用分组无线服务技术)网关节点,对于部署在农田区域的多个节点的数据,首先将数据汇聚到其所属的WSN-GPRS网关节点,再由WSN-GPRS网关节点将全部数据通过GPRS网络传输到接入数据处理中心。其中,数据处理中心包括数据处理服务器和决策分析服务器。
其中,不同属性的农田数据可以包括下列至少一项:
土壤温度、土壤湿度、电导率、大气温湿度、二氧化碳浓度等。
S202,数据处理服务器接收农田数据。
其中,数据处理服务器由配置模块,链路维持模块,时间校验模块,数据处理模块,客户端信息模块组成。
配置模块用于进行传输参数的配置,具体包括对数据处理服务器的端口号、IP地址和用户名密码等的配置。
链路维持模块用于向所有在线WSN网关定时发送特定字符串方式,维持与服务器的GPRS通信链路。
时间校验模块每隔一段时间与Internet(互联网)上的NTP(Network TimeProtocol,网络时间同步协议)时间服务器进行一次时间同步,更新***时间,并将更新的时间和其节点上的数据一起加入到循环队列中。
需要说明的是,本实施例为了提高数据处理服务器对于大量并发的农田数据的接收能力,具体可通过如下方式进行:
开启预设数量的数据接收线程;
创建静态线程池,并以I/O端口复用的方式创建实时监听端口,使所述数据接收线程通过所述实时监听端口接收所述不同属性的农田数据。
需要说明的是,静态线程池的作用是为了减少创建和销毁线程的次数,每个线程可以被重复利用,程序开始运行时手动设置线程池的线程数量,如果有新任务需要运行,如果线程池中有等待的线程,则可以运行,否则进入等待队列。
I/O复用是一种让进程预先“警告”内核能力,使得内核一旦发现进程预先告知时指定的一个或多个I/O条件(就是描述符)就绪(可以读/写了),内核就通知进程。
其中,在数据接收服务器中还预先建立有预设数量的数据存储进程,并用循环队列作为数据接收线程和数据存储进程之间的数据共享存储区来解决无线传感器网络对多连接TCP(Transmission Control Protocol,传输控制协议)通信的问题,提高接收并存储大量农田数据的并发性能。
S203,数据处理服务器对接收到的农田数据进行预处理,并将处理结果发送至决策分析服务器。
可选地,数据处理模块根据不同传感器类型按照一定的规则对数据进行预处理,包括数据清洗、空值处理、连续数值离散化处理和数据集成等。
下面分别介绍数据清洗、空值处理、连续数值离散化处理和数据集成的具体处理过程。
数据清洗具体为:接收的农田数据中可能缺失一个值,则将这条数据清洗掉;或者传来的数据可能明显不合理,例如大部分温度值都在[-1,3]之间,但是接收的是26,则这样的数据显然也是不合理的,也需要清洗的,直接将此条数据删除即可。
空值处理具体为:对于接收的农田数据中,如果采集的数据量少,则使用对应的平均值对空值进行填充,如果采集的数据多,则将空值数据删除。
数据集成具体为:将由不同传感器获取的不同属性的数据进行集成,例如某一地点可能有温度、湿度、光照等传感器,则采集到的数据分别为温度、湿度和光照强度,则需要将上述不同属性的农田数据集成到数据库中。
连续数据离散化处理具体为:传感器采集的值通常是连续的,例如1.21、1.31、1.24、1.41、1.33、1.01,为了处理方便,则将上述数值离散为如下数值:1.0、1.1、1.2、1.3。
进一步地,客户端信息模块用于保存与服务器建立连接的客户端信息,包括IP地址,套接字等。
其中,客户端信息可以包括用户的用户名、昵称和用户的属性(至少包括管理员、普通应用)等。
S204,决策分析服务器将对农田数据的计算任务发送到云平台的不同处理机上,执行计算任务。
在本实施例中,计算任务可包括用户通过客户端发出的计算请求,具体可通过计算不同属性的农田数据的信息增益、并选择出最佳***属性构造决策树进行体现。
为了改善对于海量的农田数据的处理能力,本实施例基于MapReduce机制进行了改进,通过云计算平台进行实现。
在传统的MapReduce机制中,对于数据的划分方式为:
假设当前云计算平台(在本实施例中可以为Hadoop集群)中有m台处理机,则将训练数据划分为m个训练子集,主处理机将划分好的训练子集分配到m台处理机上。
而在这种处理方式中,容易造成负载不均衡,因此,本实施例所采用的方式中,在主处理机内保存一个空闲处理机队列,开始时所有处理机均在空闲队列中,由具体情况申请处理机资源,任务处理结束,向主处理机报告,然后主处理机将该处理机放入空闲队列中。
具体地,本步骤S204可以包括如下步骤:
a)主处理机创建空闲处理机队列;
b)将不同属性的农田数据划分为多个训练子集;
c)将对多个训练子集的计算任务分别分配到空闲处理机队列中的处理机中进行计算。
其中,当任意一个处理机完成对其对应的训练子集的计算时,将该处理机重新放置到所述空闲处理机队列中。
需要说明的是,对于每个处理机的计算结果可通过如下格式进行表示:
<key,value>
其中,Key表示农田数据的属性号,Value表示农田数据的属性值。
在本实施例中,基于MapReduce的计算可包括MAP阶段和Reduce阶段,可通过用户自定义的Map函数得到一组同样用<key,value>对表示的结果集合,再通过Reduce阶段完成对结果的累加。
本发明实施例还提供了图4,展示了基于Map和Rdeuce的并行计算的工作模式的示意图。如图4所示,Reduce模块读入中间结果并进行规约,得到最终结果。本发明中有一台机器作为控制器,用以初始化、调度和控制整个决策树生成过程,该控制器能访问计算机集群并在其上调度MapReduce作业,具体模式如下:
Map阶段的key由决策表属性、该元组对应的属性S的值s及该元组所属的决策类c组成,value为1。对于训练数据集D,条件集队列Q,MAP阶段的算法流程如图5所示,包括如下步骤:
M1,输入训练数据集D;
M2,判断条件队列Q是否为空,如果是,执行步骤M3,如果不是,执行步骤M4;
M3,设定key的值为1#属性号、对应的属性值以及所属的类别,value的值为1,执行步骤M6;
M4,判断是否满足条件队列Q的第i个条件,如果是,执行步骤M5,如果不是,返回步骤M1;
M5,设定key的值为i#属性号、对应的属性值以及所属的类别,value的值为1,执行步骤M6;
M6,输入<key,value>。
Reduce阶段完成对Map输出的<key,value>统计相同key值的value值并进行累加,同时输出<key,value_sum>到分布式文件***HDFS中,具体可包括如下步骤:
(1)接收Map阶段输入的<key,value>;
(2)对所有相同的key和value分别进行相加;
(3)输出<key,value_sum>,并输出到分布式文件***中。
S205,决策分析服务器获取不同处理机上得到的计算结果,并对不同处理机上得到的计算结果进行规约。
其中,规约即将各个处理机计算得到的结果进行整合。
S206,决策分析服务器对规约后的数据进行哈希映射,建立哈希表。
具体地,本步骤也即对<key,value_sum>进行哈希映射。
S207,决策分析服务器通过哈希查询计算各个训练子集中每个属性的增益率。
S208,决策分析服务器选取最大增益率的属性构造决策树,并将所述决策树作为计算结果。
需要说明的是,最大增益率也即***属性,具体地,本步骤为:
计算训练数据集中属性的信息增益率,选出信息增益率最大的属性作为当前节点的***属性进行***,并根据以下条件判断是否停止决策树的生长:
(a)节点达到用户指定的纯度。
(b)节点中样本的个数少于用户指定的个数。
如果满足以上条件,则停止树的生长,删除当前训练数据中包含该规则的样本,抽取分类规则,否则继续树的生长,树的层数加1,继续判断属性的信息增益率。当完成树的生成后,抽取分类规则。
其中,在决策树建立完成后,从树的根节点到树的节点即为一条分类规则。
通过上述计算,即可得到在海量的农田数据中,哪些数据对于农田的影响度最大,或基于用户在客户端发出的请求计算得到用户需要的数据。
为了保证数据的准确性,在本步骤S208之后还可以包括:
抽取所述决策树中的分类规则,采用交叉验证法对决策树的精确度进行评估。
最后,当用户需要进行数据的查询时,继续执行步骤S209。在步骤S209中,由Web应用服务器从决策分析服务器中获取计算结果,并将计算结果通过网络展示给用户。
其中,本发明实施例还提供了图6,展示了客户端显示农田数据的架构示意图。如图6所示,Web应用服务器负责接收客户端发出的用户请求,将请求信息转化成决策分析服务器能理解的形式发送到决策分析服务器。决策分析服务器处理查询请求,执行相应操作,将查询分析结果返回给Web应用服务器,最后,由Web应用服务器将查询到的结果显示给用户。
并且,在本实施例中,还增加了Google Maps(谷歌地图)API(ApplicationProgramming Interface,应用程序编程接口)的支持,Google Maps API与无线传感器网络采集到的农田实时数据相结合,将网络拓扑结构,感知信息以及节点信息实时、形象的在Google Maps上予于显示,为无线传感器网络的使用者提供快速直观的信息反馈,方便感知数据的实时查询与网络部署调试。
本发明实施例提供了一种海量农田数据的监控方法,该方法通过云计算的方式对不同属性的农田数据对农田的影响度进行计算,解决了对于海量农田数据的计算效率问题,扩大了数据输入的规模,提高了对于农田数据的挖掘效率。
实施例三
图7是本发明一个实施例提供的一种海量农田数据的监控***结构框图,该装置700包括:
数据采集模块701,配置为通过微型无线传感器节点实时采集农田数据;
数据处理中心模块702,配置为通过云计算的方式计算不同属性的农田数据对农田的影响度作为计算结果;
显示模块703,配置为将计算结果通过网络显示给用户。
可选地,数据处理中心模块702包括:
数据接收单元7021,配置为接收不同属性的农田数据;
决策分析单元7022,配置为将对不同属性的农田数据的计算任务发送到云平台的不同的处理机上,执行对不同属性的农田数据对农田影响度的计算,以及对不同的处理机上得到的中间计算结果进行归约,根据进行归约后的数据得到计算结果。
可选地,数据处理中心模块702,还包括:
数据处理单元7023,配置为在将对不同属性的农田数据的计算任务发送到云平台的不同的处理机上之前,对不同属性的农田数据进行预处理;
其中,预处理包括数据清洗、数据集成、空值处理和连续数据离散化。
本发明实施例提供了一种海量农田数据的监控***,该方法通过云计算的方式对不同属性的农田数据对农田的影响度进行计算,解决了对于海量农田数据的计算效率问题,扩大了数据输入的规模,提高了对于农田数据的挖掘效率。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的海量农田数据的监控***中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (10)
1.一种海量农田数据的监控方法,包括:
通过微型无线传感器节点实时采集不同属性的农田数据;
通过云计算的方式计算所述不同属性的农田数据对农田的影响度并作为计算结果;
将所述计算结果通过网络显示给用户。
2.根据权利要求1所述的方法,其特征在于,所述通过云计算的方式计算所述不同属性的农田数据对农田的影响度并作为计算结果,包括:
接收所述不同属性的农田数据;
将对所述不同属性的农田数据的计算任务发送到云平台的不同的处理机上,执行所述不同属性的农田数据对农田影响度的计算;
对不同的处理机上得到的中间计算结果进行归约;
根据所述进行归约后的数据得到计算结果。
3.根据权利要求2所述的方法,其特征在于,所述接收所述不同属性的农田数据,包括:
开启预设数量的数据接收线程;
创建静态线程池,并以I/O端口复用的方式创建实时监听端口,使所述数据接收线程通过所述实时监听端口接收所述不同属性的农田数据。
4.根据权利要求2所述的方法,其特征在于,在所述将对所述不同属性的农田数据的计算任务发送到云平台的不同的处理机上之前,还包括:
对所述不同属性的农田数据进行预处理;
其中,所述预处理包括数据清洗、数据集成、空值处理和连续数据离散化。
5.根据权利要求2所述的方法,其特征在于,所述将对所述不同属性的农田数据的计算任务发送到云平台的不同的处理机上,包括:
创建空闲处理机队列;
将所述不同属性的农田数据划分为多个训练子集;
将对所述多个训练子集的计算任务分别分配到所述空闲处理机队列中的处理机;
其中,当任意一个处理机完成对其对应的训练子集的计算时,将该处理机重新放置到所述空闲处理机队列中。
6.根据权利要求5所述的方法,其特征在于,所述根据所述进行归约后的数据得到计算结果,包括:
对所述进行规约后的数据进行哈希映射,建立哈希表;
通过哈希查询计算各个训练子集中每个属性的增益率;
选取最大增益率的属性构造决策树,并将所述决策树作为计算结果。
7.根据权利要求6所述的方法,其特征在于,在所述选取最大增益率的属性构造决策树之后,还包括:
抽取所述决策树中的分类规则,采用交叉验证法对所述决策树的精确度进行评估。
8.一种海量农田数据的监控***,包括:
数据采集模块,配置为通过微型无线传感器节点实时采集农田数据;
数据处理中心模块,配置为通过云计算的方式计算所述不同属性的农田数据对农田的影响度并作为计算结果;
显示模块,配置为将所述计算结果通过网络显示给用户。
9.根据权利要求8所述的***,其特征在于,所述数据处理中心模块包括:
数据接收单元,配置为接收所述不同属性的农田数据;
决策分析单元,配置为将对所述不同属性的农田数据的计算任务发送到云平台的不同的处理机上,执行对所述不同属性的农田数据对农田影响度的计算,以及对不同的处理机上得到的中间计算结果进行归约,根据所述进行归约后的数据得到计算结果。
10.根据权利要求9所述的***,其特征在于,所述数据处理中心模块,还包括:
数据处理单元,配置为在将对所述不同属性的农田数据的计算任务发送到云平台的不同的处理机上之前,对所述不同属性的农田数据进行预处理;
其中,所述预处理包括数据清洗、数据集成、空值处理和连续数据离散化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410073678.2A CN103886508B (zh) | 2014-03-03 | 2014-03-03 | 海量农田数据的监控方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410073678.2A CN103886508B (zh) | 2014-03-03 | 2014-03-03 | 海量农田数据的监控方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103886508A true CN103886508A (zh) | 2014-06-25 |
CN103886508B CN103886508B (zh) | 2017-11-07 |
Family
ID=50955386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410073678.2A Active CN103886508B (zh) | 2014-03-03 | 2014-03-03 | 海量农田数据的监控方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103886508B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104469797A (zh) * | 2014-11-28 | 2015-03-25 | 北京农业信息技术研究中心 | 序列预测的农田无线网络簇内数据稀疏基生成方法 |
CN104898608A (zh) * | 2015-04-10 | 2015-09-09 | 南京理工大学 | 基于Hadoop的作物生长监控云平台及其实现方法 |
CN105868013A (zh) * | 2016-04-04 | 2016-08-17 | 上海大学 | 一种面向多点续采蓝牙通信的Android线程池设计方法 |
CN108363778A (zh) * | 2018-02-09 | 2018-08-03 | 上海交通大学 | 一种基于信息中心网络的大数据收集分析***及方法 |
CN108594906A (zh) * | 2018-04-18 | 2018-09-28 | 河南工业大学 | 一种智慧农业环境信息检测*** |
CN108594775A (zh) * | 2018-04-18 | 2018-09-28 | 河南工业大学 | 一种农业大数据信息采集与处理*** |
CN108921449A (zh) * | 2018-07-23 | 2018-11-30 | 深圳威琳懋生物科技有限公司 | 一种水稻田的等级评估方法 |
CN109408516A (zh) * | 2018-11-01 | 2019-03-01 | 江苏农牧科技职业学院 | 一种应用于农业物联网的数据处理方法和装置 |
CN109408466A (zh) * | 2018-11-01 | 2019-03-01 | 江苏农牧科技职业学院 | 一种农业物联网用冗余数据处理方法及装置 |
CN111914927A (zh) * | 2020-07-30 | 2020-11-10 | 北京智能工场科技有限公司 | 一种优化数据不平衡状态的移动app用户性别识别方法和*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101388812B (zh) * | 2007-09-12 | 2011-06-01 | 华为技术有限公司 | 基于无线传感器网络的数据分类方法、***和管理节点 |
CN102868749A (zh) * | 2012-09-20 | 2013-01-09 | 张晋 | 一种农业种植、饲养的物联网云服务***及服务流程方法 |
-
2014
- 2014-03-03 CN CN201410073678.2A patent/CN103886508B/zh active Active
Non-Patent Citations (2)
Title |
---|
何元: "基于云计算的海量数据挖掘分类算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
刘永生等: "农田无线传感器网络数据服务器的设计与实现", 《农业工程学报》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104469797A (zh) * | 2014-11-28 | 2015-03-25 | 北京农业信息技术研究中心 | 序列预测的农田无线网络簇内数据稀疏基生成方法 |
CN104469797B (zh) * | 2014-11-28 | 2017-12-05 | 北京农业信息技术研究中心 | 序列预测的农田无线网络簇内数据稀疏基生成方法 |
CN104898608A (zh) * | 2015-04-10 | 2015-09-09 | 南京理工大学 | 基于Hadoop的作物生长监控云平台及其实现方法 |
CN105868013A (zh) * | 2016-04-04 | 2016-08-17 | 上海大学 | 一种面向多点续采蓝牙通信的Android线程池设计方法 |
CN108363778A (zh) * | 2018-02-09 | 2018-08-03 | 上海交通大学 | 一种基于信息中心网络的大数据收集分析***及方法 |
CN108363778B (zh) * | 2018-02-09 | 2020-11-24 | 上海交通大学 | 一种基于信息中心网络的大数据收集分析***及方法 |
CN108594775A (zh) * | 2018-04-18 | 2018-09-28 | 河南工业大学 | 一种农业大数据信息采集与处理*** |
CN108594906A (zh) * | 2018-04-18 | 2018-09-28 | 河南工业大学 | 一种智慧农业环境信息检测*** |
CN108921449A (zh) * | 2018-07-23 | 2018-11-30 | 深圳威琳懋生物科技有限公司 | 一种水稻田的等级评估方法 |
CN109408516A (zh) * | 2018-11-01 | 2019-03-01 | 江苏农牧科技职业学院 | 一种应用于农业物联网的数据处理方法和装置 |
CN109408466A (zh) * | 2018-11-01 | 2019-03-01 | 江苏农牧科技职业学院 | 一种农业物联网用冗余数据处理方法及装置 |
CN109408466B (zh) * | 2018-11-01 | 2020-03-13 | 江苏农牧科技职业学院 | 一种农业物联网用冗余数据处理方法及装置 |
CN111914927A (zh) * | 2020-07-30 | 2020-11-10 | 北京智能工场科技有限公司 | 一种优化数据不平衡状态的移动app用户性别识别方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN103886508B (zh) | 2017-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103886508A (zh) | 海量农田数据的监控方法和*** | |
Hu et al. | Time-and cost-efficient task scheduling across geo-distributed data centers | |
CN106815338A (zh) | 一种大数据的实时存储、处理和查询*** | |
CN107528870B (zh) | 一种数据采集方法及其设备 | |
Yamamoto et al. | Using cloud technologies for large-scale house data in smart city | |
CN111241078A (zh) | 数据分析***、数据分析的方法及装置 | |
CN106709012A (zh) | 一种大数据分析方法及装置 | |
CN103631922B (zh) | 基于Hadoop集群的大规模Web信息提取方法及*** | |
CN105893628A (zh) | 一种数据实时收集***及方法 | |
CN101013986A (zh) | 基于移动代理中间件的传感器网络数据查询***实现方法 | |
CN102236581A (zh) | 用于数据中心的映射化简方法和*** | |
CN109194746A (zh) | 基于物联网的异构信息处理方法 | |
Wang et al. | Management of big data in the internet of things in agriculture based on cloud computing | |
Jinbo et al. | RETRACTED ARTICLE: Agricultural product monitoring system supported by cloud computing | |
CN107247799A (zh) | 兼容多种大数据存储的数据处理方法、***及其建模方法 | |
CN103207920A (zh) | 一种元数据并行采集*** | |
Jinbo et al. | Research on monitoring platform of agricultural product circulation efficiency supported by cloud computing | |
CN107343021A (zh) | 国网云中应用的一种基于大数据的日志管理*** | |
Bergelt et al. | Energy efficient handling of big data in embedded, wireless sensor networks | |
CN103177035A (zh) | 一种在数据库中查询数据的装置及方法 | |
Cen et al. | Developing a disaster surveillance system based on wireless sensor network and cloud platform | |
Lin et al. | A bottom-up tree based storage approach for efficient IoT data analytics in cloud systems | |
CN108710347A (zh) | 一种监控云平台 | |
Chen | Design of computer big data processing system based on genetic algorithm | |
Wu et al. | Research on data sharing architecture for ecological monitoring using Iot streaming data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |