CN101944113A - 一种基于云计算***的智能数据采集*** - Google Patents

一种基于云计算***的智能数据采集*** Download PDF

Info

Publication number
CN101944113A
CN101944113A CN 201010282840 CN201010282840A CN101944113A CN 101944113 A CN101944113 A CN 101944113A CN 201010282840 CN201010282840 CN 201010282840 CN 201010282840 A CN201010282840 A CN 201010282840A CN 101944113 A CN101944113 A CN 101944113A
Authority
CN
China
Prior art keywords
cloud computing
module
auxiliary management
data
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010282840
Other languages
English (en)
Other versions
CN101944113B (zh
Inventor
王芙蓉
伍海浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN 201010282840 priority Critical patent/CN101944113B/zh
Publication of CN101944113A publication Critical patent/CN101944113A/zh
Application granted granted Critical
Publication of CN101944113B publication Critical patent/CN101944113B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于云计算***的智能数据采集***及其数据采集方法,包括分别部署在云计算***的主节点和从节点上主节点子***、从节点子***,主节点子***包括连接智能库模块、处理智能库模块、存储智能库模块、智能分析决策模块、云计算辅助管理主节点模块;从节点子***包括前台连接模块、数据处理模块、后台存储模块、云计算辅助管理从节点模块。本发明的优点在于采用智能分析决策,为用户的任务决策提供有效的信息;同时利用云计算***超大规模的特点进行海量数据处理,解决了数据不断增长对***性能造成的影响。

Description

一种基于云计算***的智能数据采集***
技术领域
 本发明涉及计算机网络的数据采集***,尤其是针对具有海量数据的数据库的智能化采集。
背景技术
云计算(cloud computing),分布式计算技术的一种,其最基本的概念,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大***经搜寻、计算分析之后将处理结果回传给用户。透过这项技术,网络服务提供者可以在数秒之内,达成处理数以千万计甚至亿计的信息,达到和“超级计算机”同样强大效能的网络服务。
一个基于云计算技术的计算机集群称为“云”。云计算具有以下特
点: 
(1) 超大规模。“云”具有相当的规模,企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力; 
(2) 虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具***置;
(3) 高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠; 
(4) 通用性。云计算不针对特定的应用,在“云”的支撑下可以构造出***的应用,同一个“云”可以同时支撑不同的应用运行;
(5) 高可扩展性。“云”的规模可以动态伸缩,满足应用和用户规模增长的需要; 
(6) 极其廉价。由于“云”的特殊容错措施可以采用极其廉价的节点来构成云。
数据采集指从一个***或者终端获取数据,并按照一定的格式存储进入另一个***或者终端的过程。计算机科学中的数据采集根据终端和***的不同可以进行不同划分,其中一种就是从异构的分散的数据库中采集数据,然后进行统一的数据管理和存储。在移动搜索中,需要采集大量的用户数据和移动环境数据。移动数据具有两个主要特点,分散化和海量性。分散化指移动数据存在于运营商的各种异构数据库中,且分散于各个数据中心。海量性是指由于时间的累积和用户的增长,移动用户的消费记录和无线环境数据都会呈现海量的特点。
各个结点采集的数据,可以通过定义统一的数据格式而达到分散数据整合的目的,云计算透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大***经搜寻、计算分析之后将处理结果回传给用户的特点,可以将分散的移动数据整合到一个统一的平台上加以利用,这是其他计算模式无法提供的优点。对于单个结点采集到的海量数据,云计算通过自己的超大规模和高容错能力,更好的发挥整个***的处理能力而不是单个结点的处理能力。
此外,21世纪是智能化的时代,包括三大智能化,信息的智能化——信息搜索,能源的智能化——低碳能源,物体的智能化——物联网。目前智能化的进步飞速,各种智能的***和方法应允而生。目前,数据采集***还有很多不足。第一,前台***的改变,尤其是前台数据库***由于业务或者升级等原因的改变,导致采集***的不能适应这种变化。第二,很多数据采集***设计的ETL工具的灵活度低,尤其是不能对***的情况形成很好的反馈。鉴于以上情况,本发明提供了一种有效的***和方法来解决这些问题。
发明内容
为了实现移动数据的海量智能化的采集和存储,本发明提供了一种基于云计算***的智能数据采集***,部署在云计算***中,其特征是:所述***包括分别部署在云计算***主节点和从节点的主节点子***和从节点***,其中,所述主节点子***包括:
连接智能库模块:主要用于前台连接,包括:提供预连接的SQL语句,生成预连接任务化参数,生成前台连接任务化参数;
处理智能库模块:用于选择数据的处理方式,定义统一的数据格式,确定数据内容的筛选策略,生成数据处理任务化参数;生成数据处理任务输出;
存储智能库模块:用于选择后台存储的策略,生成预存储任务化参数,生成存储任务化参数;生成后台预存储任务输出;
智能分析决策模块:主要用于调用所述连接智能库模块、处理智能库模块、处理智能库模块,分别生成针对从节点的预连接任务、预处理任务、预存储任务,提交给云计算辅助管理主节点模块;接收云计算辅助管理主节点模块的预连接反馈信息,包括预连接信息、预处理信息、预存储信息,根据该反馈信息生成数据采集任务,或者用户报告,提交云计算辅助管理主节点模块;
云计算辅助管理主节点模块:是主节点子***与云计算***的接口界面,用于接收用户提交的数据采集任务,提交给智能分析决策模块,然后接受智能分析决策模块的任务输出,通过给云计算***提交给从节点的云计算辅助管理从节点模块; 
所述从节点子***包括:
前台连接模块:用于通过JDBC接口连接前台的各种异构数据库,并反馈前台连接信息;
数据处理模块:根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数,对采集的数据进行必要的处理,包括数据格式转化、文本处理,并反馈数据处理信息;
后台存储模块:实现将经过预处理的数据,存储到云计算***的文件***中,或者通过JDBC接口存储到新建数据库中,并反馈存储信息;
云计算辅助管理从节点模块:是从节点子***与云计算***的接口界面,用于接收云计算辅助管理主节点模块的预连接任务、预处理任务、预存储任务,数据采集任务,调用所述前台连接模块、数据处理模块、后台存储模块,并将各种反馈信息通过云计算***返回给云计算辅助管理主节点模块。
一种基于云计算***的智能数据采集***的数据采集方法,其特征在于,包括以下步骤:
步骤1:云计算辅助管理主节点模块接收用户提交的一个数据采集请求,提交给智能分析决策模块;
步骤2:智能分析决策模块调用连接智能库模块,生成预连接任务输出到云计算辅助管理主节点模块;
步骤3:云计算辅助管理主节点模块将预连接任务通过云计算***提交给从节点上的云计算辅助管理从节点模块;
步骤4:云计算辅助管理从节点模块调用前台连接模块,通过JDBC接口连接前台的各种异构数据库,并向云计算辅助管理从节点模块反馈前台连接信息;
步骤5:云计算辅助管理从节点模块将前台预连接反馈信息通过云计算***返回给云计算辅助管理主节点模块,并最终反馈智能分析决策模块,智能分析决策模块根据反馈的信息进行分支判断选择:
如果反馈的预连接信息表示预连接任务执行成功,则由智能分析决策模块调用处理智能库模块,生成预处理任务输出到云计算辅助管理主节点模块;云计算辅助管理主节点模块通过给云计算***提交给从节点的云计算辅助管理从节点模块;云计算辅助管理从节点模块调用数据处理模块,根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数,对采集的数据进行必要的处理,包括数据格式转化、文本处理,并反馈数据处理信息,并向云计算辅助管理从节点模块反馈预处理信息;
否则,生成预连接失败信息,反馈用户;
步骤6:云计算辅助管理从节点模块将数据预处理反馈信息通过云计算***返回给云计算辅助管理主节点模块,并最终反馈智能分析决策模块,智能分析决策模块根据反馈的信息进行分支判断选择:
如果反馈的预处理信息表示数据预处理任务执行成功,则由智能分析决策模块调用存储智能库模块,生成后台预存储任务输出到云计算辅助管理主节点模块;云计算辅助管理主节点模块通过给云计算***提交给从节点的云计算辅助管理从节点模块;云计算辅助管理从节点模块调用后台存储模块,实现将经过预处理的数据,存储到云计算***的文件***中,或者通过JDBC接口存储到新建数据库中,并向云计算辅助管理从节点模块反馈后台预存储信息;
否则,生成预处理失败信息,反馈用户;
步骤7:云计算辅助管理从节点模块将预存储反馈信息通过云计算***返回给云计算辅助管理主节点模块,并最终反馈智能分析决策模块,智能分析决策模块根据后台预存储反馈信息进行分支判断选择:
如果反馈的预存储信息表示后台预存储任务执行成功,则由智能分析决策模块生成数据采集任务输出到云计算辅助管理主节点模块;云计算辅助管理主节点模块通过给云计算***提交给从节点的云计算辅助管理从节点模块;云计算辅助管理从节点模块调用所述前台连接模块、数据处理模块、后台存储模块,并将相应反馈信息通过云计算***返回给云计算辅助管理主节点模块;
否则,生成预储存失败信息,反馈用户。
本发明的优点在于:第一,采用智能分析决策,尤其是对了解不深或者未知***利用反馈决策机制,将前台数据库的基本情况和后台存储遇到的问题形成一份完成的反馈报告,可以为用户的任务决策提供有效的信息;第二,采用云计算网络,利用云计算将大程序分解成小程序然后整合形成结果的特点,实现分散的数据的统一整合,对单个结点采集到的海量数据可以通过上传到云计算***,进而利用云计算网络超大规模的特点进行海量数据处理,解决了数据不断增长对***性能造成的影响。第三,采用分级决策机制,各个决策都是以前一个决策成功的基础上继续进行,保证各个决策都是有逻辑先后的顺序,实现科学智能的决策。第四,各个不同数据库采集的数据是分散没有统一的数据格式,通过本***之后定义统一的格式可以实现不同数据的整合。
附图说明
图1 为本发明的一种基于云计算***的智能数据采集***示意图。
图2 为本发明的一种基于云计算***的智能数据采集***方法流程图的前部分。
图3 为本发明的一种基于云计算***的智能数据采集***方法流程图的后续部分。
具体实施方式
有关本发明的技术内容及详细说明,现结合附图说明如下:
请参阅图1,一种基于云计算***的智能数据采集***,部署在云计算***中,其特征是:所述***包括分别部署在云计算***主节点和从节点的主节点子***和从节点***,其中,所述主节点子***包括:
连接智能库模块:主要用于前台连接,包括:提供预连接的SQL语句,生成预连接任务化参数,生成前台连接任务化参数;
处理智能库模块:用于选择数据的处理方式,定义统一的数据格式,确定数据内容的筛选策略,生成数据处理任务化参数;生成数据处理任务输出;
存储智能库模块:用于选择后台存储的策略,生成预存储任务化参数,生成存储任务化参数;生成后台预存储任务输出;
智能分析决策模块:主要用于调用所述连接智能库模块、处理智能库模块、处理智能库模块,分别生成针对从节点的预连接任务、预处理任务、预存储任务,提交给云计算辅助管理主节点模块;接收云计算辅助管理主节点模块的预连接反馈信息,包括预连接信息、预处理信息、预存储信息,根据该反馈信息生成数据采集任务,或者用户报告,提交云计算辅助管理主节点模块;
云计算辅助管理主节点模块:是主节点子***与云计算***的接口界面,用于接收用户提交的数据采集任务,提交给智能分析决策模块,然后接受智能分析决策模块的任务输出,通过给云计算***提交给从节点的云计算辅助管理从节点模块; 
所述从节点子***包括:
前台连接模块:用于通过JDBC接口连接前台的各种异构数据库,并反馈前台连接信息;
数据处理模块:根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数,对采集的数据进行必要的处理,包括数据格式转化、文本处理,并反馈数据处理信息;
后台存储模块:实现将经过预处理的数据,存储到云计算***的文件***中,或者通过JDBC接口存储到新建数据库中,并反馈存储信息;
云计算辅助管理从节点模块:是从节点子***与云计算***的接口界面,用于接收云计算辅助管理主节点模块的预连接任务、预处理任务、预存储任务,数据采集任务,调用所述前台连接模块、数据处理模块、后台存储模块,并将各种反馈信息通过云计算***返回给云计算辅助管理主节点模块。
结合图2和图3所示的基于云计算***的智能数据采集***的数据采集方法,包括如下步骤:
步骤S101:云计算辅助管理主节点模块接收用户提交的一个数据采集请求,提交给智能分析决策模块;
步骤S102:智能分析决策模块调用连接智能库模块,生成预连接任务输出到云计算辅助管理主节点模块;
步骤S103:云计算辅助管理主节点模块将预连接任务通过云计算***提交给从节点上的云计算辅助管理从节点模块;
步骤S104:云计算辅助管理从节点模块调用前台连接模块,通过JDBC接口连接前台的各种异构数据库,并向云计算辅助管理从节点模块反馈前台连接信息;
步骤S105:云计算辅助管理从节点模块将前台预连接反馈信息通过云计算***返回给云计算辅助管理主节点模块,并最终反馈智能分析决策模块,智能分析决策模块根据反馈的信息进行分支判断选择:
如果反馈的预连接信息表示预连接任务执行成功,则步骤S107,由智能分析决策模块调用处理智能库模块,生成预处理任务输出到云计算辅助管理主节点模块;步骤S108,云计算辅助管理主节点模块通过给云计算***提交给从节点的云计算辅助管理从节点模块;步骤S109,云计算辅助管理从节点模块调用数据处理模块,根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数,对采集的数据进行必要的处理,包括数据格式转化、文本处理,并反馈数据处理信息,并向云计算辅助管理从节点模块反馈预处理信息;
否则,生成预连接失败信息,反馈用户(步骤S106);
步骤S110:云计算辅助管理从节点模块将数据预处理反馈信息通过云计算***返回给云计算辅助管理主节点模块,并最终反馈智能分析决策模块,智能分析决策模块根据反馈的信息进行分支判断选择:
如果反馈的预处理信息表示数据预处理任务执行成功,则由智能分析决策模块调用存储智能库模块(步骤S111),生成后台预存储任务输出到云计算辅助管理主节点模块;云计算辅助管理主节点模块通过给云计算***提交给从节点的云计算辅助管理从节点模块(步骤S112);云计算辅助管理从节点模块调用后台存储模块(步骤S113),实现将经过预处理的数据,存储到云计算***的文件***中,或者通过JDBC接口存储到新建数据库中,并向云计算辅助管理从节点模块反馈后台预存储信息;
否则,返回步骤S106,生成预处理失败信息,反馈用户;
步骤S114:云计算辅助管理从节点模块将预存储反馈信息通过云计算***返回给云计算辅助管理主节点模块,并最终反馈智能分析决策模块,智能分析决策模块根据后台预存储反馈信息进行分支判断选择:
如果反馈的预存储信息表示后台预存储任务执行成功,则步骤S115,由智能分析决策模块生成数据采集任务输出到云计算辅助管理主节点模块;步骤S116,云计算辅助管理主节点模块通过给云计算***提交给从节点的云计算辅助管理从节点模块;步骤S117,云计算辅助管理从节点模块调用所述前台连接模块、数据处理模块、后台存储模块,并将相应反馈信息通过云计算***返回给云计算辅助管理主节点模块;
否则,返回步骤S106,生成预储存失败信息,反馈用户。
本发明所述***主要是在云计算***上建立智能的一个采集***,该***与云计算***密切联系,但并不影响云计算***的基本功能。云计算***的文件***、各种参数配置,以及基于云计算的后台存储数据库都是云计算***固有特性,本***在实现中可以加以利用。同时,本***由于下面的决策是以上面的决策正确为前提的,上面的决策正确获取的参数,又可以作为下面决策的参考的依据,这样不仅可以保证决策的逻辑顺序,同时可以大大提高决策的质量和正确,保证***最后产生的决策结果是可以在***上运行的。就大大提高***的智能化水平和成功率,减少不必要的操作失误和***盲区导致的低效问题。
由于云计算是现有的技术并且有统一的技术规范,本发明仅就***进行阐述,其他具体实现的技术细节,不再赘述。

Claims (2)

1.一种基于云计算***的智能数据采集***,部署在云计算***中,其特征是:所述***包括分别部署在云计算***主节点和从节点的主节点子***和从节点***,其中,所述主节点子***包括:
连接智能库模块:主要用于前台连接,包括:提供预连接的SQL语句,生成预连接任务化参数,生成前台连接任务化参数;
处理智能库模块:用于选择数据的处理方式,定义统一的数据格式,确定数据内容的筛选策略,生成数据处理任务化参数;生成数据处理任务输出;
存储智能库模块:用于选择后台存储的策略,生成预存储任务化参数,生成存储任务化参数;生成后台预存储任务输出;
智能分析决策模块:主要用于调用所述连接智能库模块、处理智能库模块、处理智能库模块,分别生成针对从节点的预连接任务、预处理任务、预存储任务,提交给云计算辅助管理主节点模块;接收云计算辅助管理主节点模块的预连接反馈信息,包括预连接信息、预处理信息、预存储信息,根据该反馈信息生成数据采集任务,或者用户报告,提交云计算辅助管理主节点模块;
云计算辅助管理主节点模块:是主节点子***与云计算***的接口界面,用于接收用户提交的数据采集任务,提交给智能分析决策模块,然后接受智能分析决策模块的任务输出,通过给云计算***提交给从节点的云计算辅助管理从节点模块; 
所述从节点子***包括:
前台连接模块:用于通过JDBC接口连接前台的各种异构数据库,并反馈前台连接信息;
数据处理模块:根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数,对采集的数据进行必要的处理,包括数据格式转化、文本处理,并反馈数据处理信息;
后台存储模块:实现将经过预处理的数据,存储到云计算***的文件***中,或者通过JDBC接口存储到新建数据库中,并反馈存储信息;
云计算辅助管理从节点模块:是从节点子***与云计算***的接口界面,用于接收云计算辅助管理主节点模块的预连接任务、预处理任务、预存储任务,数据采集任务,调用所述前台连接模块、数据处理模块、后台存储模块,并将各种反馈信息通过云计算***返回给云计算辅助管理主节点模块。
2.一种权利要求1所述的基于云计算网络的智能数据采集***的数据采集方法,其特征在于,包括以下步骤:
步骤1:云计算辅助管理主节点模块接收用户提交的一个数据采集请求,提交给智能分析决策模块;
步骤2:智能分析决策模块调用连接智能库模块,生成预连接任务输出到云计算辅助管理主节点模块;
步骤3:云计算辅助管理主节点模块将预连接任务通过云计算***提交给从节点上的云计算辅助管理从节点模块;
步骤4:云计算辅助管理从节点模块调用前台连接模块,通过JDBC接口连接前台的各种异构数据库,并向云计算辅助管理从节点模块反馈前台连接信息;
步骤5:云计算辅助管理从节点模块将前台预连接反馈信息通过云计算***返回给云计算辅助管理主节点模块,并最终反馈智能分析决策模块,智能分析决策模块根据反馈的信息进行分支判断选择:
如果反馈的预连接信息表示预连接任务执行成功,则由智能分析决策模块调用处理智能库模块,生成预处理任务输出到云计算辅助管理主节点模块;云计算辅助管理主节点模块通过给云计算***提交给从节点的云计算辅助管理从节点模块;云计算辅助管理从节点模块调用数据处理模块,根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数,对采集的数据进行必要的处理,包括数据格式转化、文本处理,并反馈数据处理信息,并向云计算辅助管理从节点模块反馈预处理信息;
否则,生成预连接失败信息,反馈用户;
步骤6:云计算辅助管理从节点模块将数据预处理反馈信息通过云计算***返回给云计算辅助管理主节点模块,并最终反馈智能分析决策模块,智能分析决策模块根据反馈的信息进行分支判断选择:
如果反馈的预处理信息表示数据预处理任务执行成功,则由智能分析决策模块调用存储智能库模块,生成后台预存储任务输出到云计算辅助管理主节点模块;云计算辅助管理主节点模块通过给云计算***提交给从节点的云计算辅助管理从节点模块;云计算辅助管理从节点模块调用后台存储模块,实现将经过预处理的数据,存储到云计算***的文件***中,或者通过JDBC接口存储到新建数据库中,并向云计算辅助管理从节点模块反馈后台预存储信息;
否则,生成预处理失败信息,反馈用户;
步骤7:云计算辅助管理从节点模块将预存储反馈信息通过云计算***返回给云计算辅助管理主节点模块,并最终反馈智能分析决策模块,智能分析决策模块根据后台预存储反馈信息进行分支判断选择:
如果反馈的预存储信息表示后台预存储任务执行成功,则由智能分析决策模块生成数据采集任务输出到云计算辅助管理主节点模块;云计算辅助管理主节点模块通过给云计算***提交给从节点的云计算辅助管理从节点模块;云计算辅助管理从节点模块调用所述前台连接模块、数据处理模块、后台存储模块,并将相应反馈信息通过云计算***返回给云计算辅助管理主节点模块;
否则,生成预储存失败信息,反馈用户。
CN 201010282840 2010-09-16 2010-09-16 一种基于云计算***的智能数据采集*** Expired - Fee Related CN101944113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010282840 CN101944113B (zh) 2010-09-16 2010-09-16 一种基于云计算***的智能数据采集***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010282840 CN101944113B (zh) 2010-09-16 2010-09-16 一种基于云计算***的智能数据采集***

Publications (2)

Publication Number Publication Date
CN101944113A true CN101944113A (zh) 2011-01-12
CN101944113B CN101944113B (zh) 2013-05-15

Family

ID=43436104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010282840 Expired - Fee Related CN101944113B (zh) 2010-09-16 2010-09-16 一种基于云计算***的智能数据采集***

Country Status (1)

Country Link
CN (1) CN101944113B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130947A (zh) * 2011-01-30 2011-07-20 深圳市赛远自动化***有限公司 基于3g和云计算技术的远程监控维护的方法及***
CN102594617A (zh) * 2012-01-12 2012-07-18 易云捷讯科技(北京)有限公司 用于对云计算服务进行评测的***及评测方法
CN102646223A (zh) * 2012-02-17 2012-08-22 中国电力科学研究院 一种多人异地并行计算***
CN102664747A (zh) * 2012-03-27 2012-09-12 易云捷讯科技(北京)有限公司 一种云计算平台***
CN102750184A (zh) * 2012-06-25 2012-10-24 广东轩辕网络科技股份有限公司 云资源分类与标识***及方法
CN102882979A (zh) * 2012-10-18 2013-01-16 深圳讯腾软件技术有限公司 基于云计算***的数据采集与汇总分流的***和方法
CN103327071A (zh) * 2013-05-20 2013-09-25 东莞市富卡网络技术有限公司 云计算网络智能监控模型数据处理分散分载方法及其***
CN107644255A (zh) * 2016-07-21 2018-01-30 深圳光启合众科技有限公司 一种人工智能设备的数据处理方法、装置及***
CN111353650A (zh) * 2020-03-12 2020-06-30 苏州市自来水有限公司 一种基于云计算的水厂智能优化辅助决策***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615265A (zh) * 2009-08-11 2009-12-30 路军 一种基于多Agent技术的智能决策仿真实验***
CN101667187A (zh) * 2009-09-23 2010-03-10 南京邮电大学 一种基于对等计算技术的复合知识云方法
US20100228775A1 (en) * 2009-03-03 2010-09-09 Fein Gene S Real estate analysis system
US20100228798A1 (en) * 2009-02-24 2010-09-09 Hitachi, Ltd. Geographical distributed storage system based on hierarchical peer to peer architecture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228798A1 (en) * 2009-02-24 2010-09-09 Hitachi, Ltd. Geographical distributed storage system based on hierarchical peer to peer architecture
US20100228775A1 (en) * 2009-03-03 2010-09-09 Fein Gene S Real estate analysis system
CN101615265A (zh) * 2009-08-11 2009-12-30 路军 一种基于多Agent技术的智能决策仿真实验***
CN101667187A (zh) * 2009-09-23 2010-03-10 南京邮电大学 一种基于对等计算技术的复合知识云方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130947A (zh) * 2011-01-30 2011-07-20 深圳市赛远自动化***有限公司 基于3g和云计算技术的远程监控维护的方法及***
CN102594617B (zh) * 2012-01-12 2014-07-02 易云捷讯科技(北京)有限公司 用于对云计算服务进行评测的***及评测方法
CN102594617A (zh) * 2012-01-12 2012-07-18 易云捷讯科技(北京)有限公司 用于对云计算服务进行评测的***及评测方法
CN102646223A (zh) * 2012-02-17 2012-08-22 中国电力科学研究院 一种多人异地并行计算***
CN102646223B (zh) * 2012-02-17 2016-01-20 中国电力科学研究院 一种多人异地并行计算***
CN102664747A (zh) * 2012-03-27 2012-09-12 易云捷讯科技(北京)有限公司 一种云计算平台***
CN102664747B (zh) * 2012-03-27 2015-01-07 易云捷讯科技(北京)有限公司 一种云计算平台***
CN102750184A (zh) * 2012-06-25 2012-10-24 广东轩辕网络科技股份有限公司 云资源分类与标识***及方法
CN102882979A (zh) * 2012-10-18 2013-01-16 深圳讯腾软件技术有限公司 基于云计算***的数据采集与汇总分流的***和方法
CN102882979B (zh) * 2012-10-18 2016-08-17 深圳中讯振华信息产业开发有限公司 基于云计算***的数据采集与汇总分流的***和方法
CN103327071A (zh) * 2013-05-20 2013-09-25 东莞市富卡网络技术有限公司 云计算网络智能监控模型数据处理分散分载方法及其***
CN103327071B (zh) * 2013-05-20 2016-07-06 东莞市富卡信息科技有限公司 云计算网络智能监控模型数据处理分散分载方法及其***
CN107644255A (zh) * 2016-07-21 2018-01-30 深圳光启合众科技有限公司 一种人工智能设备的数据处理方法、装置及***
CN111353650A (zh) * 2020-03-12 2020-06-30 苏州市自来水有限公司 一种基于云计算的水厂智能优化辅助决策***

Also Published As

Publication number Publication date
CN101944113B (zh) 2013-05-15

Similar Documents

Publication Publication Date Title
CN101944113B (zh) 一种基于云计算***的智能数据采集***
CN109492040B (zh) 一种适用于数据中心海量短报文数据处理的***
CN1241135C (zh) 用于排序分类属性以更好地可视化多维数据的***和方法
CN109582667A (zh) 一种基于电力调控大数据的多数据库混合存储方法及***
CN108255712A (zh) 数据***的测试***和测试方法
CN104484472B (zh) 一种混合多种异构数据源的数据库集群及实现方法
US20150088807A1 (en) System and method for granular scalability in analytical data processing
CN104885078A (zh) 用于大规模并行处理数据库集群中的两阶段查询优化的方法
CN106294757B (zh) 一种基于超图划分的分布式数据库及其集群分区方法
CN106462575A (zh) 群集内存数据库的设计及实现
CN110740079B (zh) 一种面向分布式调度***的全链路基准测试***
CN114691786A (zh) 数据血缘关系的确定方法及装置、存储介质、电子装置
CN101141370A (zh) 基于网格服务的电力企业实时数据处理方法
CN103631922A (zh) 基于Hadoop集群的大规模Web信息提取方法及***
CN109213752A (zh) 一种基于cim的数据清洗转换方法
CN108733727A (zh) 一种查询处理方法、数据源注册方法及查询引擎
CN102200979A (zh) 一种分布式并行信息检索***及其方法
Kee et al. Efficient resource description and high quality selection for virtual grids
CN108509453B (zh) 一种信息处理方法及装置
CN108984583A (zh) 一种基于日志文件的搜索方法
CN112559634A (zh) 一种基于计算机云计算大数据用数据管理***
CN111125199B (zh) 一种数据库访问方法、装置及电子设备
CN114254033A (zh) 一种基于bs架构的数据处理方法及***
CN113127526A (zh) 一种基于Kubernetes的分布式数据存储和检索***
CN111368166A (zh) 资源搜索方法、资源搜索装置和计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130515

Termination date: 20130916