CN104657502A - 基于Hadoop对海量数据进行实时统计的***和方法 - Google Patents
基于Hadoop对海量数据进行实时统计的***和方法 Download PDFInfo
- Publication number
- CN104657502A CN104657502A CN201510109490.3A CN201510109490A CN104657502A CN 104657502 A CN104657502 A CN 104657502A CN 201510109490 A CN201510109490 A CN 201510109490A CN 104657502 A CN104657502 A CN 104657502A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- hadoop
- network data
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于Hadoop对海量数据进行实时统计的***和方法，该***包括：由多个节点组成的Hadoop集群及Hadoop集群中的Hbase数据库，内存数据库；还包括：网络数据处理单元，用于获取网络数据，对获取的网络数据进行解析；入队单元，用于将解析后的数据组织为结构化数据格式，存储到MQ队列中；Storm处理单元，用于通过Storm对MQ队列中的数据进行流式计算处理，获得处理后的数据，将获得的处理后的数据存入内存数据库中；上传单元，用于将所述内存数据库中预定量的数据汇总持久化至Hadoop集群的Hbase数据库中。本方案能够实现海量数据的实时存储到Hbase数据库。
Description
技术领域
本发明涉及网络通信技术领域，特别涉及一种基于Hadoop对海量数据进行实时统计的方法和装置。
背景技术
随着信息数据的***性增长以及各个行业业务的需要，目前出现了分布式***基础架构Hadoop，Hadoop提供集群的高速运算与海量存储。
HBase是一个分布式的、面向列的一个具有高可靠性、可伸缩的开源数据库，是Hadoop项目的子项目，就如同Bigtable利用了Google文件***(FileSystem)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。
目前，基于Hadoop可以对海量数据进行离线式统计，其实现方式包括：获取并先缓存海量数据；对存储的海量数据进行处理；在到达一个上传周期，比如一个星期后，将处理后的海量数据以离线方式上传到Hadoop的HBase数据库中。
由此可见，在现有技术中，海量数据是以离线方式上传到HBase数据库中的，因此无法满足数据实时统计的要求。
发明内容
本发明提供一种基于Hadoop对海量数据进行实时统计的方法和装置，能够将海量数据实时统计到HBase数据库中。
一种基于Hadoop对海量数据进行实时统计的***，包括：由多个节点组成的Hadoop集群及Hadoop集群中的Hbase数据库，内存数据库；还包括：
网络数据处理单元，用于获取网络数据，对获取的网络数据进行解析；
入队单元，用于将解析后的数据组织为结构化数据格式，存储到MQ队列中；
Storm处理单元，用于通过Storm对MQ队列中的数据进行流式计算处理，获得处理后的数据，将获得的处理后的数据存入内存数据库中；
上传单元，用于将所述内存数据库中预定量的数据汇总持久化至Hadoop集群的Hbase数据库中。
所述内存数据库包括：Memcached数据库；
所述Storm处理单元，进一步根据预设的Hbase数据库对应的row-key规则，将所述获得的处理后的数据存入所述Memcached数据库中。
所述Hadoop集群包括：
1个NameNode节点，1个SecondaryNameNode节点，1个zookeeper节点与18个DateNode节点。
所述网络数据处理单元包括：
Nutch爬虫子单元，用于利用Nutch爬虫获取网络数据；
解析子单元，用于对Nutch爬虫子单元获取的网络数据进行清洗和过滤。
所述上传单元，用于在每当计时到达预设第一时间长度时，将当前第一时间长度内存储到Memcached数据库中的数据汇总持久化至Hadoop集群的Hbase数据库中。
一种基于Hadoop对海量数据进行实时统计的方法，建立由多个节点组成的Hadoop集群及Hadoop集群中的Hbase数据库；设置内存数据库，包括：
获取网络数据，对获取的网络数据进行解析；
将解析后的数据组织为结构化数据格式，存储到MQ队列中；
通过Storm对MQ队列中的数据进行流式计算处理，获得处理后的数据；
将获得的处理后的数据存入内存数据库中；
将内存数据库中预定量的数据汇总持久化至Hadoop集群的Hbase数据库中。
所述内存数据库包括：Memcached数据库；
所述将获得的处理后的数据存入内存数据库中包括：
根据预设的Hbase数据库对应的row-key规则，将所述获得的处理后的数据存入Memcached数据库中。
所述建立由多个节点组成的Hadoop集群包括：
利用21个节点组成Hadoop集群，所述21个节点包括1个NameNode节点，1个SecondaryNameNode节点，1个zookeeper节点与18个DateNode节点。
所述获取网络数据，对获取的网络数据进行解析包括：
由Nutch爬虫对获取的网络数据进行清洗和过滤。
所述预定量的数据为在预设的第一时间长度内存储到Memcached数据库中的数据。
可见，本发明实施例提供的一种基于Hadoop对海量数据进行实时统计的***和方法，能够针对海量数据建立Hadoop集群及Hbase数据库，在获取到网络数据后，通过MQ队列、Storm流式计算的配合，能够使得获取到的网络数据逐一进入MQ队列，Storm再从MQ队列中逐一取出数据进行流式计算处理，这样，通过MQ队列与Storm的配合，则完成了对海量数据的实时处理，并且，为了保证实时存储的实现，还将Storm处理后的数据先存入内存数据库中，然后再从内存数据库中汇总至Hbase数据库中，这样，则大大提高了数据存储速度，保证了海量数据能够被实时统计到Hbase数据库中。
附图说明
图1是本发明一个实施例中基于Hadoop对海量数据进行实时统计的方法的流程图。
图2是本发明另一个实施例中基于Hadoop对海量数据进行实时统计的方法的流程图。
图3是图2所示的本发明实施例的处理示意图。
图4是本发明一个实施例中基于Hadoop对海量数据进行实时统计的***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明一个实施例提出了一种基于Hadoop对海量数据进行实时统计的方法，参见图1，该方法包括：
步骤101：建立由多个节点组成的Hadoop集群及Hadoop集群中的Hbase数据库；
步骤102：设置内存数据库；
步骤103：获取网络数据，对获取的网络数据进行解析；
步骤104：将解析后的数据组织为结构化数据格式，存储到MQ队列中；
步骤105：通过Storm对MQ队列中的数据进行流式计算处理，获得处理后的数据；
步骤106：将获得的处理后的数据存入内存数据库中；
步骤107：将内存数据库中预定量的数据汇总持久化至Hadoop集群的Hbase数据库中。
可见，本发明实施例提供的一种基于Hadoop对海量数据进行实时统计的***和方法，能够针对海量数据建立Hadoop集群及Hbase数据库，在获取到网络数据后，通过MQ队列、Storm流式计算的配合，能够使得获取到的网络数据逐一进入MQ队列，Storm再从MQ队列中逐一取出数据进行流式计算处理，这样，通过MQ队列与Storm的配合，则完成了对海量数据的实时处理，并且，为了保证实时存储的实现，还将Storm处理后的数据先存入内存数据库中，然后再从内存数据库中汇总至Hbase数据库中，这样，则大大提高了数据存储速度。可见，本发明实施例保证了海量数据能够被实时统计到Hbase数据库中。
在本发明一个实施例中，内存数据库可以为多种类型的数据库，比如可以包括：Memcached数据库；
为了进一步提高数据被存储到Hbase数据库中的效率，在将获得的处理后的数据存入内存数据库中时，具体可以是根据预设的Hbase数据库对应的row-key规则，将所述获得的处理后的数据存入Memcached数据库中。
在本发明一个实施例中，建立由多个节点组成的Hadoop集群包括：
利用21个节点组成Hadoop集群，所述21个节点包括1个NameNode节点，1个SecondaryNameNode节点，1个zookeeper节点与18个DateNode节点。
在本发明一个实施例中，所述获取网络数据，对获取的网络数据进行解析包括：由Nutch爬虫从网页上获取网络数据，并对获取的网络数据进行清洗和过滤等处理。
在本发明一个实施例中，可以定时将内存数据库中的数据持久化到Hbase数据库中。此时，上述预定量的数据为在预设的第一时间长度内存储到Memcached数据库中的数据。
本发明另一个实施例也提出了一种基于Hadoop对海量数据进行实时统计的方法，参见图2，该方法包括：
步骤201：搭建Hadoop大数据平台，利用21个节点组成Hadoop集群，从21个节点组成的集群中，设置1个NameNode节点，1个SecondaryNameNode节点，1个zookeeper节点与18个DateNode节点；并且，建立出Hadoop集群中的Hbase数据库。
步骤202：预先设置Memcached数据库。
这里，Memcached数据库是一种内存数据库。
步骤203：由Nutch爬虫从网页上获取网络数据。
步骤204：对获取的网络数据进行清洗和过滤等处理。
步骤205：将当前处理后的数据组织为结构化数据格式，推送到MQ消息队列中。
步骤206：从MQ队列中取出数据，通过Storm对MQ队列中取出的数据进行流式计算处理。
在实际业务实现中，Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。Storm也可被用于“连续计算”(continuouscomputation)，对数据流做连续查询，在计算时就将结果以流的形式输出。本步骤中利用Storm技术保证了海量数据的实时处理。
步骤207：将当前处理后的数据按照设计好的Hbase数据库要求的row-key规则，直接放入Memcached数据库中。
步骤208：每当计时到达预设的第一时间长度时，定时任务将该第一时间长度内Memcached数据库中存储的数据汇总，持久化至Hadoop集群的Hbase数据库中。
上述图2所示的实施例中的过程也可以参见图3所示。
本发明一个实施例提出了一种基于Hadoop对海量数据进行实时统计的***，参见图4，包括：由多个节点组成的Hadoop集群401及Hadoop集群401中的Hbase数据库402，内存数据库403；还包括：
网络数据处理单元404，用于获取网络数据，对获取的网络数据进行解析；
入队单元405，用于将网络数据处理单元404解析后的数据组织为结构化数据格式，存储到MQ队列中；
Storm处理单元406，用于通过Storm对MQ队列中的数据进行流式计算处理，获得处理后的数据，将获得的处理后的数据存入内存数据库403中；
上传单元407，用于将所述内存数据库403中预定量的数据汇总持久化至Hadoop集群401的Hbase数据库402中。
所述内存数据库403包括：Memcached数据库；
所述Storm处理单元406，进一步根据预设的Hbase数据库402对应的row-key规则，将所述获得的处理后的数据存入所述Memcached数据库中。
所述Hadoop集群401包括：
1个NameNode节点，1个SecondaryNameNode节点，1个zookeeper节点与18个DateNode节点。
所述网络数据处理单元404包括：
Nutch爬虫子单元，用于利用Nutch爬虫获取网络数据；
解析子单元，用于对Nutch爬虫子单元获取的网络数据进行清洗和过滤。
所述上传单元407，用于在每当计时到达预设第一时间长度时，将当前第一时间长度内存储到Memcached数据库中的数据汇总持久化至Hadoop集群401的Hbase数据库402中。
本发明的实施例至少具有如下的有益效果：
1、可见，本发明实施例提供的一种基于Hadoop对海量数据进行实时统计的***和方法，能够针对海量数据建立Hadoop集群及Hbase数据库，在获取到网络数据后，通过MQ队列、Storm流式计算的配合，能够使得获取到的网络数据逐一进入MQ队列，Storm再从MQ队列中逐一取出数据进行流式计算处理，这样，通过MQ队列与Storm的配合，则完成了对海量数据的实时处理，并且，为了保证实时存储的实现，还将Storm处理后的数据先存入内存数据库中，然后再从内存数据库中汇总至Hbase数据库中，这样，则大大提高了数据存储速度。可见，本发明实施例保证了海量数据能够被实时统计到Hbase数据库中。
2、本发明实施例中，能够将MQ队列、Storm、Nutch爬虫、Memcached数据库及Hbase数据库各种技术相配合处理，从而能够更加高效地实现将海量数据实时统计到Hbase数据库中。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种基于Hadoop对海量数据进行实时统计的***，其特征在于，包括：由多个节点组成的Hadoop集群及Hadoop集群中的Hbase数据库，内存数据库；还包括：
网络数据处理单元，用于获取网络数据，对获取的网络数据进行解析；
入队单元，用于将解析后的数据组织为结构化数据格式，存储到MQ队列中；
Storm处理单元，用于通过Storm对MQ队列中的数据进行流式计算处理，获得处理后的数据，将获得的处理后的数据存入内存数据库中；
上传单元，用于将所述内存数据库中预定量的数据汇总持久化至Hadoop集群的Hbase数据库中。
2.根据权利要求1所述的***，其特征在于，所述内存数据库包括：Memcached数据库；
所述Storm处理单元，进一步根据预设的Hbase数据库对应的row-key规则，将所述获得的处理后的数据存入所述Memcached数据库中。
3.根据权利要求1所述的***，其特征在于，所述Hadoop集群包括：
1个NameNode节点，1个SecondaryNameNode节点，1个zookeeper节点与18个DateNode节点。
4.根据权利要求1所述的***，其特征在于，所述获取单元包括：
Nutch爬虫子单元，用于利用Nutch爬虫获取网络数据；
解析子单元，用于对Nutch爬虫子单元获取的网络数据进行清洗和过滤。
5.根据权利要求1至4中任一所述的***，其特征在于，所述上传单元，用于在每当计时到达预设第一时间长度时，将当前第一时间长度内存储到Memcached数据库中的数据汇总持久化至Hadoop集群的Hbase数据库中。
6.一种基于Hadoop对海量数据进行实时统计的方法，其特征在于，建立由多个节点组成的Hadoop集群及Hadoop集群中的Hbase数据库；设置内存数据库，包括：
获取网络数据，对获取的网络数据进行解析；
将解析后的数据组织为结构化数据格式，存储到MQ队列中；
通过Storm对MQ队列中的数据进行流式计算处理，获得处理后的数据；
将获得的处理后的数据存入内存数据库中；
将内存数据库中预定量的数据汇总持久化至Hadoop集群的Hbase数据库中。
7.根据权利要求6所述的方法，其特征在于，所述内存数据库包括：Memcached数据库；
所述将获得的处理后的数据存入内存数据库中包括：
根据预设的Hbase数据库对应的row-key规则，将所述获得的处理后的数据存入Memcached数据库中。
8.根据权利要求6所述的方法，其特征在于，所述建立由多个节点组成的Hadoop集群包括：
利用21个节点组成Hadoop集群，所述21个节点包括1个NameNode节点，1个SecondaryNameNode节点，1个zookeeper节点与18个DateNode节点。
9.根据权利要求6所述的方法，其特征在于，所述获取网络数据，对获取的网络数据进行解析包括：
由Nutch爬虫从网页上获取网络数据，并对获取的网络数据进行清洗和过滤。
10.根据权利要求6至9中任一所述的方法，其特征在于，所述预定量的数据为在预设的第一时间长度内存储到Memcached数据库中的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510109490.3A CN104657502A (zh) | 2015-03-12 | 2015-03-12 | 基于Hadoop对海量数据进行实时统计的***和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510109490.3A CN104657502A (zh) | 2015-03-12 | 2015-03-12 | 基于Hadoop对海量数据进行实时统计的***和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104657502A true CN104657502A (zh) | 2015-05-27 |
Family
ID=53248629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510109490.3A Pending CN104657502A (zh) | 2015-03-12 | 2015-03-12 | 基于Hadoop对海量数据进行实时统计的***和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104657502A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138615A (zh) * | 2015-08-10 | 2015-12-09 | 北京思特奇信息技术股份有限公司 | 一种构建大数据分布式日志的方法和*** |
| CN105808638A (zh) * | 2016-02-23 | 2016-07-27 | 平安科技（深圳）有限公司 | 数据处理方法和*** |
| CN106250432A (zh) * | 2016-07-26 | 2016-12-21 | 浪潮软件股份有限公司 | 一种基于持久化MQ的hbase容错方法 |
| CN106446144A (zh) * | 2016-09-21 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种基于kettle的大数据平台数据抽取和统计方法 |
| CN106570064A (zh) * | 2016-10-10 | 2017-04-19 | 上海瀚之友信息技术服务有限公司 | 一种通用结构化数据的实时计算***及方法 |
| CN106959928A (zh) * | 2017-03-23 | 2017-07-18 | 华中科技大学 | 一种基于多级缓存结构的流式数据实时处理方法及*** |
| CN107016128A (zh) * | 2017-05-16 | 2017-08-04 | 郑州云海信息技术有限公司 | 一种数据处理方法及装置 |
| CN107169024A (zh) * | 2017-04-11 | 2017-09-15 | 微梦创科网络科技（中国）有限公司 | 一种兼容型的业务***及业务实现方法 |
| CN107465574A (zh) * | 2017-08-07 | 2017-12-12 | 南京华盾电力信息安全测评有限公司 | 互联网网站群平台***及其并行隔离流式计算方法 |
| CN107545014A (zh) * | 2016-06-28 | 2018-01-05 | 国网天津市电力公司 | 基于Storm的流计算即时处理*** |
| CN107766504A (zh) * | 2017-10-20 | 2018-03-06 | 华迪计算机集团有限公司 | 一种实时流式数据处理分析方法及*** |
| CN108182139A (zh) * | 2018-01-31 | 2018-06-19 | 中国银行股份有限公司 | 预警方法、装置和*** |
| CN109361532A (zh) * | 2018-09-11 | 2019-02-19 | 上海天旦网络科技发展有限公司 | 网络数据分析的高可用***和方法及计算机可读存储介质 |
| CN106095391B (zh) * | 2016-05-31 | 2019-03-26 | 携程计算机技术（上海）有限公司 | 基于大数据平台和算法模型的计算方法及*** |
| CN109656981A (zh) * | 2018-11-19 | 2019-04-19 | 南京国通智能科技有限公司 | 一种数据统计方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150324A (zh) * | 2012-12-26 | 2013-06-12 | 人民搜索网络股份公司 | 一种基于链式处理的数据收集***及其方法 |
| CN103401934A (zh) * | 2013-08-06 | 2013-11-20 | 广州唯品会信息科技有限公司 | 获取日志数据的方法和*** |
| CN103412768A (zh) * | 2013-07-19 | 2013-11-27 | 蓝盾信息安全技术股份有限公司 | 一种基于脚本程序自动化部署Zookeeper集群的方法 |
| CN103699660A (zh) * | 2013-12-26 | 2014-04-02 | 清华大学 | 一种大规模网络流式数据缓存写入的方法 |
-
2015
- 2015-03-12 CN CN201510109490.3A patent/CN104657502A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150324A (zh) * | 2012-12-26 | 2013-06-12 | 人民搜索网络股份公司 | 一种基于链式处理的数据收集***及其方法 |
| CN103412768A (zh) * | 2013-07-19 | 2013-11-27 | 蓝盾信息安全技术股份有限公司 | 一种基于脚本程序自动化部署Zookeeper集群的方法 |
| CN103401934A (zh) * | 2013-08-06 | 2013-11-20 | 广州唯品会信息科技有限公司 | 获取日志数据的方法和*** |
| CN103699660A (zh) * | 2013-12-26 | 2014-04-02 | 清华大学 | 一种大规模网络流式数据缓存写入的方法 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138615A (zh) * | 2015-08-10 | 2015-12-09 | 北京思特奇信息技术股份有限公司 | 一种构建大数据分布式日志的方法和*** |
| CN105138615B (zh) * | 2015-08-10 | 2019-02-26 | 北京思特奇信息技术股份有限公司 | 一种构建大数据分布式日志的方法和*** |
| CN105808638A (zh) * | 2016-02-23 | 2016-07-27 | 平安科技（深圳）有限公司 | 数据处理方法和*** |
| CN105808638B (zh) * | 2016-02-23 | 2019-03-29 | 平安科技（深圳）有限公司 | 数据处理方法和*** |
| CN106095391B (zh) * | 2016-05-31 | 2019-03-26 | 携程计算机技术（上海）有限公司 | 基于大数据平台和算法模型的计算方法及*** |
| CN107545014A (zh) * | 2016-06-28 | 2018-01-05 | 国网天津市电力公司 | 基于Storm的流计算即时处理*** |
| CN106250432A (zh) * | 2016-07-26 | 2016-12-21 | 浪潮软件股份有限公司 | 一种基于持久化MQ的hbase容错方法 |
| CN106446144A (zh) * | 2016-09-21 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种基于kettle的大数据平台数据抽取和统计方法 |
| CN106570064A (zh) * | 2016-10-10 | 2017-04-19 | 上海瀚之友信息技术服务有限公司 | 一种通用结构化数据的实时计算***及方法 |
| CN106959928A (zh) * | 2017-03-23 | 2017-07-18 | 华中科技大学 | 一种基于多级缓存结构的流式数据实时处理方法及*** |
| CN106959928B (zh) * | 2017-03-23 | 2019-08-13 | 华中科技大学 | 一种基于多级缓存结构的流式数据实时处理方法及*** |
| CN107169024A (zh) * | 2017-04-11 | 2017-09-15 | 微梦创科网络科技（中国）有限公司 | 一种兼容型的业务***及业务实现方法 |
| CN107016128A (zh) * | 2017-05-16 | 2017-08-04 | 郑州云海信息技术有限公司 | 一种数据处理方法及装置 |
| CN107465574A (zh) * | 2017-08-07 | 2017-12-12 | 南京华盾电力信息安全测评有限公司 | 互联网网站群平台***及其并行隔离流式计算方法 |
| CN107465574B (zh) * | 2017-08-07 | 2020-11-10 | 南京华盾电力信息安全测评有限公司 | 互联网网站群平台***及其并行隔离流式计算方法 |
| CN107766504A (zh) * | 2017-10-20 | 2018-03-06 | 华迪计算机集团有限公司 | 一种实时流式数据处理分析方法及*** |
| CN108182139A (zh) * | 2018-01-31 | 2018-06-19 | 中国银行股份有限公司 | 预警方法、装置和*** |
| CN109361532A (zh) * | 2018-09-11 | 2019-02-19 | 上海天旦网络科技发展有限公司 | 网络数据分析的高可用***和方法及计算机可读存储介质 |
| CN109361532B (zh) * | 2018-09-11 | 2021-08-24 | 上海天旦网络科技发展有限公司 | 网络数据分析的高可用***和方法及计算机可读存储介质 |
| CN109656981A (zh) * | 2018-11-19 | 2019-04-19 | 南京国通智能科技有限公司 | 一种数据统计方法及*** |
| CN109656981B (zh) * | 2018-11-19 | 2023-09-15 | 南京国通智能科技有限公司 | 一种数据统计方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104657502A (zh) | 基于Hadoop对海量数据进行实时统计的***和方法 | |
| Jian et al. | Beta/M/1 model for machine type communication | |
| CN105072196B (zh) | 分布式数据包存储、回溯方法及*** | |
| CN104765749A (zh) | 一种数据存储方法及装置 | |
| CN104794170A (zh) | 基于指纹多重哈希布隆过滤器的网络取证内容溯源方法 | |
| CN104506496A (zh) | 基于Oracle Streams技术的准实时数据增量分发中间件及方法 | |
| CN103699618A (zh) | 数据报表的生成方法和*** | |
| CN109218058B (zh) | Oam信息的获取方法、***及计算机可读存储介质 | |
| CN103618733A (zh) | 一种应用于移动互联网的数据过滤***及方法 | |
| CN110781184A (zh) | 数据表的构建方法、装置、设备及存储介质 | |
| CN104317942A (zh) | 一种基于Hadoop云平台的海量数据比对方法及*** | |
| CN105049298A (zh) | 一种云资源监控方法和*** | |
| CN104537003B (zh) | 一种Hbase数据库的通用高性能数据写入方法 | |
| CN104778210A (zh) | 一种微博转发树和转发森林构建方法 | |
| CN103093001A (zh) | 微博数据解析方法及装置 | |
| CN104506330A (zh) | 一种消息同步方法和*** | |
| CN105450997A (zh) | 基于云存储的视频监控*** | |
| CN103746851A (zh) | 一种实现独立用户数统计的方法及装置 | |
| CN103701450B (zh) | 一种支持多值逻辑的三稳态rs触发器 | |
| CN106131134A (zh) | 一种消息内容合并去重方法及*** | |
| CN105337850A (zh) | 一种物联网数据处理方法及物联网网关 | |
| CN105471707B (zh) | 好友列表排序方法及*** | |
| CN103516765A (zh) | 社会性网络服务后台数据的存储方法和*** | |
| CN104579753A (zh) | 用户数据统计方法、接入层服务器和统计服务器 | |
| CN103647666A (zh) | 一种统计呼叫详细记录报文并实时输出结果的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150527 |
|
| WD01 | Invention patent application deemed withdrawn after publication |