CN109828988A - 一种大数据统计方法及用于大数据统计的*** - Google Patents
一种大数据统计方法及用于大数据统计的*** Download PDFInfo
- Publication number
- CN109828988A CN109828988A CN201910071475.2A CN201910071475A CN109828988A CN 109828988 A CN109828988 A CN 109828988A CN 201910071475 A CN201910071475 A CN 201910071475A CN 109828988 A CN109828988 A CN 109828988A
- Authority
- CN
- China
- Prior art keywords
- data
- big data
- statistics
- wake
- fragmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007619 statistical method Methods 0.000 title claims abstract description 25
- 238000013467 fragmentation Methods 0.000 claims abstract description 34
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000013480 data collection Methods 0.000 claims abstract description 9
- 239000012634 fragment Substances 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 230000002618 waking effect Effects 0.000 claims description 8
- 150000001875 compounds Chemical class 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 claims description 3
- 238000013433 optimization analysis Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims 1
- 230000006641 stabilisation Effects 0.000 abstract description 2
- 238000011105 stabilization Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种大数据统计方法及用于大数据统计的***,包括以下步骤:数据收集,大数据采集***,进行采集数据,得到数据碎片,数据碎片处理,大数据处理***对数据碎片进行分析处理,去除重复碎片,数据碎片分类,大数据***,对数据碎片进行初步分类,并暂存到预处理模块中;一种大数据统计方法用于大数据统计的***,包括用于数据采集的数据收集模块;用于存储临时数据的存储模块;用于检测处理器负荷状态的分析模块;用于根据处理器负荷状况分析统计数据的不定时统计模块。本发明可以提高处理数据统计效率,同时不影响处理器的正常运行,保证大数据的稳定,节约时间,对数据进行大小分类,提高统计成功率。
Description
技术领域
本发明涉及大数据技术领域,尤其涉及一种大数据统计方法及用于大数据统计的***。
背景技术
进入2012年,大数据(bigdata)一词越来越多地被提及,人们用它来描述和定义信息***时代产生的海量数据。截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数据量更是高达1.82ZB,相当于全球每人产生200GB以上的数据量。
对海量数据进行统计分析,是一件非常耗时的事,特别是在面对ZB级别的数据时进行实时数据统计不但不能及时返回统计结果,而且更有可能将***应用拖垮。
发明内容
基于背景技术存在的技术问题,本发明提出了一种大数据统计方法及用于大数据统计的***。
本发明提出的一种大数据统计方法及用于大数据统计的***,包括以下步骤:
S1:数据收集,大数据采集***,进行采集数据,得到数据碎片;
S2:数据碎片处理,大数据处理***对数据碎片进行分析处理,去除重复碎片;
S3:数据碎片分类,大数据***,对数据碎片进行初步分类,并暂存到预处理模块中;
S4:处理器状态反馈,大数据处理器反馈处理器的负荷状态,大数据采集***根据大数据处理器的负荷状态调整数据碎片处理的速度;
S5:鉴权分析,对不定时统计***端口进行鉴权分析,与处理器预存储鉴权信息进行比;
S6:不定时统计,若鉴权分析完成,则进行不定时统计,对存储在预处理模块中的数据进行分析统计;
S7:唤醒指令,当大数据***接收到唤醒指令,对指令进行分析,匹配数据碎片中与指令相关的数据;
S8:唤醒统计,对配合完成的数据进行唤醒统计,生成统计结果;
S9:大数据,将唤醒统计和不定时统计的结果存储到大数据***中的存储模块。
优选地,所述S2中,中间***对S1过程中采集的数据碎片进行去重,并临时存储到存储模块。
优选地,所述S8唤醒统计和S6不定时统计平行执行,并将分析结果分类存储到大数据***中的存储模块中。
优选地,所述S5中鉴权因子可以是单不局限与终端设备的鉴权码,若鉴权不通过,重新进行匹配鉴权因子,并发出提示,生产报告。
优选地,所述S3中,对数据碎片进行区分,并对同类数据按照数据大小进行分类。
优选地,所述S6中,根据处理器的负荷情况,如果处理器负荷严重,则优选分析数据大小较小的数据,所述S8中,对与唤醒指令相匹配的数据进行全面统计,唤醒指令可以是但不局限于检索词,进行唤醒指令匹配的同时,检索大数据存储模块,调用符合唤醒指令的分析结果,对统计结果进行反检索,若成功检索到符合的信息,且对未检索到复合唤醒指令但为分析的数据,则直接反馈检索信息。
本发明还提出一种大数据统计方法用于大数据统计的***,包括用于数据采集的数据收集模块;用于存储临时数据的存储模块;用于检测处理器负荷状态的分析模块;用于根据处理器负荷状况分析统计数据的不定时统计模块;用于对不定时统计模块进行鉴权的鉴权模块;用于对唤醒指令进行识别分析的识别模块;用于对唤醒指令进行分析的指令配合模块;用于对配合唤醒指令内容数据进行统计分析的唤醒统计模块
本发明中的有益效果为:
1.通过进行处理器状态反馈,可以提高处理数据统计效率,同时不影响处理器的正常运行,保证大数据的稳定,同时配合不定时统计,节约时间,利用处理器空闲时间进行数据统计,对数据进行大小分类,降低后续统计的难度,提高后续统计的反馈速度,降低零时统计任务量对服务器的负荷,提高统计成功率。
2.通过进行唤醒统计,可以针对性进行统计分析,减少处理器负荷,同时对统计结果进行反向减少,避免重复统计,提高效率,反馈效率块,减少等待时间,提高工作效率。
附图说明
图1为本发明提出的一种大数据统计方法的结构示意图;
图2为本发明提出的一种大数据统计方法的数据交换拓扑。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
实施例1,参照图1-2,一种大数据统计方法及用于大数据统计的***,包括以下步骤:
S1:数据收集,大数据采集***,进行采集数据,得到数据碎片;
S2:数据碎片处理,大数据处理***对数据碎片进行分析处理,去除重复碎片;
S3:数据碎片分类,大数据***,对数据碎片进行初步分类,并暂存到预处理模块中;
S4:处理器状态反馈,大数据处理器反馈处理器的负荷状态,大数据采集***根据大数据处理器的负荷状态调整数据碎片处理的速度;
S5:鉴权分析,对不定时统计***端口进行鉴权分析,与处理器预存储鉴权信息进行比;
S6:不定时统计,若鉴权分析完成,则进行不定时统计,对存储在预处理模块中的数据进行分析统计;
S7:唤醒指令,当大数据***接收到唤醒指令,对指令进行分析,匹配数据碎片中与指令相关的数据;
S8:唤醒统计,对配合完成的数据进行唤醒统计,生成统计结果;
S9:大数据,将唤醒统计和不定时统计的结果存储到大数据***中的存储模块。
本发明中,所述S8唤醒统计和S6不定时统计平行执行,并将分析结果分类存储到大数据***中的存储模块中,所述S5中鉴权因子,若鉴权不通过,重新进行匹配鉴权因子,并发出提示,生产报告,所述S6中,根据处理器的负荷情况,如果处理器负荷严重,则优选分析数据大小较小的数据,所述S8中,对与唤醒指令相匹配的数据进行全面统计,进行唤醒指令匹配的同时,检索大数据存储模块,调用符合唤醒指令的分析结果,对统计结果进行反检索,若成功检索到符合的信息,且对未检索到复合唤醒指令但为分析的数据,则直接反馈检索信息。
实施例2,参照图1-2,一种大数据统计方法及用于大数据统计的***,包括以下步骤:
S1:数据收集,大数据采集***,进行采集数据,得到数据碎片;
S2:数据碎片处理,大数据处理***对数据碎片进行分析处理,去除重复碎片;
S3:数据碎片分类,大数据***,对数据碎片进行初步分类,并暂存到预处理模块中;
S4:处理器状态反馈,大数据处理器反馈处理器的负荷状态,大数据采集***根据大数据处理器的负荷状态调整数据碎片处理的速度;
S5:鉴权分析,对不定时统计***端口进行鉴权分析,与处理器预存储鉴权信息进行比;
S6:不定时统计,若鉴权分析完成,则进行不定时统计,对存储在预处理模块中的数据进行分析统计;
S7:唤醒指令,当大数据***接收到唤醒指令,对指令进行分析,匹配数据碎片中与指令相关的数据;
S8:唤醒统计,对配合完成的数据进行唤醒统计,生成统计结果;
S9:大数据,将唤醒统计和不定时统计的结果存储到大数据***中的存储模块。
本发明中,所述S2中,中间***对S1过程中采集的数据碎片进行去重,并临时存储到存储模块,所述S8唤醒统计和S6不定时统计平行执行,并将分析结果分类存储到大数据***中的存储模块中,所述S5中鉴权因子,鉴权因子为终端设备的鉴权码,若鉴权不通过,重新进行匹配鉴权因子,并发出提示,生产报告,所述S6中,根据处理器的负荷情况,如果处理器负荷严重,则优选分析数据大小较小的数据,所述S8中,对与唤醒指令相匹配的数据进行全面统计,唤醒指令是检索词,进行唤醒指令匹配的同时,检索大数据存储模块,调用符合唤醒指令的分析结果,对统计结果进行反检索,若成功检索到符合的信息,且对未检索到复合唤醒指令但为分析的数据,则直接反馈检索信息。
一种大数据统计方法用于大数据统计的***,包括用于数据采集的数据收集模块;用于存储临时数据的存储模块;用于检测处理器负荷状态的分析模块;用于根据处理器负荷状况分析统计数据的不定时统计模块;用于对不定时统计模块进行鉴权的鉴权模块;用于对唤醒指令进行识别分析的识别模块;用于对唤醒指令进行分析的指令配合模块;用于对配合唤醒指令内容数据进行统计分析的唤醒统计模块。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种大数据统计方法,其特征在于,包括以下步骤:
S1:数据收集,大数据采集***,进行采集数据,得到数据碎片;
S2:数据碎片处理,大数据处理***对数据碎片进行分析处理,去除重复碎片;
S3:数据碎片分类,大数据***,对数据碎片进行初步分类,并暂存到预处理模块中;
S4:处理器状态反馈,大数据处理器反馈处理器的负荷状态,大数据采集***根据大数据处理器的负荷状态调整数据碎片处理的速度;
S5:鉴权分析,对不定时统计***端口进行鉴权分析,与处理器预存储鉴权信息进行比;
S6:不定时统计,若鉴权分析完成,则进行不定时统计,对存储在预处理模块中的数据进行分析统计;
S7:唤醒指令,当大数据***接收到唤醒指令,对指令进行分析,匹配数据碎片中与指令相关的数据;
S8:唤醒统计,对配合完成的数据进行唤醒统计,生成统计结果;
S9:大数据,将唤醒统计和不定时统计的结果存储到大数据***中的存储模块。
2.根据权利要求1所述的一种大数据统计方法,其特征在于,所述S2中,中间***对S1过程中采集的数据碎片进行去重,并临时存储到存储模块。
3.根据权利要求1所述的一种大数据统计方法,其特征在于,所述S8唤醒统计和S6不定时统计平行执行,并将分析结果分类存储到大数据***中的存储模块中。
4.根据权利要求1所述的一种大数据统计方法,其特征在于,所述S5中鉴权因子可以是单不局限与终端设备的鉴权码,若鉴权不通过,重新进行匹配鉴权因子,并发出提示,生产报告。
5.根据权利要求1所述的一种大数据统计方法,其特征在于,所述S3中,对数据碎片进行区分,并对同类数据按照数据大小进行分类。
6.根据权利要求1所述的一种大数据统计方法,其特征在于,所述S6中,根据处理器的负荷情况,如果处理器负荷严重,则优选分析数据大小较小的数据,所述S8中,对与唤醒指令相匹配的数据进行全面统计,唤醒指令可以是但不局限于检索词,进行唤醒指令匹配的同时,检索大数据存储模块,调用符合唤醒指令的分析结果,对统计结果进行反检索,若成功检索到符合的信息,且对未检索到复合唤醒指令但为分析的数据,则直接反馈检索信息。
7.根据权利要求1所述的一种大数据统计方法用于大数据统计的***,其特征在于,包括用于数据采集的数据收集模块;用于存储临时数据的存储模块;用于检测处理器负荷状态的分析模块;用于根据处理器负荷状况分析统计数据的不定时统计模块;用于对不定时统计模块进行鉴权的鉴权模块;用于对唤醒指令进行识别分析的识别模块;用于对唤醒指令进行分析的指令配合模块;用于对配合唤醒指令内容数据进行统计分析的唤醒统计模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910071475.2A CN109828988A (zh) | 2019-01-25 | 2019-01-25 | 一种大数据统计方法及用于大数据统计的*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910071475.2A CN109828988A (zh) | 2019-01-25 | 2019-01-25 | 一种大数据统计方法及用于大数据统计的*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109828988A true CN109828988A (zh) | 2019-05-31 |
Family
ID=66862374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910071475.2A Pending CN109828988A (zh) | 2019-01-25 | 2019-01-25 | 一种大数据统计方法及用于大数据统计的*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109828988A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111159253A (zh) * | 2019-12-28 | 2020-05-15 | 重庆友辉建筑科技有限公司 | 一种轻钢别墅部件大数据统计*** |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102549523A (zh) * | 2009-09-24 | 2012-07-04 | 高通股份有限公司 | 用于优化无线设备的功耗的装置和方法 |
CN103944830A (zh) * | 2013-01-17 | 2014-07-23 | 株式会社日立解决方案 | 计算机*** |
CN105335814A (zh) * | 2015-09-25 | 2016-02-17 | 湖南中德安普大数据网络科技有限公司 | 在线大数据智能云审计方法及*** |
CN105634845A (zh) * | 2014-10-30 | 2016-06-01 | 任子行网络技术股份有限公司 | 一种用于对海量dns日志进行多维统计分析的方法及*** |
CN106815338A (zh) * | 2016-12-25 | 2017-06-09 | 北京中海投资管理有限公司 | 一种大数据的实时存储、处理和查询*** |
CN106970953A (zh) * | 2017-03-10 | 2017-07-21 | 中国联合网络通信集团有限公司 | 基于大数据分析的网络建设管控方法及其平台 |
CN107229695A (zh) * | 2017-05-23 | 2017-10-03 | 深圳大学 | 多平台航空电子大数据***及方法 |
CN107908690A (zh) * | 2017-11-01 | 2018-04-13 | 南京欣网互联网络科技有限公司 | 一种基于大数据运营分析的数据处理方法 |
CN107992584A (zh) * | 2017-12-08 | 2018-05-04 | 中国船舶重工集团公司第七二四研究所 | 一种海洋大数据分类解析与网格化存储方法 |
CN108898029A (zh) * | 2018-10-08 | 2018-11-27 | 马鞍山沐及信息科技有限公司 | 一种能源监控大数据管理***及方法 |
-
2019
- 2019-01-25 CN CN201910071475.2A patent/CN109828988A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102549523A (zh) * | 2009-09-24 | 2012-07-04 | 高通股份有限公司 | 用于优化无线设备的功耗的装置和方法 |
CN103944830A (zh) * | 2013-01-17 | 2014-07-23 | 株式会社日立解决方案 | 计算机*** |
CN105634845A (zh) * | 2014-10-30 | 2016-06-01 | 任子行网络技术股份有限公司 | 一种用于对海量dns日志进行多维统计分析的方法及*** |
CN105335814A (zh) * | 2015-09-25 | 2016-02-17 | 湖南中德安普大数据网络科技有限公司 | 在线大数据智能云审计方法及*** |
CN106815338A (zh) * | 2016-12-25 | 2017-06-09 | 北京中海投资管理有限公司 | 一种大数据的实时存储、处理和查询*** |
CN106970953A (zh) * | 2017-03-10 | 2017-07-21 | 中国联合网络通信集团有限公司 | 基于大数据分析的网络建设管控方法及其平台 |
CN107229695A (zh) * | 2017-05-23 | 2017-10-03 | 深圳大学 | 多平台航空电子大数据***及方法 |
CN107908690A (zh) * | 2017-11-01 | 2018-04-13 | 南京欣网互联网络科技有限公司 | 一种基于大数据运营分析的数据处理方法 |
CN107992584A (zh) * | 2017-12-08 | 2018-05-04 | 中国船舶重工集团公司第七二四研究所 | 一种海洋大数据分类解析与网格化存储方法 |
CN108898029A (zh) * | 2018-10-08 | 2018-11-27 | 马鞍山沐及信息科技有限公司 | 一种能源监控大数据管理***及方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111159253A (zh) * | 2019-12-28 | 2020-05-15 | 重庆友辉建筑科技有限公司 | 一种轻钢别墅部件大数据统计*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109933630B (zh) | 数据库数据实时同步方法及设备 | |
CN111382327B (zh) | 一种字符串匹配装置及方法 | |
CN102184197B (zh) | 基于智能有限自动机的正则表达式匹配方法 | |
CN108717755B (zh) | 一种智能化快递柜的取件码生成控制方法 | |
CN109446173A (zh) | 日志数据处理方法、装置、计算机设备和存储介质 | |
CN105676023A (zh) | 故障录波数据的记录方法和*** | |
CN106971254A (zh) | 一种业务监控***及方法 | |
CN109842621A (zh) | 一种减少token存储数量的方法及终端 | |
CN109828988A (zh) | 一种大数据统计方法及用于大数据统计的*** | |
CN110221936A (zh) | 数据库告警处理方法、装置、设备及计算机可读存储介质 | |
CN101964046B (zh) | 条码扫描及识别方法 | |
CN106201918A (zh) | 一种基于大数据量和大规模缓存快速释放的方法和*** | |
CN106990913B (zh) | 一种大规模流式集合数据的分布式处理方法 | |
CN103746991B (zh) | 云计算网络中的安全事件分析方法及*** | |
CN105872552A (zh) | 延长视频监控***录像存储时间的智能处理方法 | |
CN112769619B (zh) | 一种基于决策树的多分类网络故障预测方法 | |
CN105553483B (zh) | 一种产生lz77的方法及装置 | |
CN106599326A (zh) | 一种云化架构下的记录数据剔重处理方法及*** | |
CN112019589B (zh) | 一种多层级负载均衡数据包处理方法 | |
CN103646056B (zh) | 一种基于特征值存储的历史数据存储和抽取方法 | |
CN106953774A (zh) | 一种基于用户自定义的网络抓包*** | |
CN109460475A (zh) | 一种相似线索的归并方法 | |
CN111192165A (zh) | 基于预处理方法的智能电表管理平台 | |
CN111049842A (zh) | 利用动态黑名单提高waf防护效率的方法 | |
CN109660383B (zh) | 一种信息化任务***自适应网络接口模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190531 |