CN109828988A - 一种大数据统计方法及用于大数据统计的*** - Google Patents
一种大数据统计方法及用于大数据统计的*** Download PDFInfo
- Publication number
- CN109828988A CN109828988A CN201910071475.2A CN201910071475A CN109828988A CN 109828988 A CN109828988 A CN 109828988A CN 201910071475 A CN201910071475 A CN 201910071475A CN 109828988 A CN109828988 A CN 109828988A
- Authority
- CN
- China
- Prior art keywords
- data
- big data
- statistics
- wake
- fragmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007619 statistical method Methods 0.000 title claims abstract description 25
- 238000013467 fragmentation Methods 0.000 claims abstract description 34
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000013480 data collection Methods 0.000 claims abstract description 9
- 239000012634 fragment Substances 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 230000002618 waking effect Effects 0.000 claims description 8
- 150000001875 compounds Chemical class 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 claims description 3
- 238000013433 optimization analysis Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims 1
- 230000006641 stabilisation Effects 0.000 abstract description 2
- 238000011105 stabilization Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种大数据统计方法及用于大数据统计的***，包括以下步骤：数据收集，大数据采集***，进行采集数据，得到数据碎片，数据碎片处理，大数据处理***对数据碎片进行分析处理，去除重复碎片，数据碎片分类，大数据***，对数据碎片进行初步分类，并暂存到预处理模块中；一种大数据统计方法用于大数据统计的***，包括用于数据采集的数据收集模块；用于存储临时数据的存储模块；用于检测处理器负荷状态的分析模块；用于根据处理器负荷状况分析统计数据的不定时统计模块。本发明可以提高处理数据统计效率，同时不影响处理器的正常运行，保证大数据的稳定，节约时间，对数据进行大小分类，提高统计成功率。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种大数据统计方法及用于大数据统计的***。
背景技术
进入2012年，大数据(bigdata)一词越来越多地被提及，人们用它来描述和定义信息***时代产生的海量数据。截止到2012年，数据量已经从TB(1024GB＝1TB)级别跃升到PB(1024TB＝1PB)、EB(1024PB＝1EB)乃至ZB(1024EB＝1ZB)级别。国际数据公司(IDC)的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数据量更是高达1.82ZB，相当于全球每人产生200GB以上的数据量。
对海量数据进行统计分析，是一件非常耗时的事，特别是在面对ZB级别的数据时进行实时数据统计不但不能及时返回统计结果，而且更有可能将***应用拖垮。
发明内容
基于背景技术存在的技术问题，本发明提出了一种大数据统计方法及用于大数据统计的***。
本发明提出的一种大数据统计方法及用于大数据统计的***，包括以下步骤：
S1：数据收集，大数据采集***，进行采集数据，得到数据碎片；
S2：数据碎片处理，大数据处理***对数据碎片进行分析处理，去除重复碎片；
S3：数据碎片分类，大数据***，对数据碎片进行初步分类，并暂存到预处理模块中；
S4：处理器状态反馈，大数据处理器反馈处理器的负荷状态，大数据采集***根据大数据处理器的负荷状态调整数据碎片处理的速度；
S5：鉴权分析，对不定时统计***端口进行鉴权分析，与处理器预存储鉴权信息进行比；
S6：不定时统计，若鉴权分析完成，则进行不定时统计，对存储在预处理模块中的数据进行分析统计；
S7：唤醒指令，当大数据***接收到唤醒指令，对指令进行分析，匹配数据碎片中与指令相关的数据；
S8：唤醒统计，对配合完成的数据进行唤醒统计，生成统计结果；
S9：大数据，将唤醒统计和不定时统计的结果存储到大数据***中的存储模块。
优选地，所述S2中，中间***对S1过程中采集的数据碎片进行去重，并临时存储到存储模块。
优选地，所述S8唤醒统计和S6不定时统计平行执行，并将分析结果分类存储到大数据***中的存储模块中。
优选地，所述S5中鉴权因子可以是单不局限与终端设备的鉴权码，若鉴权不通过，重新进行匹配鉴权因子，并发出提示，生产报告。
优选地，所述S3中，对数据碎片进行区分，并对同类数据按照数据大小进行分类。
优选地，所述S6中，根据处理器的负荷情况，如果处理器负荷严重，则优选分析数据大小较小的数据，所述S8中，对与唤醒指令相匹配的数据进行全面统计，唤醒指令可以是但不局限于检索词，进行唤醒指令匹配的同时，检索大数据存储模块，调用符合唤醒指令的分析结果，对统计结果进行反检索，若成功检索到符合的信息，且对未检索到复合唤醒指令但为分析的数据，则直接反馈检索信息。
本发明还提出一种大数据统计方法用于大数据统计的***，包括用于数据采集的数据收集模块；用于存储临时数据的存储模块；用于检测处理器负荷状态的分析模块；用于根据处理器负荷状况分析统计数据的不定时统计模块；用于对不定时统计模块进行鉴权的鉴权模块；用于对唤醒指令进行识别分析的识别模块；用于对唤醒指令进行分析的指令配合模块；用于对配合唤醒指令内容数据进行统计分析的唤醒统计模块
本发明中的有益效果为：
1.通过进行处理器状态反馈，可以提高处理数据统计效率，同时不影响处理器的正常运行，保证大数据的稳定，同时配合不定时统计，节约时间，利用处理器空闲时间进行数据统计，对数据进行大小分类，降低后续统计的难度，提高后续统计的反馈速度，降低零时统计任务量对服务器的负荷，提高统计成功率。
2.通过进行唤醒统计，可以针对性进行统计分析，减少处理器负荷，同时对统计结果进行反向减少，避免重复统计，提高效率，反馈效率块，减少等待时间，提高工作效率。
附图说明
图1为本发明提出的一种大数据统计方法的结构示意图；
图2为本发明提出的一种大数据统计方法的数据交换拓扑。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1，参照图1-2，一种大数据统计方法及用于大数据统计的***，包括以下步骤：
S1：数据收集，大数据采集***，进行采集数据，得到数据碎片；
S2：数据碎片处理，大数据处理***对数据碎片进行分析处理，去除重复碎片；
S3：数据碎片分类，大数据***，对数据碎片进行初步分类，并暂存到预处理模块中；
S4：处理器状态反馈，大数据处理器反馈处理器的负荷状态，大数据采集***根据大数据处理器的负荷状态调整数据碎片处理的速度；
S5：鉴权分析，对不定时统计***端口进行鉴权分析，与处理器预存储鉴权信息进行比；
S6：不定时统计，若鉴权分析完成，则进行不定时统计，对存储在预处理模块中的数据进行分析统计；
S7：唤醒指令，当大数据***接收到唤醒指令，对指令进行分析，匹配数据碎片中与指令相关的数据；
S8：唤醒统计，对配合完成的数据进行唤醒统计，生成统计结果；
S9：大数据，将唤醒统计和不定时统计的结果存储到大数据***中的存储模块。
本发明中，所述S8唤醒统计和S6不定时统计平行执行，并将分析结果分类存储到大数据***中的存储模块中，所述S5中鉴权因子，若鉴权不通过，重新进行匹配鉴权因子，并发出提示，生产报告，所述S6中，根据处理器的负荷情况，如果处理器负荷严重，则优选分析数据大小较小的数据，所述S8中，对与唤醒指令相匹配的数据进行全面统计，进行唤醒指令匹配的同时，检索大数据存储模块，调用符合唤醒指令的分析结果，对统计结果进行反检索，若成功检索到符合的信息，且对未检索到复合唤醒指令但为分析的数据，则直接反馈检索信息。
实施例2，参照图1-2，一种大数据统计方法及用于大数据统计的***，包括以下步骤：
S1：数据收集，大数据采集***，进行采集数据，得到数据碎片；
S2：数据碎片处理，大数据处理***对数据碎片进行分析处理，去除重复碎片；
S3：数据碎片分类，大数据***，对数据碎片进行初步分类，并暂存到预处理模块中；
S4：处理器状态反馈，大数据处理器反馈处理器的负荷状态，大数据采集***根据大数据处理器的负荷状态调整数据碎片处理的速度；
S5：鉴权分析，对不定时统计***端口进行鉴权分析，与处理器预存储鉴权信息进行比；
S6：不定时统计，若鉴权分析完成，则进行不定时统计，对存储在预处理模块中的数据进行分析统计；
S7：唤醒指令，当大数据***接收到唤醒指令，对指令进行分析，匹配数据碎片中与指令相关的数据；
S8：唤醒统计，对配合完成的数据进行唤醒统计，生成统计结果；
S9：大数据，将唤醒统计和不定时统计的结果存储到大数据***中的存储模块。
本发明中，所述S2中，中间***对S1过程中采集的数据碎片进行去重，并临时存储到存储模块，所述S8唤醒统计和S6不定时统计平行执行，并将分析结果分类存储到大数据***中的存储模块中，所述S5中鉴权因子，鉴权因子为终端设备的鉴权码，若鉴权不通过，重新进行匹配鉴权因子，并发出提示，生产报告，所述S6中，根据处理器的负荷情况，如果处理器负荷严重，则优选分析数据大小较小的数据，所述S8中，对与唤醒指令相匹配的数据进行全面统计，唤醒指令是检索词，进行唤醒指令匹配的同时，检索大数据存储模块，调用符合唤醒指令的分析结果，对统计结果进行反检索，若成功检索到符合的信息，且对未检索到复合唤醒指令但为分析的数据，则直接反馈检索信息。
一种大数据统计方法用于大数据统计的***，包括用于数据采集的数据收集模块；用于存储临时数据的存储模块；用于检测处理器负荷状态的分析模块；用于根据处理器负荷状况分析统计数据的不定时统计模块；用于对不定时统计模块进行鉴权的鉴权模块；用于对唤醒指令进行识别分析的识别模块；用于对唤醒指令进行分析的指令配合模块；用于对配合唤醒指令内容数据进行统计分析的唤醒统计模块。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种大数据统计方法，其特征在于，包括以下步骤：
S1：数据收集，大数据采集***，进行采集数据，得到数据碎片；
S2：数据碎片处理，大数据处理***对数据碎片进行分析处理，去除重复碎片；
S3：数据碎片分类，大数据***，对数据碎片进行初步分类，并暂存到预处理模块中；
S4：处理器状态反馈，大数据处理器反馈处理器的负荷状态，大数据采集***根据大数据处理器的负荷状态调整数据碎片处理的速度；
S5：鉴权分析，对不定时统计***端口进行鉴权分析，与处理器预存储鉴权信息进行比；
S6：不定时统计，若鉴权分析完成，则进行不定时统计，对存储在预处理模块中的数据进行分析统计；
S7：唤醒指令，当大数据***接收到唤醒指令，对指令进行分析，匹配数据碎片中与指令相关的数据；
S8：唤醒统计，对配合完成的数据进行唤醒统计，生成统计结果；
S9：大数据，将唤醒统计和不定时统计的结果存储到大数据***中的存储模块。
2.根据权利要求1所述的一种大数据统计方法，其特征在于，所述S2中，中间***对S1过程中采集的数据碎片进行去重，并临时存储到存储模块。
3.根据权利要求1所述的一种大数据统计方法，其特征在于，所述S8唤醒统计和S6不定时统计平行执行，并将分析结果分类存储到大数据***中的存储模块中。
4.根据权利要求1所述的一种大数据统计方法，其特征在于，所述S5中鉴权因子可以是单不局限与终端设备的鉴权码，若鉴权不通过，重新进行匹配鉴权因子，并发出提示，生产报告。
5.根据权利要求1所述的一种大数据统计方法，其特征在于，所述S3中，对数据碎片进行区分，并对同类数据按照数据大小进行分类。
6.根据权利要求1所述的一种大数据统计方法，其特征在于，所述S6中，根据处理器的负荷情况，如果处理器负荷严重，则优选分析数据大小较小的数据，所述S8中，对与唤醒指令相匹配的数据进行全面统计，唤醒指令可以是但不局限于检索词，进行唤醒指令匹配的同时，检索大数据存储模块，调用符合唤醒指令的分析结果，对统计结果进行反检索，若成功检索到符合的信息，且对未检索到复合唤醒指令但为分析的数据，则直接反馈检索信息。
7.根据权利要求1所述的一种大数据统计方法用于大数据统计的***，其特征在于，包括用于数据采集的数据收集模块；用于存储临时数据的存储模块；用于检测处理器负荷状态的分析模块；用于根据处理器负荷状况分析统计数据的不定时统计模块；用于对不定时统计模块进行鉴权的鉴权模块；用于对唤醒指令进行识别分析的识别模块；用于对唤醒指令进行分析的指令配合模块；用于对配合唤醒指令内容数据进行统计分析的唤醒统计模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910071475.2A CN109828988A (zh) | 2019-01-25 | 2019-01-25 | 一种大数据统计方法及用于大数据统计的*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910071475.2A CN109828988A (zh) | 2019-01-25 | 2019-01-25 | 一种大数据统计方法及用于大数据统计的*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109828988A true CN109828988A (zh) | 2019-05-31 |
Family
ID=66862374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910071475.2A Pending CN109828988A (zh) | 2019-01-25 | 2019-01-25 | 一种大数据统计方法及用于大数据统计的*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109828988A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111159253A (zh) * | 2019-12-28 | 2020-05-15 | 重庆友辉建筑科技有限公司 | 一种轻钢别墅部件大数据统计*** |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102549523A (zh) * | 2009-09-24 | 2012-07-04 | 高通股份有限公司 | 用于优化无线设备的功耗的装置和方法 |
| CN103944830A (zh) * | 2013-01-17 | 2014-07-23 | 株式会社日立解决方案 | 计算机*** |
| CN105335814A (zh) * | 2015-09-25 | 2016-02-17 | 湖南中德安普大数据网络科技有限公司 | 在线大数据智能云审计方法及*** |
| CN105634845A (zh) * | 2014-10-30 | 2016-06-01 | 任子行网络技术股份有限公司 | 一种用于对海量dns日志进行多维统计分析的方法及*** |
| CN106815338A (zh) * | 2016-12-25 | 2017-06-09 | 北京中海投资管理有限公司 | 一种大数据的实时存储、处理和查询*** |
| CN106970953A (zh) * | 2017-03-10 | 2017-07-21 | 中国联合网络通信集团有限公司 | 基于大数据分析的网络建设管控方法及其平台 |
| CN107229695A (zh) * | 2017-05-23 | 2017-10-03 | 深圳大学 | 多平台航空电子大数据***及方法 |
| CN107908690A (zh) * | 2017-11-01 | 2018-04-13 | 南京欣网互联网络科技有限公司 | 一种基于大数据运营分析的数据处理方法 |
| CN107992584A (zh) * | 2017-12-08 | 2018-05-04 | 中国船舶重工集团公司第七二四研究所 | 一种海洋大数据分类解析与网格化存储方法 |
| CN108898029A (zh) * | 2018-10-08 | 2018-11-27 | 马鞍山沐及信息科技有限公司 | 一种能源监控大数据管理***及方法 |
-
2019
- 2019-01-25 CN CN201910071475.2A patent/CN109828988A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102549523A (zh) * | 2009-09-24 | 2012-07-04 | 高通股份有限公司 | 用于优化无线设备的功耗的装置和方法 |
| CN103944830A (zh) * | 2013-01-17 | 2014-07-23 | 株式会社日立解决方案 | 计算机*** |
| CN105634845A (zh) * | 2014-10-30 | 2016-06-01 | 任子行网络技术股份有限公司 | 一种用于对海量dns日志进行多维统计分析的方法及*** |
| CN105335814A (zh) * | 2015-09-25 | 2016-02-17 | 湖南中德安普大数据网络科技有限公司 | 在线大数据智能云审计方法及*** |
| CN106815338A (zh) * | 2016-12-25 | 2017-06-09 | 北京中海投资管理有限公司 | 一种大数据的实时存储、处理和查询*** |
| CN106970953A (zh) * | 2017-03-10 | 2017-07-21 | 中国联合网络通信集团有限公司 | 基于大数据分析的网络建设管控方法及其平台 |
| CN107229695A (zh) * | 2017-05-23 | 2017-10-03 | 深圳大学 | 多平台航空电子大数据***及方法 |
| CN107908690A (zh) * | 2017-11-01 | 2018-04-13 | 南京欣网互联网络科技有限公司 | 一种基于大数据运营分析的数据处理方法 |
| CN107992584A (zh) * | 2017-12-08 | 2018-05-04 | 中国船舶重工集团公司第七二四研究所 | 一种海洋大数据分类解析与网格化存储方法 |
| CN108898029A (zh) * | 2018-10-08 | 2018-11-27 | 马鞍山沐及信息科技有限公司 | 一种能源监控大数据管理***及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111159253A (zh) * | 2019-12-28 | 2020-05-15 | 重庆友辉建筑科技有限公司 | 一种轻钢别墅部件大数据统计*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109933630B (zh) | 数据库数据实时同步方法及设备 | |
| CN111382327B (zh) | 一种字符串匹配装置及方法 | |
| CN102184197B (zh) | 基于智能有限自动机的正则表达式匹配方法 | |
| CN108717755B (zh) | 一种智能化快递柜的取件码生成控制方法 | |
| CN109446173A (zh) | 日志数据处理方法、装置、计算机设备和存储介质 | |
| CN105676023A (zh) | 故障录波数据的记录方法和*** | |
| CN106971254A (zh) | 一种业务监控***及方法 | |
| CN109842621A (zh) | 一种减少token存储数量的方法及终端 | |
| CN109828988A (zh) | 一种大数据统计方法及用于大数据统计的*** | |
| CN110221936A (zh) | 数据库告警处理方法、装置、设备及计算机可读存储介质 | |
| CN101964046B (zh) | 条码扫描及识别方法 | |
| CN106201918A (zh) | 一种基于大数据量和大规模缓存快速释放的方法和*** | |
| CN106990913B (zh) | 一种大规模流式集合数据的分布式处理方法 | |
| CN103746991B (zh) | 云计算网络中的安全事件分析方法及*** | |
| CN105872552A (zh) | 延长视频监控***录像存储时间的智能处理方法 | |
| CN112769619B (zh) | 一种基于决策树的多分类网络故障预测方法 | |
| CN105553483B (zh) | 一种产生lz77的方法及装置 | |
| CN106599326A (zh) | 一种云化架构下的记录数据剔重处理方法及*** | |
| CN112019589B (zh) | 一种多层级负载均衡数据包处理方法 | |
| CN103646056B (zh) | 一种基于特征值存储的历史数据存储和抽取方法 | |
| CN106953774A (zh) | 一种基于用户自定义的网络抓包*** | |
| CN109460475A (zh) | 一种相似线索的归并方法 | |
| CN111192165A (zh) | 基于预处理方法的智能电表管理平台 | |
| CN111049842A (zh) | 利用动态黑名单提高waf防护效率的方法 | |
| CN109660383B (zh) | 一种信息化任务***自适应网络接口模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190531 |