CN104462456A - 基于生活数据处理的大数据*** - Google Patents

基于生活数据处理的大数据*** Download PDF

Info

Publication number
CN104462456A
CN104462456A CN201410783349.7A CN201410783349A CN104462456A CN 104462456 A CN104462456 A CN 104462456A CN 201410783349 A CN201410783349 A CN 201410783349A CN 104462456 A CN104462456 A CN 104462456A
Authority
CN
China
Prior art keywords
data
unit
mining
life
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410783349.7A
Other languages
English (en)
Inventor
赵迪
尚成辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Leruisi Information Consulting Co Ltd
Original Assignee
Wuhu Leruisi Information Consulting Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Leruisi Information Consulting Co Ltd filed Critical Wuhu Leruisi Information Consulting Co Ltd
Priority to CN201410783349.7A priority Critical patent/CN104462456A/zh
Publication of CN104462456A publication Critical patent/CN104462456A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及网络信息技术领域，具体地说是一种结构合理、处理效率高的基于生活数据处理的大数据***，其特征在于设有至少一个数据终端单元、与数据终端单元相连接的数据上传单元、用于存储用户使用习惯的数据存储单元、用于从数据存储单元中提取关键信息的预处理单元、用于对预处理后的数据进行筛选的数据约简单元、用于对用户数据进行分析挖掘的数据挖掘单元、用于对挖掘结果显示输出的输出单元，本发明与现有技术相比，具有结构合理、操作简便、运算量适中、能够有效利用现有大数据库为使用者提供更好的使用体验。

Description

基于生活数据处理的大数据***
技术领域：
本发明涉及网络信息技术领域，具体地说是一种结构合理、处理效率高的基于生活数据处理的大数据***。
背景技术：
大数据技术或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理的时间内达到汲取、管理、处理并整理成为帮助企业经营决策更积极目的资讯。大数据计数的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化的处理，换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过加工数据实现增值。
如何从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的、但有时潜在有用的信息的过程被称为数据挖掘，显而易见，数据挖掘时大数据技术的关键。
现有的大数据***处理数据时仍采用单机节点上的串行方式实现，其数据处理量以及算法的负载度依赖于单个执行节点的性能，而由于大数据处理***往往要对海量数据进行处理，现有的单机节点串行机制显然存在效率低、运算量低的问题。
随着无线通信技术的成熟和网络技术的发展，使用wifi或zigbee等无线通信技术的家居产品进入大家的生活中，以智能开关和智能插座为代表的一系列智能家居产品正在为消费者带来越来越多的便利体验，但由于目前wifi设备和zigbee设备无法充分融合，以及wifi设备和zigbee设备均为独立的闭环信息循环***，导致用户使用数据利用率低，制约了行业发展和用户体验的提升。
发明内容：
本发明针对现有技术中存在的缺点和不足，提出了一种结构合理、处理效率高的基于生活数据处理的大数据***。
本发明可以通过以下措施达到：
一种基于生活数据处理的大数据***，其特征在于设有至少一个数据终端单元、与数据终端单元相连接的数据上传单元、用于存储用户使用习惯的数据存储单元、用于从数据存储单元中提取关键信息的预处理单元、用于对预处理后的数据进行筛选的数据约简单元、用于对用户数据进行分析挖掘的数据挖掘单元、用于对挖掘结果显示输出的输出单元。
本发明所述预处理单元是多路并行预处理单元，用于实现对多路用户数据的预处理，每路预处理单元中设有离散化处理单元、ID属性分配单元、属性增/删单元、属性替换处理单元。
本发明所述数据终端单元可以为能够采集用户使用数据的智能终端，与数据终端单元相连接的数据上传单元可以为WIFI通信电路或Zigbee通信电路。
本发明所述数据存储单元采用云平台存储方式实现，完成数据的远程汇总和共享。
本发明所述数据约简单元用于对数据存储单元中提取的数据进行约简处理，将冗余的数据、不完整数据剔除，以提高数据分析效率和准确性。
本发明所述数据挖掘单元设有多路并行数据挖掘模块以及用于将多路并行数据挖掘模块所获得的结果进行融合处理的数据融合模块，数据融合模块的输出送给融合挖掘模块，融合挖掘模块对融合后的数据进行再次挖掘，获得最终分析结果。
本发明使用时，能够通过数据终端单元实时采集用户的使用数据，并通过wifi或zigbee等通信电路将所采集的数据上传至云平台的数据存储单元，预处理单元根据使用需要从数据存储单元中提取样本数据，并进行增删属性、变换属性、分配ID等处理后，使多个数据终端单元上传的属性不同的数据具有一致性，然后将预处理后的数据送入数据约简单元，剔除冗余数据后，送入用于对用户数据进行分析挖掘的数据挖掘单元，完成数据分析，获得关键信息后输出。
本发明与现有技术相比，具有结构合理、操作简便、运算量适中、能够有效利用现有大数据库为使用者提供更好的使用体验。
附图说明：
附图1是本发明的结构示意图。
附图标记：数据终端单元1、数据上传单元2、数据存储单元3、预处理单元4、数据约简单元5、数据挖掘单元6、输出单元7。
具体实施方式：
下面结合附图对本发明作进一步的说明。
如附图1所示，本发明提出了一种基于生活数据处理的大数据***，其特征在于设有至少一个数据终端单元1、与数据终端单元1相连接的数据上传单元2、用于存储用户使用习惯的数据存储单元3、用于从数据存储单元3中提取关键信息的预处理单元4、用于对预处理后的数据进行筛选的数据约简单元5、用于对用户数据进行分析挖掘的数据挖掘单元6、用于对挖掘结果显示输出的输出单元7。
本发明所述预处理单元4是多路并行预处理单元，用于实现对多路用户数据的预处理，每路预处理单元中设有离散化处理单元、ID属性分配单元、属性增/删单元、属性替换处理单元。
本发明所述数据终端单元1可以为能够采集用户使用数据的智能终端，与数据终端单元相连接的数据上传单元可以为WIFI通信电路或Zigbee通信电路。
本发明所述数据存储单元3采用云平台存储方式实现，完成数据的远程汇总和共享。
本发明所述数据约简单元5用于对数据存储单元中提取的数据进行约简处理，将冗余的数据、不完整数据剔除，以提高数据分析效率和准确性。
本发明所述数据挖掘单元6设有多路并行数据挖掘模块以及用于将多路并行数据挖掘模块所获得的结果进行融合处理的数据融合模块，数据融合模块的输出送给融合挖掘模块，融合挖掘模块对融合后的数据进行再次挖掘，获得最终分析结果。
本发明使用时，能够通过数据终端单元1实时采集用户的使用数据，并通过wifi或zigbee等通信电路将所采集的数据上传至云平台的数据存储单元3，预处理单元4根据使用需要从数据存储单元3中提取样本数据，并进行增删属性、变换属性、分配ID等处理后，使多个数据终端单元1上传的属性不同的数据具有一致性，然后将预处理后的数据送入数据约简单元5，剔除冗余数据后，送入用于对用户数据进行分析挖掘的数据挖掘单元6，完成数据分析，获得关键信息后输出。
本发明与现有技术相比，具有结构合理、操作简便、运算量适中、能够有效利用现有大数据库为使用者提供更好的使用体验。

Claims (5)

1.一种基于生活数据处理的大数据***，其特征在于设有至少一个数据终端单元、与数据终端单元相连接的数据上传单元、用于存储用户使用习惯的数据存储单元、用于从数据存储单元中提取关键信息的预处理单元、用于对预处理后的数据进行筛选的数据约简单元、用于对用户数据进行分析挖掘的数据挖掘单元、用于对挖掘结果显示输出的输出单元。
2.根据权利要求1所述的一种基于生活数据处理的大数据***，其特征在于所述预处理单元是多路并行预处理单元，用于实现对多路用户数据的预处理，每路预处理单元中设有离散化处理单元、ID属性分配单元、属性增/删单元、属性替换处理单元。
3.根据权利要求1所述的一种基于生活数据处理的大数据***，其特征在于所述数据终端单元可以为能够采集用户使用数据的智能终端，与数据终端单元相连接的数据上传单元可以为WIFI通信电路或Zigbee通信电路。
4.根据权利要求1所述的一种基于生活数据处理的大数据***，其特征在于所述数据存储单元采用云平台存储方式实现，完成数据的远程汇总和共享。
5.根据权利要求1所述的一种基于生活数据处理的大数据***，其特征在于所述数据挖掘单元设有多路并行数据挖掘模块以及用于将多路并行数据挖掘模块所获得的结果进行融合处理的数据融合模块，数据融合模块的输出送给融合挖掘模块。
CN201410783349.7A 2014-12-16 2014-12-16 基于生活数据处理的大数据*** Pending CN104462456A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410783349.7A CN104462456A (zh) 2014-12-16 2014-12-16 基于生活数据处理的大数据***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410783349.7A CN104462456A (zh) 2014-12-16 2014-12-16 基于生活数据处理的大数据***

Publications (1)

Publication Number Publication Date
CN104462456A true CN104462456A (zh) 2015-03-25

Family

ID=52908491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410783349.7A Pending CN104462456A (zh) 2014-12-16 2014-12-16 基于生活数据处理的大数据***

Country Status (1)

Country Link
CN (1) CN104462456A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550905A (zh) * 2015-12-30 2016-05-04 芜湖乐锐思信息咨询有限公司 基于网络的产品销售分析***
CN105608539A (zh) * 2015-12-30 2016-05-25 芜湖乐锐思信息咨询有限公司 基于复杂产品投产规划的快速分析***
CN105678571A (zh) * 2015-12-30 2016-06-15 芜湖乐锐思信息咨询有限公司 基于互联网的网络化产品规划分析***
CN106295961A (zh) * 2016-07-30 2017-01-04 江苏商达水务有限公司 一种用于水环境监管的大数据分析处理***及方法
CN106528870A (zh) * 2016-12-05 2017-03-22 深圳万智联合科技有限公司 一种大数据智能分析***
CN107093019A (zh) * 2017-04-21 2017-08-25 北京恒冠网络数据处理有限公司 一种用于宏观调控的大数据分析***
CN111787082A (zh) * 2020-06-22 2020-10-16 珠海格力电器股份有限公司 一种多级业务数据上报的方法、设备及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408754A (zh) * 2008-10-30 2009-04-15 中山大学 基于数据挖掘的智能家居优化***
CN101799809A (zh) * 2009-02-10 2010-08-11 ***通信集团公司 数据挖掘方法和数据挖掘***
CN102495875A (zh) * 2011-12-02 2012-06-13 上海海洋大学 一种基于数据挖掘的海洋灾害预警专家***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408754A (zh) * 2008-10-30 2009-04-15 中山大学 基于数据挖掘的智能家居优化***
CN101799809A (zh) * 2009-02-10 2010-08-11 ***通信集团公司 数据挖掘方法和数据挖掘***
CN102495875A (zh) * 2011-12-02 2012-06-13 上海海洋大学 一种基于数据挖掘的海洋灾害预警专家***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵伟: "《大数据在中国》", 30 June 2014, 江苏文艺出版社 *
阎毅 等: "《信息科学技术导论》", 31 August 2014, 西安电子科技大学出版社 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550905A (zh) * 2015-12-30 2016-05-04 芜湖乐锐思信息咨询有限公司 基于网络的产品销售分析***
CN105608539A (zh) * 2015-12-30 2016-05-25 芜湖乐锐思信息咨询有限公司 基于复杂产品投产规划的快速分析***
CN105678571A (zh) * 2015-12-30 2016-06-15 芜湖乐锐思信息咨询有限公司 基于互联网的网络化产品规划分析***
CN106295961A (zh) * 2016-07-30 2017-01-04 江苏商达水务有限公司 一种用于水环境监管的大数据分析处理***及方法
CN106528870A (zh) * 2016-12-05 2017-03-22 深圳万智联合科技有限公司 一种大数据智能分析***
CN106528870B (zh) * 2016-12-05 2018-06-08 贵州国信通电子商务有限公司 一种大数据智能分析***
CN107093019A (zh) * 2017-04-21 2017-08-25 北京恒冠网络数据处理有限公司 一种用于宏观调控的大数据分析***
CN111787082A (zh) * 2020-06-22 2020-10-16 珠海格力电器股份有限公司 一种多级业务数据上报的方法、设备及***
CN111787082B (zh) * 2020-06-22 2021-11-23 珠海格力电器股份有限公司 一种多级业务数据上报的方法、设备及***

Similar Documents

Publication Publication Date Title
CN104462456A (zh) 基于生活数据处理的大数据***
CN102955977B (zh) 一种基于云技术的能效服务方法及其能效服务平台
CN107402976B (zh) 一种基于多元异构模型的电网多源数据融合方法及***
CN107945053A (zh) 一种多源配电网数据融合分析平台及其控制方法
CN104461551A (zh) 基于数据并行处理的大数据处理***
CN107730394A (zh) 基于大数据的全景电网多元异构数据融合方法
CN104899325A (zh) 一种app采集数据的收集方法、终端、服务器及***
CN103379136A (zh) 一种日志采集数据压缩方法、解压缩方法及装置
CN107611962B (zh) 电网***支路搜索方法、***及电子设备
CN103325071A (zh) 一种基于密度聚类的用户典型负荷曲线的构建方法
CN107239232B (zh) 用于电能表的数据存储方法
CN104731852A (zh) 一种大数据***
CN103702360A (zh) 一种确定业务接入端口的数据流速的方法及装置
CN103825936B (zh) 一种分布式实时能耗数据的监测***及方法
CN105183557A (zh) 一种基于硬件的可配置的数据压缩***
CN109345628A (zh) 一种模型轻量化处理方法、装置及电子设备
Kraus et al. Optimal data compression techniques for smart grid and power quality trend data
CN112365366A (zh) 一种基于智能化5g切片的微电网管理方法及***
CN102222112A (zh) 资源管理装置和资源管理方法
CN204331727U (zh) 一种基于云计算的数据采集***
CN102622447B (zh) 一种基于Hadoop的频繁闭项集挖掘方法
CN104822175B (zh) 一种适用于蜂窝网络的代码迁移方法及***
CN103607731A (zh) 一种测量报告的处理方法及装置
CN108710347A (zh) 一种监控云平台
CN103944271B (zh) 基于物联网技术的智能变电站***的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150325

RJ01 Rejection of invention patent application after publication