CN113486098A - 一种工业互联网大数据平台*** - Google Patents

一种工业互联网大数据平台*** Download PDF

Info

Publication number
CN113486098A
CN113486098A CN202110700693.5A CN202110700693A CN113486098A CN 113486098 A CN113486098 A CN 113486098A CN 202110700693 A CN202110700693 A CN 202110700693A CN 113486098 A CN113486098 A CN 113486098A
Authority
CN
China
Prior art keywords
data
unit
industrial
service system
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110700693.5A
Other languages
English (en)
Inventor
王清杰
张锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Defeng New Journey Technology Co ltd
Original Assignee
Beijing Defeng New Journey Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Defeng New Journey Technology Co ltd filed Critical Beijing Defeng New Journey Technology Co ltd
Priority to CN202110700693.5A priority Critical patent/CN113486098A/zh
Publication of CN113486098A publication Critical patent/CN113486098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及大数据***技术领域，具体为一种工业互联网大数据平台***，包括业务***、运营***、安全运维功能组件以及服务***，所述业务***包括数据采集单元、过滤单元、分类单元以及数据转存单元，所述运营***包括数据挖掘单元、数据匿名单元、数据缓存单元、数据压缩单元、数据加密单元以及数据发送单元，本发明框架完整，功能齐全，涵盖互联网上的工业数据资源，通过分类单元对工业数据的类型进行分类，并利用数据转存单元将工业数据多种路径，多种存储结构进行存储，通过数据挖掘单元提供了高扩展性数据挖掘算法，数据安全与隐私保护技术以及交互式可视化分析技术，实现了对数据高效、快速的存储、计算、整合和调度。

Description

一种工业互联网大数据平台***
技术领域
本发明涉及大数据***技术领域，具体为一种工业互联网大数据平台***。
背景技术
随着以FCS、基于位置的服务LBS、工业物联网等为代表的新型信息发布方式的不断涌现，以及云计算、物联网等技术的兴起，数据正以前所未有的速度在不断地增长和累积，大数据时代已经来到。学术界、工业界甚至于政府机构都已经开始密切关注大数据问题，并对其产生浓厚的兴趣。
工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。其以产品数据为核心，极大延展了传统工业数据范围，同时还包括工业大数据相关技术和应用。其主要来源可分为以下三类：第一类是生产经营相关业务数据。第二类是设备物联数据。第三类是外部数据。
工业大数据技术是使工业大数据中所蕴含的价值得以挖掘和展现的一系列技术与方法，包括数据规划、采集、预处理、存储、分析挖掘、可视化和智能控制等。工业大数据应用，则是对特定的工业大数据集，集成应用工业大数据系列技术与方法，获得有价值信息的过程。工业大数据技术的研究与突破，其本质目标就是从复杂的数据集中发现新的模式与知识，挖掘得到有价值的新信息，从而促进制造型企业的产品创新、提升经营水平和生产运作效率以及拓展新型商业模式。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种高效解析数据，***运行稳定的工业互联网大数据平台***。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种工业互联网大数据平台***，包括业务***、运营***、安全运维功能组件以及服务***，所述业务***包括数据采集单元、过滤单元、分类单元以及数据转存单元，所述运营***包括数据挖掘单元、数据匿名单元、数据缓存单元、数据压缩单元、数据加密单元以及数据发送单元，所述安全运维功能组件包括资源驱动单元、定时任务单元以及监控单元，所述服务***包括接收单元、去匿名单元以及执行单元；
所述业务***利用数据采集单元通过互联网采集工业数据，并对数据进行过滤重复文件分类，建立数据储存路径；
所述运营***用于从采集的工业数据中挖掘出符合所述筛选条件的目标用户以及所述目标用户的目标数据，并对挖掘出的目标用户匿名，对目标数据进行压缩加密处理；
所述安全运维功能组件用于为数据传输和数据运行提供防护，对数据的动态进行实时监控，保证该***的正常运行；
所述服务***用于通过应用软件或搜索网站使用整理的工业数据资源和信息。
为了方便对数据进行梳理，本发明改进有，所述过滤单元用于对采集的工业数据进行过滤，去除重复、无效的大数据，所述分类模块用于根据数据结构对过滤后的工业数据进行分类，所述数据转存单元包括网格储存路径、线性储存路径以及树形储存路径。
为了增加对数据运用的管理效果，本发明改进有，所述数据挖掘单元提供了高扩展性数据挖掘算法，数据安全与隐私保护技术以及交互式可视化分析技术，所述数据匿名单元将所述目标用户的用户标识匿名成匿名标识，所述数据缓存单元将所采集的工业数据进行缓存并输送至数据压缩单元，所述数据压缩单元包括初级压缩单元以及核心压缩单元，所述数据加密单元对压缩文件进行加密处理，所述数据加密由由明文、密文、算法和密钥组成。
为了提高***运行的稳定性，本发明改进有，所述资源驱动包括***管理驱动模块、工业数据管理驱动模块、裸机管理驱动模块以及软件部署引擎驱动模块；
所述定时任务：触发定时任务，如资源同步，检查后台任务状态或检查申请处理状态；
所述监控单元：提供对运维功能组件、业务***、运营***以及服务***的监控，包括对该***的CPU、内存使用率，磁盘和网络IO速率的监控。
为了保证***的运行效率，本发明改进有，所述安全运维功能组件内还包括数据库备份单元，所述数据库备份单元配置定期整理策略，定期的对数据转存单元中的数据进行无损压缩并备份到该单元，同时并清理掉数据转存单元中的原始数据。
(三)有益效果
与现有技术相比，本发明提供了一种工业互联网大数据平台***，具备以下有益效果：
本发明框架完整，功能齐全，涵盖互联网上的工业数据资源，通过分类单元对工业数据的类型进行分类，并利用数据转存单元将工业数据多种路径，多种存储结构进行存储，通过数据挖掘单元提供了高扩展性数据挖掘算法，数据安全与隐私保护技术以及交互式可视化分析技术，实现了对数据高效、快速的存储、计算、整合和调度，提高了该***的处理能力，且***能够稳定运行。
附图说明
图1为本发明***示意图；
图2为本发明***结构示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明为一种工业互联网大数据平台***，包括业务***、运营***、安全运维功能组件以及服务***，所述业务***包括数据采集单元、过滤单元、分类单元以及数据转存单元，所述运营***包括数据挖掘单元、数据匿名单元、数据缓存单元、数据压缩单元、数据加密单元以及数据发送单元，所述安全运维功能组件包括资源驱动单元、定时任务单元以及监控单元，所述服务***包括接收单元、去匿名单元以及执行单元；
所述业务***利用数据采集单元通过互联网采集工业数据，并对数据进行过滤重复文件分类，建立数据储存路径；
所述运营***用于从采集的工业数据中挖掘出符合所述筛选条件的目标用户以及所述目标用户的目标数据，并对挖掘出的目标用户匿名，对目标数据进行压缩加密处理；
所述安全运维功能组件用于为数据传输和数据运行提供防护，对数据的动态进行实时监控，保证该***的正常运行；
所述服务***用于通过应用软件或搜索网站使用整理的工业数据资源和信息。
本实施例中，所述过滤单元用于对采集的工业数据进行过滤，去除重复、无效的大数据，所述分类模块用于根据数据结构对过滤后的工业数据进行分类，所述数据转存单元包括网格储存路径、线性储存路径以及树形储存路径，方便对数据进行梳理，防止数据流量过大影响***运行的速度。
本实施例中，所述数据挖掘单元提供了高扩展性数据挖掘算法，数据安全与隐私保护技术以及交互式可视化分析技术，所述数据匿名单元将所述目标用户的用户标识匿名成匿名标识，所述数据缓存单元将所采集的工业数据进行缓存并输送至数据压缩单元，所述数据压缩单元包括初级压缩单元以及核心压缩单元，所述数据加密单元对压缩文件进行加密处理，所述数据加密由由明文、密文、算法和密钥组成，既而增加对数据运用的管理效果，对工业数据精准解析，挖掘得到有价值的新信息，从而促进制造型企业的产品创新、提升经营水平和生产运作效率以及拓展新型商业模式，之后将信息进行加密处理，防止制定的方案信息产生泄漏，保证保密效果。
本实施例中，所述资源驱动包括***管理驱动模块、工业数据管理驱动模块、裸机管理驱动模块以及软件部署引擎驱动模块；所述定时任务：触发定时任务，如资源同步，检查后台任务状态或检查申请处理状态；所述监控单元：提供对运维功能组件、业务***、运营***以及服务***的监控，包括对该***的CPU、内存使用率，磁盘和网络IO速率的监控，既而提高***运行的稳定性。
本实施例中，所述安全运维功能组件内还包括数据库备份单元：所述数据库备份单元配置定期整理策略，定期的对数据转存单元中的数据进行无损压缩并备份到该单元，同时并清理掉数据转存单元中的原始数据，防止长时间使用不到的数据占用大量空间，既而保证***的运行效率。
综上所述，该工业互联网大数据平台***，框架完整，功能齐全，涵盖互联网上的工业数据资源，通过分类单元对工业数据的类型进行分类，并利用数据转存单元将工业数据多种路径，多种存储结构进行存储，能够使大数据分发***运行时自适应优化，提高大数据分发***的健壮性，使得大数据分发***能够稳定运行，为用户提供持续可靠的服务，通过数据挖掘单元提供了高扩展性数据挖掘算法，数据安全与隐私保护技术以及交互式可视化分析技术，实现了对数据高效、快速的存储、计算、整合和调度，提高了该***的处理能力，且***能够稳定运行。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种工业互联网大数据平台***，其特征在于，包括业务***、运营***、安全运维功能组件以及服务***，所述业务***包括数据采集单元、过滤单元、分类单元以及数据转存单元，所述运营***包括数据挖掘单元、数据匿名单元、数据缓存单元、数据压缩单元、数据加密单元以及数据发送单元，所述安全运维功能组件包括资源驱动单元、定时任务单元以及监控单元，所述服务***包括接收单元、去匿名单元以及执行单元；
所述业务***利用数据采集单元通过互联网采集工业数据，并对数据进行过滤重复文件分类，建立数据储存路径；
所述运营***用于从采集的工业数据中挖掘出符合所述筛选条件的目标用户以及所述目标用户的目标数据，并对挖掘出的目标用户匿名，对目标数据进行压缩加密处理；
所述安全运维功能组件用于为数据传输和数据运行提供防护，对数据的动态进行实时监控，保证该***的正常运行；
所述服务***用于通过应用软件或搜索网站使用整理的工业数据资源和信息。
2.根据权利要求1所述的一种工业互联网大数据平***，其特征在于，所述过滤单元用于对采集的工业数据进行过滤，去除重复、无效的大数据，所述分类模块用于根据数据结构对过滤后的工业数据进行分类，所述数据转存单元包括网格储存路径、线性储存路径以及树形储存路径。
3.根据权利要求1所述的一种工业互联网大数据平台***，其特征在于，所述数据挖掘单元提供了高扩展性数据挖掘算法，数据安全与隐私保护技术以及交互式可视化分析技术，所述数据匿名单元将所述目标用户的用户标识匿名成匿名标识，所述数据缓存单元将所采集的工业数据进行缓存并输送至数据压缩单元，所述数据压缩单元包括初级压缩单元以及核心压缩单元，所述数据加密单元对压缩文件进行加密处理，所述数据加密由由明文、密文、算法和密钥组成。
4.根据权利要求1所述的一种工业互联网大数据平台***，其特征在于，所述资源驱动包括***管理驱动模块、工业数据管理驱动模块、裸机管理驱动模块以及软件部署引擎驱动模块；
所述定时任务：触发定时任务，如资源同步，检查后台任务状态或检查申请处理状态；
所述监控单元：提供对运维功能组件、业务***、运营***以及服务***的监控，包括对该***的CPU、内存使用率，磁盘和网络IO速率的监控。
5.根据权利要求1所述的一种工业互联网大数据平台***，其特征在于，所述接收单元用于接收数据发送单元发送的目标用户的匿名标识和目标数据，所述去匿名单元用于将所述目标用户的匿名标识去匿名化，所述执行单元用于使用整理的工业数据资源和信息。
6.根据权利要求1所述的一种工业互联网大数据平台***，其特征在于，所述安全运维功能组件内还包括数据库备份单元，所述数据库备份单元配置定期整理策略，定期的对数据转存单元中的数据进行无损压缩并备份到该单元，同时并清理掉数据转存单元中的原始数据。
CN202110700693.5A 2021-06-23 2021-06-23 一种工业互联网大数据平台*** Pending CN113486098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110700693.5A CN113486098A (zh) 2021-06-23 2021-06-23 一种工业互联网大数据平台***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110700693.5A CN113486098A (zh) 2021-06-23 2021-06-23 一种工业互联网大数据平台***

Publications (1)

Publication Number Publication Date
CN113486098A true CN113486098A (zh) 2021-10-08

Family

ID=77935788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110700693.5A Pending CN113486098A (zh) 2021-06-23 2021-06-23 一种工业互联网大数据平台***

Country Status (1)

Country Link
CN (1) CN113486098A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933461A (zh) * 2016-07-18 2016-09-07 合肥赑歌数据科技有限公司 大数据平台***及其运行方法
CN106294847A (zh) * 2016-08-22 2017-01-04 成都天地网络科技有限公司 基于数据挖掘的业务运营***
CN106331184A (zh) * 2016-12-01 2017-01-11 网宿科技股份有限公司 基于互联网的大数据分发方法和分发平台
CN107423417A (zh) * 2017-07-29 2017-12-01 合肥千奴信息科技有限公司 大数据平台***及其运行方法
CN109933568A (zh) * 2019-03-13 2019-06-25 安徽海螺集团有限责任公司 一种工业大数据平台***及其查询方法
CN110765337A (zh) * 2019-11-15 2020-02-07 中科院计算技术研究所大数据研究院 一种基于互联网大数据的服务提供方法
CN111444409A (zh) * 2020-03-27 2020-07-24 江苏一道云科技发展有限公司 一种基于大数据的学情分析***
CN111880917A (zh) * 2020-07-28 2020-11-03 浙江九州云信息科技有限公司 一种边缘混合云管平台
CN112926092A (zh) * 2021-03-30 2021-06-08 支付宝(杭州)信息技术有限公司 保护隐私的身份信息存储、身份认证方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933461A (zh) * 2016-07-18 2016-09-07 合肥赑歌数据科技有限公司 大数据平台***及其运行方法
CN106294847A (zh) * 2016-08-22 2017-01-04 成都天地网络科技有限公司 基于数据挖掘的业务运营***
CN106331184A (zh) * 2016-12-01 2017-01-11 网宿科技股份有限公司 基于互联网的大数据分发方法和分发平台
CN107423417A (zh) * 2017-07-29 2017-12-01 合肥千奴信息科技有限公司 大数据平台***及其运行方法
CN109933568A (zh) * 2019-03-13 2019-06-25 安徽海螺集团有限责任公司 一种工业大数据平台***及其查询方法
CN110765337A (zh) * 2019-11-15 2020-02-07 中科院计算技术研究所大数据研究院 一种基于互联网大数据的服务提供方法
CN111444409A (zh) * 2020-03-27 2020-07-24 江苏一道云科技发展有限公司 一种基于大数据的学情分析***
CN111880917A (zh) * 2020-07-28 2020-11-03 浙江九州云信息科技有限公司 一种边缘混合云管平台
CN112926092A (zh) * 2021-03-30 2021-06-08 支付宝(杭州)信息技术有限公司 保护隐私的身份信息存储、身份认证方法及装置

Similar Documents

Publication Publication Date Title
CN110765337B (zh) 一种基于互联网大数据的服务提供方法
Atat et al. Big data meet cyber-physical systems: A panoramic survey
US20230041672A1 (en) Enterprise data processing
CN111079174A (zh) 基于匿名化及差分隐私技术的用电数据脱敏方法及***
CN104067281A (zh) 按多个时间维度的聚类事件数据
CN112241543A (zh) 一种基于数据中台的敏感数据梳理方法
CN108182213A (zh) 一种基于分布式***的数据处理优化装置及方法
CN104679595B (zh) 一种面向应用的IaaS层动态资源分配方法
CN105183625A (zh) 一种日志数据处理方法和装置
CN103502990A (zh) 用于事件的内存中处理的***和方法
CN110838055A (zh) 一种基于大数据的电力企业财务数据管理***
Shetty et al. Task resource usage analysis and failure prediction in cloud
Elagib et al. Big data analysis solutions using MapReduce framework
Ferry et al. Towards a big data platform for managing machine generated data in the cloud
Evermann et al. Big data meets process mining: Implementing the alpha algorithm with map-reduce
CN116010475A (zh) 一种智慧监管的工业大数据平台***
Kim-Hung et al. A scalable IoT framework to design logical data flow using virtual sensor
Bommala et al. Machine learning job failure analysis and prediction model for the cloud environment
Talluri et al. Characterization of a big data storage workload in the cloud
CN113486098A (zh) 一种工业互联网大数据平台***
CN112733049A (zh) 一种车辆信息展示方法及装置
CN116797180A (zh) 投诉预警方法、装置、计算机设备和存储介质
CN116232695A (zh) 一种网络安全运维关联分析***
CN111259423B (zh) 一种车险信息跨界应用的方法及***
CN105205389A (zh) 一种白名单的创建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination