CN111858722A - 一种基于物联网的大数据应用***及方法 - Google Patents

一种基于物联网的大数据应用***及方法 Download PDF

Info

Publication number
CN111858722A
CN111858722A CN202010776653.4A CN202010776653A CN111858722A CN 111858722 A CN111858722 A CN 111858722A CN 202010776653 A CN202010776653 A CN 202010776653A CN 111858722 A CN111858722 A CN 111858722A
Authority
CN
China
Prior art keywords
data
module
internet
things
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010776653.4A
Other languages
English (en)
Inventor
徐义晗
朱才荣
顾军林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Vocational College of Electronics and Information
Original Assignee
Jiangsu Vocational College of Electronics and Information
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Vocational College of Electronics and Information filed Critical Jiangsu Vocational College of Electronics and Information
Priority to CN202010776653.4A priority Critical patent/CN111858722A/zh
Publication of CN111858722A publication Critical patent/CN111858722A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于大数据应用技术领域，公开了一种基于物联网的大数据应用***及方法，所述基于物联网的大数据应用***包括：数据采集模块、中央控制模块、物联通信模块、数据并行处理模块、数据挖掘模块、数据统计模块、数据检索模块、数据分析模块、大数据存储模块、显示模块。本发明通过数据并行处理模块大大提高异构数据并行处理效率；同时，通过大数据存储模块针对大数据行业设计与使用，也可以独立使用，作为数据存储收集的主要手段，也可以和数据服务配合使用，这样让大数据在实际应用中应用，发挥数据的更大效果，实现了海量数据的快速存储入库，提高了数据数据效率。

Description

一种基于物联网的大数据应用***及方法
技术领域
本发明属于大数据应用技术领域，尤其涉及一种基于物联网的大数据应用***及方法方法。
背景技术
大数据(big data)，IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据概念应用到IT操作工具产生的数据中，大数据可以使IT管理软件供应商解决大广泛的业务决策。IT***、应用和技术基础设施每天每秒都在产生数据。大数据非结构化或者结构数据都代表了“所有用户的行为、服务级别、安全、风险、欺诈行为等更多操作”的绝对记录。大数据分析的产生旨在于IT管理，企业可以将实时数据流分析和历史相关数据相结合，然后大数据分析并发现它们所需的模型。反过来，帮助预测和预防未来运行中断和性能问题。进一步来讲，他们可以利用大数据了解使用模型以及地理趋势，进而加深大数据对重要用户的洞察力。他们也可以追踪和记录网络行为，大数据轻松地识别业务影响；随着对服务利用的深刻理解加快利润增长；同时跨多***收集数据发展IT服务目录。然而，现有基于物联网的大数据应用***及方法对大数据异构数据处理效率低；同时，对大数据存储效率低。
综上所述，现有技术存在的问题是：现有基于物联网的大数据应用***及方法对大数据异构数据处理效率低；同时，对大数据存储效率低。
发明内容
针对现有技术存在的问题，本发明提供了一种基于物联网的大数据应用***及方法。
本发明是这样实现的，一种基于物联网的大数据应用方法，所述基于物联网的大数据应用方法包括以下步骤：
步骤一，通过数据采集模块利用物联网设备采集网络数据；通过数据挖掘模块利用挖掘程序从物联网的大数据服务器中获取多个维度的大数据，并对每个维度的所有大数据进行聚类，得到每个维度的聚类簇；
步骤二，提取每个维度的聚类簇的特征信息，并根据每个维度的聚类簇的特征信息，确定待挖掘数据的维度信息；
步骤三，根据得到的待挖掘数据的维度信息，分别获取待挖掘数据维度对应的过程数据；根据获取的过程数据，得到大数据挖掘结果；
步骤四，中央控制模块通过物联通信模块利用网络接口接入物联网络进行物联通信，将大数据挖掘结果以及利用物联网设备采集的网络数据传输数据并行处理模块；
步骤五，通过数据并行处理模块利用并行处理程序对大数据异构数据进行并行处理；获取部署于大数据集群中的第一执行对象所采集的各组件的被测进程的进程运行信息；
步骤六，根据进程运行信息扫描被测进程是否存在程序错误；如果扫描被测进程存在程序错误，扫描程序错误触发点的错误日志，提取程序错误的错误类型；如果正常则对异构数据进行并行处理；
步骤七，同时数据并行处理模块通过数据库转换工具对数据进行类型转换，将挖掘采集的数据定义模型转换为存储设备中各数据库的数据定义模型，同时进行数据重组；同时中央控制模块控制物联通信模块将转换重组后的数据传输至大数据存储模块；
步骤八，大数据存储模块接收传输的数据，并收集存储设备的服务器集群中的各服务器的资源；
步骤九，确定所述存储设备所对应的组件模型；根据所确定的组件模型，对所收集的资源进行划分；向存储设备的各服务器下发所确定的组件模型，并且指示该服务器安装所述组件模型中的各组件；
步骤十，根据存储设备通过一个统一的数据入库接口接收多种数据类型的待入库数据；将接收到的所述待入库数据根据优先级属性暂存至多级消息队列；所述需优先处理的数据放到单独的队列内，对于同一优先级的数据放入同一消息队列内；
步骤十一，通过轮询服务对所述消息队列内的暂存数据进行出列操作，将所述待入库数据存储到数据库内；
步骤六，通过数据统计模块利用统计程序对数据库中存储的物联网的大数据进行统计；通过数据检索模块利用检索程序对物联网的大数据进行检索；通过数据分析模块利用分析程序对物联网的大数据进行分析；
步骤七，通过显示模块利用显示器显示采集网络数据、挖掘结果、统计结果、检索结果、分析结果。
进一步，步骤三中，所述根据获取的过程数据，得到大数据挖掘结果包括以下步骤：
(1)预先设定包括数据关联关系在内的数据挖掘选项；并获取的过程数据，根据获取的过程数据得到多个第一挖掘候选集；
(2)基于数据挖掘选项汇总包含的数据关联关系以及确定的第一挖掘候选集确定第二挖掘候选集；
(3)基于获取的第二挖掘候选集的数据级别以及挖掘选项进行第二挖掘候选集的扩展方向；
(4)基于确定的扩展方向畸形第二挖掘候选集的扩展；将第一挖掘候选集与扩展后的第二挖掘候选集进行融合，即得所述大数据挖掘结果。
进一步，所述根据存储设备通过一个统一的数据入库接口接收多种数据类型的待入库数据具体包括：
通过统一的Json格式传递所述待入库数据，传递的类型参数值与所述待入库数据的数据类型相对应；所述类型参数值用于在后续操作中对所述待入库数据进行区分。
进一步，所述通过轮询服务对所述消息队列内的暂存数据进行出列操作，将所述待入库数据存储到数据库内具体包括：
所述轮询服务根据所述消息队列的多级队列区分为不同的轮询服务，不同优先级的队列由不同的轮询服务进行处理，在保证高优先级的数据能够优先被处理的情况下不影响正常消息队列的出列工作；所述轮询服务根据所述待入库数据的数据类型将所述待入库数据存储到相应的数据库或数据表内；将入库数据梳理成结构化的数据。
进一步，所述待入库数据被存储在关系型数据库、非关系型数据库、内存数据库中，在数据之间保持数据的更新和同步。
本发明的另一目的在于提供一种实施所述基于物联网的大数据应用方法的基于物联网的大数据应用***，所述基于物联网的大数据应用***包括：
数据采集模块，与中央控制模块连接，用于通过物联网设备采集网络数据；
中央控制模块，与数据采集模块、物联通信模块、数据并行处理模块、数据挖掘模块、数据统计模块、数据检索模块、数据分析模块、大数据存储模块、显示模块连接，用于通过主控机控制各个模块正常工作；
物联通信模块，与中央控制模块连接，用于通过网络接口接入物联网络进行物联通信；
数据并行处理模块，与中央控制模块连接，用于通过并行处理程序对大数据异构数据进行并行处理；
数据挖掘模块，与中央控制模块连接，用于通过挖掘程序对物联网的大数据进行挖掘；
数据统计模块，与中央控制模块连接，用于通过统计程序对物联网的大数据进行统计；
数据检索模块，与中央控制模块连接，用于通过检索程序对物联网的大数据进行检索；
数据分析模块，与中央控制模块连接，用于通过分析程序对物联网的大数据进行分析；
大数据存储模块，与中央控制模块连接，用于通过存储设备对大数据进行存储；
显示模块，与中央控制模块连接，用于通过显示器显示采集网络数据、挖掘结果、统计结果、检索结果、分析结果。
进一步，所述存储设备为包含多个数据库的存储设备。
进一步，所述存储设备还包括：
所述存储设备包括异构数据库、分布式数据库以及运维管理数据库；
所述异构数据库，用于进行不同数据库之间的数据信息、设备资源和人力资源的合并和共享；
所述分布式数据库，用于进行数据并行处理；
所述运维管理数据库，用于对各个数据库进行运维管理。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述基于物联网的大数据应用方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述基于物联网的大数据应用方法。
本发明的优点及积极效果为：本发明通过数据并行处理模块采用分布式数据库和数据库转换工具来解决异构大数据的并行处理问题，数据库转换工具，将一种数据库***中定义的数据模型转化为另一种数据库中的数据模型；分布式异构数据库***，对大规模异构数据进行并发处理大大提高异构数据并行处理效率；同时，通过大数据存储模块针对大数据行业设计与使用，也可以独立使用，作为数据存储收集的主要手段，也可以和数据服务配合使用，这样让大数据在实际应用中应用，发挥数据的更大效果，实现了海量数据的快速存储入库，提高了数据数据效率。
附图说明
图1是本发明实施例提供的基于物联网的大数据应用方法流程图。
图2是本发明实施例提供的基于物联网的大数据应用***结构框图。
图3是本发明实施例提供的利用挖掘程序对物联网的大数据进行挖掘方法流程图。
图4是本发明实施例提供的根据获取的过程数据，得到大数据挖掘结果方法流程图。
图5是本发明实施例提供的大数据存储模块存储方法流程图。
图2中：1、数据采集模块；2、中央控制模块；3、物联通信模块；4、数据并行处理模块；5、数据挖掘模块；6、数据统计模块；7、数据检索模块；8、数据分析模块；9、大数据存储模块；10、显示模块。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
下面结合附图对本发明的结构作详细的描述。
如图1所示，本发明实施例提供的基于物联网的大数据应用方法包括以下步骤：
S101，通过数据采集模块利用物联网设备采集网络数据；通过数据挖掘模块利用挖掘程序对物联网的大数据进行挖掘；
S102，中央控制模块通过物联通信模块利用网络接口接入物联网络进行物联通信，对挖掘采集的数据进行传输；
S103，通过数据并行处理模块利用并行处理程序对大数据异构数据进行并行处理；
S104，通过数据统计模块利用统计程序对物联网的大数据进行统计；通过数据检索模块利用检索程序对物联网的大数据进行检索；通过数据分析模块利用分析程序对物联网的大数据进行分析；
S105，通过大数据存储模块利用存储设备对大数据进行存储；
S106，通过显示模块利用显示器显示采集网络数据、挖掘结果、统计结果、检索结果、分析结果。
如图2所示，本发明实施例提供的基于物联网的大数据应用***包括：数据采集模块1、中央控制模块2、物联通信模块3、数据并行处理模块4、数据挖掘模块5、数据统计模块6、数据检索模块7、数据分析模块8、大数据存储模块9、显示模块10。
数据采集模块1，与中央控制模块2连接，用于通过物联网设备采集网络数据；
中央控制模块2，与数据采集模块1、物联通信模块3、数据并行处理模块4、数据挖掘模块5、数据统计模块6、数据检索模块7、数据分析模块8、大数据存储模块9、显示模块10连接，用于通过主控机控制各个模块正常工作；
物联通信模块3，与中央控制模块2连接，用于通过网络接口接入物联网络进行物联通信；
数据并行处理模块4，与中央控制模块2连接，用于通过并行处理程序对大数据异构数据进行并行处理；
数据挖掘模块5，与中央控制模块2连接，用于通过挖掘程序对物联网的大数据进行挖掘；
数据统计模块6，与中央控制模块2连接，用于通过统计程序对物联网的大数据进行统计；
数据检索模块7，与中央控制模块2连接，用于通过检索程序对物联网的大数据进行检索；
数据分析模块8，与中央控制模块2连接，用于通过分析程序对物联网的大数据进行分析；
大数据存储模块9，与中央控制模块2连接，用于通过存储设备对大数据进行存储；
显示模块10，与中央控制模块2连接，用于通过显示器显示采集网络数据、挖掘结果、统计结果、检索结果、分析结果。
下面结合具体实施例对本发明的技术方案作进一步说明。
实施例1
本发明实施例提供的基于物联网的大数据应用方法如图1所示，作为优选实施例，如图3所示，本发明实施例提供的利用挖掘程序对物联网的大数据进行挖掘包括以下步骤：
S201，利用挖掘程序从物联网的大数据服务器中获取多个维度的大数据，并对每个维度的所有大数据进行聚类，得到每个维度的聚类簇；
S202，提取每个维度的聚类簇的特征信息，并根据每个维度的聚类簇的特征信息，确定待挖掘数据的维度信息；
S203，根据得到的待挖掘数据的维度信息，分别获取待挖掘数据维度对应的过程数据；根据获取的过程数据，得到大数据挖掘结果。
如图4所示，步骤S203中，本发明实施例提供的根据获取的过程数据，得到大数据挖掘结果包括以下步骤：
S301，预先设定包括数据关联关系在内的数据挖掘选项；并获取的过程数据，根据获取的过程数据得到多个第一挖掘候选集；
S302，基于数据挖掘选项汇总包含的数据关联关系以及确定的第一挖掘候选集确定第二挖掘候选集；
S303，基于获取的第二挖掘候选集的数据级别以及挖掘选项进行第二挖掘候选集的扩展方向；
S304，基于确定的扩展方向畸形第二挖掘候选集的扩展；将第一挖掘候选集与扩展后的第二挖掘候选集进行融合，即得所述大数据挖掘结果。
实施例2
本发明实施例提供的基于物联网的大数据应用方法如图1所示，作为优选实施例，本发明实施例提供的数据并行处理模块处理方法如下：
获取部署于大数据集群中的第一执行对象所采集的各组件的被测进程的进程运行信息；根据进程运行信息扫描被测进程是否存在程序错误；如果扫描被测进程存在程序错误，扫描程序错误触发点的错误日志，提取程序错误的错误类型；如果正常则对异构数据进行并行处理。通过数据库转换工具进行类型转换，访问源数据库***，将源数据库的数据定义模型转换为目标数据库的数据定义模型，然后进行数据重组；在进行数据转换后，一方面源数据库模式中所有需要共享的信息都转换到目的数据库中，另一方面这种转换又不能包含冗余的关联信息；采用数据库转换工具构建的异构数据库***实现不同数据库之间的数据信息、设备资源和人力资源的合并和共享；再采用分布式数据库***解决数据并行处理问题；最后采用多数据库管理***运维数据库***。
本发明实施例提供的数据重组是将源数据库***中的数据装入到目的数据库中。
本发明实施例提供的数据库转换工具是，将一种数据库***中定义的数据模型转化为另一种数据库中的数据模型，然后根据需要再导入数据。
本发明实施例提供的分布式数据库***是由若干个站集合而成，分布式数据库***可以看作是一系列集中式数据库***的联合。
本发明实施例提供的集合的站又称为节点，它们在通讯网络中联接在一起，每个节点都是一个独立的数据库***，它们都拥有各自的数据库、中央处理机、终端，以及各自的局部数据库管理***。
实施例3
本发明实施例提供的基于物联网的大数据应用方法如图1所示，作为优选实施例，如图5所示，本发明实施例提供的大数据存储模块9存储方法如下：
S401，收集待部署存储设备的服务器集群中的各服务器的资源；确定所述存储设备所对应的组件模型；根据所确定的组件模型，对所收集的资源进行划分；向各服务器下发所确定的组件模型，并且指示该服务器安装所述组件模型中的各组件，以部署所述存储设备；
S402，根据存储设备通过一个统一的数据入库接口接收多种数据类型的待入库数据；将接收到的所述待入库数据暂存至消息队列；
S403，通过轮询服务对所述消息队列内的暂存数据进行出列操作，将所述待入库数据存储到数据库内。
本发明实施例提供的根据存储设备通过一个统一的数据入库接口接收多种数据类型的待入库数据具体包括：
通过统一的Json格式传递所述待入库数据，传递的类型参数值与所述待入库数据的数据类型相对应；所述类型参数值用于在后续操作中对所述待入库数据进行区分。
本发明实施例提供的将接收到的所述待入库数据暂存至消息队列具体包括：
根据优先级属性将需要优先处理的数据放到单独的队列内，对于同一优先级的数据放入同一消息队列内；其中，所述消息队列为多级队列，暂存数据的过程中不做数据类型的区分。
本发明实施例提供的通过轮询服务对所述消息队列内的暂存数据进行出列操作，将所述待入库数据存储到数据库内具体包括：
所述轮询服务根据所述消息队列的多级队列区分为不同的轮询服务，不同优先级的队列由不同的轮询服务进行处理，在保证高优先级的数据能够优先被处理的情况下不影响正常消息队列的出列工作；所述轮询服务根据所述待入库数据的数据类型将所述待入库数据存储到相应的数据库或数据表内；将入库数据梳理成结构化的数据。
本发明实施例提供的待入库数据被存储在关系型数据库、非关系型数据库、内存数据库中，在数据之间保持数据的更新和同步。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (10)

1.一种基于物联网的大数据应用方法，其特征在于，所述基于物联网的大数据应用方法包括以下步骤：
步骤一，通过数据采集模块利用物联网设备采集网络数据；通过数据挖掘模块利用挖掘程序从物联网的大数据服务器中获取多个维度的大数据，并对每个维度的所有大数据进行聚类，得到每个维度的聚类簇；
步骤二，提取每个维度的聚类簇的特征信息，并根据每个维度的聚类簇的特征信息，确定待挖掘数据的维度信息；
步骤三，根据得到的待挖掘数据的维度信息，分别获取待挖掘数据维度对应的过程数据；根据获取的过程数据，得到大数据挖掘结果；
步骤四，中央控制模块通过物联通信模块利用网络接口接入物联网络进行物联通信，将大数据挖掘结果以及利用物联网设备采集的网络数据传输数据并行处理模块；
步骤五，通过数据并行处理模块利用并行处理程序对大数据异构数据进行并行处理；获取部署于大数据集群中的第一执行对象所采集的各组件的被测进程的进程运行信息；
步骤六，根据进程运行信息扫描被测进程是否存在程序错误；如果扫描被测进程存在程序错误，扫描程序错误触发点的错误日志，提取程序错误的错误类型；如果正常则对异构数据进行并行处理；
步骤七，同时数据并行处理模块通过数据库转换工具对数据进行类型转换，将挖掘采集的数据定义模型转换为存储设备中各数据库的数据定义模型，同时进行数据重组；同时中央控制模块控制物联通信模块将转换重组后的数据传输至大数据存储模块；
步骤八，大数据存储模块接收传输的数据，并收集存储设备的服务器集群中的各服务器的资源；
步骤九，确定所述存储设备所对应的组件模型；根据所确定的组件模型，对所收集的资源进行划分；向存储设备的各服务器下发所确定的组件模型，并且指示该服务器安装所述组件模型中的各组件；
步骤十，根据存储设备通过一个统一的数据入库接口接收多种数据类型的待入库数据；将接收到的所述待入库数据根据优先级属性暂存至多级消息队列；所述需优先处理的数据放到单独的队列内，对于同一优先级的数据放入同一消息队列内；
步骤十一，通过轮询服务对所述消息队列内的暂存数据进行出列操作，将所述待入库数据存储到数据库内；
步骤六，通过数据统计模块利用统计程序对数据库中存储的物联网的大数据进行统计；通过数据检索模块利用检索程序对物联网的大数据进行检索；通过数据分析模块利用分析程序对物联网的大数据进行分析；
步骤七，通过显示模块利用显示器显示采集网络数据、挖掘结果、统计结果、检索结果、分析结果。
2.如权利要求1所述基于物联网的大数据应用方法，其特征在于，步骤三中，所述根据获取的过程数据，得到大数据挖掘结果包括以下步骤：
(1)预先设定包括数据关联关系在内的数据挖掘选项；并获取的过程数据，根据获取的过程数据得到多个第一挖掘候选集；
(2)基于数据挖掘选项汇总包含的数据关联关系以及确定的第一挖掘候选集确定第二挖掘候选集；
(3)基于获取的第二挖掘候选集的数据级别以及挖掘选项进行第二挖掘候选集的扩展方向；
(4)基于确定的扩展方向畸形第二挖掘候选集的扩展；将第一挖掘候选集与扩展后的第二挖掘候选集进行融合，即得所述大数据挖掘结果。
3.如权利要求1所述基于物联网的大数据应用方法，其特征在于，所述根据存储设备通过一个统一的数据入库接口接收多种数据类型的待入库数据具体包括：
通过统一的Json格式传递所述待入库数据，传递的类型参数值与所述待入库数据的数据类型相对应；所述类型参数值用于在后续操作中对所述待入库数据进行区分。
4.如权利要求1所述基于物联网的大数据应用方法，其特征在于，所述通过轮询服务对所述消息队列内的暂存数据进行出列操作，将所述待入库数据存储到数据库内具体包括：
所述轮询服务根据所述消息队列的多级队列区分为不同的轮询服务，不同优先级的队列由不同的轮询服务进行处理，在保证高优先级的数据能够优先被处理的情况下不影响正常消息队列的出列工作；所述轮询服务根据所述待入库数据的数据类型将所述待入库数据存储到相应的数据库或数据表内；将入库数据梳理成结构化的数据。
5.如权利要求1所述基于物联网的大数据应用方法，其特征在于，所述待入库数据被存储在关系型数据库、非关系型数据库、内存数据库中，在数据之间保持数据的更新和同步。
6.一种实施如权利要求1-5所述基于物联网的大数据应用方法的基于物联网的大数据应用***，其特征在于，所述基于物联网的大数据应用***包括：
数据采集模块，与中央控制模块连接，用于通过物联网设备采集网络数据；
中央控制模块，与数据采集模块、物联通信模块、数据并行处理模块、数据挖掘模块、数据统计模块、数据检索模块、数据分析模块、大数据存储模块、显示模块连接，用于通过主控机控制各个模块正常工作；
物联通信模块，与中央控制模块连接，用于通过网络接口接入物联网络进行物联通信；
数据并行处理模块，与中央控制模块连接，用于通过并行处理程序对大数据异构数据进行并行处理；
数据挖掘模块，与中央控制模块连接，用于通过挖掘程序对物联网的大数据进行挖掘；
数据统计模块，与中央控制模块连接，用于通过统计程序对物联网的大数据进行统计；
数据检索模块，与中央控制模块连接，用于通过检索程序对物联网的大数据进行检索；
数据分析模块，与中央控制模块连接，用于通过分析程序对物联网的大数据进行分析；
大数据存储模块，与中央控制模块连接，用于通过存储设备对大数据进行存储；
显示模块，与中央控制模块连接，用于通过显示器显示采集网络数据、挖掘结果、统计结果、检索结果、分析结果。
7.如权利要求6所述基于物联网的大数据应用***，其特征在于，所述存储设备为包含多个数据库的存储设备。
8.如权利要求7所述基于物联网的大数据应用***，其特征在于，所述存储设备还包括：
所述存储设备包括异构数据库、分布式数据库以及运维管理数据库；
所述异构数据库，用于进行不同数据库之间的数据信息、设备资源和人力资源的合并和共享；
所述分布式数据库，用于进行数据并行处理；
所述运维管理数据库，用于对各个数据库进行运维管理。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1-5任意一项所述基于物联网的大数据应用方法。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-5任意一项所述基于物联网的大数据应用方法。
CN202010776653.4A 2020-08-05 2020-08-05 一种基于物联网的大数据应用***及方法 Withdrawn CN111858722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010776653.4A CN111858722A (zh) 2020-08-05 2020-08-05 一种基于物联网的大数据应用***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010776653.4A CN111858722A (zh) 2020-08-05 2020-08-05 一种基于物联网的大数据应用***及方法

Publications (1)

Publication Number Publication Date
CN111858722A true CN111858722A (zh) 2020-10-30

Family

ID=72971118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010776653.4A Withdrawn CN111858722A (zh) 2020-08-05 2020-08-05 一种基于物联网的大数据应用***及方法

Country Status (1)

Country Link
CN (1) CN111858722A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800133A (zh) * 2021-01-22 2021-05-14 平安养老保险股份有限公司 基于数据库直连的产品数据处理方法、装置、设备和介质
CN113298686A (zh) * 2021-05-18 2021-08-24 深圳市博网科技有限公司 一种基于物联网的大数据应用***及方法
CN117076612A (zh) * 2023-08-31 2023-11-17 宁夏恒信创达数据科技有限公司 一种呼叫中心大数据文本挖掘***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800133A (zh) * 2021-01-22 2021-05-14 平安养老保险股份有限公司 基于数据库直连的产品数据处理方法、装置、设备和介质
CN113298686A (zh) * 2021-05-18 2021-08-24 深圳市博网科技有限公司 一种基于物联网的大数据应用***及方法
CN117076612A (zh) * 2023-08-31 2023-11-17 宁夏恒信创达数据科技有限公司 一种呼叫中心大数据文本挖掘***
CN117076612B (zh) * 2023-08-31 2024-02-20 宁夏恒信创达数据科技有限公司 一种呼叫中心大数据文本挖掘***

Similar Documents

Publication Publication Date Title
US11727039B2 (en) Low-latency streaming analytics
US7606804B2 (en) System and method for information management in a distributed network
CN111858722A (zh) 一种基于物联网的大数据应用***及方法
Srivastava et al. Operator placement for in-network stream query processing
CN107515878B (zh) 一种数据索引的管理方法及装置
CN111400393B (zh) 基于多应用平台的数据处理方法和装置、存储介质
CN110147470B (zh) 一种跨机房数据比对***及方法
CN110955704A (zh) 一种数据管理方法、装置、设备及存储介质
CN113282611A (zh) 一种流数据同步的方法、装置、计算机设备及存储介质
JP2021111352A (ja) コンピュータプログラム、データアーカイブ方法、記憶媒体およびコンピュータ装置
KR102028342B1 (ko) 데이터 처리 솔루션을 활용한 실시간 금융 비즈니스 제공 및 의사결정 지원 시스템 및 방법
CN111382155A (zh) 一种数据仓库的数据处理方法、电子设备及介质
CN115344207A (zh) 数据处理方法、装置、电子设备及存储介质
KR101686919B1 (ko) 빅데이터에 기반한 추론 엔진을 관리하는 방법 및 장치
CN111125450A (zh) 一种多层拓扑网络资源对象的管理方法
CN114461792A (zh) 告警事件关联方法、装置、电子设备、介质及程序产品
CN113836237A (zh) 对数据库的数据操作进行审计的方法及装置
Adzic et al. Data warehouse population platform
CN109257457B (zh) 一种基于数据分析进行idc信安***状态监测的方法
EP4216076A1 (en) Method and apparatus of processing an observation information, electronic device and storage medium
CN111292201A (zh) 一种基于Apriori和RETE的电力通信网现场运维信息推送的方法
CN111161818A (zh) 一种基于大数据技术的医疗数据交换共享***及方法
CN103377286A (zh) 数据库历史管理方法及其数据库历史管理***
CN105162837A (zh) 海量数据存储环境下提升i/o吞吐率的方法及***
CN111368039B (zh) 一种数据管理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030