CN104915793A - 基于大数据分析挖掘的公共信息智能分析平台 - Google Patents

Abstract

本发明提供了一种基于大数据分析挖掘的公共信息智能分析平台，包括大数据预处理模块用于通过云化的方式对企业信息进行存储和预处理；智能分析模块用于根据上层发送的数据分析任务，并综合利用预处理的数据进行事件因果分析、公司整体情况评估、未来趋势预测以及将分析结果返回给上层；信息展示模块，用于生成数据分析任务给智能业务分析模块并接收返回的结果；展现智能分析模块的分析结果；为用户提供操作界面；其通过灵活创建、配置分析模型，采用集群化计算方法对企业运行中的海量数据进行智能分析，解决了传统数据处理方法实时性、高效性和交互性较差的问题，帮助用户实时地感知企业情况，从而提高企业管理效率和业务处理水平。

Description

基于大数据分析挖掘的公共信息智能分析平台

技术领域

本发明涉及大数据信息处理领域，具体而言，涉及基于大数据分析挖掘的公共信息智能分析平台。

背景技术

大数据是规模非常巨大和复杂的数据集，具有4V特性，一是数据量巨大(Volume)且持续快速增加；二是具有高速度(Velocity)的数据输入、输出流；三是数据类型和来源多样化(Variety)；四是价值(Value)密度低。

大多数企业，尤其是大型企业和上市公司等，每天都产生海量的业务与运行数据，故需要对及时且高效的对这些信息数据进行处理。其中，信息数据种类繁多(Variety)，规模庞大(Volume)，对信息数据的输入和处理速度要求较高(Velocity)。信息数据包含的信息与知识很丰富，但由于数据稀疏性的影响，信息数据的价值(Value)密度较低。综上可以看出，信息数据完全符合大数据所具有的4V特性，是大数据概念范畴当中的一个典型样本。

在企业中(尤其是大型国企和大型上市企业)数据量庞大且急剧增加、日常业务分析需求日趋复杂的背景下，企业状况分析与评估工作的数据梳理过程和信息挖掘过程十分复杂，且对数据展现的速度、维度、精细度要求较高，传统数据处理方法的实时性、高效性和交互性已经不能适应企业大数据分析的需求。为此，海量企业数据的获取、存储、检索、共享、分析和可视化等方面都需要新的大数据处理技术。

发明内容

本发明的目的在于提供一种基于大数据分析挖掘的公共信息智能分析平台，采用大数据的方式对企业的信息数据进行处理，以提高信息数据的处理速度，灵活度高且用户体验较好。

第一方面，本发明实施例提供了一种基于大数据分析挖掘的公共信息智能分析平台，包括：

大数据预处理模块，用于通过云化的方式对企业信息进行存储和预处理；预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理；

智能分析模块，用于根据上层发送指令对上层发送的任务数据进行大数据分析，并综合利用大数据预处理模块提供的数据，进行事件因果分析、公司整体情况评估、未来趋势预测，以及将分析结果返回给上层；

信息展示模块，用于生成数据分析任务传递给智能业务分析模块并接收返回的结果；通过可交互的可视化技术将企业信息的分析评估结果、各类详情数据分层级进行综合、实时的展现；以及为用户提供操作界面；操作界面至少包括以下功能中的一种或多种：具有可视化图表、分析报告、内容检索和消息推送/订阅。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，大数据预处理模块包括：大数据存储模块和云平台管理模块；

大数据存储模块通过分布式***基础架构Hadoop存储企业信息的管理数据；

云平台管理模块与智能业务分析模块，用以实现负载均衡、资源虚拟化、分布式数据存储管理和应用程序编程接口API接口功能。

结合第一方面的第一种可能的实施方式，，本发明实施例提供了第一方面的第二种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，大数据存储模块基于大数据技术体系，采用HadoopHDFS+Hive的模式构建大数据仓库，在大数据仓库的基础上构建多维数据集，为上层模块提供数据支持。

结合第一方面的第二种可能的实施方式，，本发明实施例提供了第一方面的第三种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，智能分析模块包括分析模块和指标评估模块；

分析模块，用于实现即席查询/组合条件查询、多维OLAP、KPI指标、MDX查询等分析功能，同时实现分类、聚类、关联规则等数据挖掘功能，以及灵活的参数配置功能；

指标评估模块，用于根据预设数据信息进行实时公司情况实时评估；预设数据信息包括：人力、财务、物质和业务。

结合第一方面的第三种可能的实施方式，，本发明实施例提供了第一方面的第四种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台，还包括运行监控模块；

运行监控模块，用于对公共信息智能分析平台的整体运行情况进行实时监控，并将大数据平台中所有组件的监控信息发送至信息展示模块进行集中展示。

结合第一方面的第四种可能的实施方式，，本发明实施例提供了第一方面的第五种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台，还包括运行统计模块；运行统计模块包括：计时模块和统计模块；

计时模块，用于根据预设周期进行计数，并在每一次计数到达一个预设计数周期时生成提示信息；

统计模块，用于根据提示信息，定时对平台上完成的业务监控数据进行统计，并将周期性业务监控数据进行抽取和存储。

结合第一方面的第五种可能的实施方式，，本发明实施例提供了第一方面的第六种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，运行统计模块还包括：统计分析模块和对比模块；

统计分析模块，用于对公共信息智能分析平台上的业务运行情况进行统计和分析；分析业务运行过程信息，获取业务运行过程中的资源使用统计、数据周转统计、执行信息统计和趋势；

对比模块，用于分析周期性业务信息，对同一业务在一定时间段内每次运行情况进行对比，发现此业务的运行趋势和异常。

结合第一方面的第六种可能的实施方式，，本发明实施侧提供了第一方面的第七种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，统计分析模块包括：第一分析模块和第一统计模块：

第一分析模块，用于对业务运行过程中的网络流量、IO读写、资源使用情况和运行中的Map和Reduce运行信息进行分析；

第一统计模块，用于统计出业务执行过程中的计算偏重率、本地数据操作优化率和数据处理速率趋势。

结合第一方面的第七种可能的实施方式，，本发明实施例提供了第一方面的第八种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，统计分析模块包括：第二分析模块和第二统计模块；

第二分析模块，用于对同一业务在一段时期内每次运行结束后的统计信息的分析；

第二统计模块，用于获取该业务在此时间段内的运行趋势，这些运行趋势有：业务操作数据量变化、业务执行时间信息的变化和业务资源使用量变化。

结合第一方面的第八种可能的实施方式，，本发明实施例提供了第一方面的第九种可能的实施方式，其中，该基于大数据分析挖掘的公共信息智能分析平台中，云化数据支撑模块利用云平台进行ETL调度，实现数据的清洗和集成；

信息展示模块中的分析报告包括业务类型、业务标题、基本情况介绍、原因分析、分析图、相关报表、建议，可以进行在线编辑、下载操作。

本发明实施例提供的一种基于大数据分析挖掘的公共信息智能分析平台，通过灵活创建、配置分析模型，采用集群化计算方法，对企业运行中的海量数据进行智能分析，解决了传统数据处理方法实时性、高效性和交互性不能适应企业大数据分析需求的问题，帮助用户实时地感知校情，从而提高企业管理效率和业务处理水平。

与现有技术相比，本发明有如下优点：

1、处理速度快：***架构方案采用大数据技术对计算、存储任务进行合理调度，可以充分发挥***中每一个集群节点的运算能力；业务需求增长时，能够方便地通过添加集群节点来扩展***规模、提升***性能。

2、用户体验较好：***支持多种终端运行，支持各级校情指标的实时可视化，提供简单直观的交互方式；

3、灵活度高：可以根据本企业的实际情况灵活创建、配置分析模型；***采用分层设计，易于部署实施、升级维护。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种基于大数据分析挖掘的公共信息智能分析平台的结构示意图；

图2示出了本发明实施例所提供的一种基于大数据分析挖掘的公共信息智能分析平台中大数据预处理模块的结构示意图；

图3示出了本发明实施例所提供的一种基于大数据分析挖掘的公共信息智能分析平台中智能分析模块的结构示意图；

图4示出了本发明实施例所提供的另一种基于大数据分析挖掘的公共信息智能分析平台的结构示意图

图5示出了本发明实施例所提供的一种基于大数据分析挖掘的公共信息智能分析平台中运行统计模块的结构示意图；

图6示出了本发明实施例所提供的另一种基于大数据分析挖掘的公共信息智能分析平台中运行统计模块的结构示意图；

图7示出了本发明实施例所提供的一种基于大数据分析挖掘的公共信息智能分析平台中统计分析模块的结构示意图；

图8示出了本发明实施例所提供的另一种基于大数据分析挖掘的公共信息智能分析平台中统计分析模块的结构示意图。

主要元件符号说明：

11、大数据预处理模块；21、智能分析模块；31、信息展示模块；41、运行监控模块；51、运行统计模块；111、大数据存储模块；112、云平台管理模块；211、分析模块；212、指标评估模块；511、计时模块；512、统计模块；513、统计分析模块；514、对比模块；5131、第一分析模块；5132、第一统计模块；5133、第二分析模块；5134、第二统计模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

Hadoop分布式文件***(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件***。它和现有的分布式文件***有很多共同点。但同时，它和其他的分布式文件***的区别也是很明显的。HDFS是一个高度容错性的***，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件***数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。

本发明是针对大数据进行处理，故为解决现有技术存在的问题，本发明提供了一种基于大数据分析挖掘的公共信息智能分析平台，采用集群化计算方法，将企业海量数据整合到基于云平台的大数据仓库中，并创建基于多维数据集的校情分析模型，实现了利用企业海量多维数据进行综合分析，大大提高了分析结果的全面性和准确性；***具有可扩展性，可提供相对于传统服务器模式***百倍以上速度的数据处理能力；***还具有可视化特性，能帮助企业管理者监控关键校情评估指标，实时感知校情。

下面结合如1-图8对本发明提供的基于大数据分析挖掘的公共信息智能分析平台进行详细说明：

参考图1，本发明提供了一种基于大数据分析挖掘的公共信息智能分析平台，包括：

大数据预处理模块11，用于通过云化的方式对企业信息进行存储和预处理；预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理；

智能分析模块21，用于根据上层发送指令对上层发送的任务数据进行大数据分析，并综合利用大数据预处理模块11提供的数据，进行事件因果分析、公司整体情况评估、未来趋势预测，以及将分析结果返回给上层；

信息展示模块31，用于生成数据分析任务传递给智能业务分析模块并接收返回的结果；通过可交互的可视化技术将企业信息的分析评估结果、各类详情数据分层级进行综合、实时的展现；以及为用户提供操作界面；操作界面至少包括以下功能中的一种或多种：具有可视化图表、分析报告、内容检索和消息推送/订阅。

本发明实施例提供的一种基于大数据分析挖掘的公共信息智能分析平台，通过灵活创建、配置分析模型，采用集群化计算方法，对企业运行中的海量数据进行智能分析，解决了传统数据处理方法实时性、高效性和交互性不能适应企业大数据分析需求的问题，帮助用户实时地感知校情，从而提高企业管理效率和业务处理水平。

与现有技术相比，本发明有如下优点：

1、处理速度快：***架构方案采用大数据技术对计算、存储任务进行合理调度，可以充分发挥***中每一个集群节点的运算能力；业务需求增长时，能够方便地通过添加集群节点来扩展***规模、提升***性能。

2、用户体验较好：***支持多种终端运行，支持各级校情指标的实时可视化，提供简单直观的交互方式；

3、灵活度高：可以根据本企业的实际情况灵活创建、配置分析模型；***采用分层设计，易于部署实施、升级维护。

本实施例中，整个分析平台是基于开源的Hadoop架构实现云平台，集群硬件配置如下：16核32线程的CPU，64或128的GB的内存，由CPU的主板控制器直接连接的多张预设转速的硬盘(总存储达24TB)，并采用千兆以太网构建集群。其中，硬盘的数量和转速可以根据需要进行设置，如数量为20，转速为3600r/s等。

其中，Hadoop集群有四种基本任务角色：名称节点(包括备用名称节点)、工作追踪节点、任务执行节点和数据节点。名称节点负责协调集群上的数据存储；作业追踪节点负责协调数据处理任务；任务执行节点负责进行数据采集、数据处理等任务；数据节点负责存储数据。集群内大部分的节点需要同时作为数据节点和任务执行节点。

在Hadoop集群的基础上，通过Map/Reduce来实现对分布式并行任务处理的支持。Map/Reduce是一个用于大数据量并行计算的编程模型，同时也是一种高效的任务调度模型，它将一个大任务分成很多更细粒度的子任务，通过在空闲的处理节点之间进行子任务调度，避免处理速度慢的节点延长整个任务的完成时间。

本发明中，整个智能分析平台包括三大部分，如大数据预处理模块11、智能分析模块21和信息展示模块31；其中，大数据预处理模块11内搭建了大数据仓库，用于存储ETL过程抽取的数据源中的关键原始数据，在大数据仓库的基础上构建多维数据集(Cube)，为***分析、展示提供数据支持。

大数据预处理模块11还用于通过云平台管理模块112实现对底层节点设备的负载均衡、资源虚拟化、分布式数据存储管理、容错策略管理和提供API接口等功能，实现了大数据处理和管理。

上述的数据源是企业各业务部门独立所有的业务***及数据库，包括人事处数据、财务处数据、研发部门数据、财务处数据、市场部数据、评估处数据、互联网部数据和综合管理数据；其中，上述部分可能会细分很多小部门，如市场部可能还包括秘书组，市场组等，此时的数据均包括在市场部中。

上述的大数据仓库基于HDFS和Hive实现，采用分布式存储方式集中了企业各相互独立的业务***中的海量数据，为多维数据集提供数据。进一步的，大数据仓库中的数据以维度和事实表的形式存储，这里的维度是数据的属性，表示分析数据的角度，类型有一般维度、时间维度和渐变维度；事实表是存储所要分析的数据的主表，只包括主键、外键和度量值。

本发明实施例中，信息展示模块31采用Javaweb技术搭建了B/S模式的***客户端，实现了单点登录控制，为用户提供展示、操作界面；采用开源的ExtJS框架创建丰富的图形和图表，将企业信息分析评估结果、各类详情数据分层级进行综合、实时的展现；***客户端具有可视化图表、分析报告、内容检索、消息推送/订阅等功能，可以通过浏览器运行在移动端、PC端。

本发明实施例中，上述可视化图表包括折线图、柱状图、饼状图、散点图、面积图、雷达图、双轴图、仪表图、地图等图表。可以进行过滤分析、系列拖拽、图表联动、热点链接等操作。其中，分析报告包括题目、基本情况介绍、原因分析、分析图、相关报表、建议等内容，可以进行在线编辑、下载等操作。

进一步的，参考图2，该基于大数据分析挖掘的公共信息智能分析平台中，大数据预处理模块11包括：大数据存储模块111和云平台管理模块112；

大数据存储模块111通过分布式***基础架构Hadoop存储企业信息的管理数据；

云平台管理模块112与智能业务分析模块211，用以实现负载均衡、资源虚拟化、分布式数据存储管理和应用程序编程接口API接口功能。

其中，上述中ETL过程是数据抽取、转换、加载的过程，通过负载均衡将ETL过程均匀分布到集群上并行运行，提升数据导入的速率；ETL过程基于Hive实现，Hive是建立在Hadoop上的数据仓库基础架构，提供了一系列数据提取、转换、加载的工具，实现了将SQL语句转换为Map/Reduce任务进行的功能，形成一种可以存储、查询和分析HDFS中的大规模数据的机制，提供shell、JDBC/ODBC、Thrift、Web等接口。实时数据每隔预设时间(如半小时)小时添加到大数据仓库。

另外，上述的多维数据集(Cube)是由多个维度和度量值组成的多维数据模型，基于集群中的单个数据节点实现，由大数据仓库中不同业务维度组合而成，与企业信息分析模型形成映射，提供多维度的分析角度。进一步的，每个业务模块对应至少一个多维数据集，每个多维数据集中涉及的业务数据不局限于一个业务***的数据，例如科研多维数据集结合了人事、研发、财务等多业务维度的数据。

进一步的，该基于大数据分析挖掘的公共信息智能分析平台中，

大数据存储模块111基于大数据技术体系，采用HadoopHDFS+Hive的模式构建大数据仓库，在大数据仓库的基础上构建多维数据集，为上层模块提供数据支持。

进一步的，参考图3，该基于大数据分析挖掘的公共信息智能分析平台，智能分析模块21包括分析模块211和指标评估模块212；

分析模块211，用于实现即席查询/组合条件查询、多维OLAP、KPI指标、MDX查询等分析功能，同时实现分类、聚类、关联规则等数据挖掘功能，以及灵活的参数配置功能；

指标评估模块212，用于根据预设数据信息进行实时公司情况实时评估；预设数据信息包括：人力、财务、物质和业务。

本实施例中，分析模块211的即席查询/组合条件查询功能基于Hive工具实现。

分析模块211的多维OLAP、MDX查询功能基于多维数据集实现。多维OLAP(多维联机分析处理)是直接编入多维数据集的联机分析处理，用户可以观察数据集的不同方面和不同方面结合的所有可能；多维OLAP过程由多维OLAP服务器提供数据存储管理。MDX(Multi-Dimensionalexpressions)是多维表达式，支持多维数据与多维对象的定义和操作，还提供了函数集以及用户定义函数等扩展功能。MDX查询包括数据请求(SELECT子句)、起始点(FROM子句)和筛选(WHERE子句)等内容，可以从多维数据集中析取数据特定部分。优选的，采用SQLServerAnalysisServices实现多维OLAP、MDX查询。

分析模块211的分类、聚类、关联规则等数据挖掘方法由Mahout提供，Mahout是ApacheSoftwareFoundation(ASF)旗下的一个开源项目，基于Hadoop实现，支持HDFS访问并提供了一些可扩展的机器学习领域经典算法，包括聚类、分类、分布式协同过滤、频繁子项挖掘等，并将这些经典算法转化为Map/Reduce模式，使其适用于云环境，大大提升了算法的输入数据量和处理性能。

分析模块211的参数配置通过对多维数据集进行设置实现。

进一步的，参考图4，该基于大数据分析挖掘的公共信息智能分析平台，还包括运行监控模块41；

运行监控模块41，用于对公共信息智能分析平台的整体运行情况进行实时监控，并将大数据平台中所有组件的监控信息发送至信息展示模块31进行集中展示。

本实施例中还设置运行监控模块41对运行在平台上的所有数据进行监控，并将监控数据进行实时的展示。

具体的，大数据平台作业监控子***：进行离线计算和数据分析是大数据平台主要作业；

其中，现有的大数据平台中的作业类型为MapReduce作业，MapReduce作业监控功能是针对hadoop上的MapReduce作业的数据信息、运行信息和统计信息进行采集，由于hadoop对作业的管理方式决定了需要采取不同方法监控正在运行的作业和已经完成的作业。本实施例中的Hadoop中可以通过Restfu1API的形式获取正在运行作业运行信息，当作业运行完毕后，hadoop将已经完成的作业的最终状态信息和统计信息存放在HDFS的目录下，可以通过访问HDFS的历史作业信息文件获取已经完成的作业的历史信息。

本实施例还可以实现实时作业监控，具体的，使用Yarn提供的Restful接口获取正在运行的作业运行信息；

本模块为了实现对作业运行过程的监控，使用守护进程采集作业运行监控数据，设定一分钟计时器，每隔一分钟触发一次采集任务，生成作业监控信息的RESTful接口的url，发送RESTful请求获取结果后存储至数据库。通过这种方式可以获取作业在运行过程中的趋势，这些趋势可以反映作业运行过程中网络和IO趋势，为任务分析提供依据。

进一步的，参考图4和图5，该基于大数据分析挖掘的公共信息智能分析平台还包括运行统计模块51；运行统计模块51包括：计时模块511和统计模块512；

计时模块511，用于根据预设周期进行计数，并在每一次计数到达一个预设计数周期时生成提示信息；

统计模块512，用于根据提示信息，定时对平台上完成的业务监控数据进行统计，并将周期性业务监控数据进行抽取和存储。

本实施例中，还用于通过运行统计模块51实时在预设时间段内统计监控数据；

具体的，运行统计模块51对大数据平台整体运行情况进行实时监控，将大数据平台中所有组件的监控信息进行集中展示，主要是将分布式文件***HDFS运行状态展示、资源管理框架Yarn运行状态展示、分布式一致***Zookeeper运行状态展示和NoSql数据库HBase运行状态展示进行整合。

进一步的，参考图6，该基于大数据分析挖掘的公共信息智能分析平台中，运行统计模块51还包括：统计分析模块513和对比模块514；

统计分析模块513，用于对公共信息智能分析平台上的业务运行情况进行统计和分析；分析业务运行过程信息，获取业务运行过程中的资源使用统计、数据周转统计、执行信息统计和趋势；

对比模块514，用于分析周期性业务信息，对同一业务在一定时间段内每次运行情况进行对比，发现此业务的运行趋势和异常。

进一步的，参考图7，该基于大数据分析挖掘的公共信息智能分析平台中，统计分析模块513包括：第一分析模块5131和第一统计模块5132；

第一分析模块5131，用于对业务运行过程中的网络流量、IO读写、资源使用情况和运行中的Map和Reduce运行信息进行分析；

第一统计模块5132，用于统计出业务执行过程中的计算偏重率、本地数据操作优化率和数据处理速率趋势。

进一步的，参考图8，该基于大数据分析挖掘的公共信息智能分析平台，统计分析模块513包括：第二分析模块5133和第二统计模块5134：

第二分析模块5133，用于对同一业务在一段时期内每次运行结束后的统计信息的分析；

第二统计模块5134，用于获取该业务在此时间段内的运行趋势，这些运行趋势有：业务操作数据量变化、业务执行时间信息的变化和业务资源使用量变化。

具体的，大数据平台中的应用中，有作业在执行过程中会产生大量中间数据，当平台存储不充足时，这些中间数据会大大影响大数据平台的计算能力，从而拖慢整个集群，造成任务大规模失败。所以对作业运行过程信息进行统计很有必要，当任务开始运行后，定时获取任务运行信息，然后对任务运行状态的一系列数据进行分析和展示，从而可以分析出作业执行的中间运行趋势，保障作业的顺利执行。大数据平台中每天都有新的数据导入，每天需要运行特定的程序对新的数据进行处理和分析，对于这些每天运行的作业可以通过历史作业统计信息寻找规律，从而对作业运行情况进行判断和预测。本***对大数据平台上的作业进行统计分析信息如下：

网络流量，即Hadoop作业在运行过程中拉取数据时产生的流量，产生网络流量有以下三个阶段：Map端从HDFS上获取输入数据阶段，shuffle阶段获取Map端输出数据阶段，Reduce操作完成后将输出写入到HDFS阶段。可以通过分析作业IO相关的两个counter获取作业和HDFS之间流量大小，这两个Counter分别是；文件***统计信息组的FileSystem Counters中的HDFS_BYTES_READ和HDFS_BYTES_WRITTEN。而MapReduceFramework信息组中的Reduce shuffle bytes表示了作业在shuffle过程中拉取数据产生的流量，也表示是Map端传输给Reduce端总共数据量大小。Hadoop作业的网络流量即可通过上面的三个参数进行统计。

IO读写：通过分析作业的IO读写数据，可以获取作业在执行过程中操作的文件***偏向，Hadoop默认记录了作业的对文件***的所有IO操作，这些操作的统计数在FileSystemCounters组内，对FileSystemCounters计数器组分析如下：

1.HDFS_BYTES_READ表示作业在执行过程中从HDFS上读取数据的字节数，由于MapReduce作业只有Map阶段从HDFS读取数据，所以也表示Map从HDFS上获取数据的总量，包括split元数据。

2.HDFS_BYTES_WRITTEN表示作业在执行过程中向HDFS上写入数据的字节总数，MapReduce作业的Reduce阶段在执行完毕后，将计算结果写入HDFS，如果作业中没有Reduce阶段，则在作业Map阶段执行完毕后，把Map阶段的输出结果存入HDFS。

3.HDFS_READ_OPS表示作业在执行过程中，总共对HDFS进行读操作的次数。

4.HDFS_WRITTEN_OPS表示作业在执行过程中，总共对HDFS进行写操作的次数。

5.FILE_BYTES_READ表示作业在执行过程中从本地磁盘上读取数据的字节数，MapReduce作业的Map和Reduce端会进行排序操作，需要读取本地磁盘中的中间计算数据。

6.FILE_BYTES_WRITTEN表示作业在执行过程中从本地磁盘上读取数据的字节数，MapReduce作业的Map和Reduce端会进行排序操作，需要将临时的中间结果写入本地磁盘中。

7.FILE_READ_OPS累计读取本地磁盘的操作数。

8.FILE_WRITTEN_OPS累计读取本地磁盘的操作数

进一步的，该基于大数据分析挖掘的公共信息智能分析平台中，云化数据支撑模块利用云平台进行ETL调度，实现数据的清洗和集成；

信息展示模块31中的分析报告包括业务类型、业务标题、基本情况介绍、原因分析、分析图、相关报表、建议，可以进行在线编辑、下载操作。

本发明实施例提供的一种基于大数据分析挖掘的公共信息智能分析平台，通过灵活创建、配置分析模型，采用集群化计算方法，对企业运行中的海量数据进行智能分析，解决了传统数据处理方法实时性、高效性和交互性不能适应企业大数据分析需求的问题，帮助用户实时地感知校情，从而提高企业管理效率和业务处理水平。

与现有技术相比，本发明有如下优点：

1、处理速度快：***架构方案采用大数据技术对计算、存储任务进行合理调度，可以充分发挥***中每一个集群节点的运算能力；业务需求增长时，能够方便地通过添加集群节点来扩展***规模、提升***性能。

2、用户体验较好：***支持多种终端运行，支持各级校情指标的实时可视化，提供简单直观的交互方式；

3、灵活度高：可以根据本企业的实际情况灵活创建、配置分析模型；***采用分层设计，易于部署实施、升级维护。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于大数据分析挖掘的公共信息智能分析平台，其特征在于，包括：

大数据预处理模块，用于通过云化的方式对企业信息进行存储和预处理；所述预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理；

智能分析模块，用于根据上层发送指令对上层发送的任务数据进行大数据分析，并综合利用大数据预处理模块提供的数据，进行事件因果分析、公司整体情况评估、未来趋势预测，以及将分析结果返回给上层；

信息展示模块，用于生成数据分析任务传递给智能业务分析模块并接收返回的结果；通过可交互的可视化技术将企业信息的分析评估结果、各类详情数据分层级进行综合、实时的展现；以及为用户提供操作界面；所述操作界面至少包括以下功能中的一种或多种：具有可视化图表、分析报告、内容检索和消息推送/订阅。

2.根据权利要求1所述的基于大数据分析挖掘的公共信息智能分析平台，其特征在于，所述大数据预处理模块包括：大数据存储模块和云平台管理模块；

所述大数据存储模块通过分布式***基础架构Hadoop存储企业信息的管理数据；

所述云平台管理模块，用于实现负载均衡、资源虚拟化、分布式数据存储管理和应用程序编程接口API接口功能。

3.根据权利要求2所述的基于大数据分析挖掘的公共信息智能分析平台，其特征在于，

所述大数据存储模块基于大数据技术体系，采用HadoopHDFS+Hive的模式构建大数据仓库，在大数据仓库的基础上构建多维数据集，为上层模块提供数据支持。

4.根据权利要求3所述的基于大数据分析挖掘的公共信息智能分析平台，其特征在于，所述智能分析模块包括分析模块和指标评估模块；

所述分析模块，用于实现即席查询/组合条件查询、多维OLAP、KPI指标、MDX查询等分析功能，同时实现分类、聚类、关联规则等数据挖掘功能，以及灵活的参数配置功能；

指标评估模块，用于根据预设数据信息进行实时公司情况实时评估；所述预设数据信息包括：人力、财务、物质和业务。

5.根据权利要求4所述的基于大数据分析挖掘的公共信息智能分析平台，其特征在于，还包括运行监控模块；

所述运行监控模块，用于对公共信息智能分析平台的整体运行情况进行实时监控，并将大数据平台中所有组件的监控信息发送至所述信息展示模块进行集中展示。

6.根据权利要求5所述的基于大数据分析挖掘的公共信息智能分析平台，其特征在于，还包括运行统计模块；所述运行统计模块包括：计时模块和统计模块；

所述计时模块，用于根据预设周期进行计数，并在每一次计数到达一个预设计数周期时生成提示信息；

所述统计模块，用于根据所述提示信息，定时对平台上完成的业务监控数据进行统计，并将周期性业务监控数据进行抽取和存储。

7.根据权利要求6所述的基于大数据分析挖掘的公共信息智能分析平台，其特征在于，所述运行统计模块还包括：统计分析模块和对比模块；

所述统计分析模块，用于对公共信息智能分析平台上的业务运行情况进行统计和分析；分析业务运行过程信息，获取业务运行过程中的资源使用统计、数据周转统计、执行信息统计和趋势；

所述对比模块，用于分析周期性业务信息，对同一业务在一定时间段内每次运行情况进行对比，发现此业务的运行趋势和异常。

8.根据权利要求7所述的基于大数据分析挖掘的公共信息智能分析平台，其特征在于，所述统计分析模块包括：第一分析模块和第一统计模块；

所述第一分析模块，用于对业务运行过程中的网络流量、IO读写、资源使用情况和运行中的Map和Reduce运行信息进行分析；

所述第一统计模块，用于统计出业务执行过程中的计算偏重率、本地数据操作优化率和数据处理速率趋势。

9.根据权利要求8所述的基于大数据分析挖掘的公共信息智能分析平台，其特征在于，所述统计分析模块包括：第二分析模块和第二统计模块；

所述第二分析模块，用于对同一业务在一段时期内每次运行结束后的统计信息的分析；

所述第二统计模块，用于获取该业务在此时间段内的运行趋势，这些运行趋势有：业务操作数据量变化、业务执行时间信息的变化和业务资源使用量变化。

10.根据权利要求9所述的基于大数据分析挖掘的公共信息智能分析平台，其特征在于，所述云化数据支撑模块利用云平台进行ETL调度，实现数据的清洗和集成；

所述信息展示模块中的分析报告包括业务类型、业务标题、基本情况介绍、原因分析、分析图、相关报表、建议，可以进行在线编辑、下载操作。