CN105279603A - 可动态配置的大数据分析***及方法 - Google Patents

Abstract

本发明公开了一种可动态配置的大数据分析***与方法，所述***包括实时数据存储管理模块、实时流分析计算模块、离线分析模块、可视化模块等四大模块，每一个模块中都设计了至少一个可进行动态配置管理的组件，如数据管理配置组件、实时流分析计算配置组件、离线分析计算配置组件、动态配置组件。本发明还提出了一种大数据分析***的动态配置方法，设计了各组成模块的数据结构及消息结构，通过动态配置管理器中的警示数据结构的状态信息驱动***的动态配置，提出了警示冗余度的计算方法及动态配置方法，通过上述方式，本发明能够使***运行于一个高效率的大数据分析计算水平，有效地解决了大数据分析平台管理的优化过程。

Description

可动态配置的大数据分析***及方法

技术领域

本发明涉及大数据分析应用领域，尤其是涉及一种可动态配置的大数据分析***及方法。

背景技术

现在的商务智能***、决策支持***等日益要求支持大数据集成与分析，由于大数据分析计算的数据量大、过程复杂、处理时间长，因而大数据分析及应用也正面临着一种新的挑战：***必须具有高可靠性，要求软件***对变化具有自适应性，这些***需要具有在不中断***服务前提下更新配置的能力，容错管理问题，如何在更新失败的情况下处理异常，使***保持正常稳定的运行。即动态配置技术是实现大数据平台软件自适应可靠性的一种重要手段。

早期的大数据并行处理框架Hadoop受限于单点故障及计算模式相对单一，Hadoop2.0引入YARN这一通用资源管理***，提升了***可靠性和整个集群的资源利用率，使其成为可以运行包括实时流处理框架Storm、Spark等多种大数据处理框架及编程模式，但提高大数据分析应用***的容错能力，进一步使***具有好的可靠性仍然是一个难题。

当前正广泛兴起的大数据引擎Spark技术最初由UCBerkeley大学的AMPLab实验室开发，现在是由Apache基金管理的开源项目。Spark的目标是满足绝大多数据数据处理以及挖掘的应用，使数据分析程序运行的更快，容错性更好的一种通用的支持内存计算的模型。Spark引入了弹性分布式数据集(ResilientDistributedDataSets)RDD模型，以充分利用内存资源提升计算效率。与其它的大数据处理框架不同的是，Spark可以在Shark、MLlib、GraphX和SparkStreaming的基础上利用一个引擎高效的处理从ETL到SQL到机器学习再到流数据的处理。使用Spark加SparkStreaming(或Shark,B1inkDB)用于实时和批处理；使用SparkStreaming加MLlib用于流处理和机器学习；使用Spark加GraphX用于图流水线等。但这种新的实时性流计算框架尽管实时性能与容错性能得到了大的改善，但***的高可靠性与高可用性仍然是一个挑战性问题。

随着大数据平台中分布式***规模越来越庞大、行为越来越复杂，***中出现的各种故障也呈指数级增长，给工业界、政府部门带来非常严重的危害和损失，***一旦发生停机事件，将会带来巨大损失和困扰，因此这些大数据分析***需要具有在不中断***服务前提下具有自动配置的能力，以提高***的可靠性，增强***风险控制能力，提高软件平台的整体运行效率。针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

本发明所要解决的技术问题是：提供用于大数据分析计算运行期的动态优化配置，以提高***的可靠性，增强风险控制能力。

为了解决上述技术问题，本发明采用的技术方案为：提供一种可动态配置的大数据分析***，包括：

实时数据存储管理模块，用于在分布式服务集群中获取实时流数据，并动态配置相关控制参数，并存储；

实时流分析计算模块，用于统计分析实时数据，获得实时计算结果，并对实时分析算法负载进行任务调整；

离线分析模块，用于统计分析离线数据，获得离线计算结果，并对离线分析算法负载进行任务调整；

可视化模块，用于对实时计算结果及离线计算结果进行可视化展示，并在设置的时延范围内提供动态图表，及时显示集群服务运行状态和响应情况，对超过阈值数据进行报警处理。

为解决上述问题，本发明还提供一种大数据分析***的动态配置方法，包括如下步骤：

S1：预设时间窗口，由动态配置管理器预设警示数据结构，并初始化；

S2：在节点内根据对象实例的任务类型设定对象实例的预警冗余度下界与上界的经验初始值以及一个参数调整步长常数；

S3：计算对象实例的预警冗余度值；

S4：确定所述预警冗余度值位于下界与上界的经验初始值之间，并生成随机数；

S5：根据步长、随机数、上界及下界的经验初始值，计算出优化上界值及优化下界值；

S6：确定所述预警冗余度值位于优化下界值与优化上界值之间；

S7：在预设的时间窗口内，轮询动态配置管理中的警示信息列表；

S8：针对节点状态的警示信息列表，修改节点状态，以实现节点的动态维护。

本发明的有益效果在于：区别于现有技术，本发明通过上述模块的协同配合，实现***性能的配置优化，同时通过计算警示冗余度，使得***可运行于一个高效率的大数据分析计算平台上，既提高了***的可靠性，又增强风险控制能力。

附图说明

图1为本发明***的结构示意图；

图2为本发明方法中***各节点处于NORMAL状态时各类对象实例冗余度的动态维护的流程示意图；

图3为本发明方法中基于警示信息列表中节点状态的动态配置维护流程示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：通过***的各个模块的协同作用，实现***性能的配置优化，进而获得高效率的大数据分析计算平台。

请参照图1，本发明实施例提供一种可动态配置的大数据分析***，包括：

实时数据存储管理模块，用于在分布式服务集群中获取实时流数据，并动态配置相关控制参数，并存储；

实时流分析计算模块，用于统计分析实时数据，获得实时计算结果，并对实时分析算法负载进行任务调整；

离线分析模块，用于统计分析离线数据，获得离线计算结果，并对离线分析算法负载进行任务调整；

可视化模块，用于对实时计算结果及离线计算结果进行可视化展示，并在设置的时延范围内提供动态图表，及时显示集群服务运行状态和响应情况，对超过阈值数据进行报警处理。

其中，所述实时数据存储管理模块包括：

实时流数据获取组件，用于获取分布式服务集群中的实时流数据，并进行格式化、过滤、收集，并在收集过程中，完成流数据的分批工作；

实时存储组件，用于将格式化之后的数据交换格式异步发送至HDFS，将数据批进行存储。

存储管理配置组件，用于实时数据存储管理模块动态配置相关控制参数。

其中，所述实时流分析计算模块包括：

实时流处理组件，用于从HDFS中获取数据以进行实时分析，获取实时计算结果；并将实时计算结果持久化，发送给可视化模块，以及存储到HDFS中；

实时数据分析组件，用于对实时数据进行统计分析以及基于机器学习的智能分析，并对实时分析算法负载进行任务调度，实现负载均衡；

实时流分析计算配置组件，用于实时流分析计算模块动态配置相关控制参数。

其中，所述离线分析模块包括：

离线数据处理组件，用于从HDFS中获取离线数据以进行离线分析，获取离线计算结果，并将离线计算结果持久化，发送给可视化模块，以及存储到HDFS与NoSQL中。

离线数据分析组件，用于对离线数据进行统计分析以及基于机器学习的智能分析，并对离线分析算法负载进行任务调度，实现负载均衡；

离线数据分析计算配置组件，用于离线分析模块动态配置相关控制参数。

其中，所述可视化模块包括：

动态配置组件，用于协同上述模块，实现***性能的配置优化；

实时分析视图组件，用于可视化展示实时计算结果，包括实时汇总、实时统计分析及智能预测的数据。

离线分析视图组件，用于可视化展示离线计算结果，包括主题消息的汇总、状态分析及智能预测结果的展示，以及所在地服务请求的统计汇总。

动态配置视图组件，用于展示配置数据，并关联到展示实时计算结果及离线计算结果的检测精度。

一种大数据分析***的动态配置方法，包括如下步骤：

S1：预设时间窗口，由动态配置管理器预设警示数据结构，并初始化；

S2：在节点内根据对象实例的任务类型设定对象实例的预警冗余度下界与上界的经验初始值以及一个参数调整步长常数；

S3：计算对象实例的预警冗余度值；

S4：确定所述预警冗余度值位于下界与上界的经验初始值之间，并生成随机数；

S5：根据步长、随机数、上界及下界的经验初始值，计算出优化上界值及优化下界值；

S6：确定所述预警冗余度值位于优化下界值与优化上界值之间；

S7：在预设的时间窗口内，轮询动态配置管理中的警示信息列表；

S8：针对节点状态的警示信息列表，修改节点状态，以实现节点的动态维护。

其中步骤S4具体为：

S41：判断所述预警冗余度值是否大于等于下界经验初始值；

若是，则执行S42：更新所述对象实例；

若否，则执行S411：判断所述对象实例是否处于就绪状态；

若是，则执行S412：激活所述对象实例，并返回步骤S41；

若否，则执行S413：创建任务实例，并返回步骤S41；

其中在步骤S42之后，还包括S43：判断所述预警冗余度值是否小于等于上界经验初始值；

若是，则执行S44：更新所述对象实例，并生成随机数；

若否，则执行S431：判断所述对象实例是否处于就绪状态或重载状态；

若是，则执行S432：删除所述对象实例，并返回步骤S43；

若否，则执行S433：调整对象实例的参数，并返回步骤S43。

其中，步骤S412之后，还包括：

S414：判断是否激活成功；

若是，则返回步骤S41；

反之，则执行S415：设定警示节点信息列表的节点状态为重载；

步骤S413之后，还包括S416:判断是否创建成功；

若是，则返回步骤S41；

反之，则执行S415。

其中，步骤S432之后，还包括S434：判断是否删除成功；

若是，则返回步骤S43；

反之，则执行S415；

步骤S433之后，还包括S436：判断是否调整成功；

若是，则返回步骤S43；

反之，则执行S415。

其中，步骤S5具体为：

S51：计算所述优化下界值：优化下界值＝下界经验初始值+步长*随机数；

S52：计算所述优化上界值：优化上界值＝上界经验初始值-步长*随机数。

为了方便理解理解上述技术方案，本发明结合图1～图3提供一个具体的实施例进行阐述。

首先，需要说明的是，在大数据分析计算中，大规模分布式计算服务需要进行***优化，提高***的容错性能仅仅从***开发过程来保证是不够的。因为大数据分析计算***中涉及***性能的参数繁多，难以调控，这是一个十分困难的工作。针对这一挑战性的问题，本发明提出一种可动态配置的大数据分析***与方法，该***包括实时数据存储管理模块、实时流分析计算模块、离线分析模块、可视化模块等四大模块，每一个模块中都设计了一个可进行动态配置管理的组件，如数据管理配置组件、实时流分析计算配置组件、离线分析计算配置组件、动态配置组件。其中，动态配置组件是***动态配置管理的核心，其同时与各模块协同实现***性能的配置优化。而***可以采用当前最新的大数据平台技术进行实现，如Hadoop、Kafka、SparkStreaming、Hive等，目前本发明提供的***通过产品线部署检测，运行状况良好。

本发明提出的可动态配置的大数据分析***的总体结构，如图1所示。本***采用模块化设计，主要包括实时数据存储管理模块、实时流分析计算模块、离线分析模块、可视化模块等四大模块。各个模块的主要功能如下：

⑴实时数据存储管理模块

该模块由三个组件构成，包括：实时流数据获取组件、实时流数据存储组件、实时存储管理配置组件。

实时流数据获取组件主要负责对现有大规模分布式服务集群中的实时流数据进行获取，由该组件完成格式化、过滤和收集，在收集过程中，完成流数据的分批工作(batchingmodule)。

实时存储组件将格式化之后的数据交换格式JSON异步发送至HDFS将数据批batch进行存储，同时也由该组件将数据送到批队列(batchqueue)中提供给实时计算组件。

存储管理配置组件主要负责本模块动态配置相关控制参数。

⑵实时流分析计算模块

该模块由三个组件构成，包括：实时流处理组件、实时数据分析组件、实时流分析计算配置组件。

实时流处理组件主要为实时分析组件提供服务。一方面，负责从HDFS中拉取离线计算结果的相关数据提供分析组件做分析参考，这是属于实时分析的预计算；另一方面，将分析结果持久化，既提供给上层可视化提供数据来源，也要将数据存储到HDFS。

实时数据分析组件主要负责经典统计分析以及基于机器学习的智能分析，并对分析算法负载进行任务调度，实现负载均衡。

实时流分析计算配置组件主要负责本模块动态配置相关控制参数。

⑶离线分析模块

该模块由三个组件构成，包括：离线数据处理组件、离线数据分析组件、离线数据分析计算配置组件。

离线数据处理组件主要为离线分析组件提供服务。一方面，负责从HDFS中拉取离相关数据，为离线分析进行预计算；另一方面，将离线数据分析结果持久化，既提供给上层可视化提供数据来源，也将计算结果数据存储到HDFS与NoSQL。

离线数据分析组件主要负责经典的全局统计分析以及基于机器学习的全局智能分析，并对离线分析算法负载进行任务调度，实现负载均衡。

离线数据分析计算配置组件主要负责本模块动态配置相关控制参数。

对于离线计算分析模块主要是对分布式集群中数据进行离线的经典统计分析。

离线数据分析任务按设定时间窗口进行调度，根据计算结果生成报表，供服务开发和运维人员对服务进行资源调配以及后期优化参考。

⑷可视化模块

该模块由四个组件构成，包括：动态配置组件、动态配置视图组件、实时分析视图组件、离线分析视图组件。

该模块主要对实时流分析计算模块以及离线数据分析计算模块所产生的计算结果进行可视化展示，允许在设置的时延范围内提供动态图表，及时显示集群服务运行状态和响应情况，对超过阈值数据进行报警处理。

本模块展示的数据分为三类：

a、实时分析视图组件展示实时分析数据

该部分主要包括各分析结果实时汇总，以及实时统计分析与智能预测的数据。

b、离线分析视图组件展示离线分析数据

该部分主要包括各种主题消息的汇总与状态分析与智能预测结果的展示，包括所在地服务请求的统计汇总。

c、动态配置视图组件展示配置数据，并可关联到展示分析结果的检测精度。

为了适应当前大规模分布式服务***的服务状态的有效分析，提升实时分析的即时分析效益，往往需要及时发现异常的分析任务，使得这种实时分析***的可用性要求提高，本发明对这种实时流计算***构建了冗余配置技术，实现实时流计算***的动态配置，在保证***可用性的前提下提高实时大数据分析***的性能，提升即时分析的时效性。

为便于讨论，其中对本发明所述***作以下说明：

⑴***有N个节点，共提供M类数据分析或统计计算任务；

⑵本发明所述***完成一类任务的组件之间是松散耦合的，即***可为节点之间提供可靠的异步通讯机制，同时异步之间的通讯开销相同。

下面针对实时分析的时效性提出一种动态配置方法，首先对***中的各种配置管理工作的数据结构用BNF范式的基本语法形式来表示。

一、实例任务的数据结构

设定一个时间窗口为timeWindow，在给定的timeWindow时间跨度内对整个大数据分析***本发明所述的一个实例对象请求定义为：

Task::＝<Td,Load,λArrive,λCur>

其中Td表示判断对象计算任务失效的超时时间，Load是对象实例任务请求的平均任务量，λArrive是一种存储对象实例请求到达率的数组，λcur是当前对象请求平均到达率，初始时设定：λCur＝λArray[0]。

二、节点相关的数据结构

对***中节点用NodeID进行唯一标识，用NodeName表示节点名，***中节点信息列表NodeList以及***的对象实例列表ObjectList。

NodeList[NodeID]::＝<NodeName,NodeCapacity,ActiveInstNum,ObjectList,NodeStatus,ObjTypeSet>

其中的NodeCapacity表示节点NodeID在单位时间内能处理的任务量，ActiveInstNum表示该节点活性实例数目，ObjTypeSet表示该节点对象类型的集合，可以为INADMIN、RTADMIN、或者OLADMIN。

ObjectList[ObjID]::＝<ObjectName,ObjInstList,Task>

其中的ObjID是***中服务对象类的唯一标识，ObjectName是***中服务对象类的名称，ObjInstList表示该类服务对象所管理的实例列表，Task表示该类服务对象的任务信息模型。

ObjInstList[ObjInstID]::＝<NodeID,InstStatus,InstLoad>

其中的ObjInstID是***中服务对象实例的唯一标识，NodeID是该实例的宿主节点标识，InstStatus是***中服务对象实例状态标识(正常、重载)，InstLoad表示对象实例ObjInstID当前的负载。

InstStatus::＝<NORMAL|OVERRIDE>，其中的NORMAL表示实例处于正常状态，OVERRIDE表示实例处于重载状态。

NodeStatus::＝<NORMAL|READY|OVERRIDE>，其中的NORMAL表示节点处于正常状态，READY表示节点处于就绪状态，OVERRIDE表示节点处于重载状态。

三、数据存储管理配置组件的数据结构

该存储管理配置组件的配置数据结构用InConfAdmin表示，主要是设定流数据分批工作的模块参数以及存储参数控制。如何构成一个处理批的数据量的大小，通常分为静态设置与动态设置二种策略模式，对于数据源的均匀供给情况下，以固定大小的容易适合实时分析并实时结果展示，对于数据源是随机供给产生时，以动态时间窗口timeWindow为适宜。数据形式定义如下：

InConfAdmin::＝{<NodeList,BatchingRef,StoringRef>}

NodeList为3.2节中的相应定义，对于NodeList中的ObjTypeSet设定为INADMIN，表示为数据存储管理类型的节点，BatchingRef表示流处理组件中的分批(BatchingRef)参数控制，表示流处理组件中存储参数StoringRef控制。对于数据存储管理组件中的批处理与存储而言的警示信息定义如下：

AlarmIn::＝{<BatchingAlarm,StoringAlarm>}，BatchingAlarm是批的数据容易过少或过大，StoringAlarm是指存储延迟警示。

四、实时流分析计算配置组件的数据结构

实时流分析计算配置组件RTConfAdmin作为实时分析计算模块相关参数的管理者，主要维护***中参与分析计算的节点信息列表NodeList，实时分析任务列表TaskList；同时，对实时流分析计算模块中分析组件所承担的负载均衡参数(RTLoad)进行设定。相应的数据结构定义如下：

RTConfAdmin::＝<NodeList,RTAnalysisReferenceList,RTTaskList,RTLoad>

NodeList为3.2节中的相应定义，对于NodeList中的ObjTypeSet设定为RTADMIN，相应地对于NodeList中的ObjectList是***中实时分析对象的信息列表，RTAnalysisReferenceList是实时分析参数列表，RTTaskList是实时分析任务列表，其列表元素类型是Task规定的分析实例的任务模型，RTLoad是实时计算配置组件节点的负载。

五、离线分析计算配置组件的数据结构

离线分析计算配置组件OLConfAdmin作为离线分析计算模块相关参数的管理者，主要维护***中参与离线分析计算的节点信息列表NodeList，离线分析任务列表OLTaskList，同时，对离线分析计算模块中分析组件所承担的负载均衡参数(OLLoad)进行设定。相应的数据结构定义如下：

OLConfAdmin::＝<NodeList,RTAnalysisReferenceList,RTTaskList,RTLoad>

NodeList为3.2节中的相应定义，对于NodeList中的ObjTypeSet设定为OLADMIN，相应地，对于NodeList中的ObjectList是***中离线计算分析对象的信息列表，OLAnalysisReferenceList是离线计算分析参数列表，OLTaskList是离线计算分析任务列表，其列表元素类型是Task规定的分析实例的任务模型，OLLoad是离线计算配置组件节点的负载。

六、动态配置视图组件的数据结构

动态配置视图(记为ViewConf_Admin)位于本发明所述***上层的可视化层面，维护***总体中的配置信息列表。

ViewConfAdmin::＝{<AlarmAdmin，RTConfAdmin,OLConfAdmin,InConfAdmin>}

该动态配置方法由四个配置组件组成：动态配置视图ViewConf_Admin用于全局管理；AlarmAdmin表示警示配置管理，RTConfAdmin表示实时流分析计算配置组件，作为实时分析计算模块相关参数的管理者；OLConfAdmin表示离线数据分析计算配置组件，主要负责该离线计算模块动态配置相关控制参数；InConfAdmin表示存储管理配置组件，主要负责该模块动态配置相关控制参数。

七、动态配置管理器的数据结构

在***上层动态配置视图ViewConfAdmin中的警示管理器AlarmAdmin有能力来维护视图结构中的配置信息列表，对于***的警示信息所必须做的操作主要包括节点以及对象实例需要做相应的操作，如重载操作、参数调整操作、删除操作、激活操作、更新操作、置空操作等等。警示配置管理数据结构用AlarmAdmin表示，用以执行ViewConfAdmin中所展示的动态配置该节点的相关任务。这种，其相应的结构定义如下：

AlarmAdmin::＝<AlarmNodeList,AlarmObjectInstList,AlarmTaskList>

AlarmNodeList[NodeID]::＝{<NodeStatus,NodeLoad>}

AlarmObjectInstList[ObjectInstID]::＝{<NodeID,AlarmObjID,AlarmInstID,InstLoad>}

AlarmTaskList[TaskID]::＝{<TaskName>}

其中，AlarmNodeList是警示信息中的节点列表，AlarmObjectInstList是警示信息中的相关运行的对象实例列表，AlarmTaskList是警示任务信息列表。

八、动态配置方法中的消息

对大数据分析***中采用动态配置方法，消息结构是运行期动态调整***配置的通信基础。下面形式定义所必须的几种消息类型，其中的AlarmObjectInstList表示警示的运行时对象实例信息，AlarmNodeID是警示的唯一节点标识。

(1)Alarm(<[NodeID]>,<[ObjInstList]>):数据存储管理模块、实时计算模块以及离线计算模块向动态配置视图ViewConfAdmin发送警示节点及对象实例的列表信息。

(2)Adjust(<[NodeList],[ReferenceList]>|<[NodeID],[ObjInstList],[ReferenceList]>):动态配置视图组件ViewConfAdmin通过动态配置管理器向数据存储管理模块、实时计算模块以及离线计算模块发送节点及对象实例的参数调整信息。

(3)OverLoad([NodeList]|<[NodeID],[ObjInstList]>):动态配置视图组件ViewConfAdmin通过动态配置管理器向数据存储管理模块、实时计算模块以及离线计算模块发送节点及对象实例的重载信息。

(4)Active([NodeList]|<[NodeID],[ObjInstList]>):动态配置视图组件ViewConfAdmin通过动态配置管理器向数据存储管理模块、实时计算模块以及离线计算模块发送对象实例的激活信息。

(5)Delete([NodeList]|<[NodeID],[ObjInstList]>):动态配置视图组件ViewConfAdmin通过动态配置管理器向数据存储管理模块、实时计算模块以及离线计算模块发送节点或对象实例的删除信息。

(6)Update(<[NodeList],[ReferenceList]>|<[NodeID],[ObjInstList],[ReferenceList]>):各模块节点(数据存储管理模块、实时计算模块以及离线计算模块)通过动态配置管理器向动态配置视图组件ViewConfAdmin发送节点或对象实例的状态或参数更新信息。

(7)GetLoad([NodeList]|<[NodeID],[ObjInstList]>):动态配置视图组件ViewConfAdmin通过动态配置管理器向数据存储管理模块、实时计算模块以及离线计算模块发送节点或对象实例的获取负载熵的信息。

(8)SetNull([NodeList]|<[NodeID],[ObjInstList]>):动态配置视图组件ViewConfAdmin通过动态配置管理器向数据存储管理模块、实时计算模块以及离线计算模块发送节点空载信息。

(9)Create([NodeList]|<[NodeID],[ObjInstList]>):动态配置视图组件ViewConfAdmin通过动态配置管理器向数据存储管理模块、实时计算模块以及离线计算模块发送节点或对象实例的创建信息，并初始化相关信息。

在上述数据结构定义后，请参阅图2～图3，以方便理解本发明所述的动态配置方法。

其中，应当理解的是，大数据分析计算***身就是一种复杂的大规模分布式应用，由一个动态配置管理器(DynamicConfigurationManager,DCM)进行配置驱动运行时的容错处理和相应的资源配置功能的动态实施，使相关参数及配置应能动态调整以适应环境、应用需求和***资源的变化。同时在***中，通过动态调整分析计算实例相关配置参数可以保证在***可用性不变的前提下改善***的性能。本发明提出了一种基于大数据分析***中的动态配置方法，目标是优化***性能，提高***的效率。

1、动态配置中的负载熵、预警冗余度

在***运行期间，分析处理请求的平均到达率增大或对请求调度的不合理都可能造成各节点重载。

设定负载熵函数为delta()，将实例对象失效定义为请求的响应延迟为∝，用户对***性能和可用性的需求量化为关于请求的响应时间的罚值函数，因此，响应时间越短，用户定义的惩罚值越低。delta(<[NodeID],[ObjInstID]>)定义如(1)式。

$delta(<\&lsqb;NodeID\&rsqb;,\&lsqb;ObjInstID\&rsqb;>)::={\&Integral;}_0^{TD}w\left(t\right)\&CenterDot;P\left(t\right)dt+wf\&CenterDot;F\left(u\right)......\left(1\right)$

其中，delta()为节点NodeID的对象实例ObjInstID的任务负载熵函数，P(t)是实例对象ObjInstID请求的响应时间为t的概率，w(t)是请求的响应时间定义的惩罚值函数，wf是实例对象失效时的惩罚值，F(u)是实例对象失效的概率，u是实例对象的静态阈值，这个阈值u的计算依赖于实例对象请求的平均到达率。根据经验公式可获得实例请求的响应时间同负载的函数关系。

服务对象的冗余度是一种度量使同类服务对象在当前时间窗口内可以增加承担对象实例任务Task中的负载Load中的程度，与实例请求的当前平均到达时间与响应时间有关，指定类列的对象实例的预警冗余度表示为AlarmRedundancy()。

通常λCur是当前实例对象请求平均到达率，AlarmRedundancy()的定义如下：

AlarmRedundancy(<[NodeID],[ObjInstID]>)::＝(λCur-λArray)*K+(λRespondTime-Td)*H+delta(<[NodeID],[ObjInstID]>)*L(2)

其中的K、H与L都是经验性常数，delta()为节点NodeID的对象实例ObjInstID的任务负载熵函数。λRespondTime是当前对象类的平均响应时间，其定义如下：

λRespondTime(<[NodeID],[ObjInstID]>)::＝TExecutive+TDesignWait+TWait(3)

TExecutive是实例任务的平均执行时间，TDesignWait是在所在节点中待指派任务的等待时间，TWait是该对象类型的实例的平均等待时间。

$TExecutive(<\&lsqb;NodeID\&rsqb;,\&lsqb;ObjInstID\&rsqb;>)::=\frac{Load(<\&lsqb;NodeID\&rsqb;,\&lsqb;ObjInstID\&rsqb;>)}{E\left(NodeCapacity\right(<\&lsqb;NodeID\&rsqb;,\&lsqb;ObjInstID\&rsqb;>))}---\left(4\right)$

其中Load()是指定节点NodeID中指定对象的实例的任务负载(见3.1)，E(NodeCapacity())是指定节点NodeID在单位时间内能处理的任务量的数学期望值(见3.2)，其定义如下：

$E\left(NodeCapacity\right(<\&lsqb;NodeID\&rsqb;,\&lsqb;ObjInstID\&rsqb;>\left)\right)::=\frac{\underset{ObjInstID}{\overset{Sum\left(ObjInstNum\right)}{\mathrm{\&Sigma;}}}NodeCapacity(<\&lsqb;NodeID\&rsqb;,\&lsqb;ObjInstID\&rsqb;>)}{Sum\left(ObjInstNum\right)}---\left(5\right)$

其中的Sum(ObjInstNum)是实现指定的节点NodeID中指定对象ObjInstID的实例的数目。

$TDesignWait(<\&lsqb;NodeID\&rsqb;,\&lsqb;ObjInstID\&rsqb;>)::=\frac{TQueueLength(\&lsqb;NodeID\&rsqb;)}{\mathrm{\&lambda;}Cur(\&lsqb;NodeID\&rsqb;,\&lsqb;ObjInstID\&rsqb;)}---\left(6\right)$

其中的TQueueLength()是指定节点的待分配队列的长度，λCur()是指定节点中指定对象类型中的请求平均到达率。

TWait(<[NodeID],[ObjInstID]>)是该对象类型的实例的平均等待时间。

结合上面(1)、(3)、(4)、(5)、(6)可计算出(2)式预警冗余度。

对象实例的预警冗余度应该有一个合理的下界值LowerBound与一个合理的上界值SupperBound，使得LowerBound≤AlarmRedundancy≤SupperBound，低于下界时表明节点对象实例处于松散状态，可增加工作任务量；若高于上界时表明节点内的对象实例处于繁忙状态，可适当减少工作任务量。

该大数据分析***中动态配置的流程如图2和图3所示，动态配置过程主要分两部分，其一是在节点状态NodeStatus处于正常NORMAL状态下，驱动各模块对***各节点内的各类实例冗余度进行动态维护，根据实例状态做重载、删除、更新、创建等操作，使节点内的运行时实例保持在一个高效的水平状态，如图2所示；其二是以节点为基本对象进行冗余度维护，根据节点状态的NodeStatus值做重载操作、更新操作、删除、创建等操作，以使整个***保持在一个较好的运行性能状态，如图3所示。

具体对节点内对象类型实例的动态冗余维护时，即对***各节点的状态变量NodeStatus处于正常NORMAL状态时，对节点内的各类对象实例冗余度进行动态维护的流程图如图2所示。

其主要过程描述如下：

(1)预设一个时间窗口timeWindow，由动态配置管理器预设一个动态配置警示数据结构AlarmAdmin，并初始化，在时间窗口内启动节点内的***维护。

(2)在节点NodeID内根据对象实例ObjInstID的任务类型设定对象实例的预警冗余度下界LowerBound与上界SupperBound的经验初始值以及一个参数调整步长常数S；

(3)计算相应的AR＝AlarmRedundancy(<[NodeID],[ObjInstID]>)值；

(4)如果AR≤LowerBound，查找警示消息列队中当前节点同类任务实例的状态信息，

A、如果存在处于READY状态的对象实例，则针对该对象实例执行激活操作Active([NodeID],[ObjInstList])；

B、如果激活操作不成功，则修改动态配置警示数据结构AlarmAdmin中的AlarmNodeList[NodeID]的NodeStatus为OVERRIDE；

C、如果不存在READY状态的对象实例，则可以新建任务实例，执行Create([NodeID],[ObjInstList])操作，如果该操作不成功，则需修改动态配置警示数据结构AlarmAdmin中的AlarmNodeList[NodeID]的NodeStatus为OVERRIDE。

(5)重复步骤(4)，直到AR>LowerBound为止。

(6)执行更新Update([NodeID],[ObjInstList])操作。

(7)如果AR≥SupperBound，查找警示消息列队中当前节点同类任务实例的状态信息：

A、如果存在处于READY或者OVERRIDE状态的对象实例，则执行删除操作Delete([NodeID],[ObjInstList])，如果删除不成功，则需修改动态配置警示数据结构AlarmAdmin中的AlarmNodeList[NodeID]的NodeStatus为OVERRIDE。

B、重复步骤A，直到AR≤SupperBound或者所有实例都了上述删除操作为止。

C、如果不存在处于READY或者OVERRIDE状态的对象实例，则执行参数调整操作Adjust([NodeID],[ObjInstList],[ReferenceList])；

D、如果参数调整操作成功，重复步骤③，直到AR≤SupperBound为止。

E、如果参数调整操作不成功，则修改动态配置警示数据结构AlarmAdmin中的AlarmNodeList[NodeID]的NodeStatus为OVERRIDE。

(8)执行更新Update([NodeID],[ObjInstList])操作。

(9)如果LowerBound≤AR≤SupperBound，生成一个随机数random，

A、LowerBound＝LowerBound+random*S，

B、BestLowerBound:＝LowerBound；

C、如果LowerBound≤SupperBound转步骤A；

D、SupperBound＝SupperBound-random*S

E、BestSupperBound:＝BestSupperBound；；

F、如果AR≤SupperBound转步骤D；

(10)输出优化的对象实例冗余度的上下界BestLowerBound和BestSupperBound。

(11)启动同一个节点NodeID内的同一类对象的下一个实例ObjInstID，转步骤(3)。

迭代结束后，节点内运行时对象实例保持在一个高水平的效率状态。

如图3所示，在针对节点的动态维护时，即针对动态配置管理器中的AlarmAdmin警示配置管理数据结构中的节点警示信息列表AlarmNodeList中NodeStatus的状态信息进行动态维护，其主要流程如图3所示。

其主要过程描述如下：

(1)在预定timeWindow内，轮询动态配置管理器中的AlarmAdmin中的警示信息列表AlarmNodeList，针对NodeStatus的警示消息队列，启动基于节点的动态维护。

(2)如果AlarmNodeList[NodeID]中的NodeStatus为NORMAL，则执行节点内对象实例冗余度的动态维护。

(3)如果AlarmNodeList[NodeID]中的NodeStatus为READY，则可以新建对象实例任务，执行Create([NodeID],[ObjInstList])操作。

A、如果创建成功，修改相应的NodeStatus为NORMAL。

B、如果创建不成功，修改相应的NodeStatus为OVERRIDE。

C、执行更新Update([NodeID])操作

(4)如果AlarmNodeList[NodeID]中的NodeStatus为OVERRIDE，则可以重载该节点，执行OverLoad([NodeID])操作。

A、如果重载成功，修改相应的NodeStatus为READY。

B、如果重载不成功，执行置空SetNull([NodeID])操作，之后执行删除操作Delete([NodeID])。

C、执行更新Update([NodeID])操作。

区别于现有技术，本发明动态配置时，在性能上具备如下优势：

(1)节点处于NORMAL时，节点内的对象实例在优化过程中需要分别执行重载、删除、激活操作。但执行这些操作时，并没有进行轮询遍历，减少了***内的网络通信开销。在计算警示冗余度的过程中，时间复杂度较高，但对于大数据分析平台的计算能力而言，这种时间复杂性是可以接受的。

对于***节点内的对象实例冗余度的上下边界的寻优过程中，在初次运行时有较大的开销，但后续的优化过程可以借助前面优化过程中的最好边界值作为经验值，可以大大省去优化过程中的开销，达到快速的优化配置的效果。

(2)当节点处于READY或OVERRIDE状态时，因为存在***节点的重载操作，***性能的开销较大，通信开销相对较少。

综上所述，本发明中的***性能相比于传统配置过程具有较好的性能优势。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种可动态配置的大数据分析***，其特征在于，包括：

实时数据存储管理模块，用于在分布式服务集群中获取实时流数据，并动态配置相关控制参数，并存储；

实时流分析计算模块，用于统计分析实时数据，获得实时计算结果，并对实时分析算法负载进行任务调整；

离线分析模块，用于统计分析离线数据，获得离线计算结果，并对离线分析算法负载进行任务调整；

可视化模块，用于对实时计算结果及离线计算结果进行可视化展示，并在设置的时延范围内提供动态图表，及时显示集群服务运行状态和响应情况，对超过阈值数据进行报警处理。

2.根据权利要求1所述可动态配置的大数据分析***，其特征在于，所述实时数据存储管理模块包括：

实时流数据获取组件，用于获取分布式服务集群中的实时流数据，并进行格式化、过滤、收集，并在收集过程中，完成流数据的分批工作；

实时存储组件，用于将格式化之后的数据交换格式异步发送至HDFS，将数据批进行存储；

存储管理配置组件，用于实时数据存储管理模块动态配置相关控制参数。

3.根据权利要求1所述可动态配置的大数据分析***，其特征在于，所述实时流分析计算模块包括：

实时流处理组件，用于从HDFS中获取数据以进行实时分析，获取实时计算结果；并将实时计算结果持久化，发送给可视化模块，以及存储到HDFS中；

实时数据分析组件，用于对实时数据进行统计分析以及基于机器学习的智能分析，并对实时分析算法负载进行任务调度，实现负载均衡；

实时流分析计算配置组件，用于实时流分析计算模块动态配置相关控制参数。

4.根据权利要求1所述可动态配置的大数据分析***，其特征在于，所述离线分析模块包括：

离线数据处理组件，用于从HDFS中获取离线数据以进行离线分析，获取离线计算结果，并将离线计算结果持久化，发送给可视化模块，以及存储到HDFS与NoSQL中；

离线数据分析组件，用于对离线数据进行统计分析以及基于机器学习的智能分析，并对离线分析算法负载进行任务调度，实现负载均衡；

离线数据分析计算配置组件，用于离线分析模块动态配置相关控制参数。

5.根据权利要求1所述可动态配置的大数据分析***，其特征在于，所述可视化模块包括：

动态配置组件，用于协同上述模块，实现***性能的配置优化；

实时分析视图组件，用于可视化展示实时计算结果，包括实时汇总、实时统计分析及智能预测的数据；

离线分析视图组件，用于可视化展示离线计算结果，包括主题消息的汇总、状态分析及智能预测结果的展示，以及所在地服务请求的统计汇总；

动态配置视图组件，用于展示配置数据，并关联到展示实时计算结果及离线计算结果的检测精度。

6.一种大数据分析***的动态配置方法，其特征在于，包括如下步骤：

S1：预设时间窗口，由动态配置管理器预设警示数据结构，并初始化；

S2：在节点内根据对象实例的任务类型设定对象实例的预警冗余度下界与上界的经验初始值以及一个参数调整步长常数；

S3：计算对象实例的预警冗余度值；

S4：确定所述预警冗余度值位于下界与上界的经验初始值之间，并生成随机数；

S5：根据步长、随机数、上界及下界的经验初始值，计算出优化上界值及优化下界值；

S6：确定所述预警冗余度值位于优化下界值与优化上界值之间；

S7：在预设的时间窗口内，轮询动态配置管理中的警示信息列表；

S8：针对节点状态的警示信息列表，修改节点状态，以实现节点的动态维护。

7.根据权利要求6所述大数据分析***的动态配置方法，其特征在于，其中步骤S4具体为：

S41：判断所述预警冗余度值是否大于等于下界经验初始值；

若是，则执行S42：更新所述对象实例；

若否，则执行S411：判断所述对象实例是否处于就绪状态；

若是，则执行S412：激活所述对象实例，并返回步骤S41；

若否，则执行S413：创建任务实例，并返回步骤S41；

其中在步骤S42之后，还包括S43：判断所述预警冗余度值是否小于等于上界经验初始值；

若是，则执行S44：更新所述对象实例，并生成随机数；

若否，则执行S431：判断所述对象实例是否处于就绪状态或重载状态；

若是，则执行S432：删除所述对象实例，并返回步骤S43；

若否，则执行S433：调整对象实例的参数，并返回步骤S43。

8.根据权利要求7所述大数据分析***的动态配置方法，其特征在于，步骤S412之后，还包括：

S414：判断是否激活成功；

若是，则返回步骤S41；

反之，则执行S415：设定警示节点信息列表的节点状态为重载；

步骤S413之后，还包括S416：判断是否创建成功；

若是，则返回步骤S41；

反之，则执行S415。

9.根据权利要求7所述大数据分析***的动态配置方法，其特征在于，步骤S432之后，还包括S434：判断是否删除成功；

若是，则返回步骤S43；

反之，则执行S415；

步骤S433之后，还包括S436：判断是否调整成功；

若是，则返回步骤S43；

反之，则执行S415。

10.根据权利要求6所述大数据分析***的动态配置方法，其特征在于，步骤S5具体为：

S51：计算所述优化下界值：优化下界值＝下界经验初始值+步长*随机数；

S52：计算所述优化上界值：优化上界值＝上界经验初始值-步长*随机数。