CN109067565A - 一种用于异构时序运维数据的融合计算方法和装置 - Google Patents

Abstract

本发明公开了一种用于异构时序运维数据的融合计算方法，包括以下步骤：通过协议或API模式采集多源异构运维数据；基于连接拓扑将所述多源异构运维数据融合为图数据；利用所述图数据，通过流计算生成监控预警报表数据。针对运维场景里海量、异构、具备时序特性的数据，通过构造挖掘其连接拓扑属性，进行新颖的融合，从而研发多尺度多层次流计算***，对此类特殊构造的连接型拓普数据进行处理。由此，可以建立IT运维环境物联、物理机、虚拟机异构数据的融合模型框架，使得IT运维有更全局的数据基础；针对融合数据，研发部署分布式与流式计算***，实现更实时、精准的预警和诊断，提升IT运维实效。

Description

一种用于异构时序运维数据的融合计算方法和装置

技术领域

本发明涉及大数据处理技术领域，更具体地说，涉及一种用于异构时序运维数据的融合计算方法和装置。

背景技术

新一代的网络运维管理***(IT运维)，开始从面向网络设备的管理向面向网络业务的管理过渡。这种网管思想把网络服务、业务作为网管对象，通过实时监测与网络业务相关的设备、应用，通过模拟客户实时测量网络业务的服务质量，通过收集网络业务的业务资料，实现全方位、多视角监测网络业务运行情况的目的，从而实现网络业务的故障管理、性能管理和配置管理。

数据融合的字面含义比较直观，业界即使在没有理论和框架指导下，许多数据搜集、处理的常规处理也暗合了许多数据融合的理念。数据融合也有许多相近相似的名称，比如数据合并(merge)、数据协同(synergy)、数据综合(integration)、数据结合(combination)等。根据1998年L.Wald提出的一个普遍定义：数据融合是一个形式上的框架，在此框架下界定不同的融合方式和工具，通过这些方式和工具将来自不同源的数据进行联合，其目的在于获取质量更好的信息，而质量的改善取决于应用。这一定义的优点在于:1)它强调了数据融合是一个构架，而不局限于工具和方法本身。2)这个定义强调融合结果的质量评价跟所服务的应用服务。这一理念框架的发展，跟之前提到的IT运维本身从聚焦于NSM向BSM演进，在架构化跟服务关联的发展思路上有异曲同工之妙。

在机器学***均法、表决法等。决策级数据融合方法主要有：贝叶斯估计法、专家***、神经网络、模糊集等。

IT运维面临的数据融合困难主要在于异构数据源的存在，主要体现在：1)物理终端碎片化、移动化、物联化的趋势；2)设备和网络各个层级虚拟化，尤其是容器虚拟化、SDN网络虚拟化。

IT***普遍具备多个节点、多个环节，采集的数据具备多来源、跨时期、结构化各异的特点。一方面随着物联网时代来临，数据中心、网络中心、设备机房等温湿度消防电力等的传感器部署日益密集。而各类物理设备在***、网络及应用层运维数据监控数据格式与结构化特征日趋多元。另外随着云技术和虚拟化发展，特别是Docker类容器虚拟化技术使得低端老旧设备虚拟化也渐趋普遍，它们高弹性扩展及即用即起特点使得虚拟化***运维数据更具瞬时性和爆发性。为实现全局的运维监控与决策，对各类半结构、非结构、时衰性数据的存储、综合、融合及检索等显得尤为必要。

发明内容

本发明的目的在于提供一种用于异构时序运维数据的融合计算方法和装置。

本发明解决其技术问题采用的技术方案是：提供一种用于异构时序运维数据的融合计算方法，包括以下步骤：

通过协议或API模式采集多源异构运维数据；

基于连接拓扑将所述多源异构运维数据融合为图数据；

利用所述图数据，通过流计算生成监控预警报表数据。

在本发明提供的用于异构时序运维数据的融合计算方法中，基于连接拓扑将所述多源异构运维数据融合为图数据的所述步骤包括：

通过数据推理，将所述多源异构运维数据由三元组时序日志格式拓展为五元组时序日志格式；

对五元组时序日志格式的所述多源异构运维数据进行融合计算，生成所述图数据。

在本发明提供的用于异构时序运维数据的融合计算方法中，在对五元组时序日志格式的所述多源异构运维数据进行融合计算，生成所述图数据的所述步骤之后还包括：

对所述图数据进行融合指标检测。

在本发明提供的用于异构时序运维数据的融合计算方法中，利用所述图数据，通过流计算生成监控预警报表数据的所述步骤包括：

根据融合频率的不同，通过流计算对所述图数据进行分类；

根据分类后的所述图数据，生成所述监控预警报表数据。

在本发明提供的用于异构时序运维数据的融合计算方法中，在根据融合频率的不同，通过流计算对所述图数据进行分类的所述步骤中，将所述图数据分为大尺度图关键节点、中尺度图关键节点和小尺度图关键节点。

相应地，本发明还提供一种用于异构时序运维数据的融合计算装置，包括：

采集模块，用于通过协议或API模式采集多源异构运维数据；

融合模块，用于基于连接拓扑将所述多源异构运维数据融合为图数据；

计算模块，用于利用所述图数据，通过流计算生成监控预警报表数据。

在本发明提供的用于异构时序运维数据的融合计算装置中，所述融合模块包括：

拓展单元，用于通过数据推理，将所述多源异构运维数据由三元组时序日志格式拓展为五元组时序日志格式；

融合计算单元，用于对五元组时序日志格式的所述多源异构运维数据进行融合计算，生成所述图数据。

在本发明提供的用于异构时序运维数据的融合计算装置中，所述融合模块还包括：

检测单元，用于对所述图数据进行融合指标检测。

在本发明提供的用于异构时序运维数据的融合计算装置中，所述计算模块包括：

分类单元，用于根据融合频率的不同，通过流计算对所述图数据进行分类；

生成单元，用于根据分类后的所述图数据，生成所述监控预警报表数据。

在本发明提供的用于异构时序运维数据的融合计算装置中，所述分类单元将所述图数据分为大尺度图关键节点、中尺度图关键节点和小尺度图关键节点。

本发明的用于异构时序运维数据的融合计算方法和装置具有以下有益效果：针对运维场景里海量、异构、具备时序特性的数据，通过构造挖掘其连接拓扑属性，进行新颖的融合，从而研发多尺度多层次流计算***，对此类特殊构造的连接型拓普数据进行处理。由此，可以建立IT运维环境物联、物理机、虚拟机异构数据的融合模型框架，使得IT运维有更全局的数据基础；针对融合数据，研发部署分布式与流式计算***，实现更实时、精准的预警和诊断，提升IT运维实效。。

附图说明

图1为本发明的用于异构时序运维数据的融合计算方法第一实施例的流程图；

图2所示为图1所示的步骤S2的流程图；

图3所示为图1所示的步骤S3的流程图；

图4为本发明的用于异构时序运维数据的融合计算装置的原理图；

图5是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下结合附图和实施例对本发明做进一步的解释说明。

图1为本发明的用于异构时序运维数据的融合计算方法第一实施例的流程图；如图1所示，本发明提供的用于异构时序运维数据的融合计算方法包括以下步骤：

S1、通过协议或API模式采集多源异构运维数据；

S2、基于连接拓扑将所述多源异构运维数据融合为图数据；

S3、利用所述图数据，通过流计算生成监控预警报表数据。

在步骤S1中，通过协议或者API模式采集运维数据，包括物理机数据采集、基于协议的虚拟机虚拟网络数据采集和物联传感数据采集，其中，部分虚拟环境支持API接入获取数据，常规网络、设备等环境则充分利用TCP/IP、UDP、SNMP、PING、HTTP、ICMP、SSH等协议采集数据。

进一步地，IT运维数据类型，从抽象角度来看，通常可界定成带时间戳的日志数据，但其数据依然五花八门。有些日志数据，如web log，结构化相对较好，每条日志包含的字段一般约定俗成，集中在客户端(用户)IP地址、访问端口、响应时间、请求时间、url地址、请求方式、状态码、页面大小、来源、浏览器语言、用户浏览器其他信息、浏览器版本、浏览器类型等。但通过syslog、syslog-ng、rsyslog收集的***日志、通过scribe和fluentd收集的业务日志等，基于http(s)post协议定制上报的日志，又或者是基于VMware的vSphereClient等虚拟机管理***、基于ping/traceroute/SNMP等对数据流或者封包的采集工具、SDN软件定义层积累的日志，它们的schema格式并不统一。因此，在本申请中，采集到的数据主要借助NoSQL存储，以解决采集数据多元、异构、Schema多变的问题，并获得好的扩展及灾备效果。但部分结构化或者中间数据也借助关系数据库集群进行存储。

在步骤S2中，基于连接拓扑的异构时序数据融合模型把运维环境里三元组日志扩充为五元组格式，从而可以建立起每个时间片下整个运维环境里各节点间明确而丰富的连接关系，构造出融合它们静态动态网络及隶属关系的拓扑结构与图状数据。因此，如图2所示，步骤S2包括以下子步骤：

步骤S21：通过数据推理，将所述多源异构运维数据由三元组时序日志格式拓展为五元组时序日志格式；

步骤S22：对五元组时序日志格式的所述多源异构运维数据进行融合计算，生成所述图数据。

具体地，整个运维环境内(比如某个数据中心)采集的每笔日志数据，一般都符合下列三元组格式：

<时间戳，实体或服务ID，多维度多格式日志内容>

因此，在步骤S21中，把日志相关的对象放置到它们所属的连接结构里考虑。在这个时间戳的该笔日志，根据该实体或服务ID(假设将其编号为节点A)所属的拓扑结构、服务群组和日志内容，能够将其关联到另外一个实体(假设将其编号为节点B)，从而每笔日志将拓展成下列五元组：

<时间戳，节点A(实体或服务ID)，节点B(实体或服务ID)，连接属性，多维度多格式日志内容>

其中，连接属性因应IT运维场景形成的集合各异，包括但不限于静态拓扑里两节点间的物理连接、动态网络(如SDN)里节点连接、瞬时的web、tcp连接、网络层次里上下层级的父子关系、虚拟环境里控制器和被控制单元的管理关系等。

一旦将日志扩充为五元组，这些数据有几大特征：1)因为节点对和连接属性的存在，从而暗含了连接拓扑，或者按照学术定义，它们形成了图(Graph)数据；2)因为日志内容的多维度多格式，数据内容的结构化符合异构特点；3)日志天然带有精细时间戳并不断产生，是相当高频的时序数据。但日志数据形成的图数据相比常规的静态图数据，有其自身特色：节点和连接边是动态变化的；连接边的属性类型及事件内容涉及文本、描述等；时间窗口的大小(比如1秒或者1分钟区间)得到的图结构不一样。

因此，在步骤S22中，需要对扩展得到的五元组时序日志格式的运维数据进行融合，这里除了用到常规的各类数据融合、预处理、ETL技术，还需要用到异构图数据的融合，这包括时序数据指标化、节点间多连接聚合、图连接剪枝等。

进一步地，在融合得到图数据之后，还需要对其进行评测，因此，步骤S2还包括：

步骤S23、对所述图数据进行融合指标检测。

在步骤S23中，基于多轮多专家抽样评测及综合，对IT运维数据融合框架的准确度、完整度、私密性指标进行评测。

在步骤S3中，针对融合得到的图数据，研发部署分布式与流式计算***，实现更实时、精准的预警和诊断，提升IT运维实效。因为运维数据具备时序化细颗粒度特性，通过我们的数据融合，根据融合频率的不同，获得的图数据尺度不一。而且因为图结构内节点有的隶属于层级架构内，所以它们还具备分层分片的特征。因此，如图3所示，步骤S3包括以下子步骤：

步骤S31、根据融合频率的不同，通过流计算对所述图数据进行分类；

步骤S32、根据分类后的所述图数据，生成所述监控预警报表数据。

在本申请中，对融合得到的图数据，将其以RDD数据结构的形式引入Sparkstreaming流处理***，通过Map操作、filter操作、collectingN操作等按照其连接数据将其分为大尺度图关键节点、中尺度图关键节点和小尺度图关键节点。再根据分类后的图数据，研发入侵判断、异常监测、智能巡检、近实时预警等机器学习模块。

在本发明的用于异构时序运维数据的融合计算方法的第一实施例中，针对运维场景里海量、异构、具备时序特性的数据，通过构造挖掘其连接拓扑属性，进行新颖的融合，从而研发多尺度多层次流计算***，对此类特殊构造的连接型拓普数据进行处理。由此，可以建立IT运维环境物联、物理机、虚拟机异构数据的融合模型框架，使得IT运维有更全局的数据基础；针对融合数据，研发部署分布式与流式计算***，实现更实时、精准的预警和诊断，提升IT运维实效。

图4为本发明的用于异构时序运维数据的融合计算装置的原理图，如图4所示，在本实施例中，用于异构时序运维数据的融合计算装置400包括：

采集模块410，用于通过协议或API模式采集多源异构运维数据；

融合模块420，用于基于连接拓扑将所述多源异构运维数据融合为图数据；

计算模块430，用于利用所述图数据，通过流计算生成监控预警报表数据。

具体地，在本发明一实施例中，采集模块通过协议或者API模式采集运维数据，包括物理机数据采集、基于协议的虚拟机虚拟网络数据采集和物联传感数据采集，其中，部分虚拟环境支持API接入获取数据，常规网络、设备等环境则充分利用TCP/IP、UDP、SNMP、PING、HTTP、ICMP、SSH等协议采集数据。

具体地，在本发明一实施例中，融合模块基于连接拓扑的异构时序数据融合模型把运维环境里三元组日志扩充为五元组格式，从而可以建立起每个时间片下整个运维环境里各节点间明确而丰富的连接关系，构造出融合它们静态动态网络及隶属关系的拓扑结构与图状数据。因此，所述融合模块包括：

拓展单元，用于通过数据推理，将所述多源异构运维数据由三元组时序日志格式拓展为五元组时序日志格式；

融合计算单元，用于对五元组时序日志格式的所述多源异构运维数据进行融合计算，生成所述图数据。

进一步地，在融合得到图数据之后，还需要对其进行评测，因此，所述融合模块还包括：

检测单元，用于对所述图数据进行融合指标检测。

具体地，在本发明一实施例中，因为运维数据具备时序化细颗粒度特性，通过我们的数据融合，根据融合频率的不同，获得的图数据尺度不一。而且因为图结构内节点有的隶属于层级架构内，所以它们还具备分层分片的特征。因此，所述计算模块包括：

分类单元，用于根据融合频率的不同，通过流计算对所述图数据进行分类；

生成单元，用于根据分类后的所述图数据，生成所述监控预警报表数据。

在本申请中，对融合得到的图数据，将其以RDD数据结构的形式引入Sparkstreaming流处理***，通过Map操作、filter操作、collectingN操作等按照其连接数据将其分为大尺度图关键节点、中尺度图关键节点和小尺度图关键节点。再根据分类后的图数据，研发入侵判断、异常监测、智能巡检、近实时预警等机器学习模块。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

参见图5，图5为本发明实施例提供的一种电子设备的结构示意图，所述电子设备500，可以包括：

处理器510、存储器520、通信接口530和总线540；

所述处理器510、所述存储器520和所述通信接口530通过所述总线540连接并完成相互间的通信；

所述存储器520存储可执行程序代码；

所述处理器510通过读取所述存储器520中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行一种用于异构时序运维数据的融合计算方法；其中，一种用于异构时序运维数据的融合计算方法，包括以下步骤：

通过协议或API模式采集多源异构运维数据；

基于连接拓扑将所述多源异构运维数据融合为图数据；

利用所述图数据，通过流计算生成监控预警报表数据。

可以看出，采用本发明实施例提供的技术方案，可以建立IT运维环境物联、物理机、虚拟机异构数据的融合模型框架，使得IT运维有更全局的数据基础；针对融合数据，研发部署分布式与流式计算***，实现更实时、精准的预警和诊断，提升IT运维实效。

本发明实施例还提供了一种存储介质，其中，该存储介质用于存储应用程序，所述应用程序用于在运行时执行本发明实施例所述的一种用于异构时序运维数据的融合计算方法。

本发明实施例还提供了一种应用程序，其中，该应用程序用于在运行时执行本发明实施例所述的一种用于异构时序运维数据的融合计算方法。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，其中，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种用于异构时序运维数据的融合计算方法，其特征在于，包括以下步骤：

通过协议或API模式采集多源异构运维数据；

基于连接拓扑将所述多源异构运维数据融合为图数据；

利用所述图数据，通过流计算生成监控预警报表数据。

2.根据权利要求1所述的用于异构时序运维数据的融合计算方法，其特征在于，基于连接拓扑将所述多源异构运维数据融合为图数据的所述步骤包括：

通过数据推理，将所述多源异构运维数据由三元组时序日志格式拓展为五元组时序日志格式；

对五元组时序日志格式的所述多源异构运维数据进行融合计算，生成所述图数据。

3.根据权利要求2所述的用于异构时序运维数据的融合计算方法，其特征在于，在对五元组时序日志格式的所述多源异构运维数据进行融合计算，生成所述图数据的所述步骤之后还包括：

对所述图数据进行融合指标检测。

4.根据权利要求1所述的用于异构时序运维数据的融合计算方法，其特征在于，利用所述图数据，通过流计算生成监控预警报表数据的所述步骤包括：

根据融合频率的不同，通过流计算对所述图数据进行分类；

根据分类后的所述图数据，生成所述监控预警报表数据。

5.根据权利要求4所述的用于异构时序运维数据的融合计算方法，其特征在于，在根据融合频率的不同，通过流计算对所述图数据进行分类的所述步骤中，将所述图数据分为大尺度图关键节点、中尺度图关键节点和小尺度图关键节点。

6.一种用于异构时序运维数据的融合计算装置，其特征在于，包括：

采集模块，用于通过协议或API模式采集多源异构运维数据；

融合模块，用于基于连接拓扑将所述多源异构运维数据融合为图数据；

计算模块，用于利用所述图数据，通过流计算生成监控预警报表数据。

7.根据权利要求6所述的用于异构时序运维数据的融合计算装置，其特征在于，所述融合模块包括：

拓展单元，用于通过数据推理，将所述多源异构运维数据由三元组时序日志格式拓展为五元组时序日志格式；

融合计算单元，用于对五元组时序日志格式的所述多源异构运维数据进行融合计算，生成所述图数据。

8.根据权利要求7所述的用于异构时序运维数据的融合计算装置，其特征在于，所述融合模块还包括：

检测单元，用于对所述图数据进行融合指标检测。

9.根据权利要求6所述的用于异构时序运维数据的融合计算装置，其特征在于，所述计算模块包括：

分类单元，用于根据融合频率的不同，通过流计算对所述图数据进行分类；

生成单元，用于根据分类后的所述图数据，生成所述监控预警报表数据。

10.根据权利要求9所述的用于异构时序运维数据的融合计算装置，其特征在于，所述分类单元将所述图数据分为大尺度图关键节点、中尺度图关键节点和小尺度图关键节点。