CN109840533B - 一种应用拓扑图识别方法及装置 - Google Patents
一种应用拓扑图识别方法及装置 Download PDFInfo
- Publication number
- CN109840533B CN109840533B CN201711213328.1A CN201711213328A CN109840533B CN 109840533 B CN109840533 B CN 109840533B CN 201711213328 A CN201711213328 A CN 201711213328A CN 109840533 B CN109840533 B CN 109840533B
- Authority
- CN
- China
- Prior art keywords
- node
- nodes
- aggregation
- directed graph
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000002776 aggregation Effects 0.000 claims abstract description 101
- 238000004220 aggregation Methods 0.000 claims abstract description 101
- 238000004891 communication Methods 0.000 claims abstract description 89
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009960 carding Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供一种应用拓扑图识别方法及装置。所述方法包括：S1、获取待识别应用***的多个节点和各所述节点之间的通信关联关系；S2、根据所述多个节点和所述各节点之间的通信关联关系生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图；S3、获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图。所述装置用于执行上述方法。本发明实施例提供的方法及装置提高了应用拓扑图的识别效率。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种应用拓扑图识别方法及装置。
背景技术
应用拓扑图为应用部件(例如程序，服务，组件等)在IT***各主机(例如服务器)上的部署信息以及所部署的应用部件间的交互(类似服务请求-相应)信息的图形化展示，对于深入了解IT应用***架构设计、故障定位、日常架构治理、应用***架构规划等方面有着重要意义，因此，对于应用***的应用拓扑图的识别方法的研究越来越受到人们的关注。
现有技术条件下的应用拓扑图识别方法主要包括以下几种：(1)基于人工梳理的应用拓扑识图别方法；(2)基于虚拟机API调用分析的应用拓扑图识别方法，具体先进行报文传输并将虚拟机之间的API调用信息逐一记录下来，然后利用拓扑发现服务器通过分析收集到的API调用信息，确定虚拟机集群之间是否存在交互操作以及交互频率确定各虚拟机之间的应用拓扑关系；(3)基于流量报文解析的应用拓扑图识别方法，具体利用传输控制协议或用户数据包协议(TCP/UDP)，抓取流量数据包解析出通信关联关系(包括源目地址、通信端口等信息)，从而确定应用层拓扑的各节点和指向关系，并为所得通信关联关系中的每个源节点和目的节点按照所得通信关联关系确定应用拓扑图；(4)基于APM(ApplicationPerformance Management)探针的应用拓扑识别方法，通过对应用***各层或者集群相关节点进行APM探针部署，并在一定时间的数据积累后，可以近似获取应用***所有存在的调用路径信息，经过数据解析和关系梳理，从而识别出该***的应用拓扑图。然而，随着目前各类***集群规模的不断扩大，方法(1)中单纯的人工梳理已经成为一项艰巨的任务，难度大，耗时长，准确率低；方法(2)一旦离开适合的虚拟化环境，到传统物理机部署集群或容器化环境下，该种方法将不再适用；方法(3)对应用节点信息的识别上仍显薄弱，识别准确度低；方法(4)对所在应用***的稳定性上会有潜在的影响，而且也进一步消耗了所在集群主机的部分资源。综上所述，现有技术中的方法均对应用拓扑图识别效率造成了一定的影响。
因此，如何提出一种方法提高应用拓扑图识别效率是目前业界亟待解决的需要课题。
发明内容
针对现有技术中的缺陷，本发明实施例提供一种应用拓扑图识别方法及装置。
一方面，本发明实施例提供一种应用拓扑图识别方法，包括：
S1、获取待识别应用***的多个节点和各节点之间的通信关联关系；
S2、根据所述多个节点和所述各节点之间的通信关联关系生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图；
S3、获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图。
另一方面，本发明实施例提供一种应用拓扑图识别装置，包括获取单元、聚合单元和处理单元，其中：
获取单元，用于获取待识别应用***的多个节点和各节点之间的通信关联关系；
聚合单元，用于根据所述多个节点和所述各节点之间的通信关联关系生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图；
处理单元，用于获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图。
又一方面，本发明实施例提供一种电子设备，包括处理器、存储器和总线，其中：
所述处理器，所述存储器通过总线完成相互间的通信；
所述处理器可以调用存储器中的计算机程序，以执行上述方法的步骤。
再一方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本发明实施例提供的应用拓扑图识别方法及装置，通过根据获取到的待识别应用***的多个节点和各节点之间的通信关联关系，生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图，然后，获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图，提高了应用拓扑图的识别效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的应用拓扑图识别方法的流程示意图；
图2为本发明实施例提供的待识别应用***部分节点的示意图；
图3为本发明实施例提供的初始有向图；
图4为本发明实施例提供的应用拓扑图识别装置的结构示意图；
图5为本发明实施例提供的电子设备实体装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的应用拓扑图识别方法的流程示意图，如图1所示，本实施例提供一种应用拓扑图识别方法，包括：
S1、获取待识别应用***的多个节点和各所述节点之间的通信关联关系；
具体地，应用拓扑图识别装置可以通过网络爬虫技术以所述待识别应用***中的任意一个节点的宿主机为起点，爬虫提取所述待识别应用***中包括的多个节点和各节点之间的通信关联关系。可以理解的是所述节点以“IP地址+通信端口”来定义，各所述节点之间的通信关联关系为具有通信方向的关联关系，可以用“IP地址+通信端口”(源节点)→“IP地址+通信端口”(目的节点)来定义；所述装置还可以通过其他方式获取所述应用***中的多个节点和各所述节点之间的通信关联关系。
S2、根据所述多个节点和所述各节点之间的通信关联关系生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图；
具体地，所述装置根据所述多个节点和所述各节点之间的通信关联关系生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图。可以理解的是，所述初始有向图包括多个源节点和多个目的节点，以及各源节点与各源节点对应的目的节点之间用于表示所述源节点与其对应的目的节点之间通信关联关系的有向线段，生成所述初始有向图的方法与现有技术一致，此处不再赘述；所述聚合有向图包括多个聚合节点和各所述聚合节点之间的用于表示所述聚合节点之间通信关联关系的有向线段，所述聚合节点是根据所述初始有向图中各节点之间的通信关联关系，按照有向图聚合算法将所述初始有向图中的节点进行聚合得到的，所述聚合节点包括一个或多个所述节点。
S3、获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图。
具体地，所述装置获取所述各节点的属性信息，并根据所述各节点的属性信息判断所述聚合有向图中的聚合节点包括的各节点的属性信息是否一致，对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图。其中，所述属性信息可以包括***归属信息、类型归属信息和集群归属信息，还可以包括其他信息，具体可以根据实际情况进行设置和调整，此处不做具体限定。
本发明实施例提供的应用拓扑图识别方法，通过根据获取到的待识别应用***的多个节点和各节点之间的通信关联关系，生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图，然后，获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图，提高了应用拓扑图的识别效率。
在上述实施例的基础上，进一步地，所述获取待识别应用***的多个节点和各节点之间的通信关联关系，包括：
选取所述待识别应用***中的预设节点为起点，获取所述预设节点的宿主机的通信端口；
根据各所述通信端口对应的节点的通信对象逐步进行爬虫抓取，获得所述待识别应用***的多个节点和各节点之间的通信关联关系。
具体地，与网络爬虫技术类似，将所述应用***中的一个节点比作一个页面，将节点与节点之间通信关联关系比作页面与页面之间的URL指向；所述装置选取所述待识别应用***中的预设节点为起点，获取所述预设节点的宿主机的通信端口，爬虫根据各所述通信端口对应的节点的通信对象***自身到所述通信对象的宿主机，再次获取新的宿主机的通信端口，以此类推，爬虫不断***最终获得所述待识别应用***的多个节点和各节点之间的通信关联关系。其中，所述预设节点可以是所述应用***包括的节点中的任意一个，优选为所述应用***最上层的节点，具体可以根据实际情况进行设置和调整，此处不做具体限定。
例如，如图2所示，所述预设节点M1为“IP1+端口A1”，所述装置获取所述预设节点M1的宿主机包括3个端口，分别为A1、A2、A3，则三个端口对应的节点为M1(“IP1+端口A1”)，M2(“IP1+端口A2”)，M3(“IP1+端口A3”)，节点M1、节点为M2和节点为M3的通信对象分别为节点N1(“IP2+端口B1”)、节点G1(“IP3+端口C1”)、节点H1(“IP4+端口D1”)，所述装置获取所述节点N1的宿主机包括2个通信端口分别为B1和B2，所述装置再次获取所述通信端口B1和B2对应的节点N1(“IP2+端口B1”)和N2(“IP2+端口B2”)，同时获取节点M2的通信对象的宿主机的通信端口为C1和C2，对应的节点为G1(“IP3+端口C1”)和G2(“IP3+端口C2”)；节点M3的通信对象的宿主机的通信端口为D1和D2，对应的节点为H1(“IP4+端口D1”)和H2(“IP4+端口D2”)，依次类推，直到遍历所述应用***的所有节点，最终获得所述待识别应用***的多个节点和各节点之间的通信关联关系。
在上述实施例的基础上，进一步地，所述初始有向图包括多个源节点和多个目的节点，以及各源节点与各源节点对应的目的节点之间的有向线段；相应地，所述根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图，包括：
S201、根据所述初始有向图获取多个源节点集合和各所述源节点集合对应的目的节点集合；所述源节点集合为所对应的目的节点相同的源节点的集合，所述源节点集合对应的目的节点集合为所述源节点集合包括的源节点对应的目的节点的集合；
S202、根据所述源节点集合生成第一碰撞集合，并根据所述目的节点集合生成第二碰撞集合；其中，一个源节点集合为所述第一碰撞集合的一个元素，所述源节点集合对应的目的节点集合为所述第二碰撞集合的一个元素；
S203、选取所述第一碰撞集合中的第一个源节点集合作为第一候选集合，并取出所述第二碰撞集合中的第一个目的节点集合作为第二候选集合；
S204、将所述第一候选集合与所述第二候选集合进行差交集运算，获得一个目标源节点集合，并根据所述第二候选集合与所述第一候选集合的差集对所述第二候选集合进行更新；
S205、取出所述第一碰撞集合中的下一个源节点集合作为所述第一候选集合，重复执行步骤S204，直到遍历所述第一碰撞集合或所述第二候选集合为空集为止；然后执行步骤S206；
S206、选取所述第一碰撞集合中的第一个源节点集合作为第一候选集合，并取出所述第二碰撞集合中的下一个目的节点集合作为所述第二候选集合，并返回步骤S204，直到所述第二碰撞集合为空集为止；然后执行步骤S207；
S207、将多个所述目标源节点集合作为聚合节点，获取各所述聚合节点之间的通信关联关系，并根据各所述聚合节点之间的通信关联关系生成所述聚合有向图。
具体地，所述装置根据所述初始有向图若判断获知多个源节点对应的目的节点相同，则将所述多个源节点作为一个源节点集合，将所述目的节点作为所述源节点集合对应的目的节点集合，按照该方法获取多个源节点集合和各所述源节点集合对应的目的节点集合；然后，所述装置根据将所述一个源节点集合作为一个元素，生成第一碰撞集合，并将所述第一碰撞集合中各元素对应的目的节点集合作为一个元素，生成第二碰撞集合；然后，所述装置选取所述第一碰撞集合中的第一个元素(即第一个源节点集合)作为第一候选集合，并取出所述第二碰撞集合中的第一个元素(即第一个目的节点集合)作为第二候选集合；然后，所述装置将所述第一候选集合与所述第二候选集合进行差交集运算，也就是先求所述第一候选集合与所述第二候选集合的差集，再求所述第一候选集合与所述第二候选集合的交集，然后求所述交集和差集的并集，将所述并集作为一个目标源节点集合，并将所述第二候选集合与所述第一候选集合的差集作为新的第二候选集合；然后，所述装置选取所述第一碰撞集合中的下一个源节点集合作为所述第一候选集合，再次对所述第一候选集合与所述第二候选集合进行差交集运算，以此类推，直到遍历所述第一碰撞集合或得到的新的第二候选集合为空集为止，所述装置选取所述第一碰撞集合中的第一个源节点集合作为第一候选集合，并取出所述第二碰撞集合中的下一个目的节点集合作为所述第二候选集合，再对所述第一候选集合和所述第二候选集合进行差交集运算，以此类推，直到所述第二碰撞集合为空集为止，获得多个目标源节点集合，然后将所述多个所述目标源节点集合作为多个聚合节点，获取各所述聚合节点之间的通信关联关系，并根据各所述聚合节点之间的通信关联关系生成所述聚合有向图。
例如，所述待识别应用***对应的初始有向图如图3所示，根据图3获得的多个源节点集合和各所述源节点集合对应的目的节点集合如表1所示，所述装置根据所述源节点集合和目的节点集合，生成第一碰撞集合为{Q1，Q2，(Q3、Q4)}，第二碰撞集合为{(Q2、Q3、Q4)，(Q4、Q5、Q6)，(Q6、Q7、Q8)}，所述装置从所述第一碰撞集合中取出第一个源节点集合{Q1}作为第一候选集合L1，从所述第二碰撞集合中取出第一个目的节点集合{Q2，Q3，Q4}作为第二候选集合L2，并计算(L1/L2)∪(L1∩L2)＝{Q1}作为为第一个所述目标节点集合，然后计算(L2/L1)＝{Q2，Q3，Q4}作为新的第二候选集合L2，此时
则所述装置从所述第一碰撞集合中取出第二个源节点集合{Q2}作为第一候选集合L1，再次计算(L1/L2)∪(L1∩L2)＝{Q2}作为第二个所述目标节点集合，然后计算(L2/L1)＝{Q3，Q4}作为新的第二候选集合L2，此时
则所述装置继续从所述第一碰撞集合中取出第三个源节点集合{Q3，Q4}作为第一候选集合L1，并计算(L1/L2)∪(L1∩L2)＝{Q3，Q4}作为第三个所述目标节点集合，然后计算
作为新的第二候选集合L2，此时第二候选集合L2为空集；则所述装置再从所述第一碰撞集合中取出第一个源节点集合{Q1}作为第一候选集合L1，从所述第二碰撞集合中取出第二个目的节点集合{Q4，Q5，Q6}作为第二候选集合L2，计算(L1/L2)∪(L1∩L2)＝{Q1}作为第四个所述目标节点集合，计算(L2/L1)＝{Q4，Q5，Q6}作为新的第二候选集合L2，此时
再从所述第一碰撞集合中取出第二个源节点集合{Q2}作为第一候选集合L1，计算(L1/L2)∪(L1∩L2)＝{Q2}作为第五个所述目标节点集合，计算(L2/L1)＝{Q4，Q5，Q6}作为新的第二候选集合L2，此时
再从所述第一碰撞集合中取出第三个源节点集合{Q3、Q4}作为第一候选集合L1，计算(L1/L2)∪(L1∩L2)＝{Q3、Q4}作为第六个所述目标节点集合，计算(L2/L1)＝{Q5，Q6}作为新的第二候选集合L2，此时虽然
已经遍历所述第一碰撞集合；所述装置从所述第一碰撞集合中取出第一个源节点集合{Q1}作为第一候选集合L1，再选出所述第二碰撞集合中的第三个目的节点集合{Q6、Q7、Q8}作为所述第二候选集合L2，以此类推，直到所述第二碰撞集合为空集为止，将获得的所述各目标节点集合作为所述聚合节点。
表1
| 源节点集合 | 目的节点集合 |
| Q1 | Q2、Q3、Q4 |
| Q2 | Q4、Q5、Q6 |
| Q3、Q4 | Q6、Q7、Q8 |
在上述实施例的基础上，进一步地，所述获取所述各节点的属性信息，包括：
将所述各节点与预先储存节点属性数据库进行匹配，若判断获知所述各节点与预先储存节点属性数据库相匹配，则根据所述节点属性数据库查找所述各节点的属性信息，否则，根据预先建立的机器学习模型获取所述各节点的属性信息。
具体地，所述装置将所述各节点与预先储存节点属性数据库进行匹配，若判断获知所述各节点与预先储存节点属性数据库相匹配，则根据所述节点属性数据库查找所述各节点的属性信息，否则，根据预先建立的机器学习模型获取所述各节点的属性信息。应当说明的是，所述各节点的属性信息包括***归属信息、类型归属信息和集群归属信息；相应地，根据预先建立的机器学习模型获取所述节点的***归属信息时，主要通过利用逻辑回归算法，根据该节点与各已知***中存在通信关联关系的节点的数量及预设权重值输出该节点的***归属信息；根据预先建立的机器学习模型获取所述节点的类型归属信息时，可以利用K-Means聚类算法判断该节点的类型归属信息；根据预先建立的机器学习模型获取所述节点的集群归属信息时，主要利用拟合回归的算法，根据该节点与各已知集群中存在通信关联关系的节点的数量和通信交互频率计算回归曲线并与已知集群的回归曲线做匹配，输出所述该节点的集群归属信息。
在上述实施例的基础上，进一步地，所述根据所述各节点的属性信息对所述聚合有向图进行校验处理，包括：
分别判断所述聚合有向图的各所述聚合节点对应的所述目标节点集合中包括的多个源节点的属性信息是否一致，若不一致，则将所述属性信息不一致的源节点从所述聚合节点中分离，获得拓扑节点；
根据所述拓扑节点之间的通信关联关系对所述聚合有向图进行更新，将更新后的所述聚合有向图作为所述待识别应用***的应用拓扑图。
具体地，所述装置若判断获知所述聚合有向图的一个所述聚合节点对应的所述目标节点集合中包括的多个源节点的属性信息不一致，则将所述属性信息不一致的源节点从所述聚合节点中分离，将经过分离处理之后获得的聚合节点和分离出来的节点作为所述拓扑节点，并根据所述拓扑节点之间的通信关联关系对所述聚合有向图进行更新，将更新后的所述聚合有向图作为所述待识别应用***的应用拓扑图。
在上述实施例的基础上，进一步地，所述根据所述各节点的属性信息对所述聚合有向图进行校验处理，包括：
若判断获知所述聚合有向图的各聚合节点对应的目标原节点集合中包括的源节点的属性信息均一致，则将该聚合有向图作为所述待识别应用***的应用拓扑图。
在上述实施例中，所述各节点的属性信息包括***归属信息、类型归属信息和集群归属信息。
本发明实施例提供的应用拓扑图识别方法，通过根据获取到的待识别应用***的多个节点和各节点之间的通信关联关系，生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图，然后，获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图，提高了应用拓扑图的识别效率。
图4为本发明实施例提供的应用拓扑图识别装置的结构示意图，如图4所示，本发明实施例提供一种应用拓扑图识别装置，包括获取单元401、聚合单元402和处理单元403，其中：
获取单元401用于获取待识别应用***的多个节点和各节点之间的通信关联关系；聚合单元402用于根据所述多个节点和所述各节点之间的通信关联关系生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图；处理单元403用于获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图。
可选地，获取单元401具体用于选取所述待识别应用***中的预设节点为起点，获取所述预设节点的宿主机的多个通信端口；根据各所述通信端口对应的节点的通信对象逐步进行爬虫抓取，获得所述待识别应用***的多个节点和各节点之间的通信关联关系。
可选地，聚合单元402具体用于执行S201、根据所述初始有向图获取多个源节点集合和各所述源节点集合对应的目的节点集合；所述源节点集合为所对应的目的节点相同的源节点的集合，所述源节点集合对应的目的节点集合为所述源节点集合包括的源节点对应的目的节点的集合；S202、根据所述源节点集合生成第一碰撞集合，并根据所述目的节点集合生成第二碰撞集合；其中，一个源节点集合为所述第一碰撞集合的一个元素，所述源节点集合对应的目的节点集合为所述第二碰撞集合的一个元素；S203、选取所述第一碰撞集合中的第一个源节点集合作为第一候选集合，并取出所述第二碰撞集合中的第一个目的节点集合作为第二候选集合；S204、将所述第一候选集合与所述第二候选集合进行差交集运算，获得一个目标源节点集合，并根据所述第二候选集合与所述第一候选集合的差集对所述第二候选集合进行更新；S205、取出所述第一碰撞集合中的下一个源节点集合作为所述第一候选集合，重复执行步骤S204，直到遍历所述第一碰撞集合或所述第二候选集合为空集为止；然后执行步骤S206；S206、选取所述第一碰撞集合中的第一个源节点集合作为第一候选集合，并取出从所述第二碰撞集合中的下一个目的节点集合作为所述第二候选集合，并返回步骤S204，直到所述第二碰撞集合为空集为止；然后执行步骤S207；S207、将多个所述目标源节点集合作为聚合节点，获取各所述聚合节点之间的通信关联关系，并根据各所述聚合节点之间的通信关联关系生成所述聚合有向图。
可选地，处理单元403具体用于将所述各节点与预先储存节点属性数据库进行匹配，若判断获知所述各节点与预先储存节点属性数据库相匹配，则根据所述节点属性数据库查找所述各节点的属性信息，否则，根据预先建立的机器学习模型获取所述各节点的属性信息。
可选地，处理单元403具体用于分别判断所述聚合有向图的各所述聚合节点对应的所述目标节点集合中包括的多个源节点的属性信息是否一致，若不一致，则将所述属性信息不一致的源节点从所述聚合节点中分离，获得拓扑节点；根据所述拓扑节点之间的通信关联关系对所述聚合有向图进行更新，将更新后的所述聚合有向图作为所述待识别应用***的应用拓扑图。
可选地，处理单元403具体用于若判断获知所述聚合有向图的各聚合节点对应的目标原节点集合中包括的源节点的属性信息均一致，则将该聚合有向图作为所述待识别应用***的应用拓扑图。
可选地，所述各节点的属性信息包括***归属信息、类型归属信息和集群归属信息。
本发明提供的装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图5为本发明实施例提供的电子设备实体装置结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、存储器(memory)502和总线503，其中，处理器501，存储器502通过总线503完成相互间的通信。处理器501可以调用存储器502中的计算机程序，以执行如下方法：S1、获取待识别应用***的多个节点和各所述节点之间的通信关联关系；S2、根据所述多个节点和所述各节点之间的通信关联关系生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图；S3、获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：S1、获取待识别应用***的多个节点和各所述节点之间的通信关联关系；S2、根据所述多个节点和所述各节点之间的通信关联关系生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图；S3、获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：S1、获取待识别应用***的多个节点和各所述节点之间的通信关联关系；S2、根据所述多个节点和所述各节点之间的通信关联关系生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图；S3、获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图。
此外，上述的存储器502中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种应用拓扑图识别方法，其特征在于，包括：
S1、获取待识别应用***的多个节点和各所述节点之间的通信关联关系；
S2、根据所述多个节点和所述各节点之间的通信关联关系生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图；
S3、获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图；
所述初始有向图包括多个源节点和多个目的节点，以及各源节点与各源节点对应的目的节点之间的有向线段；相应地，所述根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图，包括：
S201、根据所述初始有向图获取多个源节点集合和各所述源节点集合对应的目的节点集合；所述源节点集合为所对应的目的节点相同的源节点的集合，所述源节点集合对应的目的节点集合为所述源节点集合包括的源节点对应的目的节点的集合；
S202、根据所述源节点集合生成第一碰撞集合，并根据所述目的节点集合生成第二碰撞集合；其中，一个源节点集合为所述第一碰撞集合的一个元素，所述源节点集合对应的目的节点集合为所述第二碰撞集合的一个元素；
S203、选取所述第一碰撞集合中的第一个源节点集合作为第一候选集合，并取出所述第二碰撞集合中的第一个目的节点集合作为第二候选集合；
S204、将所述第一候选集合与所述第二候选集合进行差交集运算，获得一个目标源节点集合，并根据所述第二候选集合与所述第一候选集合的差集对所述第二候选集合进行更新；
S205、取出所述第一碰撞集合中的下一个源节点集合作为所述第一候选集合，重复执行步骤S204，直到遍历所述第一碰撞集合或所述第二候选集合为空集为止；然后执行步骤S206；
S206、选取所述第一碰撞集合中的第一个源节点集合作为第一候选集合，并取出从所述第二碰撞集合中的下一个目的节点集合作为所述第二候选集合，并返回步骤S204，直到所述第二碰撞集合为空集为止；然后执行步骤S207；
S207、将多个所述目标源节点集合作为聚合节点，获取各所述聚合节点之间的通信关联关系，并根据各所述聚合节点之间的通信关联关系生成所述聚合有向图；
所述根据所述各节点的属性信息对所述聚合有向图进行校验处理，包括：
分别判断所述聚合有向图的各所述聚合节点对应的所述目标源节点集合中包括的多个源节点的属性信息是否一致，若不一致，则将所述属性信息不一致的源节点从所述聚合节点中分离，获得拓扑节点；
根据所述拓扑节点之间的通信关联关系对所述聚合有向图进行更新，将更新后的所述聚合有向图作为所述待识别应用***的应用拓扑图。
2.根据权利要求1所述的方法，其特征在于，所述获取待识别应用***的多个节点和各节点之间的通信关联关系，包括：
选取所述待识别应用***中的预设节点为起点，获取所述预设节点的宿主机的多个通信端口；
根据各所述通信端口对应的节点的通信对象逐步进行爬虫抓取，获得所述待识别应用***的多个节点和各节点之间的通信关联关系。
3.根据权利要求1所述的方法，其特征在于，所述获取所述各节点的属性信息，包括：
将所述各节点与预先储存节点属性数据库进行匹配，若判断获知所述各节点与预先储存节点属性数据库相匹配，则根据所述节点属性数据库查找所述各节点的属性信息，否则，根据预先建立的机器学习模型获取所述各节点的属性信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述各节点的属性信息对所述聚合有向图进行校验处理，包括：
若判断获知所述聚合有向图的各所述聚合节点对应的所述目标源节点集合中包括的源节点的属性信息均一致，则将该聚合有向图作为所述待识别应用***的应用拓扑图。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述各节点的属性信息包括***归属信息、类型归属信息和集群归属信息。
6.一种应用拓扑图识别装置，其特征在于，包括获取单元、聚合单元和处理单元，其中：
获取单元，用于获取待识别应用***的多个节点和各节点之间的通信关联关系；
聚合单元，用于根据所述多个节点和所述各节点之间的通信关联关系生成初始有向图，并根据有向图聚合算法对所述初始有向图进行聚合处理，获得聚合有向图；
处理单元，用于获取所述各节点的属性信息，并根据所述各节点的属性信息对所述聚合有向图进行校验处理，获得所述待识别应用***的应用拓扑图；
所述聚合单元，具体用于执行S201、根据所述初始有向图获取多个源节点集合和各所述源节点集合对应的目的节点集合；所述源节点集合为所对应的目的节点相同的源节点的集合，所述源节点集合对应的目的节点集合为所述源节点集合包括的源节点对应的目的节点的集合；
S202、根据所述源节点集合生成第一碰撞集合，并根据所述目的节点集合生成第二碰撞集合；其中，一个源节点集合为所述第一碰撞集合的一个元素，所述源节点集合对应的目的节点集合为所述第二碰撞集合的一个元素；
S203、选取所述第一碰撞集合中的第一个源节点集合作为第一候选集合，并取出所述第二碰撞集合中的第一个目的节点集合作为第二候选集合；
S204、将所述第一候选集合与所述第二候选集合进行差交集运算，获得一个目标源节点集合，并根据所述第二候选集合与所述第一候选集合的差集对所述第二候选集合进行更新；
S205、取出所述第一碰撞集合中的下一个源节点集合作为所述第一候选集合，重复执行步骤S204，直到遍历所述第一碰撞集合或所述第二候选集合为空集为止；然后执行步骤S206；
S206、选取所述第一碰撞集合中的第一个源节点集合作为第一候选集合，并取出从所述第二碰撞集合中的下一个目的节点集合作为所述第二候选集合，并返回步骤S204，直到所述第二碰撞集合为空集为止；然后执行步骤S207；
S207、将多个所述目标源节点集合作为聚合节点，获取各所述聚合节点之间的通信关联关系，并根据各所述聚合节点之间的通信关联关系生成所述聚合有向图；
所述处理单元，具体用于分别判断所述聚合有向图的各所述聚合节点对应的所述目标源节点集合中包括的多个源节点的属性信息是否一致，若不一致，则将所述属性信息不一致的源节点从所述聚合节点中分离，获得拓扑节点；根据所述拓扑节点之间的通信关联关系对所述聚合有向图进行更新，将更新后的所述聚合有向图作为所述待识别应用***的应用拓扑图。
7.一种电子设备，其特征在于，包括处理器、存储器和总线，其中：
所述处理器，所述存储器通过总线完成相互间的通信；
所述处理器可以调用存储器中的计算机程序，以执行如权利要求1-5任意一项所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711213328.1A CN109840533B (zh) | 2017-11-28 | 2017-11-28 | 一种应用拓扑图识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711213328.1A CN109840533B (zh) | 2017-11-28 | 2017-11-28 | 一种应用拓扑图识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109840533A CN109840533A (zh) | 2019-06-04 |
| CN109840533B true CN109840533B (zh) | 2020-12-11 |
Family
ID=66879483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711213328.1A Active CN109840533B (zh) | 2017-11-28 | 2017-11-28 | 一种应用拓扑图识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109840533B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110224899B (zh) * | 2019-06-28 | 2023-04-18 | 深圳前海微众银行股份有限公司 | 一种tcp应用的调用链获取方法及装置 |
| CN110868355B (zh) * | 2019-11-19 | 2022-05-13 | 广州丰石科技有限公司 | 一种基于nfv网络的拓扑自动发现及故障定界的方法 |
| CN111061586B (zh) * | 2019-12-05 | 2023-09-19 | 深圳先进技术研究院 | 一种容器云平台异常检测方法、***及电子设备 |
| CN111130881B (zh) * | 2019-12-25 | 2022-11-01 | 杭州迪普科技股份有限公司 | 网络拓扑发现方法及装置 |
| CN111756582B (zh) * | 2020-07-07 | 2022-12-02 | 上海新炬网络技术有限公司 | 基于nfv日志告警的业务链监控方法 |
| CN111953614B (zh) * | 2020-08-07 | 2023-10-24 | 腾讯科技（深圳）有限公司 | 数据传输方法、装置、处理设备及介质 |
| CN111935005B (zh) * | 2020-08-07 | 2023-10-24 | 腾讯科技（深圳）有限公司 | 数据传输方法、装置、处理设备及介质 |
| CN111935006B (zh) * | 2020-08-07 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 一种数据传输方法、装置、处理设备及介质 |
| CN112333003B (zh) * | 2020-10-13 | 2022-11-08 | 北京京东尚科信息技术有限公司 | 一种获取专有云容器集群基因信息的方法及装置 |
| CN117131141B (zh) * | 2023-10-25 | 2024-03-29 | 中国光大银行股份有限公司 | 一种多层逻辑关系数据的获取方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101242337B (zh) * | 2007-02-08 | 2010-11-10 | 张永敏 | 一种计算机网络的内容发布方法及*** |
| US9774517B2 (en) * | 2012-11-26 | 2017-09-26 | EMC IP Holding Company LLC | Correlative monitoring, analysis, and control of multi-service, multi-network systems |
| CN106161106B (zh) * | 2016-08-24 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种应用于有向拓扑图的节点聚合方法及装置 |
-
2017
- 2017-11-28 CN CN201711213328.1A patent/CN109840533B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109840533A (zh) | 2019-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840533B (zh) | 一种应用拓扑图识别方法及装置 | |
| JP6574904B2 (ja) | ターゲットオブジェクトのソーシャルアカウントをマイニングするための方法、サーバ、および記憶媒体 | |
| CN104080054B (zh) | 一种异常兴趣点的获取方法及装置 | |
| CN109033471B (zh) | 一种信息资产识别方法及装置 | |
| CN103608826B (zh) | 利用网络信息挖掘的视频内产品注释 | |
| CN109598509A (zh) | 风险团伙的识别方法和装置 | |
| CN110019876B (zh) | 数据查询方法、电子设备及存储介质 | |
| CN108182245A (zh) | 人对象属性分类知识图谱的构建方法及装置 | |
| TWI673617B (zh) | 使用者背景資訊的收集方法及裝置 | |
| CN102135983A (zh) | 基于网络用户行为的群体划分方法和装置 | |
| CN110162637B (zh) | 信息图谱构建方法、装置及设备 | |
| TWI621989B (zh) | Graph-based method and system for analyzing users | |
| KR101054824B1 (ko) | 키워드 시맨틱 네트워크 구성을 통한 특허정보 시각화 시스템 및 그 방법 | |
| CN110798426A (zh) | 一种洪水类DoS攻击行为的检测方法、***及相关组件 | |
| CN111680498B (zh) | 实体消歧方法、装置、存储介质及计算机设备 | |
| CN112311571A (zh) | 网络拓扑生成方法及装置、电子设备和非暂态存储介质 | |
| US8700756B2 (en) | Systems, methods and devices for extracting and visualizing user-centric communities from emails | |
| WO2018033052A1 (zh) | 一种评估用户画像数据的方法及*** | |
| CN107871055B (zh) | 一种数据分析方法和装置 | |
| Keyvanpour | A survey on community detection methods based on the nature of social networks | |
| CN104166659A (zh) | 一种地图数据判重的方法及*** | |
| WO2019028149A1 (en) | SYSTEMS AND METHODS FOR STRUCTURE EXTRACTION FROM DENSED, LOUD, AND LARGE DIMENSIONS | |
| CN113033194A (zh) | 语义表示图模型的训练方法、装置、设备和存储介质 | |
| CN111125379B (zh) | 知识库扩充方法、装置、电子设备和存储介质 | |
| WO2014117296A1 (en) | Generating a hint for a query |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: No. 19, Jiefang East Road, Hangzhou, Zhejiang Province, 310016 Patentee after: CHINA MOBILE GROUP ZHEJIANG Co.,Ltd. Patentee after: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd. Address before: No. 19, Jiefang East Road, Hangzhou, Zhejiang Province, 310016 Patentee before: CHINA MOBILE GROUP ZHEJIANG Co.,Ltd. Patentee before: CHINA MOBILE COMMUNICATIONS Corp. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231213 Address after: No. 19, Jiefang East Road, Hangzhou, Zhejiang Province, 310016 Patentee after: CHINA MOBILE GROUP ZHEJIANG Co.,Ltd. Patentee after: China Mobile (Zhejiang) Innovation Research Institute Co.,Ltd. Patentee after: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd. Address before: No. 19, Jiefang East Road, Hangzhou, Zhejiang Province, 310016 Patentee before: CHINA MOBILE GROUP ZHEJIANG Co.,Ltd. Patentee before: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd. |