CN113595800B - 一种应用连接关系自动发现与cmdb信息保鲜的方法 - Google Patents

一种应用连接关系自动发现与cmdb信息保鲜的方法 Download PDF

Info

Publication number
CN113595800B
CN113595800B CN202110887789.7A CN202110887789A CN113595800B CN 113595800 B CN113595800 B CN 113595800B CN 202110887789 A CN202110887789 A CN 202110887789A CN 113595800 B CN113595800 B CN 113595800B
Authority
CN
China
Prior art keywords
application
snapshot
identification
topology
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110887789.7A
Other languages
English (en)
Other versions
CN113595800A (zh
Inventor
张永超
郭学威
梁卫星
杨骏
雷晓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tengyun Yuezhi Technology Shenzhen Co ltd
Original Assignee
Tengyun Yuezhi Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tengyun Yuezhi Technology Shenzhen Co ltd filed Critical Tengyun Yuezhi Technology Shenzhen Co ltd
Priority to CN202110887789.7A priority Critical patent/CN113595800B/zh
Publication of CN113595800A publication Critical patent/CN113595800A/zh
Application granted granted Critical
Publication of CN113595800B publication Critical patent/CN113595800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种应用连接关系自动发现与CMDB信息保鲜的方法。本发明通过抓取并统计一个周期内的网络流量信息，形成拓扑快照，以便于与历史快照进行对比，并分析新版本快照与历史版本快照之间的区别，对差异进行识别判断，从而推荐调整方案，自动同步至CMDB，满足CMDB信息的保鲜需求。同时，采用本发明所提供的方法，可以减少对现有服务架构的改造，满足大量传统的数据中心的升级改造需求。

Description

一种应用连接关系自动发现与CMDB信息保鲜的方法
技术领域
本发明涉及数据中心运维领域，尤其涉及一种应用连接关系自动发现与CMDB信息保鲜的方法。
背景技术
配置管理数据库(CMDB)是一个逻辑数据库，包含了配置项全生命周期的信息以及配置项之间的关系(包括物理关系、实时通信关系、非实时通信关系和依赖关系)。CMDB存储于管理企业IT架构中设备的各种配置信息，它与所有服务支持和服务交付流程都紧密相连，支持这些流程的运转、发挥配置信息的价值，同时依赖于相关流程保证数据的准确性。
CMDB的数据质量和保鲜一直是数据中心运维领域的老大难问题，CMDB的组成包含对象和对象关系，其中对象配置信息相对静态，业界已有Salt开源来解决对象配置信息自动发现。对象关系主要有以下三类：
(1)主从关系：这种关系是一种强父子关系，主不存在了，则从就不存在了，例如虚拟机和宿主物理机之间的关系。
(2)依赖关系：一种对象属性级之间的关联关系，比如说某个应用部署在HOST上，这是对象级别的关系。
(3)连接关系：连接是多对多关系，并且这个关系是因为某种“连接”产生的，应用之间的调用关系，就是最典型的连接关系。
应用调用的拦截关系经常发生动态变化，这部分的信息保鲜难度最高。关于应用调用关系，目前业界已有的解决方案是通过traceid全链路透传来构建***调用链路，如腾讯TSF和阿里SOFA，但是其使用范围有很大的局限性，主要适用于分布式微服务架构，要求数据中心使用统一的微服务框架，需要大量的应用改造，无法应用于大量传统的数据中心。
因此，现有技术存在缺陷，需要改进。
发明内容
本发明的目的是克服现有技术的不足，提供一种应用连接关系自动发现与CMDB信息保鲜的方法。
本发明的技术方案如下：提供一种应用连接关系自动发现与CMDB信息保鲜的方法，包括以下步骤：
步骤1：拓扑快照：通过一端时间内的网络协议和网络流量统计，生成应用连接拓扑快照，并将快照结果持久化，写入数据库；
步骤2：差异识别：通过对连续快照进行比较分析，并通过AI模型+规则的组合方法识别应用连接关系的变化，识别应用调用关系的变化；
步骤3：调整方案推荐：根据识别结果，推荐调整方案，自动同步至CMDB；
步骤4：同步至CMDB：同步应用对象的变化，再同步应用连接关系的变化，从而实现CMDB信息保鲜。
进一步地，所述步骤1的具体步骤为：
步骤1.1：通过核心交换机、虚拟交换机采集最近一个周期内的网络流量，对所采集网络流量进行统计，生成应用拓扑快照；
步骤1.2：应用拓扑快照持久化，并保存至图数据库。
进一步地，所述步骤2的具体步骤为：
步骤2.1：将最新版本的拓扑快照与上一个版本的进行比较，生成拓扑变化初稿；
步骤2.2：基于拓扑变化初稿，通过规则进行T0变化识别；
步骤2.3：基于AI模型做拓扑变化识别，包括服务类型识别、应用分层识别和连接变化识别。
进一步地，所述拓扑变化识别具体方式为：
基于文本和数值混合型数据信息对其进行识别，主要基于网络端口特征和网络符合特征进行识别；对所识别的特征进行规则判断，判断其最接近的服务类型，并对结果做后处理比对，如果判断的服务类型已经存在，则选择第二接近的服务类型，以此类推。
进一步地，所述应用分层识别的具体方式为：
结合网络端口协议特征和网络负荷特征进行识别，将同类型的负荷特征归为一类，不同类型的反之；识别出大致的应用服务，再将应用服务的向量数据与智能运维库比较，找到最相似的标注应用；以最相似的标注应用作为最终确认的应用服务，在对应用进行分层。
进一步地，所述连接变化识别的具体方式为：
对网络数据的连续性进行识别，基于连续变化的规律，找出其对网络的影响，利用前后时间的关系构造序列特征；离线训练长序列、大批量数据、更深度的网络模型，即为教师模型；在线使用小批量数据、浅层的网络模型，即为学生模型；通过学生模型融合教师模型中得到的权重参数，获得更好更快的线上效果。
采用上述方案，本发明通过抓取并统计一个周期内的网络流量信息，形成拓扑快照，以便于与历史快照进行对比，并分析新版本快照与历史版本快照之间的区别，对差异进行识别判断，从而推荐调整方案，自动同步至CMDB，满足CMDB信息的保鲜需求。同时，采用本发明所提供的方法，可以减少对现有服务架构的改造，满足大量传统的数据中心的升级改造需求。
附图说明
图1为本发明的流程框图。
图2为本发明的***结构图。
图3为本发明的效果示意图。
具体实施方式
以下结合附图和具体实施例，对本发明进行详细说明。
请参阅图1至图3，本发明提供一种应用连接关系自动发现与CMDB信息保鲜的方法，包括以下步骤：
步骤1：拓扑快照：通过一端时间内的网络协议和网络流量统计，生成应用连接拓扑快照，并将快照结果持久化，写入数据库。快照是特定数据集的一个完整可用的拷贝，该数据集包含源数据在拷贝点的静态映像，可以是数据再现的一个副本或者复制。快照的作用主要是能够进行在线数据备份与恢复。当存储设备发生应用故障或者文件损坏时可以进行快速的数据恢复，将数据恢复某个可用的时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道，当原数据进行在线应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作。通过对网络流量进行采集统计，生成拓扑快照，以便于进行比对识别，从而判断数据信息的变化。具体步骤为：
步骤1.1：通过核心交换机、虚拟交换机等设备采集最近一个周期内的网络流量，对所采集网络流量进行统计，生成应用拓扑快照；
步骤1.2：应用拓扑快照持久化，并保存至图数据库。
步骤2：差异识别：通过对连续快照进行比较分析，并通过AI模型+规则的组合方法识别应用连接关系的变化，识别应用调用关系的变化，包括对象(应用服务器)的增、删、改以及调用关系的增、删。具体步骤为：
步骤2.1：将最新版本的拓扑快照与上一个版本的进行比较，生成拓扑变化初稿；
步骤2.2：基于拓扑变化初稿，通过规则进行T0变化识别；
步骤2.3：基于AI模型做拓扑变化识别，包括服务类型识别、应用分层识别和连接变化识别。服务类型识别可以基于网络端口特征和网络负荷特征识别，应用分层识别可以基于网络端口协议特征和网络负荷特征识别，连接变化识别通过服务的周期性等特征确认最新拓扑上连接消失是否属于正常周期性表现。
所述拓扑变化识别具体方式为：
基于文本和数值混合型数据信息对其进行识别，主要基于网络端口特征和网络符合特征进行识别，如数据库端口一般采用3306，ES端口一般采用9300或9200，对所识别的特征进行规则判断，并对未知的端口进行聚类等，判断其最接近的服务类型，并对结果做后处理比对，如果判断的服务类型已经存在，则选择第二接近的服务类型，以此类推。
所述应用分层识别的具体方式为：
结合网络端口协议特征和网络负荷特征进行识别，如网络端口协议一般是传输6个变量组合成的一段数据，网络负荷则将同类型的负荷特征归为一类，不同类型的反之；识别出大致的应用服务，再将应用服务的向量数据与智能运维库比较，找到最相似的标注应用，并以最相似的标注应用作为最终确认的应用服务，在对应用进行分层。
所述连接变化识别的具体方式为：
对网络数据的连续性进行识别，基于连续变化的规律，找出其对网络的影响，利用前后时间的关系构造序列特征。由于运维结果需要秒级反馈，但更大的数据量以及数据的波动市场又是非常重要的特征，简称优势特征。如果抛弃不使用则效果不佳，需要使用时便要等待移动的时长。将Privileged Features Distillation引入到智能运维领域，取离线训练长序列、大批量数据、更深度的网络模型，即为教师模型；取在线使用小批量数据、浅层的网络模型，即为学生模型。通过学生模型融合教师模型中得到的权重参数，获得更好更快的线上效果。
步骤3：调整方案推荐：根据识别结果，推荐调整方案，自动同步至CMDB。
步骤4：同步至CMDB：同步应用对象的变化，再同步应用连接关系的变化，从而实现CMDB信息保鲜。
通过对网络流量进行采集统计，从而生成拓扑快照，从而根据新生成的快照与历史快照进行对比，分析识别新版本快照与历史快照之间的差异，并对差异进行识别判断，得出拓扑调整方案，从而满足CMDB信息的更新替换，提高数据信息的准确性。
综上所述，本发明通过抓取并统计一个周期内的网络流量信息，形成拓扑快照，以便于与历史快照进行对比，并分析新版本快照与历史版本快照之间的区别，对差异进行识别判断，从而推荐调整方案，自动同步至CMDB，满足CMDB信息的保鲜需求。同时，采用本发明所提供的方法，可以减少对现有服务架构的改造，满足大量传统的数据中心的升级改造需求。
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种应用连接关系自动发现与CMDB信息保鲜的方法，其特征在于，包括以下步骤：
步骤1：拓扑快照：通过一段时间内的网络协议和网络流量统计，生成应用连接拓扑快照，并将快照结果持久化，写入数据库；
步骤2：差异识别：通过对连续快照进行比较分析，并通过AI模型+规则的组合方法识别应用连接关系的变化，识别应用调用关系的变化；具体步骤为：
步骤2.1：将最新版本的拓扑快照与上一个版本的进行比较，生成拓扑变化初稿；
步骤2.2：基于拓扑变化初稿，通过规则进行T0变化识别；
步骤2.3：基于AI模型做拓扑变化识别，包括服务类型识别、应用分层识别和连接变化识别；
步骤3：调整方案推荐：根据识别结果，推荐调整方案，自动同步至CMDB；
步骤4：同步至CMDB：同步应用对象的变化，再同步应用连接关系的变化，从而实现CMDB信息保鲜。
2.根据权利要求1所述的应用连接关系自动发现与CMDB信息保鲜的方法，其特征在于，所述步骤1的具体步骤为：
步骤1.1：通过核心交换机、虚拟交换机采集最近一个周期内的网络流量，对所采集网络流量进行统计，生成应用拓扑快照；
步骤1.2：应用拓扑快照持久化，并保存至图数据库。
3.根据权利要求1所述的应用连接关系自动发现与CMDB信息保鲜的方法，其特征在于，所述服务类型识别具体方式为：
基于文本和数值混合型数据信息对拓扑变化初稿进行识别，基于网络端口特征和网络负荷特征进行识别；对所识别的特征进行规则判断，判断与所识别的特征最接近的服务类型，并对结果做后处理比对，如果判断的服务类型已经存在，则选择第二接近的服务类型，依次进行判断，并选择未存在且最优的服务类型。
4.根据权利要求1所述的应用连接关系自动发现与CMDB信息保鲜的方法，其特征在于，所述应用分层识别的具体方式为：
结合网络端口协议特征和网络负荷特征进行识别，将同类型的负荷特征归为一类，不同类型的反之；识别出大致的应用服务，再将应用服务的向量数据与智能运维库比较，找到最相似的标注应用；以最相似的标注应用作为最终确认的应用服务，再对应用进行分层。
CN202110887789.7A 2021-08-03 2021-08-03 一种应用连接关系自动发现与cmdb信息保鲜的方法 Active CN113595800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110887789.7A CN113595800B (zh) 2021-08-03 2021-08-03 一种应用连接关系自动发现与cmdb信息保鲜的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110887789.7A CN113595800B (zh) 2021-08-03 2021-08-03 一种应用连接关系自动发现与cmdb信息保鲜的方法

Publications (2)

Publication Number Publication Date
CN113595800A CN113595800A (zh) 2021-11-02
CN113595800B true CN113595800B (zh) 2022-07-05

Family

ID=78254631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110887789.7A Active CN113595800B (zh) 2021-08-03 2021-08-03 一种应用连接关系自动发现与cmdb信息保鲜的方法

Country Status (1)

Country Link
CN (1) CN113595800B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103069749A (zh) * 2010-08-26 2013-04-24 惠普发展公司，有限责任合伙企业 虚拟环境中的问题的隔离
WO2016188682A1 (en) * 2015-05-26 2016-12-01 Alcatel Lucent A method for determining a topology of a computer cloud at an event date
CN109101590A (zh) * 2018-07-27 2018-12-28 贵州广思信息网络有限公司 基于cmdb的配置项ci拓扑关系可视化方法
CN109218080A (zh) * 2018-08-21 2019-01-15 平安科技（深圳）有限公司 一种自动绘制网络拓扑架构的方法、监控***及终端设备
CN109510729A (zh) * 2018-12-25 2019-03-22 上海新炬网络技术有限公司 一种基于CMDB和Netstat发现应用拓扑关系的实现方法
CN109754089A (zh) * 2018-12-04 2019-05-14 浙江大华技术股份有限公司 一种模型训练***及方法
CN110288003A (zh) * 2019-05-29 2019-09-27 北京师范大学 数据变化识别方法及设备
US10693739B1 (en) * 2019-05-29 2020-06-23 Accenture Global Solutions Limited Network design platform
CN111448560A (zh) * 2017-12-14 2020-07-24 谷歌有限责任公司 数据库同步
CN112417213A (zh) * 2020-12-07 2021-02-26 上海轻维软件有限公司 一种关于VMware自发现监控和实例拓扑自发现方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10873593B2 (en) * 2018-01-25 2020-12-22 Cisco Technology, Inc. Mechanism for identifying differences between network snapshots
US11070435B2 (en) * 2019-01-16 2021-07-20 Servicenow, Inc. Service model re-computation based on configuration item change type

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103069749A (zh) * 2010-08-26 2013-04-24 惠普发展公司，有限责任合伙企业 虚拟环境中的问题的隔离
WO2016188682A1 (en) * 2015-05-26 2016-12-01 Alcatel Lucent A method for determining a topology of a computer cloud at an event date
CN111448560A (zh) * 2017-12-14 2020-07-24 谷歌有限责任公司 数据库同步
CN109101590A (zh) * 2018-07-27 2018-12-28 贵州广思信息网络有限公司 基于cmdb的配置项ci拓扑关系可视化方法
CN109218080A (zh) * 2018-08-21 2019-01-15 平安科技（深圳）有限公司 一种自动绘制网络拓扑架构的方法、监控***及终端设备
CN109754089A (zh) * 2018-12-04 2019-05-14 浙江大华技术股份有限公司 一种模型训练***及方法
CN109510729A (zh) * 2018-12-25 2019-03-22 上海新炬网络技术有限公司 一种基于CMDB和Netstat发现应用拓扑关系的实现方法
CN110288003A (zh) * 2019-05-29 2019-09-27 北京师范大学 数据变化识别方法及设备
US10693739B1 (en) * 2019-05-29 2020-06-23 Accenture Global Solutions Limited Network design platform
CN112417213A (zh) * 2020-12-07 2021-02-26 上海轻维软件有限公司 一种关于VMware自发现监控和实例拓扑自发现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Privileged Features Distillation at Taobao Recommendations;Chen Xu等;《Woodstock ’18》;20180605;全文 *

Also Published As

Publication number Publication date
CN113595800A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
US20190243827A1 (en) Method and system for implementing a log parser in a log analytics system
CN110401662B (zh) 一种工控设备指纹识别方法、存储介质
US20110029657A1 (en) Tracking high-level network transactions
CN109274557B (zh) 一种云环境下的智能cmdb管理及云主机监控方法
US20220092062A1 (en) Method and system for implementing a log parser in a log analytics system
CN113505048A (zh) 基于应用***画像的统一监控平台及实现方法
CN104615658A (zh) 一种确定用户身份的方法
US11418397B1 (en) Automated generation of standard network device configurations
CN110427298A (zh) 一种分布式日志的自动特征提取方法
CN110399178A (zh) 一种第三方服务的调用方法、装置、电子设备和存储介质
CN111654486A (zh) 一种服务器设备判定识别方法
CN112134719A (zh) 一种分析基站安全日志的方法和***
CN112769605A (zh) 一种异构多云的运维管理方法及混合云平台
Solmaz et al. ALACA: A platform for dynamic alarm collection and alert notification in network management systems
CN113595800B (zh) 一种应用连接关系自动发现与cmdb信息保鲜的方法
CN104182470B (zh) 一种基于svm的移动终端应用分类***和方法
CN111371570B (zh) 一种nfv网络的故障检测方法及装置
CN108306780A (zh) 一种基于云环境的虚拟机通信质量自优化的***和方法
CN114661658B (zh) 一种应用于远程视频会议的数据分析方法及***
CN115884235A (zh) 一种5g网络数字孪生建模方法、装置、计算机设备和存储介质
US20230195495A1 (en) Realtime property based application discovery and clustering within computing environments
CN111258874A (zh) 一种基于web数据的用户操作轨迹分析方法及装置
CN113821412A (zh) 一种设备运维管理方法及装置
CN117596133B (zh) 基于多维数据的业务画像及异常监测***及监测方法
CN115766418B (zh) 一种服务协同模式敏捷调整方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant