CN110943867A - 一种通过网络关系推演应用架构信息的***及方法 - Google Patents

一种通过网络关系推演应用架构信息的***及方法 Download PDF

Info

Publication number
CN110943867A
CN110943867A CN201911233224.6A CN201911233224A CN110943867A CN 110943867 A CN110943867 A CN 110943867A CN 201911233224 A CN201911233224 A CN 201911233224A CN 110943867 A CN110943867 A CN 110943867A
Authority
CN
China
Prior art keywords
information
address
application
network
address information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911233224.6A
Other languages
English (en)
Other versions
CN110943867B (zh
Inventor
黄成�
王泊
高强
宫珂
楼晓鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Stock Exchange Technology Co Ltd
Original Assignee
Shanghai Stock Exchange Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Stock Exchange Technology Co Ltd filed Critical Shanghai Stock Exchange Technology Co Ltd
Priority to CN201911233224.6A priority Critical patent/CN110943867B/zh
Publication of CN110943867A publication Critical patent/CN110943867A/zh
Application granted granted Critical
Publication of CN110943867B publication Critical patent/CN110943867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2475—Traffic characterised by specific attributes, e.g. priority or QoS for supporting traffic characterised by the type of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/133—Protocols for remote procedure calls [RPC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及应用运维的架构维护技术领域，具体来说是一种通过网络关系推演应用架构信息的***及方法，特征在于方法步骤如下：S1.检测环境中真实发生的网络流量；S2.提取网络包中的源目地址信息;S3.根据地址信息寻找应用实例;S4:提取实例相关信息，其优点在于：与传统的手工登记维护应用架构相比，能够保证信息更新及时，同时能够保证信息的完整度和正确性；与基于Agent的信息自动采集相比，能够对运行已久、无法溯源的存量应用架构进行维护，同时能有效地解决应用之间的关系信息收集问题。

Description

一种通过网络关系推演应用架构信息的***及方法
技术领域
本发明涉及应用运维的架构维护技术领域，具体来说是一种通过网络关系推演应用架构信息的***及方法。
背景技术
在信息化的时代，分布式服务架构导致信息复杂度迅速增加，给可用性运维工作带来了较大的复杂性。解决复杂度问题首先就是要能够清晰的梳理出应用架构信息或建立应用CMDB。目前维护应用架构信息比较常用的方式是人工登记和Agent基于配置采集。
采用手工登记维护应用架构是传统常采用的的一种方式，但该方式很难保证信息的更新及时，以及信息的完整度和正确性。随着自动化技术的发展，基于Agent的信息自动采集技术逐渐被用来构建CMDB。基于Agent的信息采集，由于硬件设施的标准化程度相对较高，在硬件网络信息的构建方面有比较好的效果，但在应用架构的信息收集方面存在一定的困难。基于Agent采集，应用的目录、版本等信息需要提前进行配置，一方面对于运行已久、无法溯源的存量应用架构信息较难维护，另一方面只能收集应用本身的信息，并不能有效解决应用之间的关系信息收集问题。在服务化的场景下，传统的单体应用往往演变成具有成百上千个服务实例的分布式形态，无论是手工维护还是Agent采集这种基于预设情况的信息维护，均不能很好地维护应用架构信息。
发明内容
本发明的目的在于解决现有技术的不足，提供一种能够及时发现遗漏、错误信息，完善CMDB建立的通过网络关系推演应用架构信息的***及方法。
为了实现上述目的，设计一种通过网络关系推演应用架构信息的方法，其特征在于方法步骤如下：
S1.检测环境中真实发生的网络流量；
S2.提取网络包中的源目地址信息;
S3.根据地址信息寻找应用实例;
S4:提取实例相关信息。
方法步骤如下：
（1）地址提取阶段
监听网络流量对数据包的地址进行提取，其中对于TCP和UDP分不同的行为处理：
步骤001：提取TCP网络包中的源端、目的端地址信息，主要为IP地址和端口信息；
步骤002：提取UDP网络包中目的端地址信息，主要为IP地址和端口信息，提取后，判断是否包括源端地址，如果有源端地址信息，还需进一步提取源端地址，否则进入待检阶段；
步骤003：提取UDP网络包中的源端地址信息；
（2）待检阶段
包括对待检查地址进行判断，若相关应用信息已知，则无需检查，否则，将待检查地址放入队列和从队列取出，
步骤101：将待检地址放入检查队列；
步骤102：由检查程序将待检地址从队列中取出待检；
（3）检测阶段
对待检地址进行检测以匹配应用信息，对于地址信息的检测通过操作***管理进程检测或针对资源管理平台API调用，
步骤201：根据地址信息，对地址所在主机的检测程序通信，将地址信息发送到Agent，Agent根据资源管理模型区分通过操作***还是资源管理平台获取该地址详细信息；
步骤202： Agent通过调用操作***相关接口来获取正在使用该地址的应用进程信息；
步骤203：根据应用进程信息查询应用信息库；
步骤204：若未查询到结果则将进程描述信息作为应用信息；
（4）记录结果阶段
对检测的结果进行处理，将获取到的信息计入应用信息库，新的记录可经过一定的审批流程后正式生效。
方法步骤还包括
步骤205:若资源由资源管理平台管理,将进程信息转换为平台所能识别的任务信息，根据平台任务信息获取应用详细信息;
步骤206:根据平台任务信息获取应用详细信息。
设计一种通过网络关系推演应用架构信息的***，其特征在于包括网络包分析模块，用于采集网络流量并提取到地址信息，经判重后按需放入待检队列；
检验模块从待检队列获取地址信息，并对地址信息进行判断或检车；
应用信息库用于计入获取到的信息。
网络包分析模块包括网络侦听模块和缓存，网络侦听模块对网卡和交换机镜像流量进行侦听，获取到数据包，提取出源目地址信息，缓存为基于高效查找算法的一个地址库，该地址库为应用信息库中已经识别的应用信息，在程序运行过程中，每识别一个地址，都添加到该缓存中，避免重复检测。
检验模块包括执行模块和调度模块，执行模块根据待检测地址信息，在主机设备上获取使用该地址的进程信息，获取到进程信息后，根据设备是否为资源管理平台纳管机器区分不同的获取应用方式，对于非纳管机器，直接通过进程的启动程序路径和名称作为应用标识，对于资源平台纳管设备，需将该进程转换为对应的任务标识，根据任务标识进一步从平台重获取到准确的应用信息；调度模块根据待检地址识别需要由哪一个执行模块去执行监测任务，并将该监测任务发送到执行模块。
本发明同现有技术相比，其优点在于：
1. 与传统的手工登记维护应用架构相比，能够保证信息更新及时，同时能够保证信息的完整度和正确性；
2. 与基于Agent的信息自动采集相比，能够对运行已久、无法溯源的存量应用架构进行维护，同时能有效地解决应用之间的关系信息收集问题。
附图说明
图1是本发明的组成图；
图2是本发明的处理逻辑流程图。
具体实施方式
以下结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整的描述。本发明主要包括四个部分：网络包分析程序、待检队列、检测程序、应用信息库。显然，所描述的实施例仅仅是本发明的一部分实例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
网络包分析程序能够高效地分析网络流量，其核心模块包括：
1.网络侦听程序：对网卡和交换机镜像流量进行侦听，获取到数据包，提取出源目地址信息。
2.缓存：缓存为基于高效查找算法的一个地址库，该地址库为应用信息库中已经识别的应用信息。在程序启动时，从应用信息库加载，在程序运行过程中，每识别一个地址，都添加到该缓存中，避免重复检测，该缓存根据性能要求可放置在本地或作为一个共享缓存放在远程。
本发明通过一个待检消息队列来送耦合网络包分析程序和检测程序。包分析程序将提取到的未识别地址去重后，发送到消息队列，检测程序则从消息队列获取检测任务异步进行处理。
检测程序订阅到地址后，开始检测工作。检测程序从架构上分为两层：调度和执行，其中订阅地址信息由调度模块完成。
执行模块：根据待检测地址信息，在主机等设备上获取使用该地址的进程信息，一般在待检测地址所指示的同设备上运行。首先根据地址的端口号找到对应的进程ID（如lsof,ps命令等），根据进程ID进一步获取到其详细信息。
获取到进程信息后，可根据设备是否为资源管理平台纳管机器区分不同的获取应用方式。对于非纳管机器，直接通过进程的启动程序路径和名称作为应用标识。对于资源平台纳管设备，需将该进程转换为对应的任务标识（如docker id），根据任务标识进一步从平台重获取到准确的应用信息。
调度模块：调度模块根据待检地址识别需要由哪一个执行模块去执行监测任务，并将该监测任务发送到执行模块。
应用信息库为一个应用CMDB形态或者同时包含硬件信息的CMDB，其维护了应用的不同组件及其关联关系。同时，对外提供可供查询及管理的API。

Claims (6)

1.一种通过网络关系推演应用架构信息的方法，其特征在于方法步骤如下：
S1.检测环境中真实发生的网络流量；
S2.提取网络包中的源目地址信息;
S3.根据地址信息寻找应用实例;
S4:提取实例相关信息。
2.如权利要求1所述的一种通过网络关系推演应用架构信息的方法，其特征在于方法步骤如下：
（1）地址提取阶段
监听网络流量对数据包的地址进行提取，其中对于TCP和UDP分不同的行为处理：
步骤001：提取TCP网络包中的源端、目的端地址信息，主要为IP地址和端口信息；
步骤002：提取UDP网络包中目的端地址信息，主要为IP地址和端口信息，提取后，判断是否包括源端地址，如果有源端地址信息，还需进一步提取源端地址，否则进入待检阶段；
步骤003：提取UDP网络包中的源端地址信息；
（2）待检阶段
包括对待检查地址进行判断，若相关应用信息已知，则无需检查，否则，将待检查地址放入队列和从队列取出，
步骤101：将待检地址放入检查队列；
步骤102：由检查程序将待检地址从队列中取出待检；
（3）检测阶段
对待检地址进行检测以匹配应用信息，对于地址信息的检测通过操作***管理进程检测或针对资源管理平台API调用，
步骤201：根据地址信息，对地址所在主机的检测程序通信，将地址信息发送到Agent，Agent根据资源管理模型区分通过操作***还是资源管理平台获取该地址详细信息；
步骤202： Agent通过调用操作***相关接口来获取正在使用该地址的应用进程信息；
步骤203：根据应用进程信息查询应用信息库；
步骤204：若未查询到结果则将进程描述信息作为应用信息；
（4）记录结果阶段
对检测的结果进行处理，将获取到的信息计入应用信息库，新的记录可经过一定的审批流程后正式生效。
3.如权利要求2所述的一种通过网络关系推演应用架构信息的方法，其特征在于方法步骤还包括
步骤205:若资源由资源管理平台管理,将进程信息转换为平台所能识别的任务信息，根据平台任务信息获取应用详细信息;
步骤206:根据平台任务信息获取应用详细信息。
4.一种通过网络关系推演应用架构信息的***，其特征在于包括
网络包分析模块，用于采集网络流量并提取到地址信息，经判重后按需放入待检队列；
检验模块从待检队列获取地址信息，并对地址信息进行判断或检车；
应用信息库用于计入获取到的信息。
5.如权利要求4所述的一种通过网络关系推演应用架构信息的***，其特征在于所述网络包分析模块包括网络侦听模块和缓存，网络侦听模块对网卡和交换机镜像流量进行侦听，获取到数据包，提取出源目地址信息，缓存为基于高效查找算法的一个地址库，该地址库为应用信息库中已经识别的应用信息，在程序运行过程中，每识别一个地址，都添加到该缓存中，避免重复检测。
6.如权利要求4所述的一种通过网络关系推演应用架构信息的***，其特征在于所述检验模块包括执行模块和调度模块，执行模块根据待检测地址信息，在主机设备上获取使用该地址的进程信息，获取到进程信息后，根据设备是否为资源管理平台纳管机器区分不同的获取应用方式，对于非纳管机器，直接通过进程的启动程序路径和名称作为应用标识，对于资源平台纳管设备，需将该进程转换为对应的任务标识，根据任务标识进一步从平台重获取到准确的应用信息；调度模块根据待检地址识别需要由哪一个执行模块去执行监测任务，并将该监测任务发送到执行模块。
CN201911233224.6A 2019-12-05 2019-12-05 一种通过网络关系推演应用架构信息的***及方法 Active CN110943867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911233224.6A CN110943867B (zh) 2019-12-05 2019-12-05 一种通过网络关系推演应用架构信息的***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911233224.6A CN110943867B (zh) 2019-12-05 2019-12-05 一种通过网络关系推演应用架构信息的***及方法

Publications (2)

Publication Number Publication Date
CN110943867A true CN110943867A (zh) 2020-03-31
CN110943867B CN110943867B (zh) 2022-08-16

Family

ID=69909538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911233224.6A Active CN110943867B (zh) 2019-12-05 2019-12-05 一种通过网络关系推演应用架构信息的***及方法

Country Status (1)

Country Link
CN (1) CN110943867B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107911466A (zh) * 2017-11-29 2018-04-13 北京安华金和科技有限公司 一种多层架构下应用关联方法
CN108205569A (zh) * 2016-12-19 2018-06-26 ***通信集团山西有限公司 用于更新配置管理数据库的方法和装置
CN108234356A (zh) * 2017-11-29 2018-06-29 中电科华云信息技术有限公司 基于应用关系网络的最优化应用资源分布策略
CN109189650A (zh) * 2018-08-21 2019-01-11 贵州电网有限责任公司 一种it运维***的业务***拓扑图展现方法
CN109218080A (zh) * 2018-08-21 2019-01-15 平安科技（深圳）有限公司 一种自动绘制网络拓扑架构的方法、监控***及终端设备
US20190081861A1 (en) * 2017-09-14 2019-03-14 E.S.I. Software Ltd. System and method for determining information technology component dependencies in enterprise applications by analyzing configuration data
CN110086682A (zh) * 2019-05-22 2019-08-02 四川新网银行股份有限公司 基于tcp的服务链路调用关系视图和故障根因定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205569A (zh) * 2016-12-19 2018-06-26 ***通信集团山西有限公司 用于更新配置管理数据库的方法和装置
US20190081861A1 (en) * 2017-09-14 2019-03-14 E.S.I. Software Ltd. System and method for determining information technology component dependencies in enterprise applications by analyzing configuration data
CN107911466A (zh) * 2017-11-29 2018-04-13 北京安华金和科技有限公司 一种多层架构下应用关联方法
CN108234356A (zh) * 2017-11-29 2018-06-29 中电科华云信息技术有限公司 基于应用关系网络的最优化应用资源分布策略
CN109189650A (zh) * 2018-08-21 2019-01-11 贵州电网有限责任公司 一种it运维***的业务***拓扑图展现方法
CN109218080A (zh) * 2018-08-21 2019-01-15 平安科技（深圳）有限公司 一种自动绘制网络拓扑架构的方法、监控***及终端设备
CN110086682A (zh) * 2019-05-22 2019-08-02 四川新网银行股份有限公司 基于tcp的服务链路调用关系视图和故障根因定位方法

Also Published As

Publication number Publication date
CN110943867B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN112269718B (zh) 一种业务***故障分析方法及装置
CN108200111B (zh) 资源配置信息更新方法、装置和资源接口设备
CN107066390A (zh) 一种动态内存泄漏检测方法及***
CN105740142A (zh) Ssr集中管理平台压力测试管理***
CN107347016B (zh) 一种信令流程模型识别方法及异常信令流程辨识方法
CN107870850A (zh) 一种高效的互联网应用日志***
GB2569678A (en) Automation of SQL tuning method and system using statistic SQL pattern analysis
CN113064762A (zh) 基于多样探测的服务自恢复方法
CN108429747A (zh) 一种大规模Web服务器信息采集方法
US11349730B2 (en) Operation device and operation method
CN113242157B (zh) 一种分布式处理环境下的集中式数据质量监测方法
CN110943867B (zh) 一种通过网络关系推演应用架构信息的***及方法
CN108228417B (zh) 车联网日志处理方法及处理装置
CN105207829B (zh) 一种入侵检测数据处理方法、装置，及***
CN113641742A (zh) 一种数据抽取方法、装置、设备和存储介质
CN103475531A (zh) 异常处理方法、自动巡检控制台和知识库***
US8429458B2 (en) Method and apparatus for system analysis
CN112182065A (zh) 基于自动采集和多源导入的资产管理***及方法
US7363615B2 (en) Stack-based callbacks for diagnostic data generation
CN115905889A (zh) 基于聚类的网络实体指纹识别及网络漏洞态势感知方法
CN116800438A (zh) 一种反弹shell检测方法及装置
CN114629786A (zh) 日志实时分析方法、装置、存储介质及***
CN113572628A (zh) 数据关联方法、装置、计算设备及计算机存储介质
EP2533153B1 (en) Unit for managing messages indicating event situations of monitored objects
CN110620682A (zh) 资源信息的获取方法及装置、存储介质、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant