CN112738060A - 微服务数据的处理方法、装置、微服务处理平台及介质 - Google Patents

微服务数据的处理方法、装置、微服务处理平台及介质 Download PDF

Info

Publication number
CN112738060A
CN112738060A CN202011556562.6A CN202011556562A CN112738060A CN 112738060 A CN112738060 A CN 112738060A CN 202011556562 A CN202011556562 A CN 202011556562A CN 112738060 A CN112738060 A CN 112738060A
Authority
CN
China
Prior art keywords
micro
service
data
microservice
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011556562.6A
Other languages
English (en)
Other versions
CN112738060B (zh
Inventor
曾海桑
郭志坚
汪培
白云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011556562.6A priority Critical patent/CN112738060B/zh
Priority to PCT/CN2021/084251 priority patent/WO2022134358A1/zh
Publication of CN112738060A publication Critical patent/CN112738060A/zh
Application granted granted Critical
Publication of CN112738060B publication Critical patent/CN112738060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1073Registration or de-registration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请适用于研发管理技术领域,提供了一种微服务数据的处理方法、装置、微服务处理平台及介质,方法包括:确定包含微服务的注册信息的目标注册中心和目标注册中心的目标注册类型;根据目标注册类型,在微服务处理平台的微服务注册适配引擎中生成目标调用接口;根据目标调用接口和目标开放接口,获取微服务的微服务数据;将微服务数据写入微服务处理平台的数据库中,并进行集中处理。采用上述方法通过与不同注册类型的注册中心进行接口适配,以获取各个微服务的微服务数据,可实现在多个微服务的注册信息分别部署在不同注册类型的注册中心时,直接对多个微服务数据进行有效处理的效果。

Description

微服务数据的处理方法、装置、微服务处理平台及介质
技术领域
本申请属于大数据技术领域,尤其涉及一种微服务数据的处理方法、装置、微服务处理平台及介质。
背景技术
现有技术中,在多个微服务的注册信息分别部署在不同注册类型的注册中心时,因注册中心的注册类型不同,很难通过单独的微服务处理平台直接对多个微服务进行处理。目前,通常是将大量微服务的注册信息在同一个注册类型的注册中心进行部署。然而,若大量微服务已有对应的注册中心,则需要将微服务在对应的注册中心内部署的注册信息进行删除。之后,将注册信息在同一个注册类型的注册中心重新进行部署。此时,对注册信息重新进行部署时,将增加工作人员的工作量。因此,目前存在对于多个微服务的注册信息分别部署在不同注册类型的注册中心时,难以通过单独的微服务处理平台直接对多个微服务数据进行有效处理的问题。
发明内容
本申请实施例提供了一种微服务数据的处理方法、装置、微服务处理平台及介质,可以解决对于多个微服务的注册信息分别部署在不同注册类型的注册中心时,难以通过单独的微服务处理平台直接对多个微服务数据进行有效处理的问题。
第一方面,本申请实施例提供了一种微服务数据的处理方法,应用于微服务处理平台,所述方法包括:
确定包含微服务的注册信息的目标注册中心,并确定所述目标注册中心的目标注册类型;
根据所述目标注册类型,在所述微服务处理平台的微服务注册适配引擎中,生成与所述目标注册中心的目标开放接口适配的目标调用接口;
根据所述目标调用接口和所述目标开放接口,获取所述微服务的微服务数据;
将所述微服务数据写入所述微服务处理平台的数据库,并对所述微服务数据进行集中处理,所述数据库包含有与多个微服务一一对应的微服务数据。
在一实施例中,所述目标注册中心包括所述微服务处理平台的统一注册中心以及所述微服务已有的注册中心;在所述确定包含微服务的注册信息的目标注册中心之前,还包括:
若所述微服务未有对应的注册中心,则获取所述微服务的注册信息,并在所述统一注册中心内部署所述注册信息;
若所述微服务已有对应的注册中心,则将所述微服务对应的注册中心确定为所述微服务的目标注册中心。
在一实施例中,在所述确定包含微服务的注册信息的目标注册中心之前,还包括:
若所述微服务已有对应的注册中心,则删除所述微服务在已有对应的注册中心内部署的注册信息;
获取所述微服务的注册信息,并重新在所述统一注册中心内部署所述注册信息。
在一实施例中,在所述将所述微服务数据写入所述微服务处理平台的数据库,并对所述微服务数据进行集中处理之后,还包括:
确定所述微服务使用的微服务框架的框架类型;
通过所述微服务处理平台的微服务监控引擎,调用与所述框架类型适配的工具包;
在运行所述微服务时,根据所述工具包接入所述微服务的微服务框架,以调用所述微服务的服务组件。
在一实施例中,在运行所述微服务时,根据所述工具包接入所述微服务的微服务框架,以调用所述微服务的服务组件之后,还包括:
获取所述微服务运行时的监控数据;
对处于预设的时间周期内的监控数据进行实时整合分析,得到分析结果;
存储所述分析结果至数据库中。
在一实施例中,所述获取所述微服务运行时的监控数据,包括:
存储所述微服务运行时的监控数据至所述微服务的消息队列中;
通过异步线程将所述消息队列中的监控数据,写入所述微服务处理平台的文件***。
在一实施例中,所述对处于预设的时间周期内的监控数据进行实时整合分析,得到分析结果,得到分析结果,包括:
依次对所述监控数据进行数据清洗处理和数据格式转化处理,得到处理后的监控数据;
通过图表化形式对所述处理后的监控数据进行数据整合,分别得到表格形式的表格数据,以及图形形式的图形数据;
结合所述表格数据和所述图形数据进行分析,得到所述分析结果。
第二方面,本申请实施例提供了一种微服务数据的处理装置,应用于微服务处理平台,所述装置包括:
第一获取模块,用于确定包含微服务的注册信息的目标注册中心,并确定所述目标注册中心的目标注册类型;
生成模块,用于根据所述目标注册类型,在所述微服务处理平台的微服务注册适配引擎中,生成与所述目标注册中心的目标开放接口适配的目标调用接口;
第二获取模块,用于根据所述目标调用接口和所述目标开放接口,获取所述微服务的微服务数据;
处理模块,用于将所述微服务数据写入所述微服务处理平台的数据库,并对所述微服务数据进行集中处理,所述数据库包含有与多个微服务一一对应的微服务数据。
第三方面,本申请实施例提供了一种微服务处理平台,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面任一项所述的方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述方面中任一项所述的方法。
本申请实施例与现有技术相比存在的有益效果是:在确定微服务对应的目标注册中心和目标注册中心的目标注册类型后,微服务处理平台只需对已有的目标注册中心的目标开放接口进行适配。以使得微服务处理平台可与目标注册中心进行连接,以此可获取到微服务在目标注册中心内部署的注册信息。之后,可根据注册信息获取相应微服务的微服务数据进行处理。基于此,微服务处理平台不仅可对不同注册类型的注册中心对应的多个微服务的微服务数据进行统一处理,还可有效的减少工作人员的工作量,以及降低在微服务处理平台中重新部署注册信息时,微服务数据泄露的风险。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种微服务数据的处理方法的实现流程图;
图2是本申请另一实施例提供的一种微服务数据的处理方法的实现流程图;
图3是本申请再一实施例提供的一种微服务数据的处理方法的实现流程图;
图4是本申请又一实施例提供的一种微服务数据的处理方法的实现流程图;
图5是本申请又一实施例提供的一种微服务数据的处理方法的实现流程图;
图6是本申请一实施例提供的一种微服务数据的处理方法的S10CA的一种实现方式示意图;
图7是本申请一实施例提供的一种微服务数据的处理方法的S10CB的一种实现方式示意图;
图8是本申请一实施例提供的一种微服务数据的处理装置的结构框图;
图9是本申请一实施例提供的一种微服务处理平台的结构框图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
本申请实施例提供的微服务数据的处理方法应用于微服务处理平台。其中,微服务处理平台包括统一注册中心、微服务注册适配引擎、微服务监控引擎和数据库。上述统一注册中心可用于部署各个微服务的注册信息,以使得每个新上线的微服务可不用将各自的注册信息分别部署在多个注册中心,实现对多个微服务的注册信息的集中处理。上述微服务注册适配引擎用于对微服务已有的注册中心进行接口适配,以便微服务处理平台可通过该接口从已有的注册中心内获取微服务的注册信息,并根据注册信息获取该微服务的微服务数据。上述微服务监控引擎可用于在确定微服务中微服务框架的框架类型后,调用与框架类型适配的工具包与微服务框架进行接入,以实现对微服务中微服务组件的调用。上述数据库可用于存储每个微服务的微服务数据、微服务在运行时产生的监控数据,以及对监控数据进行分析得到的分析结果,对此不作限定。
请参阅图1,图1示出了本申请实施例提供的一种微服务数据的处理方法的实现流程图,该方法应用于微服务处理平台,该方法具体包括如下步骤:
S101、确定包含微服务的注册信息的目标注册中心,并确定所述目标注册中心的目标注册类型。
在应用中,上述微服务为一种用于构建服务应用的架构方案。其中,服务应用的架构方案有别于传统的单体式方案,可将服务应用拆分成多个核心服务功能。每个服务功能都可被称为一项服务,可以单独构建和部署,即每个服务功能均可以认为是一个微服务。其中,各个微服务在启动时,需要先将微服务的网络地址、微服务组件等数据信息注册到注册中心,由注册中心进行存储。基于此,在调用微服务时,服务消费者可从注册中心查询到微服务的网络地址。之后,通过该网络地址获取到微服务组件,并与接入微服务的调用接口进行连接,调用微服务组件。
在应用中,确定微服务是否具有对应的目标注册中心以及目标注册中心的目标注册类型,均可以由工作人员根据实际情况进行确定,并将确定结果发送至微服务处理平台中。
在应用中,上述注册中心的注册类型具有多种,具体的,注册类型包括但不限于Zookeeper类型和Eureka类型等。可以理解的是,对于不同的微服务,其使用的注册中心的注册类型可能相同,也可能不同。可以理解的是,微服务对应注册中心的注册类型不同,则每个微服务的微服务处理平台很难兼容其他注册类型的注册中心。进而,难以对多个不同注册类型对应的微服务实现统一处理。
S102、根据所述目标注册类型,在所述微服务处理平台的微服务注册适配引擎中,生成与所述目标注册中心的目标开放接口适配的目标调用接口。
在应用中,上述已说明各个微服务在启动时,需要将先微服务的网络地址、微服务组件等数据信息在注册中心进行部署。即可认为上述微服务注册适配引擎与该目标注册中心进行适配连接后,便可获取到目标该注册中心内所有微服务分别对应部署的网络地址、微服务组件等数据信息。基于此,为实现微服务注册适配引擎与注册中心的适配连接,需要获取到目标注册中心的开放接口。之后,微服务注册适配引擎根据开放接口对目标注册中心进行适配,生成可以与目标注册中心进行数据传输的目标调用接口。其中,上述调用接口和开放接口均可为API接口。需要说明的是,上述微服务注册适配引擎为微服务处理平台中的组件,其作用为可对不同注册类型的注册中心提供的开放接口进行适配,生成与每个注册类型的注册中心对应的调用接口。
可以理解的是,一个组件(注册中心)具有开放的API,即代表该组件可以将自身数据(注册中心内的数据)对外开放。此时,该开放的API接口包含了该API接口的使用权限,例如,API接口的调用次数、调用对象等。
S103、根据所述目标调用接口和所述目标开放接口,获取所述微服务的微服务数据。
S104、将所述微服务数据写入所述微服务处理平台的数据库,并对所述微服务数据进行集中处理,所述数据库包含有与多个微服务一一对应的微服务数据。
在应用中,上述微服务数据可以理解为微服务的网络地址、微服务组件等数据信息。需要说明的是,在微服务注册适配引擎的目标调用接口与目标注册中心的目标开放接口适配时,微服务处理平台可调用目标调用接口与目标开放接口进行连接。进而,可在目标注册中心内查找微服务的网络地址和微服务组件等数据信息。
在应用中,在获取到微服务数据后,还需将微服务数据写入微服务处理平台的数据库中进行保存。以此,在数据库包含有与多个微服务一一对应的微服务数据后,可实现对多个微服务数据的集中处理。其中,上述集中处理可以为分别设置每个微服务数据的标识信息,以区分各个微服务,并可对每个微服务在目标注册中心部署的注册信息执行增加、删除、修改查询等处理,对此不作限定。
在本实施例中,在确定微服务对应的目标注册中心和目标注册中心的目标注册类型后,微服务处理平台只需对已有的目标注册中心的目标开放接口进行适配。以使得微服务处理平台可与目标注册中心进行连接,以此可获取到微服务在目标注册中心内部署的注册信息。之后,可根据注册信息获取相应微服务的微服务数据进行处理。基于此,微服务处理平台不仅可对不同注册类型的注册中心对应的多个微服务的微服务数据进行统一处理,还可有效的减少工作人员的工作量,以及降低在微服务处理平台中重新部署注册信息时,微服务数据泄露的风险。
参照图2,在一实施例中,所述目标注册中心包括所述微服务处理平台的统一注册中心以及所述微服务已有的注册中心;在S101确定包含微服务的注册信息的目标注册中心之前,还包括如下步骤S101A-S101B,详述如下:
S101A、若所述微服务未有对应的注册中心,则获取所述微服务的注册信息,并在所述统一注册中心内部署所述注册信息。
在应用中,上述统一注册中心可以为工作人员预先在微服务处理平台中设置的注册中心,其可用于对未有对应的注册中心的微服务,进行注册信息部署。
在应用中,对于新上线的微服务,其通常不具有对应的注册中心。基于此,可将该微服务的注册信息在微服务处理平台中的统一注册中心内进行部署。此时,统一注册中心只有一个,即统一注册中心的注册类型只有一个。此时,统一注册中心即为目标注册中心,而统一注册中心和微服务注册适配引擎均为微服务处理平台中的组件。即可认为微服务注册适配引擎中已具有与统一注册中心的目标开放接口适配的目标调用接口。因此,在统一注册中心内部署新上线的微服务的注册信息,可统一新上线的微服务对应的注册中心类型,避免在微服务处理平台中构建多种注册类型的注册中心,降低微服务处理平台中所需使用的组件资源。
S101B、若所述微服务已有对应的注册中心,则将所述微服务对应的注册中心确定为所述微服务的目标注册中心。
在应用中,对于已有对应的注册中心的微服务,此时,可确定已有对应的注册中心即为目标注册中心。基于此,可采用上述S101至S102的方式,使用微服务注册适配引擎对目标注册中心的目标开放接口进行接口适配。
在本实施例中,在确定微服务已有对应的注册中心后,通过对已有的注册中心采用上述S101至S102进行接口适配,以获取微服务的微服务数据,可不用对微服务的注册信息重新进行部署,降低工作人员的工作量;以及在确定微服务没有对应的注册中心后,使用同一种注册类型的统一注册中心对每个微服务的注册信息进行部署,可避免在微服务处理平台中构建多种注册类型的注册中心,降低微服务处理平台中所需使用的组件资源。
参照图3,在一实施例中,在S101确定包含微服务的注册信息的目标注册中心之前,还包括如下步骤S101C-S101D,详述如下:
S101C、若所述微服务已有对应的注册中心,则删除所述微服务在已有对应的注册中心内部署的注册信息。
S101D、获取所述微服务的注册信息,并重新在所述统一注册中心内部署所述注册信息。
在应用中,在确定微服务已有对应的注册中心后,还可删除该微服务在已有对应的注册中心内部署的注册信息。之后,将该微服务的注册信息重新在统一注册中心内进行部署。需要说明的是,对于已有对应的注册中心的微服务的数量较少时,可采用上述方式对注册信息重新进行部署,以减少微服务注册适配引擎与外部注册中心进行接口适配的接口数量。
参照图4,在一实施例中,在S104将所述微服务数据写入所述微服务处理平台的数据库,并对所述微服务数据进行集中处理之后,还包括如下步骤S104A-S104C,详述如下:
S104A、确定所述微服务使用的微服务框架的框架类型。
在应用中,上述微服务框架可用于部署微服务在运行时所需的运行环境。因此,在生成微服务时,需要预先构建微服务的微服务框架,以将微服务的多种服务功能部署在微服务框架中,以使得微服务可正常运行。因不同微服务之间的服务功能不同,因此,使用的微服务框架的框架类型也各不相同。其中,上述框架类型包括但不限于Service Mesh框架类型、Linkerd框架类型等。
需要说明的是,对于确定微服务框架的框架类型,可以与确定目标注册中心的目标注册类型的方法一致。例如,均可由工作人员根据微服务的实际情况进行确定,并将确定结果发送至微服务处理平台中,对此不作限定。
S104B、通过所述微服务处理平台的微服务监控引擎,调用与所述框架类型适配的工具包。
S104C、在运行所述微服务时,根据所述工具包接入所述微服务的微服务框架,以调用所述微服务的服务组件。
在应用中,在获取到微服务的微服务数据后,为了运行该微服务(即调用微服务数据中的微服务组件),需要在微服务处理平台中部署相应的微服务框架。基于此,为了不用在微服务处理平台中部署各个框架类型的微服务框架,微服务处理平台可通过微服务监控引擎,调用与框架类型适配的工具包和微服务框架进行连接。进而,微服务处理平台可以远程与微服务框架进行接入,实现对微服务组件的调用。上述微服务监控引擎为微服务处理平台中的功能组件,用于存储与多个框架类型分别适配的工具包,并可调用工具包与相应框架类型的微服务框架进行适配。
在应用中,上述工具包为软件开发工具包(Software Development Kit,SDK),一般为特定的软件包、软件框架(微服务框架)、操作***等建立应用软件的开发工具的集合。即工作人员可预先在微服务监控引擎中安装与各种框架类型适配的工具包,以使得微服务处理平台可与微服务框架进行接入。
在现有技术中,不同框架类型的微服务,通常均有各自对应的微服务处理平台。另外,因框架类型不同,多个微服务处理平台之间互不适配。基于此,可通过利用SDK工具包适配多种框架类型的微服务的能力,与多种微服务的微服务框架进行接入,实现对不同框架类型的微服务的调用和处理。
参照图5,在一实施例中,在S104C运行所述微服务时,根据所述工具包接入所述微服务的微服务框架,以调用所述微服务的服务组件之后,还包括如下步骤S104CA-S104CC,详述如下:
S104CA、获取所述微服务运行时的监控数据。
在应用中,在微服务处理平台通过SDK工具包与微服务框架进行接入后,可调用微服务的微服务组件,进而运行该微服务。基于此,在微服务运行时,微服务处理平台即可获取到微服务运行时的监控数据。上述监控数据包括但不限于该微服务的工作时间、处理过的处理数据等。
S104CB、对处于预设的时间周期内的监控数据进行实时整合分析,得到分析结果。
S104CC、存储所述分析结果至数据库中。
在应用中,上述时间周期可以为用户预先设定的周期。微服务处理平台可将每个时间周期内的监控数据进行整合,而后对其进行分析,得到分析结果。其中,上述分析结果可以为该时间周期内微服务的工作效率、工作状态等结果。通过对一定时间周期内微服务的运行状态进行分析,能够使工作人员更好地根据微服务的分析结果,对微服务的微服务配置进行合理调优。其中,微服务配置包括但不限于微服务的运行环境、微服务的功能组件。
在应用中,上述数据库为用于存储分析结果的数据库,其可通过图表化的方式存储分析结果,以使得微服务处理平台可对杂乱无章的分析结果进行整理、规划、分析(根据不同时间周期的分析结果再次进行分析)。进而,可使得工作人员可实时根据数据库中已有的分析结果,对微服务的配置信息进行调优。
参照图6,在一实施例中,在S104CA获取所述微服务运行时的监控数据中,还包括如下子步骤S104CA1-S104CA2,详述如下:
S104CA1、存储所述微服务运行时的监控数据至所述微服务的消息队列中。
S104CA2、通过异步线程将所述消息队列中的监控数据,写入所述微服务处理平台的文件***。
在应用中,上述消息队列为微服务中的临时存储区域,用于存储微服务在运行中的所有数据(监控数据)。上述文件***为微服务处理平台中的本地文件***,其中,文件***可以持久的存储上述监控数据。在实际过程中,在微服务运行时,可能产生崩溃、重启等问题。基于此,若微服务在运行时突然崩溃,则在微服务恢复运行的过程中,存储在消息队列中的监控数据可能存在数据丢失的情况。因此,在将数据存到微服务本地的消息队列之后,需要将消息队列中的监控数据存储在文件***中,以防止微服务的监控数据丢失。
在应用中,上述线程是指进程中的一个执行流程,用于执行微服务中的服务。上述异步可以理解为一种数据的传输方式。具体的,使用异步线程将保存在消息队列中的监控数据写入文件***时,可以使微服务处理平台与微服务之间不用同步处理监控数据。例如,微服务实时将监控数据保存至消息队列,而微服务处理平台可每隔预设时间段从消息队列中获取该时间段内的监控数据,并将监控数据保存至文件***。以此,可使微服务处理平台和微服务无须去等待对方的响应,提高数据传输的效率。其中,上述文件***具体为HDFS***(分布式文件***)。因微服务处理平台与多个微服务之间传输的数据量非常大,而HDFS***有着高容错性的特点,能够提供高吞吐量来获取多个微服务中的监控数据。
参照图7,在一实施例中,在S104CB对处于预设的时间周期内的监控数据进行实时整合分析,得到分析结果,得到分析结果中,还包括如下子步骤S104CB1-S104CB3,详述如下:
S104CB1、依次对所述监控数据进行数据清洗处理和数据格式转化处理,得到处理后的监控数据。
在应用中,上述监控数据通常为微服务运行时的原始数据,通常原始数据中的格式、量纲可能各不相同。基于此,需对监控数据进行数据清洗处理和格式转化处理等。其中,数据清洗处理可以为清理监控数据中传输错误的数据。在应用中,上述获取到的监控数据可能是double,int,char等多种格式的监控数据。而为了方便后续进行分析处理,可统一每个监控数据的数据格式。即将监控数据的当前数据格式转换为预设的目标格式的数据,对此不作限定。此时,目标格式的数据即为处理后的监控数据。
S104CB2、通过图表化形式对所述处理后的监控数据进行数据整合,分别得到表格形式的表格数据,以及图形形式的图形数据。
S104CB3、结合所述表格数据和所述图形数据进行分析,得到所述分析结果。
在应用中,对处理后的监控数据进行数据整合,可以为将同一种类型的数据进行整合。例如,处理后的监控数据包括微服务工作效率的数据、微服务处理的某个类型的数据。基于此,对处理后的监控数据进行整合可理解为将所有属于微服务工作效率的数据进行集中,并进行分析。
在应用中,根据表格数据进行分析得到分析结果可以为,直接根据表格数据中的各数据值,分别与上一表格数据中的各数据值进行运算(做差运算、做平方差运算)等处理,得到运算数值。之后,根据预设的多个数值范围以及每个数值范围对应的分析结果,确定包含运算数值的目标数值范围,即可得到该表格数据的分析结果。根据图像数据进行分析得到分析结果可以为,将图形数据与多个预设图形进行比较,并从预设图形中确定与图形数据相似度最高的目标预设图形。基于此,可从多个预设图形分别对应的分析结果中,确定目标预设图形对应的分析结果。
在应用中,在得到分析结果后,微服务处理平台监控数据还可将表格形式的表格数据以及图形形式的图形数据进行展现。可以理解的是,表格数据只能直观的展示各个数据值,而各个数据值之间的联系无法清楚的表示。基于此,将图形形式的图形数据同时进行展现,可以让用户在看到表格数据时,同时可根据图形数据更容易的理解表格数据的内在规律,使用户能够更全面的理解监控数据。
在应用中,微服务处理平台还可接收工作人员下发的控制指令,以使得微服务处理平台可根据控制指令对微服务的工作状态进行管理。具体的,上述控制指令包括但不限于控制微服务更改执行任务的指令,以及控制微服务停止执行任务的指令。对于上述控制微服务的工作状态可以为,控制微服务处于服务状态、空闲状态等。需要补充的是,微服务的工作状态发生改变时,其也可通过异步线程的数据传输方式,将微服务最新的工作状态保存在数据库中。
请参阅图8,图8是本申请实施例提供的一种微服务数据的处理装置的结构框图。本实施例中微服务数据的处理装置包括的各模块用于执行图1至图7对应的实施例中的各步骤。具体请参阅图1至图7以及图1至图7所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图8,微服务数据的处理装置800包括:第一获取模块810、生成模块820、第二获取模块830以及处理模块840,其中:
第一获取模块810,用于确定包含微服务的注册信息的目标注册中心,并确定所述目标注册中心的目标注册类型。
生成模块820,用于根据所述目标注册类型,在所述微服务处理平台的微服务注册适配引擎中,生成与所述目标注册中心的目标开放接口适配的目标调用接口。
第二获取模块830,用于根据所述目标调用接口和所述目标开放接口,获取所述微服务的微服务数据。
处理模块840,用于将所述微服务数据写入所述微服务处理平台的数据库,并对所述微服务数据进行集中处理,所述数据库包含有与多个微服务一一对应的微服务数据。
在一实施例中,所述目标注册中心包括所述微服务处理平台的统一注册中心以及所述微服务已有的注册中心;微服务数据的处理装置800还包括:
第三获取模块,用于若所述微服务未有对应的注册中心,则获取所述微服务的注册信息,并在所述统一注册中心内部署所述注册信息。
第一确定模块,用于若所述微服务已有对应的注册中心,则将所述微服务对应的注册中心确定为所述微服务的目标注册中心。
在一实施例中,微服务数据的处理装置800还包括:
删除模块,用于若所述微服务已有对应的注册中心,则删除所述微服务在已有对应的注册中心内部署的注册信息。
部署模块,用于获取所述微服务的注册信息,并重新在所述统一注册中心内部署所述注册信息。
在一实施例中,微服务数据的处理装置800还包括:
第二确定模块,用于确定所述微服务使用的微服务框架的框架类型。
第一调用模块,用于通过所述微服务处理平台的微服务监控引擎,调用与所述框架类型适配的工具包。
第二调用模块,用于在运行所述微服务时,根据所述工具包接入所述微服务的微服务框架,以调用所述微服务的服务组件。
在一实施例中,微服务数据的处理装置800还包括:
第三获取模块,用于获取所述微服务运行时的监控数据。
分析模块,用于对处于预设的时间周期内的监控数据进行实时整合分析,得到分析结果。
存储模块,用于存储所述分析结果至数据库中。
在一实施例中,第三获取模块还用于:
存储所述微服务运行时的监控数据至所述微服务的消息队列中;
通过异步线程将所述消息队列中的监控数据,写入所述微服务处理平台的文件***。
在一实施例中,分析模块还用于:
依次对所述监控数据进行数据清洗处理和数据格式转化处理,得到处理后的监控数据;
通过图表化形式对所述处理后的监控数据进行数据整合,分别得到表格形式的表格数据,以及图形形式的图形数据;
结合所述表格数据和所述图形数据进行分析,得到所述分析结果。
应当理解的是,图8示出的数据处理装置的结构框图中,各单元/模块用于执行图1至图7对应的实施例中的各步骤,而对于图1至图7对应的实施例中的各步骤已在上述实施例中进行详细解释,具体请参阅图1至图7以及图1至图7所对应的实施例中的相关描述,此处不再赘述。
图9是本申请另一实施例提供的一种微服务处理平台的结构框图。如图9所示,该实施例的微服务处理平台900包括:处理器910、存储器920以及存储在存储器920中并可在处理器910运行的计算机程序930,例如数据处理方法的程序。处理器910执行计算机程序930时实现上述各个数据处理方法各实施例中的步骤,例如图1所示的S101至S104。或者,处理器910执行计算机程序930时实现上述图8对应的实施例中各模块的功能,例如,图8所示的模块810至840的功能,具体请参阅图8对应的实施例中的相关描述。
示例性的,计算机程序930可以被分割成一个或多个单元,一个或者多个单元被存储在存储器920中,并由处理器910执行,以完成本申请。一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序930在终端设备900中的执行过程。
微服务处理平台可包括,但不仅限于,处理器910、存储器920。本领域技术人员可以理解,图9仅仅是微服务处理平台900的示例,并不构成对微服务处理平台900的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如微服务处理平台还可以包括输入输出设备、网络接入设备、总线等。
所称处理器910可以是中央处理单元,还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器920可以是微服务处理平台900的内部存储单元,例如微服务处理平台900的硬盘或内存。存储器920也可以是微服务处理平台900的外部存储设备,例如微服务处理平台900上配备的插接式硬盘,智能存储卡,闪存卡等。进一步地,存储器920还可以既包括微服务处理平台900的内部存储单元也包括外部存储设备。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种微服务数据的处理方法,其特征在于,应用于微服务处理平台,所述方法包括:
确定包含微服务的注册信息的目标注册中心,并确定所述目标注册中心的目标注册类型;
根据所述目标注册类型,在所述微服务处理平台的微服务注册适配引擎中,生成与所述目标注册中心的目标开放接口适配的目标调用接口;
根据所述目标调用接口和所述目标开放接口,获取所述微服务的微服务数据;
将所述微服务数据写入所述微服务处理平台的数据库,并对所述微服务数据进行集中处理,所述数据库包含有与多个微服务一一对应的微服务数据。
2.如权利要求1所述的微服务数据的处理方法,其特征在于,所述目标注册中心包括所述微服务处理平台的统一注册中心以及所述微服务已有的注册中心;
在所述确定包含微服务的注册信息的目标注册中心之前,还包括:
若所述微服务未有对应的注册中心,则获取所述微服务的注册信息,并在所述统一注册中心内部署所述注册信息;
若所述微服务已有对应的注册中心,则将所述微服务对应的注册中心确定为所述微服务的目标注册中心。
3.如权利要求2所述的微服务数据的处理方法,其特征在于,在所述确定包含微服务的注册信息的目标注册中心之前,还包括:
若所述微服务已有对应的注册中心,则删除所述微服务在已有对应的注册中心内部署的注册信息;
获取所述微服务的注册信息,并重新在所述统一注册中心内部署所述注册信息。
4.如权利要求1所述的微服务数据的处理方法,其特征在于,在所述将所述微服务数据写入所述微服务处理平台的数据库,并对所述微服务数据进行集中处理之后,还包括:
确定所述微服务使用的微服务框架的框架类型;
通过所述微服务处理平台的微服务监控引擎,调用与所述框架类型适配的工具包;
在运行所述微服务时,根据所述工具包接入所述微服务的微服务框架,以调用所述微服务的服务组件。
5.如权利要求4所述的微服务数据的处理方法,其特征在于,在运行所述微服务时,根据所述工具包接入所述微服务的微服务框架,以调用所述微服务的服务组件之后,还包括:
获取所述微服务运行时的监控数据;
对处于预设的时间周期内的监控数据进行实时整合分析,得到分析结果;
存储所述分析结果至数据库中。
6.如权利要求5所述的微服务数据的处理方法,其特征在于,所述获取所述微服务运行时的监控数据,包括:
存储所述微服务运行时的监控数据至所述微服务的消息队列中;
通过异步线程将所述消息队列中的监控数据,写入所述微服务处理平台的文件***。
7.如权利要求5所述的微服务数据的处理方法,其特征在于,所述对处于预设的时间周期内的监控数据进行实时整合分析,得到分析结果,得到分析结果,包括:
依次对所述监控数据进行数据清洗处理和数据格式转化处理,得到处理后的监控数据;
通过图表化形式对所述处理后的监控数据进行数据整合,分别得到表格形式的表格数据,以及图形形式的图形数据;
结合所述表格数据和所述图形数据进行分析,得到所述分析结果。
8.一种微服务数据的处理装置,其特征在于,应用于微服务处理平台,所述装置包括:
第一获取模块,用于确定包含微服务的注册信息的目标注册中心,并确定所述目标注册中心的目标注册类型;
生成模块,用于根据所述目标注册类型,在所述微服务处理平台的微服务注册适配引擎中,生成与所述目标注册中心的目标开放接口适配的目标调用接口;
第二获取模块,用于根据所述目标调用接口和所述目标开放接口,获取所述微服务的微服务数据;
处理模块,用于将所述微服务数据写入所述微服务处理平台的数据库,并对所述微服务数据进行集中处理,所述数据库包含有与多个微服务一一对应的微服务数据。
9.一种微服务处理平台,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202011556562.6A 2020-12-24 2020-12-24 微服务数据的处理方法、装置、微服务处理平台及介质 Active CN112738060B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011556562.6A CN112738060B (zh) 2020-12-24 2020-12-24 微服务数据的处理方法、装置、微服务处理平台及介质
PCT/CN2021/084251 WO2022134358A1 (zh) 2020-12-24 2021-03-31 微服务数据的处理方法、装置、微服务处理平台及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011556562.6A CN112738060B (zh) 2020-12-24 2020-12-24 微服务数据的处理方法、装置、微服务处理平台及介质

Publications (2)

Publication Number Publication Date
CN112738060A true CN112738060A (zh) 2021-04-30
CN112738060B CN112738060B (zh) 2022-11-18

Family

ID=75615666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011556562.6A Active CN112738060B (zh) 2020-12-24 2020-12-24 微服务数据的处理方法、装置、微服务处理平台及介质

Country Status (2)

Country Link
CN (1) CN112738060B (zh)
WO (1) WO2022134358A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656096A (zh) * 2021-08-10 2021-11-16 成都长城开发科技有限公司 微服务快速集成***、方法、设备及存储介质
CN116155715A (zh) * 2023-02-15 2023-05-23 北京比特易湃信息技术有限公司 一种服务治理平台
CN117609973A (zh) * 2024-01-23 2024-02-27 江苏博云科技股份有限公司 一种注册中心纳管方法、***、装置及服务器

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115269612B (zh) * 2022-09-26 2022-12-13 公安部信息通信中心 一种基于微服务的跨平台多维数据融合***
CN115934765A (zh) * 2022-10-11 2023-04-07 中电金信软件(上海)有限公司 微服务***间的数据共享方法、装置及电子设备
CN115604333B (zh) * 2022-10-12 2023-09-12 江苏赛融科技股份有限公司 基于dubbo的分布式大数据分析服务调度方法及***
CN116346773A (zh) * 2023-03-31 2023-06-27 河南合众伟奇云智科技有限公司 一种多注册中心环境下的单一注册方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180032534A1 (en) * 2016-07-27 2018-02-01 Sap Se Analytics mediation for microservice architectures
CN109547570A (zh) * 2018-12-29 2019-03-29 深圳云天励飞技术有限公司 服务注册方法、装置、注册中心管理设备及存储介质
CN111767095A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 微服务生成方法、装置、终端设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109246251B (zh) * 2018-11-13 2021-01-22 杭州数梦工场科技有限公司 一种微服务调用方法、装置、***、设备及可读存储介质
CN109714319A (zh) * 2018-12-06 2019-05-03 深圳市中农网有限公司 微服务的管理***、方法、装置、计算机设备及存储介质
CN110262902B (zh) * 2019-05-16 2021-08-31 杭州朗和科技有限公司 信息处理方法及***、介质和计算设备
CN110392114B (zh) * 2019-07-26 2022-02-08 中国工商银行股份有限公司 跨多注册中心的服务调用处理***及方法
CN110381163B (zh) * 2019-07-30 2022-09-20 普信恒业科技发展(北京)有限公司 网关节点转发服务请求的方法及网关节点
CN110990047B (zh) * 2019-11-06 2021-11-19 北京云思畅想科技有限公司 用于多个微服务架构的融合方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180032534A1 (en) * 2016-07-27 2018-02-01 Sap Se Analytics mediation for microservice architectures
CN109547570A (zh) * 2018-12-29 2019-03-29 深圳云天励飞技术有限公司 服务注册方法、装置、注册中心管理设备及存储介质
CN111767095A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 微服务生成方法、装置、终端设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656096A (zh) * 2021-08-10 2021-11-16 成都长城开发科技有限公司 微服务快速集成***、方法、设备及存储介质
CN116155715A (zh) * 2023-02-15 2023-05-23 北京比特易湃信息技术有限公司 一种服务治理平台
CN117609973A (zh) * 2024-01-23 2024-02-27 江苏博云科技股份有限公司 一种注册中心纳管方法、***、装置及服务器
CN117609973B (zh) * 2024-01-23 2024-05-07 江苏博云科技股份有限公司 一种注册中心纳管方法、***、装置及服务器

Also Published As

Publication number Publication date
WO2022134358A1 (zh) 2022-06-30
CN112738060B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN112738060B (zh) 微服务数据的处理方法、装置、微服务处理平台及介质
CN107729139B (zh) 一种并发获取资源的方法和装置
US7673029B2 (en) Grid automation bus to integrate management frameworks for dynamic grid management
CN109643252B (zh) 中间件接口和中间件接口生成器
US20130318512A1 (en) Hot Pluggable Extensions for Access Management System
CN113971095A (zh) 扩展进程中的kubernetes应用程序接口
EP3660665A1 (en) Business processing method, apparatus, device and system using the same, and readable storage medium of the same
EP2972824B1 (en) Computer system using in-service software upgrade
CN111026367A (zh) 微服务编排方法、装置、终端设备及存储介质
CN111258565A (zh) 小程序的生成方法、***、服务器及存储介质
CN112256406B (zh) 作业流程平台化调度方法
CN116302708A (zh) 基于负载均衡的数据备份方法、装置、设备及存储介质
CN116795647A (zh) 一种数据库异构资源管理与调度方法、装置、设备及介质
CN114168297A (zh) 一种归集任务调度方法、装置、设备及介质
CN113485812B (zh) 基于大数据量任务的分区并行处理方法及***
CN113835830A (zh) 基于ai的rpa集群管理方法、装置以及存储介质
US9323509B2 (en) Method and system for automated process distribution
CN111045928A (zh) 一种接口数据测试方法、装置、终端及存储介质
CN110489392A (zh) 多租户间的数据访问方法、装置、***、存储介质及设备
CN112130900B (zh) 一种bmc的用户信息管理方法、***、设备以及介质
CN114610413A (zh) 基于Java的同异步任务的执行方法、装置、设备及存储介质
CN111506360B (zh) 一种实时数据处理***的外部设备接入***及方法
CN113741912A (zh) 模型管理***、方法、装置及设备
CN116820430B (zh) 异步读写方法、装置、计算机设备及存储介质
WO2023035147A1 (en) Data processing method of industry edge product and distributed computing protocol engine thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant