CN111447170A - 数据处理方法及其***、计算机***及计算机可读介质 - Google Patents

数据处理方法及其***、计算机***及计算机可读介质 Download PDF

Info

Publication number
CN111447170A
CN111447170A CN201910047350.6A CN201910047350A CN111447170A CN 111447170 A CN111447170 A CN 111447170A CN 201910047350 A CN201910047350 A CN 201910047350A CN 111447170 A CN111447170 A CN 111447170A
Authority
CN
China
Prior art keywords
data
transmission protocol
acquired
determining
interceptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910047350.6A
Other languages
English (en)
Other versions
CN111447170B (zh
Inventor
刘爱慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910047350.6A priority Critical patent/CN111447170B/zh
Publication of CN111447170A publication Critical patent/CN111447170A/zh
Application granted granted Critical
Publication of CN111447170B publication Critical patent/CN111447170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/06—Notations for structuring of protocol data, e.g. abstract syntax notation one [ASN.1]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer And Data Communications (AREA)
  • Communication Control (AREA)

Abstract

本公开提供了一种数据处理方法，包括：获取待采集数据的传输协议，其中，待采集数据为在客户端和服务器端之间传输的数据；至少基于传输协议，确定与传输协议对应的采集策略；处理基于采集策略采集到的待采集数据，以得到符合指定格式的目标数据；以及通过目标服务器存储目标数据。此外，本公开还公开了一种数据处理***，一种计算机***和一种计算机可读介质。

Description

数据处理方法及其***、计算机***及计算机可读介质
技术领域
本公开涉及数据处理领域，更具体地，涉及一种数据处理方法及其***，一种计算机***及计算机可读介质。
背景技术
目前网络上的数据传输协议目前主要是采用HTTP和直接的SOCKET(TCP)的方式(虽然HTTP也是基于TCP，但就使用上来说，仍然认为是两种)，而基于这两种传输协议，各个公司进行了各种数据封装，开发出了各种各样的数据协议(本公开中也称做框架，以和传输协议分开)，所以，虽然协议一致，但传输的数据格式则千差万别，即使同一个公司，也会有不同的框架。在需要对传输的数据进行采集，以用于请求的回放，数据的分析等场景中，对于数据采集监控，以及联调测试，针对不同的协议和框架，自然会出现不同的要求，需要做不同的处理，比如不同的传输方式，显然代理方式不太一样，同样的，在相同的协议下，不同的框架甚至同一框架使用的不同的协议，都会导致中间传输数据收集方式不一样。
然而，在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：相关技术中，需要对所有协议的数据进行收集并且分析和使用的情况下，比如测试上的需求，将耗费大量的工作。
针对相关技术中的上述问题，目前还未提出有效的解决方案。
发明内容
有鉴于此，本公开提供了一种数据处理方法及其***，一种计算机***及计算机可读存储介质。
本公开的一个方面提供了一种数据处理方法，包括：获取待采集数据的传输协议，其中，上述待采集数据为在客户端和服务器端之间传输的数据；至少基于上述传输协议，确定与上述传输协议对应的采集策略；处理基于上述采集策略采集到的上述待采集数据，以得到符合指定格式的目标数据；以及通过目标服务器存储上述目标数据。
根据本公开的实施例，上述至少基于上述传输协议，确定与上述传输协议对应的采集策略包括：检测上述传输协议是否为基于HTTP传输协议；在上述传输协议不为基于HTTP传输协议的情况下，获取上述待传输数据的数据格式；检测上述数据格式是否满足预设条件以获得检测结果；以及至少基于上述检测结果，确定与上述传输协议对应的采集策略。
根据本公开的实施例，上述待采集数据包括发送数据和返回数据，上述至少基于上述检测结果，确定与上述传输协议对应的采集策略包括：在上述检测结果表明上述数据格式满足预设条件的情况下，在上述客户端***第一***或在上述服务器端***第一***；以及将通过上述第一***获取上述发送数据和上述返回数据确定为与上述传输协议对应的采集策略。
根据本公开的实施例，上述至少基于上述检测结果，确定与上述传输协议对应的采集策略包括：在上述检测结果表明上述数据格式不满足预设条件的情况下，在上述客户端***第二***和第三***；以及将通过上述第二***获取上述发送数据和通过上述第三***获取上述返回数据确定为与上述传输协议对应的采集策略。
根据本公开的实施例，上述指定格式包括字符串格式，上述处理基于上述采集策略采集到的上述待采集数据，以得到符合指定格式的目标数据包括：解析上述待采集数据以得到符合上述字符串格式的上述目标数据。
本公开的另一个方面提供了一种数据处理***，包括：获取模块，用于获取待采集数据的传输协议，其中，上述待采集数据为在客户端和服务器端之间传输的数据；确定模块，用于基于上述传输协议，确定与上述传输协议对应的采集策略；处理模块，用于处理基于上述采集策略采集到的上述待采集数据，以得到符合指定格式的目标数据；以及存储模块，用于通过目标服务器存储上述目标数据。
根据本公开的实施例，上述确定模块包括：第一检测单元，用于检测上述传输协议是否为基于HTTP传输协议；获取单元，用于在上述传输协议不为基于HTTP传输协议的情况下，获取上述待传输数据的数据格式；第二检测单元，用于检测上述数据格式是否满足预设条件以获得检测结果；以及确定单元，用于基于上述检测结果，确定与上述传输协议对应的采集策略。
根据本公开的实施例，上述确定单元包括：第一***子单元，用于在上述检测结果表明上述数据格式满足预设条件的情况下，在上述客户端***第一***或在上述服务器端***第一***；以及第一确定子单元，用于将通过上述第一***获取上述发送数据和上述返回数据确定为与上述传输协议对应的采集策略。
根据本公开的实施例，上述确定单元包括：第二***子单元，用于在上述检测结果表明上述数据格式不满足预设条件的情况下，在上述客户端***第二***和第三***；以及第二确定子单元，用于将通过上述第二***获取上述发送数据和通过上述第三***获取上述返回数据确定为与上述传输协议对应的采集策略。
根据本公开的实施例，上述指定格式包括字符串格式，上述处理基于上述采集策略采集到的上述待采集数据，以得到符合指定格式的目标数据包括：解析模块，用于解析上述待采集数据以得到符合上述字符串格式的上述目标数据。
本公开的另一方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现上述任一项的方法。
本公开的另一方面提供了一种计算机***，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述任一项的方法。
根据本公开的实施例，至少基于传输协议，确定与传输协议对应的采集策略，处理基于采集策略采集到的待采集数据，以得到符合指定格式的目标数据，并通过目标服务器存储目标数据，可以至少部分克服相关技术中当需要对所有协议和框架的数据进行收集并且分析和使用的情况下，将耗费大量的工作的技术问题，可以实现对不同协议的数据进行集中的收集和处理，并集中保存和读取，以便于基于这些数据，建设统一的平台和业务定制。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1A示意性示出了根据本公开实施例的数据处理方法和数据处理***的示例性架构；
图1B示意性示出了根据本公开实施例的数据处理方法和数据处理***的应用场景；
图2示意性示出了根据本公开实施例的数据处理方法的流程图；
图3A示意性示出了根据本公开实施例的至少基于传输协议，确定与传输协议对应的采集策略的流程图；
图3B示意性示出了相关技术中数据处理的流程图；
图3C示意性示出了根据本公开实施例的数据处理的流程图；
图3D示意性示出了根据本公开另一实施例的至少基于传输协议，确定与传输协议对应的采集策略的流程图；
图3E示意性示出了根据本公开另一实施例的数据处理过程示意图；
图3F示意性示出了根据本公开又一实施例的至少基于传输协议，确定与传输协议对应的采集策略的流程图；
图3G示意性示出了根据本公开又一实施例的数据处理过程示意图；
图4示意性示出了根据本公开实施例的数据处理***的框图；
图5A示意性示出了根据本公开实施例的确定模块的框图；
图5B示意性示出了根据本公开实施例的确定单元的框图；
图5C示意性示出了根据本公开另一实施例的确定单元的框图；以及
图6示意性示出了根据本公开实施例的适于实现数据处理方法的计算机***的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
本公开提供了一种数据处理方法，包括：获取待采集数据的传输协议，其中，待采集数据为在客户端和服务器端之间传输的数据；至少基于传输协议，确定与传输协议对应的采集策略；处理基于采集策略采集到的待采集数据，以得到符合指定格式的目标数据；以及通过目标服务器存储目标数据。
图1A示意性示出了根据本公开实施例的数据处理方法和数据处理***的示例性架构100。需要注意的是，图1A所示仅为可以应用本公开实施例的***架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1A所示，根据该实施例的***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的数据处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解，图1A中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图1B示意性示出了根据本公开实施例的数据处理方法和数据处理***的应用场景。
本公开实施例的数据处理方法和数据处理***适用于任何需要对网络中传输的数据进行采集和处理的应用场景。如可以是对传输的数据进行采集，采集到的数据可用于请求的回放，数据的分析等，尤其是针对不同的协议和框架的数据进行集中的收集和处理，并集中保存和读取。
需要说明的是，本公开涉及的专业术语包括：
HTTP：是一个客户端和服务器端请求和应答的标准(TCP)。
SOCKET：网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个SOCKET。
RPC：RPC(Remote Procedure Call)，远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。
如图1B所示，图中A数据和B数据分别代表不同的数据传输框架，根据本公开提供的数据处理方法，可以将不同的数据来源，如HTTP，A SOCKET(TCP)或者B SOCKET数据，通过代理方式或远程过程调用(Remote Procedure Call，简称为RPC)架构本身提供的方法，抓取传输的数据，并对传输的数据进行解析(解析成HTTP请求数据或反序列化等)，得到可阅读的数据，通过统一数据存取接口上传至数据存取平台，以方便保存和显示。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示，该方法包括在操作S210～S240。其中：
在操作S210，获取待采集数据的传输协议。
在操作S220，至少基于传输协议，确定与传输协议对应的采集策略。
在操作S230，处理基于采集策略采集到的待采集数据，以得到符合指定格式的目标数据。
在操作S240，通过目标服务器存储目标数据。
根据本公开的实施例，待采集数据为在客户端和服务器端之间传输的数据。至少根据获取到的待采集数据的传输协议，确定与传输协议对应的采集策略，也可以基于待采集数据的传输框架，确定与传输协议对应的采集策略，还可以基于待采集数据的传输协议和传输框架，确定与传输协议对应的采集策略，公开不做限定。
根据本公开的实施例，针对不同的协议和/或框架，可以采用不同的采集方式，但最终收集的数据，将是一个可序列化的内容，如可以统一采用JSON字符串，甚至对于不同的RPC框架，可转换成相同的固定格式。最终，将收集的数据内容通过存储端的统一数据存取接口上传到指定服务器。目标服务器可以是WEB服务器，可以从数据库中读取数据，也可以将数据存储至数据库。
需要说明的是，同样的协议或同样的框架可以有不同的采集实现方式，实现的编程语言可以是不一样的，甚至也可以在操作***的API层级去实现。本方案要保护的是多种协议和/或框架的采集支持和数据格式集中存储这个办法本身。
根据本公开的实施例，可以将符合指定格式的目标数据通过统一的数据存取接口进行上传，上传到统一的数据存取平台上，如目标服务器，在数据的应用场景上，可以作为数据提供方，在代理接收到请求时直接相同样请求的响应数据通过统一的接口读取出来并序列化，得到一个和抓取时完全一致的输入数据；而这些数据可通过代理服务投放到网络中，响应请求发起方，起到一个数据桩的作用，这样即使对应的服务已经不存在或者不可用了，仍然可以得到响应，同样的，这些数据也可以记录下来用于数据的校验，或者用于跟踪接口的调用等。
具体地，存储端就是一个标准WEB服务，提供REST接口用于请求数据的上传，采集端可能使用不同的语言实现，但数据格式是统一的，采集端完成采集直接调用下面的接口上传即可，存储端与协议框架无关。
根据本公开的实施例，接口的定义：
url：/api/bridge/collect
接口的参数：
Type：数据传输协议，http/rpc。
Framework：框架。http为空，RPC则填不同的RPC框架。
Serialize：序列化方式，如果有，写上，比如JSF的hessian，msgpack，protobuf等。
Request：请求内容，HTTP或RPC的请求数据。
Response：响应内容，HTTP或RPC的响应数据。
响应：
Code：响应码，0为成功。
Msg：响应描述，如果是错误，则为错误内容。
Data：具体响应数据。
上传的内容将保存到数据库用于后续的读取。
可以理解的是，上述应用场景基于统一的数据存取平台，因此，同一个数据存取平台可以同时满足不同的协议和框架的使用要求，本公开的实施例提供了一个集中式的可扩展的统一的数据手机和处理工具，在需要对多种不同的协议和框架数据进行收集和保存的情况下，不需要每个数据各自收集和各自保存。
通过本公开的实施例，至少基于传输协议，确定与传输协议对应的采集策略，处理基于采集策略采集到的待采集数据，以得到符合指定格式的目标数据，并通过目标服务器存储目标数据，可以至少部分克服相关技术中当需要对所有协议和框架的数据进行收集并且分析和使用的情况下，将耗费大量的工作的技术问题，可以实现对不同协议的数据进行集中的收集和处理，并集中保存和读取，以便于基于这些数据，建设统一的平台和业务定制。
下面参考图3A～图3G，结合具体实施例对图2所示的方法做进一步说明。
图3A示意性示出了根据本公开实施例的至少基于传输协议，确定与传输协议对应的采集策略的流程图。
如图3A所示，前述操作S220(至少基于传输协议，确定与传输协议对应的采集策略)包括操作S311～S314。其中：
在操作S311，检测传输协议是否为基于HTTP传输协议。
在操作S312，在传输协议不为基于HTTP传输协议的情况下，获取待传输数据的数据格式。
在操作S313，检测数据格式是否满足预设条件以获得检测结果。
在操作S314，至少基于检测结果，确定与传输协议对应的采集策略。
根据本公开的实施例，在传输协议为HTTP协议的情况下，可以直接通过代理方式提供的方式，抓取传输的数据。具体地，HTTP数据包括URL，HEAD，BODY等，传输内容一般为明文(不开户压缩的情况下)，直接将这些内容提取出来拼接成一个格式化的内容进行保存即可。
具体地，在代理服务器里完成数据的收集与处理。代理服务器的处理过程(可先用netty)首先，在http的客户端进行代理设置，指向我们自己的代理服务器地址和端口，然后，代理服务接收到请求内容之后，这个内容一般代理服务器会有自己的格式，然后把它转换成下面的固定格式即可。
请求：
Figure BDA0001948799370000101
Figure BDA0001948799370000111
对于非正常的响应结果直接丢弃，并且最终上传到存储端的格式即为以上格式。
通过本公开的实施例，在传输协议不为HTTP的情况下，根据数据格式是否满足预设条件的检测结果，确定与传输协议对应的采集策略，可以实现多种数据格式的采集。
图3B示意性示出了相关技术中数据处理的流程图。
如图3B所示，典型的HTTP的传输方式，采集方式一般如下：
使用HTTP代理，把数据抓取出来，并保存和显示。而像fiddler这种工具，就可以基于抓取(或者说收集)的数据，进行请求的重放，即原样再发一个请求给服务端，并获取响应的内容。这就是数据抓取和使用的一个典型场景。而数据的内容，则是请求头(requestheaders)，请求体(request body)，响应头(response headers)，响应体(response body)。
需要说明的是，图3B所示只是一个典型的HTTP场景，而显然不同的协议不同的框架，都将会有不同的实现，此处不再赘述，但是可以理解的是，整个过程和使用场景则是大同小异的。
图3C示意性示出了根据本公开实施例的数据处理的流程图。
如图3C所示，针对不同的数据来源，比如HTTP或TCP数据，通过代理方式或RPC架构本身提供的方法，抓取传输的数据，并对传输的数据进行解析(解析成HTTP请求数据或反序列化等)，得到可阅读的数据，以方便保存和显示。
图3D示意性示出了根据本公开另一实施例的至少基于传输协议，确定与传输协议对应的采集策略的流程图。
如图3D所示，前述操作S314(待采集数据包括发送数据和返回数据，至少基于检测结果，确定与传输协议对应的采集策略)包括操作S321和S322。其中：
在操作S321，在检测结果表明数据格式满足预设条件的情况下，在客户端***第一***或在服务器端***第一***。
在操作S322，将通过第一***获取发送数据和返回数据确定为与传输协议对应的采集策略。
根据本公开的实施例，以JSF为例，JSF的收集不需要代理，直接在客户端或服务端***Filter即可实现。
结合图3E示意性示出了根据本公开另一实施例的数据处理过程示意图。如图3E所示，可以在JSF的FilterChain(调用链)中***一个自定义的Filter，在这个Filter中，在发送前读取请求调用的内容，一是接口名称，二是接口参数，然后以固定格式存放，可以是JSON方式：
Figure BDA0001948799370000121
之后，在发送之后可以取到RPC请求调用的结果，直接保存结果即可，都是一个序列化对象或空值。
Figure BDA0001948799370000122
Figure BDA0001948799370000131
同样地，调用异常的结果也直接丢弃。
通过本公开的实施例，将通过第一***获取发送数据和返回数据确定为与传输协议对应的采集策略，可以实现多种数据格式的采集。
图3F示意性示出了根据本公开又一实施例的至少基于传输协议，确定与传输协议对应的采集策略的流程图。
如图3F所示，前述操作S314(待采集数据包括发送数据和返回数据，至少基于检测结果，确定与传输协议对应的采集策略)包括操作S331和S332。其中：
在操作S331，在检测结果表明数据格式不满足预设条件的情况下，在客户端***第二***和第三***。
在操作S332，将通过第二***获取发送数据和通过第三***获取返回数据确定为与传输协议对应的采集策略。
根据本公开的实施例，Dubbo的底层传输是基于netty，收集则可以使用自定义的Handler来拦截内容。
结合图3G示意性示出了根据本公开又一实施例的数据处理过程示意图。如图3G所示，在Dubbo的客户端分别***发送Handler和接收的Handler，分别采集接口调用和调用完返回的数据。但是，和JSF不太一样的是，Dubbo传输的是比较原始的数据，而且无论是发送还是接收，都可能存在分包传输的情况，需要自行判断，然后进行拼接。最终得到的请求与调用结果，以JSF相同的格式进行存放。
请求调用的内容，一是接口名称，二是接口参数，然后以固定格式存放，可以是JSON方式：
Figure BDA0001948799370000132
之后，在发送之后可以取到RPC请求调用的结果，直接保存结果即可，都是一个序列化对象或空值。
Figure BDA0001948799370000141
通过本公开的实施例，将通过第二***获取发送数据和通过第三***获取返回数据确定为与传输协议对应的采集策略，可以实现多种数据格式的采集。
根据本公开的实施例，指定格式包括字符串格式，前述操作S230(处理基于采集策略采集到的待采集数据，以得到符合指定格式的目标数据)包括解析待采集数据以得到符合字符串格式的目标数据。
可以理解的是，字符串格式包括但不限于JSON方式，可以根据不同的数据存储需求和规则，选择不同的字符串格式，只要是可阅读的数据即可，以方便保存和显示。
通过本公开的实施例，对基于采集策略采集到的待采集数据，进行序列化和/或反序列化处理，以得到符合字符串格式的目标数据，实现同一个数据存取平台可以同时满足不同的协议的使用要求。
根据本公开的实施例，客户端(消费端)与服务端(提供端)进行数据交互时，将通过代理进行透传。代理将发送和响应数据抓取下来，并传递给序列化和反序列化工具(此工具可以是不同的语言实现，本公开不做具体限定)，并最终得到一个可阅读的数据。将这些数据用统一的接口上传到接口的存储服务器及数据库。
需要说明的是，代理和序列化及反序列化包括但不限于如下实现方式：
代理可通过netty来实现，无论是TCP还是HTTP都可以，不考虑HTTPS加密的情况，因为本包括涉及的场景一般是在开发调试阶段，并不需要HTTPS模式。通过代理即可获取一次请求的内容(有可能请求过长分了多个包)。
第一种：HTTP相对比较简单，一般带着URL，HEAD，BODY等，传输内容一般为明文(不开户压缩的情况下)，直接将这些内容提取出来拼接成一个格式化的内容进行保存即可。
第二种：TCP或者SOCKET的传输就相对复杂了。以下以JSF这个RPC框架为例，使用的传输子协议有hessian，msgpack，protobuf等，输入的内容，即代理里读取到的内容，是序列化之后的，那么就需要针对这不同的协议分别定制不同的反序列化与序列化方式。
JSF自带了消息的序列化与反序列化方式，我们可以复用框架带的代码，因为这无论是对JSF的消费端与提供端来说都是一个必须的步骤，而且他们也都是接收到对方完整的序列化之后的内容后再在本地进行反序列化。只不过对于代理来说，并不需要将内容转成相应的JAVA实例，而只需要解释之后，转成JAVA实例之前的内容，这部分内容格式也是比较固定的，同时也是个可以提供给人来读取的内容。同理，其它的RPC框架同样也有自己的序列化与反序列化装置，直接复用即可。最后，将这经过反序列化解释之后的内容以固定格式保存下来，就可以供后续使用。甚至代理录制时以hessian进行传输的数据，在提供桩数据时可以msgpack进行提供，投放到代理里的序列化换成msgpack即可。
本公开与现有的方法与工具的差异在于，第一，客户端与服务端的协议与框架可以是各种各样的，第二，代理后面的节点上，针对不同的将会有多个不同的收集与处理的节点，但最终又通过统一的接口进行数据存取。
图4示意性示出了根据本公开实施例的数据处理***的框图。
如图4所示，数据处理400包括获取模块410，确定模块420，处理模块430以及存储模块440。其中：
获取模块410，用于获取待采集数据的传输协议，其中，待采集数据为在客户端和服务器端之间传输的数据。
确定模块420，用于基于传输协议，确定与传输协议对应的采集策略。
处理模块430，用于处理基于采集策略采集到的待采集数据，以得到符合指定格式的目标数据。
存储模块440，用于通过目标服务器存储目标数据。
通过本公开的实施例，至少基于传输协议，确定与传输协议对应的采集策略，处理基于采集策略采集到的待采集数据，以得到符合指定格式的目标数据，并通过目标服务器存储目标数据，可以至少部分克服相关技术中当需要对所有协议和框架的数据进行收集并且分析和使用的情况下，将耗费大量的工作的技术问题，可以实现对不同协议的数据进行集中的收集和处理，并集中保存和读取，以便于基于这些数据，建设统一的平台和业务定制。
图5A示意性示出了根据本公开实施例的确定模块的框图。
如图5A，确定模块420包括第一检测单元511，获取单元512，第二检测单元513以及确定单元514。其中：
第一检测单元511，用于检测传输协议是否为基于HTTP传输协议。
获取单元512，用于在传输协议不为基于HTTP传输协议的情况下，获取待传输数据的数据格式。
第二检测单元513，用于检测数据格式是否满足预设条件以获得检测结果。
确定单元514，用于基于检测结果，确定与传输协议对应的采集策略。
通过本公开的实施例，在传输协议不为HTTP的情况下，根据数据格式是否满足预设条件的检测结果，确定与传输协议对应的采集策略，可以实现多种数据格式的采集。
图5B示意性示出了根据本公开实施例的确定单元的框图。
如图5B，确定单元514包括第一***子单元521以及第一确定子单元522。其中：
第一***子单元521，用于在检测结果表明数据格式满足预设条件的情况下，在客户端***第一***或在服务器端***第一***。
第一确定子单元522，用于将通过第一***获取发送数据和返回数据确定为与传输协议对应的采集策略。
通过本公开的实施例，将通过第一***获取发送数据和返回数据确定为与传输协议对应的采集策略，可以实现多种数据格式的采集。
图5C示意性示出了根据本公开另一实施例的确定单元的框图。
如图5C所示，确定单元514包括第二***子单元531以及第二确定子单元532。其中：
第二***子单元531，用于在检测结果表明数据格式不满足预设条件的情况下，在客户端***第二***和第三***。
第二确定子单元532，用于将通过第二***获取发送数据和通过第三***获取返回数据确定为与传输协议对应的采集策略。
通过本公开的实施例，将通过第二***获取发送数据和通过第三***获取返回数据确定为与传输协议对应的采集策略，可以实现多种数据格式的采集。
根据本公开的实施例，处理模块430还用于解析待采集数据以得到符合字符串格式的目标数据。
通过本公开的实施例，对基于采集策略采集到的待采集数据，进行序列化和/或反序列化处理，以得到符合字符串格式的目标数据，实现同一个数据存取平台可以同时满足不同的协议的使用要求。
根据本公开的实施例的模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，获取模块410，确定模块420，处理模块430以及存储模块440中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块410，确定模块420，处理模块430以及存储模块440中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块410，确定模块420，处理模块430以及存储模块440中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图6示意性示出了根据本公开实施例的适于实现对象处理方法和***的计算机***的方框图。图6示出的计算机***仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，根据本公开实施例的计算机***600包括处理器601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 603中，存储有***600操作所需的各种程序和数据。处理器601、ROM 602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM 602和RAM603以外的一个或多个存储器中。处理器601也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，***600还可以包括输入/输出(I/O)接口605，输入/输出(I/O)接口605也连接至总线604。***600还可以包括连接至I/O接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本公开实施例的***中限定的上述功能。根据本公开的实施例，上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的；也可以是单独存在，而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (12)

1.一种数据处理方法，包括：
获取待采集数据的传输协议，其中，所述待采集数据为在客户端和服务器端之间传输的数据；
至少基于所述传输协议，确定与所述传输协议对应的采集策略；
处理基于所述采集策略采集到的所述待采集数据，以得到符合指定格式的目标数据；以及
通过目标服务器存储所述目标数据。
2.根据权利要求1的方法，其中，所述至少基于所述传输协议，确定与所述传输协议对应的采集策略包括：
检测所述传输协议是否为基于HTTP传输协议；
在所述传输协议不为基于HTTP传输协议的情况下，获取所述待传输数据的数据格式；
检测所述数据格式是否满足预设条件以获得检测结果；以及
至少基于所述检测结果，确定与所述传输协议对应的采集策略。
3.根据权利要求2的方法，其中，所述待采集数据包括发送数据和返回数据，所述至少基于所述检测结果，确定与所述传输协议对应的采集策略包括：
在所述检测结果表明所述数据格式满足预设条件的情况下，在所述客户端***第一***或在所述服务器端***第一***；以及
将通过所述第一***获取所述发送数据和所述返回数据确定为与所述传输协议对应的采集策略。
4.根据权利要求2的方法，其中，所述至少基于所述检测结果，确定与所述传输协议对应的采集策略包括：
在所述检测结果表明所述数据格式不满足预设条件的情况下，在所述客户端***第二***和第三***；以及
将通过所述第二***获取所述发送数据和通过所述第三***获取所述返回数据确定为与所述传输协议对应的采集策略。
5.根据权利要求1的方法，其中，所述指定格式包括字符串格式，所述处理基于所述采集策略采集到的所述待采集数据，以得到符合指定格式的目标数据包括：
解析所述待采集数据以得到符合所述字符串格式的所述目标数据。
6.一种数据处理***，包括：
获取模块，用于获取待采集数据的传输协议，其中，所述待采集数据为在客户端和服务器端之间传输的数据；
确定模块，用于基于所述传输协议，确定与所述传输协议对应的采集策略；
处理模块，用于处理基于所述采集策略采集到的所述待采集数据，以得到符合指定格式的目标数据；以及
存储模块，用于通过目标服务器存储所述目标数据。
7.根据权利要求6的***，其中，所述确定模块包括：
第一检测单元，用于检测所述传输协议是否为基于HTTP传输协议；
获取单元，用于在所述传输协议不为基于HTTP传输协议的情况下，获取所述待传输数据的数据格式；
第二检测单元，用于检测所述数据格式是否满足预设条件以获得检测结果；以及
确定单元，用于基于所述检测结果，确定与所述传输协议对应的采集策略。
8.根据权利要求7的***，其中，所述确定单元包括：
第一***子单元，用于在所述检测结果表明所述数据格式满足预设条件的情况下，在所述客户端***第一***或在所述服务器端***第一***；以及
第一确定子单元，用于将通过所述第一***获取所述发送数据和所述返回数据确定为与所述传输协议对应的采集策略。
9.根据权利要求7的***，其中，所述确定单元包括：
第二***子单元，用于在所述检测结果表明所述数据格式不满足预设条件的情况下，在所述客户端***第二***和第三***；以及
第二确定子单元，用于将通过所述第二***获取所述发送数据和通过所述第三***获取所述返回数据确定为与所述传输协议对应的采集策略。
10.根据权利要求6的***，其中，所述指定格式包括字符串格式，所述处理基于所述采集策略采集到的所述待采集数据，以得到符合指定格式的目标数据包括：
解析模块，用于解析所述待采集数据以得到符合所述字符串格式的所述目标数据。
11.一种计算机***，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现权利要求1至5中任一项的方法。
12.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至5中任一项的方法。
CN201910047350.6A 2019-01-17 2019-01-17 数据处理方法及其***、计算机***及计算机可读介质 Active CN111447170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910047350.6A CN111447170B (zh) 2019-01-17 2019-01-17 数据处理方法及其***、计算机***及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910047350.6A CN111447170B (zh) 2019-01-17 2019-01-17 数据处理方法及其***、计算机***及计算机可读介质

Publications (2)

Publication Number Publication Date
CN111447170A true CN111447170A (zh) 2020-07-24
CN111447170B CN111447170B (zh) 2023-05-30

Family

ID=71652549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910047350.6A Active CN111447170B (zh) 2019-01-17 2019-01-17 数据处理方法及其***、计算机***及计算机可读介质

Country Status (1)

Country Link
CN (1) CN111447170B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235358A (zh) * 2020-09-23 2021-01-15 建信金融科技有限责任公司 数据的采集方法、装置、电子设备及计算机可读存储介质
CN112948152A (zh) * 2021-04-16 2021-06-11 深圳市今天国际物流技术股份有限公司 一种编排数据处理与接口服务及调用方法
CN113055402A (zh) * 2021-03-30 2021-06-29 深圳红途创程科技有限公司 数据传输管控方法、装置、计算机设备及存储介质
CN113079048A (zh) * 2021-03-30 2021-07-06 深圳红途创程科技有限公司 数据采集方法、装置、计算机设备及存储介质
CN113760573A (zh) * 2021-04-08 2021-12-07 北京沃东天骏信息技术有限公司 一种jsf接口信息展示方法和装置
CN114338094A (zh) * 2021-12-09 2022-04-12 北京五八信息技术有限公司 请求头信息的采集方法、装置、电子设备及可读介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714930A (zh) * 2009-12-30 2010-05-26 北京世纪互联宽带数据中心有限公司 一种实现网络监控的方法及***
CN103220188A (zh) * 2013-04-11 2013-07-24 江苏中科惠软信息技术有限公司 一种http数据采集设备
CN106649342A (zh) * 2015-10-30 2017-05-10 北京国双科技有限公司 数据采集平台中数据处理的方法及装置
CN106992903A (zh) * 2017-03-30 2017-07-28 国网福建省电力有限公司 一种基于网络设备的数据采集***及方法
CN107360035A (zh) * 2017-07-27 2017-11-17 北京市天元网络技术股份有限公司 一种数据处理方法及***
CN107784076A (zh) * 2017-09-25 2018-03-09 北京京东尚科信息技术有限公司 可视化构建用户行为数据的方法和装置
CN108920411A (zh) * 2018-07-03 2018-11-30 山东汇贸电子口岸有限公司 一种分布式存储***的数据采集方法及装置
CN109005188A (zh) * 2018-08-23 2018-12-14 郑州云海信息技术有限公司 一种数据传输装置及方法、***、设备、计算机存储介质
CN109150610A (zh) * 2018-08-29 2019-01-04 深圳市未来交互信息技术有限公司 基于规则适配的网络事件采集方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714930A (zh) * 2009-12-30 2010-05-26 北京世纪互联宽带数据中心有限公司 一种实现网络监控的方法及***
CN103220188A (zh) * 2013-04-11 2013-07-24 江苏中科惠软信息技术有限公司 一种http数据采集设备
CN106649342A (zh) * 2015-10-30 2017-05-10 北京国双科技有限公司 数据采集平台中数据处理的方法及装置
CN106992903A (zh) * 2017-03-30 2017-07-28 国网福建省电力有限公司 一种基于网络设备的数据采集***及方法
CN107360035A (zh) * 2017-07-27 2017-11-17 北京市天元网络技术股份有限公司 一种数据处理方法及***
CN107784076A (zh) * 2017-09-25 2018-03-09 北京京东尚科信息技术有限公司 可视化构建用户行为数据的方法和装置
CN108920411A (zh) * 2018-07-03 2018-11-30 山东汇贸电子口岸有限公司 一种分布式存储***的数据采集方法及装置
CN109005188A (zh) * 2018-08-23 2018-12-14 郑州云海信息技术有限公司 一种数据传输装置及方法、***、设备、计算机存储介质
CN109150610A (zh) * 2018-08-29 2019-01-04 深圳市未来交互信息技术有限公司 基于规则适配的网络事件采集方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊肖磊、王春伟、赵炯、周奇才: ""基于Redis与SSM的大型设备数据运用***设计"", 《现代机械》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235358A (zh) * 2020-09-23 2021-01-15 建信金融科技有限责任公司 数据的采集方法、装置、电子设备及计算机可读存储介质
CN113055402A (zh) * 2021-03-30 2021-06-29 深圳红途创程科技有限公司 数据传输管控方法、装置、计算机设备及存储介质
CN113079048A (zh) * 2021-03-30 2021-07-06 深圳红途创程科技有限公司 数据采集方法、装置、计算机设备及存储介质
CN113055402B (zh) * 2021-03-30 2022-04-12 深圳红途科技有限公司 数据传输管控方法、装置、计算机设备及存储介质
CN113760573A (zh) * 2021-04-08 2021-12-07 北京沃东天骏信息技术有限公司 一种jsf接口信息展示方法和装置
CN112948152A (zh) * 2021-04-16 2021-06-11 深圳市今天国际物流技术股份有限公司 一种编排数据处理与接口服务及调用方法
CN114338094A (zh) * 2021-12-09 2022-04-12 北京五八信息技术有限公司 请求头信息的采集方法、装置、电子设备及可读介质

Also Published As

Publication number Publication date
CN111447170B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN111447170B (zh) 数据处理方法及其***、计算机***及计算机可读介质
US9961129B2 (en) Business transaction correlation with client request monitoring data
CN112148674B (zh) 日志数据处理方法、装置、计算机设备和存储介质
CN103942225A (zh) 一种混合型应用客户端的资源调用方法、客户端及***
US20150067146A1 (en) Custom correlation of a distributed business transaction
CN102098327A (zh) 在线视频嗅探下载方法及装置
US20200314189A1 (en) Methods and apparatus for census and panel matching using http headers
CN109327530B (zh) 一种信息处理方法、装置、电子设备和存储介质
CN111367685A (zh) 接口调用的方法及装置、计算机设备、存储介质
US8230002B2 (en) Method and system for automatic setup in web-based applications
CN112015383A (zh) 一种登录方法和装置
CN102479082A (zh) 客户端界面信息的提供方法、***和客户端界面生成装置
CN110995538B (zh) 网络数据采集方法、装置、***、设备及存储介质
CN105119764A (zh) 用于流量监控的方法和装置
CN110609666B (zh) 打印机配置方法、装置、电子设备及可读存储介质
CN110489326B (zh) 基于ids的httpapi调试方法装置、介质和设备
CN116781586A (zh) 一种gRPC流量解析方法、装置、设备及介质
CN116431443A (zh) 日志记录方法、装置、计算机设备及计算机可读存储介质
CN114915565B (zh) 网络调试的方法和***
CN115374207A (zh) 业务处理方法及装置、电子设备和计算机可读存储介质
CN115202973A (zh) 应用运行状态的确定方法、装置、电子设备和介质
CN109756393B (zh) 信息处理方法、***、介质和计算设备
CN114285774A (zh) 流量录制方法、装置、电子设备及存储介质
CN113760693A (zh) 用于微服务***的本地调试的方法和装置
CN112671822B (zh) 服务请求处理方法、装置、存储介质、服务器和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant