CN114844763A - 数据处理方法及装置、电子设备及存储介质 - Google Patents
数据处理方法及装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114844763A CN114844763A CN202210412785.8A CN202210412785A CN114844763A CN 114844763 A CN114844763 A CN 114844763A CN 202210412785 A CN202210412785 A CN 202210412785A CN 114844763 A CN114844763 A CN 114844763A
- Authority
- CN
- China
- Prior art keywords
- data
- interface
- target
- configuration information
- reporting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 120
- 230000002776 aggregation Effects 0.000 claims description 35
- 238000004220 aggregation Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 27
- 230000004931 aggregating effect Effects 0.000 claims description 15
- 230000000875 corresponding effect Effects 0.000 description 32
- 230000006399 behavior Effects 0.000 description 18
- 238000013480 data collection Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 5
- 230000003203 everyday effect Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/085—Retrieval of network configuration; Tracking network configuration history
- H04L41/0853—Retrieval of network configuration; Tracking network configuration history by actively collecting configuration information or by backing up configuration information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Selective Calling Equipment (AREA)
Abstract
本公开实施例是关于一种数据处理方法及装置、电子设备及存储介质，其中，所述数据处理方法，应用于数据采集端，包括：获取数据处理端下发的数据采集配置信息；基于所述数据采集配置信息确定待采集数据的目标接口；向所述目标接口采集目标数据；基于所述数据采集配置信息指示的数据上报频率将所述目标数据上报给所述数据处理端。
Description
技术领域
本公开涉及网络技术领域，尤其涉及一种数据处理方法及装置、电子设备及存储介质。
背景技术
随着微服务技术普及，企业内部***往往由许多松散、低耦合以及可独立部署较小组件或服务组成。目前针对这些微服务化组件或服务，通常是每个组件或服务的日志记录功能相互独立进行，或者，企业内部采用统一的日志记录***。但是现有的日志记录***无法灵活控制不同微服务组件的日志采集行为，从而由于内部微服务组件或服务数据巨大，如所有微服务化的组件或服务，导致日志数据记录和上报行为的灵活性差，造成企业内部网络流量极大消耗，甚至影响到企业核心***的运作。
发明内容
本公开实施例提供一种数据处理方法及装置、电子设备及存储介质。
本公开实施例第一方面提供一种数据处理方法，应用于数据采集端，包括：
获取数据处理端下发的数据采集配置信息；
基于所述数据采集配置信息确定待采集数据的目标接口；
向所述目标接口采集目标数据；
基于所述数据采集配置信息指示的数据上报频率将所述目标数据上报给所述数据处理端。
基于上述方案，所述基于所述数据采集配置信息指示的数据上报频率将所述目标数据上报给所述数据处理端，包括：
基于所述数据采集配置信息确定数据上报频率；
基于所述目标数据生成目标数据文件；
根据所述数据上报频率将所述目标数据文件上报给所述数据处理端。
基于上述方案，所述基于所述目标数据生成目标数据文件，包括：
基于所述数据采集配置信息确定数据替换信息；
基于所述数据替换信息对所述目标数据中的待替换内容进行替换；
基于替换后的目标数据生成目标数据文件。
基于上述方案，所述基于所述目标数据生成目标数据文件，包括：
基于所述数据采集配置信息确定数据聚合信息；
基于所述数据聚合信息将相同类型的目标数据进行聚合；
基于聚合后的目标数据生成目标数据文件。
基于上述方案，所述基于所述目标数据生成目标数据文件，包括：
基于所述数据上报频率确定文件生成频率；
根据所述文件生成频率基于所述目标数据生成目标数据文件。
基于上述方案，所述获取数据处理端下发的数据采集配置信息，包括：
获取与所述数据采集端关联的多个备选接口的接口信息；所述接口信息至少包括：接口参数以及接口标识；
将所述备选接口的接口信息上报至数据处理端；
获取所述数据处理端基于所述备选接口的接口信息下发的数据采集配置信息。
基于上述方案，所述数据上报频率，至少用于指示：所述数据采集端采集目标数据的数据量达到预设阈值时上报所述目标数据，或者，所述数据采集端每隔预设时长上报所述目标数据。
本公开实施例第二方面提供一种数据处理方法，应用于数据处理端，包括：
基于待采集数据的目标接口的接口信息以及数据上报频率生成数据采集配置信息；
下发所述数据采集配置信息；
获取数据采集端基于所述数据采集配置信息上报的目标数据；
基于所述目标数据进行处理。
基于上述方案，所述基于待采集数据的目标接口的接口信息以及数据上报频率生成数据采集配置信息，包括：
获取数据采集端上报的备选接口的接口信息；所述接口信息至少包括：接口参数以及接口标识；
基于所述备选接口的接口信息确定待采集数据的目标接口；
基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息。
基于上述方案，所述基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息，包括：
基于所述目标接口的接口参数确定数据上报频率；
基于所述目标接口的接口标识以及所述数据上报频率生成数据采集配置信息。
基于上述方案，所述基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息，包括：
基于所述目标接口的接口参数确定所述目标接口的目标数据中的待替换内容；
基于所述待替换内容生成数据替换信息；
基于所述目标接口的接口标识、所述数据替换信息以及数据上报频率生成数据采集配置信息。
基于上述方案，所述基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息，包括：
基于所述目标接口的接口参数确定数据聚合信息；所述数据聚合信息指示：将相同类型的目标数据聚合；
基于所述目标接口的接口标识、所述数据聚合信息以及数据上报频率生成数据采集配置信息。
本公开实施例第三方面提供一种数据处理装置，应用于数据采集端，包括：
信息获取单元，用于获取数据处理端下发的数据采集配置信息；
确定单元，用于基于所述数据采集配置信息确定待采集数据的目标接口；
采集单元，用于向所述目标接口采集目标数据；
上报单元，用于基于所述数据采集配置信息指示的数据上报频率将所述目标数据上报给所述数据处理端。
基于上述方案，所述上报单元，具体用于：
基于所述数据采集配置信息确定数据上报频率；
基于所述目标数据生成目标数据文件；
根据所述数据上报频率将所述目标数据文件上报给所述数据处理端。
基于上述方案，所述上报单元，具体用于：
基于所述数据采集配置信息确定数据替换信息；
基于所述数据替换信息对所述目标数据中的待替换内容进行替换；
基于替换后的目标数据生成目标数据文件。
基于上述方案，所述上报单元，具体用于：
基于所述数据采集配置信息确定数据聚合信息；
基于所述数据聚合信息将相同类型的目标数据进行聚合；
基于聚合后的目标数据生成目标数据文件。
基于上述方案，所述上报单元，具体用于：
基于所述数据上报频率确定文件生成频率；
根据所述文件生成频率基于所述目标数据生成目标数据文件。
基于上述方案，所述信息获取单元，具体用于：
获取与所述数据采集端关联的多个备选接口的接口信息；所述接口信息至少包括：接口参数以及接口标识；
将所述备选接口的接口信息上报至数据处理端；
获取所述数据处理端基于所述备选接口的接口信息下发的数据采集配置信息。
基于上述方案，所述数据上报频率，至少用于指示：所述数据采集端采集目标数据的数据量达到预设阈值时上报所述目标数据，或者，所述数据采集端每隔预设时长上报所述目标数据。
本公开实施例第四方面提供一种数据处理装置，应用于数据处理端，包括：
生成单元，用于基于待采集数据的目标接口的接口信息以及数据上报频率生成数据采集配置信息；
下发单元，用于下发所述数据采集配置信息；
数据获取单元，用于获取数据采集端基于所述数据采集配置信息上报的目标数据；
数据处理单元，用于基于所述目标数据进行处理。
基于上述方案，所述生成单元，具体用于：
获取数据采集端上报的备选接口的接口信息；所述接口信息至少包括：接口参数以及接口标识；
基于所述备选接口的接口信息确定待采集数据的目标接口；
基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息。
基于上述方案，所述生成单元，具体用于：
基于所述目标接口的接口参数确定数据上报频率；
基于所述目标接口的接口标识以及所述数据上报频率生成数据采集配置信息。
基于上述方案，所述生成单元，具体用于：
基于所述目标接口的接口参数确定所述目标接口的目标数据中的待替换内容；
基于所述待替换内容生成数据替换信息；
基于所述目标接口的接口标识、所述数据替换信息以及数据上报频率生成数据采集配置信息。
基于上述方案，所述生成单元，具体用于：
基于所述目标接口的接口参数确定数据聚合信息；所述数据聚合信息指示：将相同类型的目标数据聚合；
基于所述目标接口的接口标识、所述数据聚合信息以及数据上报频率生成数据采集配置信息。
本公开实施例第五方面提供一种电子设备，包括：
用于存储处理器可执行指令的存储器；
处理器，与所述存储器连接；
其中，所述处理器被配置为执行如前述任意技术方案提供的数据处理方法。
本公开实施例第六方面提供一种非临时性计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现前述任意技术方案提供的数据处理方法。
本公开的实施例提供的数据处理方法，应用于数据采集端，包括：获取数据处理端下发的数据采集配置信息；基于所述数据采集配置信息确定待采集数据的目标接口；向所述目标接口采集目标数据；基于所述数据采集配置信息指示的数据上报频率将所述目标数据上报给所述数据处理端。如此，数据采集端通过数据处理端的配置信息，根据配置信息指示的上报频率和目标接口确定日志数据的采集行为，从而数据采集端的日志采集行为和上报行为可由数据处理端灵活控制。提高对日志采集行为的控制灵活性，降低上报频率过于频繁或与其他数据采集端上报行为处于同一时刻导致的网络拥塞。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本公开实施例示出的一种数据处理方法的流程示意图；
图2是本公开实施例示出的一种数据处理方法的流程示意图；
图3是本公开实施例示出的一种数据处理装置的结构示意图；
图4是本公开实施例示出的一种数据处理装置的结构示意图；
图5是本公开实施例示出的一种操作日志记录***的结构示意图；
图6是本公开实施例示出的一种数据处理方法的流程示意图；
图7是本公开实施例示出的一种数据处理方法的流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但可以理解的是，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
如图1所示，本公开实施例提供一种数据处理方法，应用于数据采集端，包括：
S110：获取数据处理端下发的数据采集配置信息；
S120：基于所述数据采集配置信息确定待采集数据的目标接口；
S130：向所述目标接口采集目标数据；
S140：基于所述数据采集配置信息指示的数据上报频率将所述目标数据上报给所述数据处理端。
在本公开实施例中，目标接口可以用于连通服务端，这里，服务端用于执行业务处理，例如，服务端可以包括应用程序客户端或者微服务化组件等。待采集的目标数据可以为目标接口或者目标接口连通的服务端的日志数据或者状态数据等。
这里，至少一个数据采集端可以与数据处理端构成日志处理***，其中，数据采集端接入一个或多个用于连通服务端的接口。数据处理端可以为***操作日志管理端，用于控制***内日志数据的采集和上报行为等。
在一个实施例中，数据采集端可以包括用于接入目标接口的第一操作端，例如可以为客户端软件开发工具包(Software Development Kit，SDK)等。此外，数据采集端还可以包括用于执行数据采集端与数据处理端之间数据交互的第二操作端，例如可以为部署到接入目标接口的数据采集端中或者数据采集端所在终端设备中的独立进程等。
这里，第二操作端可以用于将第一操作端从目标接口采集的目标数据上报至数据处理端，还可以用于将数据处理端下发的数据采集配置信息传送给第一操作端。
在一个实施例中，S110可包括：根据预定获取周期或者预定获取频率获取数据处理端下发的数据采集配置信息。例如，预定获取周期可以指示数据采集端每两次获取数据处理端下发的数据采集配置信息之间的时间间隔，预定获取频率可以指示数据采集端获取数据处理端下发的数据采集配置信息的频率。
在另一个实施例中，S110可包括：在预定时刻获取数据处理端下发的数据采集配置信息。例如，预定时刻可以为每小时、每天或者每周等的固定时刻，例如每天的08:00等。如此，基于预定获取周期或频率或者预定时刻获取数据采集配置信息，可以有效合理控制获取配置信息的频率，从而减少不必要的数据获取行为造成的网络占用。
在一个实施例中，数据采集配置信息中可以记录需要采集目标数据的目标接口，例如记录目标接口的接口标识、接口参数或接口网际互联协议(Internet Protocol，IP)地址等接口描述信息。
在一个实施例中，数据采集配置信息中还可以记录数据采集端采集目标数据的采集参数，和/或数据采集端上报目标数据的上报参数。例如，采集参数可以包括：对目标接口采集目标数据的采集频率或采集周期、对目标接口采集目标数据的采集内容或者采集目标数据的采集条件等。
示例性的，采集频率可以为对目标接口每10min、每1h或每天采集一次目标数据，例如，每次采集目标数据时仅采集当前所在采集周期产生的目标数据等。当目标接口数量大于1时，采集频率还可以包括每个目标接口的采集频率，例如每个目标接口的采集频率可通过目标接口对应的业务类型、业务处理能力、活跃度或者目标数据的产生速度等确定。
在一个实施例中，采集内容可以为对目标接口需要采集的目标数据的数据内容，例如，采集内容可包括当前采集周期目标接口产生的日志数据、状态数据、或者当前采集周期目标接口产生的日志数据或状态数据中的设定内容等。这里，设定内容可以为目标接口与其他接***互产生的数据、与数据处理端交互产生的数据或者目标接口基于设定业务产生的数据等。
当目标接口数量大于1时，采集内容还可以包括每个目标接口的采集内容，例如每个目标接口的采集内容可通过目标接口对应的业务类型、业务处理能力、活跃度或者目标数据的产生速度等确定。
在一个实施例中，采集条件可以为对目标接口启动数据采集和/或停止目标数据采集的条件。例如，当检测到***被占用的运行内存或业务处理占用的流量达到预设比例或者预设值时，停止对目标接口采集目标数据等。当检测到***被占用的运行内存或业务处理占用的流量低于预设比例或者预设值时，开始或继续对目标接口采集目标数据。
在另一个实施例中，采集条件还可以为根据当前正在被采集目标数据的目标接口数量以及***占用情况确定。例如，可以为当检测到***被占用的运行内存或业务处理占用的流量达到预设比例或者预设值时，若当前正在被采集目标数据的目标接口数量达到预设数量，则基于目标接口对应的业务类型确定是否停止采集目标接口的目标数据。
示例性的，若目标接口对应的业务类型为关联***核心业务的预设类型，则不停止采集目标接口的目标数据；若目标接口对应的业务类型不是关联***核心业务的预设类型，则停止采集目标接口的目标数据。
当目标接口数量大于1时，采集条件还可以包括每个目标接口的采集条件，例如每个目标接口的采集条件可通过目标接口对应的业务类型、业务处理能力、活跃度或者目标数据的产生速度等确定。
如此，可以在***业务流量处于高峰时，减少部分数据采集工作的进程，从而进一步提升对各接口数据采集行为控制的灵活性，提升***运行可靠性。
在一个实施例中，数据采集端上报目标数据的上报参数，可以包括：向数据处理端上报目标数据的数据上报频率或数据上报周期、向数据处理端上报目标数据的上报内容或者上报目标数据的上报条件等。
示例性的，数据上报频率可以为向数据处理端每10min、每1h或每天上报一次目标数据，例如，每次上报目标数据时仅上报当前所在数据上报周期产生的目标数据等。
在一个实施例中，上报内容可以为向数据处理端上报的目标数据的数据内容，例如，上报内容可包括当前上报周期目标接口产生的日志数据、状态数据、或者当前上报周期目标接口产生的日志数据或状态数据中的设定内容等。这里，设定内容可以为目标接口与其他接***互产生的数据、与数据处理端交互产生的数据或者目标接口基于设定业务产生的数据等。
当目标接口数量大于1时，上报内容还可以包括每个目标接口的上报内容，例如每个目标接口的上报内容可通过目标接口对应的业务类型、业务处理能力、活跃度或者目标数据的产生速度等确定。
在一个实施例中，上报条件可以为向数据处理端启动数据上报和/或停止目标数据上报的条件。例如，当检测到***被占用的运行内存或业务处理占用的流量达到预设比例或者预设值时，停止向数据处理端上报目标数据等。当检测到***被占用的运行内存或业务处理占用的流量低于预设比例或者预设值时，开始或继续向数据处理端上报目标数据。
在另一个实施例中，上报条件还可以为根据当前正在上报目标数据的数据采集端数量以及***占用情况确定。例如，可以为当检测到***被占用的运行内存或业务处理占用的流量达到预设比例或者预设值时，若当前正在上报目标数据的数据采集端数量达到预设数量，则基于目标接口对应的业务类型确定是否停止上报数据采集端的目标数据。
示例性的，若目标接口对应的业务类型为关联***核心业务的预设类型，则不停止上报数据采集端的目标数据；若目标接口对应的业务类型不是关联***核心业务的预设类型，则停止上报数据采集端的目标数据。
如此，可以在***业务流量处于高峰时，减少部分数据上报工作的进程，从而进一步提升对各接口数据上报行为控制的灵活性，提升***运行可靠性。
在一个实施例中，S120可包括：基于所述数据采集配置信息中记录的接口描述信息确定待采集数据的目标接口。例如，接口描述信息可以为接口ID等接口标识、接口IP地址或者接口参数等。
在一个实施例中，S130可包括：基于数据采集配置信息指示的采集频率、采集周期、采集内容和采集条件中的至少之一，向所述目标接口采集目标数据。
在一个实施例中，所述向目标接口采集目标数据，可以为通过***技术等方式拦截目标接口对应地目标数据。
在一个实施例中，S140可包括：基于数据采集配置信息指示的数据上报频率、数据上报周期、上报内容和上报条件中的至少之一，将所述目标数据上报给所述数据处理端。
如此，基于数据采集端获取数据处理端的配置信息，根据配置信息指示的上报频率和目标接口确定日志数据的采集行为，从而数据采集端的日志采集行为和上报行为可由数据处理端灵活控制。基于此，提高对日志采集行为的控制灵活性，并降低上报频率过于频繁或与其他数据采集端上报行为处于同一时刻导致的网络拥塞。
在一些实施例中，所述S140，可包括：
基于所述数据采集配置信息确定数据上报频率；
基于所述目标数据生成目标数据文件；
根据所述数据上报频率将所述目标数据文件上报给所述数据处理端。
在本公开实施例中，数据上报频率可以记录在数据采集配置信息中，例如，在数据采集配置信息中，数据上报频率可以与待采集的目标接口的接口描述信息具备对应关系。示例性的，目标接口A对应的数据上报频率为每30min一次，目标接口B对应的数据上报频率为每1h一次等。
在一个实施例中，目标数据文件可以为用于记录待上报的目标数据，例如，可以为基于采集到的上次数据上报之后产生的目标数据生成目标数据文件。
在另一个实施例中，目标数据文件可以与目标接口或者数据采集端具备对应关系。例如，基于每一目标接口的目标数据生成一个目标数据文件，或者，基于每一数据采集端采集到的目标数据生成一个目标数据文件。
在又一个实施例中，基于所述目标数据生成目标数据文件，还可以包括：基于目标接口在上次数据上报之后产生的目标数据，或者，基于数据采集端在上次数据上报之后采集到的目标数据，生成目标数据文件。
在一个实施例中，目标数据为日志数据时，目标数据文件可以为日志文件。这里，目标文件可以为存储在***内的文件，也可以为存储在数据采集端内的文件。例如，目标数据文件为存储在第一操作端或者第二操作端中的文件等。
在一个实施例中，数据采集端包括第一操作端和第二操作端时，向所述目标接口采集目标数据，可以为通过第一操作端向所述目标接口采集目标数据。基于所述目标数据生成目标数据文件，可包括：基于所述目标数据生成目标数据文件并写入第二操作端。
所述根据所述数据上报频率将所述目标数据文件上报给所述数据处理端，可包括：根据所述数据上报频率，通过第二操作端将所述目标数据文件上报给所述数据处理端。
如此，通过数据文件的形式记录目标数据并传输，可以更好地整理例如日志数据等体量较大类目较繁多的数据，从而便于传输，提升数据处理端获取数据的便捷性。
在一些实施例中，所述基于所述目标数据生成目标数据文件，包括：
基于所述数据采集配置信息确定数据替换信息；
基于所述数据替换信息对所述目标数据中的待替换内容进行替换；
基于替换后的目标数据生成目标数据文件。
在本公开实施例中，数据替换信息可用于指示将目标数据中指定的待替换内容替换为指定的目标内容。例如，数据替换信息可用于指示将目标数据中每条目标数据中均携带的相同的第一指定内容替换为第二指定内容等。其中，第二指定内容的字节数小于第一指定内容。
示例性的，数据替换信息可指示将采集的日志数据中的“org.apache.dubbo.rpc.protoc ol.dubbo.DecodeableRpcResult”内容替换为“a1”，则以一条日志数据“at org.apache.du bbo.rpc.protocol.dubbo.DecodeableRpcResult.decode(DecodeableRpcResult.java:85)”为例，替换后的日志数据为“at a1.decode(DecodeableRpcResult.java:85)”。
在一个实施例中，数据替换信息可以用于指示将目标数据中的第一指定内容替换为第二指定内容，例如，第一指定内容可包括目标数据中包含的指定关键字或敏感字，从而提高目标数据的安全性和隐私性。
在一个实施例中，数据替换信息可以根据采集到的目标数据的数据类型、目标接口的接口类型以及目标接口对应的业务类型中的至少之一确定。例如，目标接口对应的业务类型为X，则将对应的目标数据中的指定内容替换为A；目标接口对应的业务类型为Y，则将对应的目标数据中的指定内容替换为B等。
如此，基于数据替换信息对目标数据进行替换操作，从而可以将目标数据调整为另外的形式或内容，从而提升目标数据的独特性与安全性。另外将每条目标数据均具有的相同内容替换为较短的标识，可以降低目标数据的数据量，进而降低目标数据采集和上报消耗的流量。
在一些实施例中，所述基于所述目标数据生成目标数据文件，包括：
基于所述数据采集配置信息确定数据聚合信息；
基于所述数据聚合信息将相同类型的目标数据进行聚合；
基于聚合后的目标数据生成目标数据文件。
在本公开实施例中，数据聚合信息可用于指示将相同类型的目标数据进行聚合，其中，相同类型可以为数据类型相同、所属的目标接口类型相同或者数据内容相同等。
在一个实施例中，基于所述数据聚合信息将相同类型的目标数据进行聚合，可包括：将采集到的目标数据中相同类型的目标数据分别进行聚合，或者，将采集到的目标数据中预设时长内产生的相同类型的目标数据进行聚合。其中，预设时长可以小于或等于预定采集周期。
示例性的，预设时长为1min，对于1min内产生的相同类型的目标数据进行聚合，聚合为一条目标数据。其中，聚合后的目标数据中可以记录预设时长以及预设时长内产生的该类型目标数据的次数或个数。
例如，1min内产生的内容为“XX操作A接口”的日志数据次数为5次，则将该5条日志数据聚合为1条内容为“1minXX操作A接口：5次”的日志数据。
如此，可以有效整合重复的相同类型的目标数据，从而进一步缩小目标数据的总体量，降低目标数据采集和上报占用的流量和内存。
在一些实施例中，所述基于所述目标数据生成目标数据文件，包括：
基于所述数据上报频率确定文件生成频率；
根据所述文件生成频率基于所述目标数据生成目标数据文件。
在本公开实施例中，文件生成频率可以指示基于目标数据生成目标数据文件的频率，例如，文件生成频率可以根据数据上报频率确定，也可以根据数据上报频率和数据采集频率确定，还可以根据数据上报频率和采集到的目标数据的数据量确定。
在一个实施例中，基于所述数据上报频率确定文件生成频率，可包括：将文件生成频率设置为数据上报频率，或者设置为数据上报频率的预设倍数。例如，预设倍数可以为10倍或20倍等，从而减少将目标数据全部整合到一个目标数据文件或少量目标数据文件中进行上报，减少目标数据文件的数据量，提高处理效率。
在一个实施例中，基于所述数据上报频率确定文件生成频率，可包括：基于数据上报频率和采集到的目标数据的数据量确定文件生成频率。例如，若采集到的目标数据的数据量达到预设阈值，则将文件生成频率设置为数据上报频率的预设倍数，其中，预设倍数可以与预设阈值正相关。如此，采集到的目标数据越多，生成文件的频率越高，从而减少目标数据文件的数据量，提高处理效率。
在一个实施例中，文件生成频率可以指示：在采集的目标数据的数据量达到预设数据量或者采集时长达到预设时间窗时，基于目标数据生成目标数据文件。
示例性的，文件生成频率可以为对目标数据每10min、每1h或每天生成一次目标数据等。当数据采集端关联的目标接口数量大于1时，文件生成频率还可以包括每个目标接口的目标数据文件的文件生成频率，例如每个目标接口的目标数据文件的采集频率可通过目标接口对应的业务类型、业务处理能力、活跃度或者目标数据的产生速度等确定。
在一个实施例中，所述根据所述文件生成频率基于所述目标数据生成目标数据文件，可包括：根据所述数据采集端关联的每一目标接口对应的文件生成频率，基于每一目标接口对应的目标数据生成目标数据文件。如此，可以提升对不同目标接口的目标数据处理的差异性和灵活性，从而进一步提升对接口数据的精确控制。
在一些实施例中，所述获取数据处理端下发的数据采集配置信息，包括：
获取与所述数据采集端关联的多个备选接口的接口信息；所述接口信息至少包括：接口参数以及接口标识；
将所述备选接口的接口信息上报至数据处理端；
获取所述数据处理端基于所述备选接口的接口信息下发的数据采集配置信息。
在本公开实施例中，接口信息可为接口描述信息，用于描述接口的属性和/或身份。一个数据采集端可以关联一个、两个或多个备选接口。
在一个实施例中，接口信息中还可以包括：备选接口对应的业务类型。如此，可供数据处理端基于待采集目标数据的业务类型确定目标接口。
在一个实施例中，数据采集配置信息可以指示目标接口的接口信息，其中，目标接口为备选接口中的一个或多个接口。
在一些实施例中，所述数据上报频率，至少用于指示：所述数据采集端采集目标数据的数据量达到预设阈值时上报所述目标数据，或者，所述数据采集端每隔预设时长上报所述目标数据。
如图2所示，本公开实施例提供一种数据处理方法，应用于数据处理端，包括：
S210：基于待采集数据的目标接口的接口信息以及数据上报频率生成数据采集配置信息；
S220：下发所述数据采集配置信息；
S230：获取数据采集端基于所述数据采集配置信息上报的目标数据；
S240：基于所述目标数据进行处理。
在本公开实施例中，数据处理端根据需要获取目标数据的目标接口生成数据采集配置信息，例如数据采集配置信息中可包括目标接口的接口ID、接口IP地址或接口参数等。
在一个实施例中，数据采集配置信息中还可以记录数据采集端采集目标数据的采集参数，和/或数据采集端上报目标数据的上报参数。例如，采集参数可以包括：对目标接口采集目标数据的采集频率或采集周期、对目标接口采集目标数据的采集内容或者采集目标数据的采集条件等。
示例性的，采集频率可以为对目标接口每10min、每1h或每天采集一次目标数据，例如，每次采集目标数据时仅采集当前所在采集周期产生的目标数据等。当目标接口数量大于1时，采集频率还可以包括每个目标接口的采集频率，例如每个目标接口的采集频率可通过目标接口对应的业务类型、业务处理能力、活跃度或者目标数据的产生速度等确定。
在一个实施例中，采集内容可以为对目标接口需要采集的目标数据的数据内容，例如，采集内容可包括当前采集周期目标接口产生的日志数据、状态数据、或者当前采集周期目标接口产生的日志数据或状态数据中的设定内容等。这里，设定内容可以为目标接口与其他接***互产生的数据、与数据处理端交互产生的数据或者目标接口基于设定业务产生的数据等。
当目标接口数量大于1时，采集内容还可以包括每个目标接口的采集内容，例如每个目标接口的采集内容可通过目标接口对应的业务类型、业务处理能力、活跃度或者目标数据的产生速度等确定。
在一个实施例中，采集条件可以为对目标接口启动数据采集和/或停止目标数据采集的条件。例如，当检测到***被占用的运行内存或业务处理占用的流量达到预设比例或者预设值时，停止对目标接口采集目标数据等。当检测到***被占用的运行内存或业务处理占用的流量低于预设比例或者预设值时，开始或继续对目标接口采集目标数据。
在另一个实施例中，采集条件还可以为根据当前正在被采集目标数据的目标接口数量以及***占用情况确定。例如，可以为当检测到***被占用的运行内存或业务处理占用的流量达到预设比例或者预设值时，若当前正在被采集目标数据的目标接口数量达到预设数量，则基于目标接口对应的业务类型确定是否停止采集目标接口的目标数据。
示例性的，若目标接口对应的业务类型为关联***核心业务的预设类型，则不停止采集目标接口的目标数据；若目标接口对应的业务类型不是关联***核心业务的预设类型，则停止采集目标接口的目标数据。
当目标接口数量大于1时，采集条件还可以包括每个目标接口的采集条件，例如每个目标接口的采集条件可通过目标接口对应的业务类型、业务处理能力、活跃度或者目标数据的产生速度等确定。
如此，可以在***业务流量处于高峰时，减少部分数据采集工作的进程，从而进一步提升对各接口数据采集行为控制的灵活性，提升***运行可靠性。
在一些实施例中，所述S210，可包括：
获取数据采集端上报的备选接口的接口信息；所述接口信息至少包括：接口参数以及接口标识；
基于所述备选接口的接口信息确定待采集数据的目标接口；
基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息。
在本公开实施例中，接口信息可为接口描述信息，用于描述接口的属性和/或身份。一个数据采集端可以关联一个、两个或多个备选接口。
在一个实施例中，接口信息中还可以包括：备选接口对应的业务类型。如此，可供数据处理端基于待采集目标数据的业务类型确定目标接口。
在一个实施例中，数据采集配置信息可以指示目标接口的接口信息，其中，目标接口为备选接口中的一个或多个接口。
在一个实施例中，所述基于所述备选接口的接口信息确定待采集数据的目标接口，可包括：基于备选接口对应的业务类型确定待采集数据的目标接口。例如，确定与其他接口存在业务交互的备选接口为待采集数据的目标接口。
如此，根据数据采集端上报的接口信息，数据处理端可以准确筛选出需要获取目标数据的目标接口，从而可以更加精准高效地获取需要的目标数据，提高目标数据采集和处理的效率。
在一些实施例中，所述基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息，可包括：
基于所述目标接口的接口参数确定数据上报频率；
基于所述目标接口的接口标识以及所述数据上报频率生成数据采集配置信息。
在本公开实施例中，目标接口的接口参数，可以包括目标接口的接口ID、接口IP地址或者接口连接的服务端的运行参数等，其中，服务端的运行参数可以指示服务端的业务处理能力和/或目标接口产生目标数据的速度等。
在一个实施例中，基于所述目标接口的接口参数确定数据上报频率，可以包括：若目标接口的接口参数表征目标接口在预设采集周期内产生的目标数据达到预设数据量，则基于预设数据量或者预设采集周期内产生的目标数据超出预设数据量的数量确定数据上报频率。例如，预设采集周期内产生的目标数据超出预设数据量的的数据量越高，数据上报频率越高等。
在一些实施例中，所述基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息，包括：
基于所述目标接口的接口参数确定所述目标接口的目标数据中的待替换内容；
基于所述待替换内容生成数据替换信息；
基于所述目标接口的接口标识、所述数据替换信息以及数据上报频率生成数据采集配置信息。
在一些实施例中，所述基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息，包括：
基于所述目标接口的接口参数确定数据聚合信息；所述数据聚合信息指示：将相同类型的目标数据聚合；
基于所述目标接口的接口标识、所述数据聚合信息以及数据上报频率生成数据采集配置信息。
如图3所示，本公开实施例提供一种数据处理装置，应用于数据采集端，包括：
信息获取单元10，用于获取数据处理端下发的数据采集配置信息；
确定单元20，用于基于所述数据采集配置信息确定待采集数据的目标接口；
采集单元30，用于向所述目标接口采集目标数据；
上报单元40，用于基于所述数据采集配置信息指示的数据上报频率将所述目标数据上报给所述数据处理端。
在一些实施例中，所述上报单元40，具体用于：
基于所述数据采集配置信息确定数据上报频率；
基于所述目标数据生成目标数据文件；
根据所述数据上报频率将所述目标数据文件上报给所述数据处理端。
在一些实施例中，所述上报单元40，具体用于：
基于所述数据采集配置信息确定数据替换信息；
基于所述数据替换信息对所述目标数据中的待替换内容进行替换；
基于替换后的目标数据生成目标数据文件。
在一些实施例中，所述上报单元40，具体用于：
基于所述数据采集配置信息确定数据聚合信息；
基于所述数据聚合信息将相同类型的目标数据进行聚合；
基于聚合后的目标数据生成目标数据文件。
在一些实施例中，所述上报单元40，具体用于：
基于所述数据上报频率确定文件生成频率；
根据所述文件生成频率基于所述目标数据生成目标数据文件。
在一些实施例中，所述信息获取单元10，具体用于：
获取与所述数据采集端关联的多个备选接口的接口信息；所述接口信息至少包括：接口参数以及接口标识；
将所述备选接口的接口信息上报至数据处理端；
获取所述数据处理端基于所述备选接口的接口信息下发的数据采集配置信息。
在一些实施例中，所述数据上报频率，至少用于指示：所述数据采集端采集目标数据的数据量达到预设阈值时上报所述目标数据，或者，所述数据采集端每隔预设时长上报所述目标数据。
如图4所示，本公开实施例提供一种数据处理装置，应用于数据处理端，包括：
生成单元50，用于基于待采集数据的目标接口的接口信息以及数据上报频率生成数据采集配置信息；
下发单元60，用于下发所述数据采集配置信息；
数据获取单元70，用于获取数据采集端基于所述数据采集配置信息上报的目标数据；
数据处理单元80，用于基于所述目标数据进行处理。
在一些实施例中，所述生成单元50，具体用于：
获取数据采集端上报的备选接口的接口信息；所述接口信息至少包括：接口参数以及接口标识；
基于所述备选接口的接口信息确定待采集数据的目标接口；
基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息。
在一些实施例中，所述生成单元50，具体用于：
基于所述目标接口的接口参数确定数据上报频率；
基于所述目标接口的接口标识以及所述数据上报频率生成数据采集配置信息。
在一些实施例中，所述生成单元50，具体用于：
基于所述目标接口的接口参数确定所述目标接口的目标数据中的待替换内容；
基于所述待替换内容生成数据替换信息；
基于所述目标接口的接口标识、所述数据替换信息以及数据上报频率生成数据采集配置信息。
在一些实施例中，所述生成单元50，具体用于：
基于所述目标接口的接口参数确定数据聚合信息；所述数据聚合信息指示：将相同类型的目标数据聚合；
基于所述目标接口的接口标识、所述数据聚合信息以及数据上报频率生成数据采集配置信息。
以下结合上述任一实施例提供一个具体示例：
本公开实施例中针对以操作日志为目标数据的实施例，提供一种新的操作日志记录***：
该操作日志记录***，拥有三个核心模块：“操作日志接入客户端SDK”、“操作日志传送端Agent”以及“操作日志服务端”。
“操作日志接入客户端SDK”：由微服务化组件或服务接入，通过***技术来实时拦截微服务化组件或服务的操作接口，获取日志信息并写入微服务化组件或服务所在***的文件中。
“操作日志传送端Agent”：由运维发布***，将其部署到已接入微服务化组件或服务的机器上成为独立进程，负责采集和传送“操作日志接入客户端SDK”写入的日志数据至“操作日志服务端”进行存储。
“操作日志服务端”：中心化操作日志管理端，主要功能包括：控制“操作日志接入客户端SDK”采集行为；配置“操作日志传送端Agent”日志数据中关键字替换和指标聚合规则。关键字替换规则：日志数据中长关键字以短的关键字替代；指标聚合规则：每1分钟内某关键字出现的次数；存储“操作日志传送端Agent”传送日志数据；配置操作日志数据展示模板。
基于上述***，产生的优势包括：
1、通过“操作日志服务端”，能够实时的控制各“操作日志接入客户端SDK”和“操作日志传送端Agent”日志数据采集和上送行为，如：采集开关、采集频率、采集接口、数据大小、聚合方式等。在业务流量高峰情况下，为了保证企业内部核心***运行不受影响，临时关闭一些接入***日志数据采集和上送。
2、通过“操作日志服务端”，能够通过“代码无侵入”和自动解析服务化组件或服务提供的接口文档的方式，来使每个微服务化组件或服务的快速接入。
3、通过“操作日志服务端”，能够为每个接入的微服务化组件或服务来配置其独有的日志数据的展示模板，满足不同***日志数据展示的业务诉求。
4、“操作日志接入客户端SDK”，能够实时响应“操作日志服务端”控制指令，依据指令进行日志数据采集。另外采集的操作日志的数据，并不是实时发送至“操作日志服务端”，而是先进行本地机器存储。
5、“操作日志传送端Agent”，为了企业内部网络数据传输开销，会对“操作日志接入客户端SDK”写入的日志数据进行预处理。预处理技术包括：关键字替换和压缩，对预处理后的数据再发送至日志服务端。
具体地，如图5所示，接入***通过“操作日志接入客户端SDK”对接入***日志数据进行采集，日志数据以文件方式存储在接入***机器文件中，并由部署在接入***机器上“操作日志传送端Agent”独立进程来负责对已采集的数据进行预处理，最终将预处理后的数据通过异步消息队列(Message Queue，MQ)等方式发送至“操作日志服务端”进行存储和展示查询。其中，图5所示的ES/HDFS为分布式集群(Elasticsearch，ES)或者分布式文件***(Hadoop Distributed File System，HDFS)。
如图6所示，“操作日志接入客户端SDK”工作流程包括：
“操作日志接入客户端SDK”与接入***工作在同一进程中，从缓存中读取或实时感知“操作日志服务端”下发的接入配置信息，如：“接口描述信息”和“日志文件生成规则”等。通过代码拦截技术对需要采集日志的接口进行拦截来实现日志数据采集，最后按照日志文件生成规则配置写入接入***机器的文件***中。
如图7所示，“操作日志传送端Agent”工作流程包括：
“操作日志传送端Agent”以独立进程工作的方式，部署在接入***机器上，从缓存中读取或实时感知“操作日志服务端”下发的接入配置信息，如：“上送频率”、“关键字替换规则”以及“指标聚合规则”等。
读取“操作日志接入客户端SDK”已写入日志文件数据，依据“关键字替换规则”对读取日志数据进行关键字替换、指标的预聚合和压缩预处理后，最后依据“上送频率”(如：读1000条数据上送一次，或者读取1M数据上送一次等)将预处理后的数据，上送至“操作日志服务端”存储。
本公开实施例提供一种电子设备，包括：
用于存储处理器可执行指令的存储器；
处理器，与存储器连接；
其中，处理器被配置为执行前述任意技术方案提供的数据处理方法。
处理器可包括各种类型的存储介质，该存储介质为非临时性计算机存储介质，在电子设备掉电之后能够继续记忆存储其上的信息。
处理器可以通过总线等与存储器连接，用于读取存储器上存储的可执行程序，例如，能够执行前述一个或多个技术方案所述方法。
本公开一实施例提供一种电子设备的结构。电子设备包括处理组件，其进一步包括一个或多个处理器，以及由存储器所代表的存储器资源，用于存储可由处理组件的执行的指令，例如应用程序。存储器中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件被配置为执行指令，以执行上述方法应用在所述电子设备的任意方法，例如，前述一个或多个技术方案所述方法。
电子设备还可以包括一个电源组件被配置为执行电子设备的电源管理，一个有线或无线网络接口被配置为将电子设备连接到网络，和一个输入输出(I/O)接口。电子设备可以操作基于存储在存储器的操作***，例如Windows Server TM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
本公开实施例提供一种非临时性计算机可读存储介质，当存储介质中的指令由计算机的处理器执行时，使得计算机能够执行前述一个或多个技术方案所述的数据处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
在一些情况下，上述任意两个技术特征在不冲突的情况下，可以组合成新的方法技术方案。
在一些情况下，上述任意两个技术特征在不冲突的情况下，可以组合成新的设备技术方案。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (26)
1.一种数据处理方法，其特征在于，应用于数据采集端，所述方法包括：
获取数据处理端下发的数据采集配置信息；
基于所述数据采集配置信息确定待采集数据的目标接口；
向所述目标接口采集目标数据；
基于所述数据采集配置信息指示的数据上报频率将所述目标数据上报给所述数据处理端。
2.根据权利要求1所述的方法，其特征在于，所述基于所述数据采集配置信息指示的数据上报频率将所述目标数据上报给所述数据处理端，包括：
基于所述数据采集配置信息确定数据上报频率；
基于所述目标数据生成目标数据文件；
根据所述数据上报频率将所述目标数据文件上报给所述数据处理端。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标数据生成目标数据文件，包括：
基于所述数据采集配置信息确定数据替换信息；
基于所述数据替换信息对所述目标数据中的待替换内容进行替换；
基于替换后的目标数据生成目标数据文件。
4.根据权利要求2所述的方法，其特征在于，所述基于所述目标数据生成目标数据文件，包括：
基于所述数据采集配置信息确定数据聚合信息；
基于所述数据聚合信息将相同类型的目标数据进行聚合；
基于聚合后的目标数据生成目标数据文件。
5.根据权利要求2所述的方法，其特征在于，所述基于所述目标数据生成目标数据文件，包括：
基于所述数据上报频率确定文件生成频率；
根据所述文件生成频率基于所述目标数据生成目标数据文件。
6.根据权利要求1所述的方法，其特征在于，所述获取数据处理端下发的数据采集配置信息，包括：
获取与所述数据采集端关联的多个备选接口的接口信息；所述接口信息至少包括：接口参数以及接口标识；
将所述备选接口的接口信息上报至数据处理端；
获取所述数据处理端基于所述备选接口的接口信息下发的数据采集配置信息。
7.根据权利要求1所述的方法，其特征在于，所述数据上报频率，至少用于指示：所述数据采集端采集目标数据的数据量达到预设阈值时上报所述目标数据，或者，所述数据采集端每隔预设时长上报所述目标数据。
8.一种数据处理方法，其特征在于，应用于数据处理端，所述方法包括：
基于待采集数据的目标接口的接口信息以及数据上报频率生成数据采集配置信息；
下发所述数据采集配置信息；
获取数据采集端基于所述数据采集配置信息上报的目标数据；
基于所述目标数据进行处理。
9.根据权利要求8所述的方法，其特征在于，所述基于待采集数据的目标接口的接口信息以及数据上报频率生成数据采集配置信息，包括：
获取数据采集端上报的备选接口的接口信息；所述接口信息至少包括：接口参数以及接口标识；
基于所述备选接口的接口信息确定待采集数据的目标接口；
基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息。
10.根据权利要求9所述的方法，其特征在于，所述基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息，包括：
基于所述目标接口的接口参数确定数据上报频率；
基于所述目标接口的接口标识以及所述数据上报频率生成数据采集配置信息。
11.根据权利要求9所述的方法，其特征在于，所述基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息，包括：
基于所述目标接口的接口参数确定所述目标接口的目标数据中的待替换内容；
基于所述待替换内容生成数据替换信息；
基于所述目标接口的接口标识、所述数据替换信息以及数据上报频率生成数据采集配置信息。
12.根据权利要求9所述的方法，其特征在于，所述基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息，包括：
基于所述目标接口的接口参数确定数据聚合信息；所述数据聚合信息指示：将相同类型的目标数据聚合；
基于所述目标接口的接口标识、所述数据聚合信息以及数据上报频率生成数据采集配置信息。
13.一种数据处理装置，其特征在于，应用于数据采集端，所述装置包括：
信息获取单元，用于获取数据处理端下发的数据采集配置信息；
确定单元，用于基于所述数据采集配置信息确定待采集数据的目标接口；
采集单元，用于向所述目标接口采集目标数据；
上报单元，用于基于所述数据采集配置信息指示的数据上报频率将所述目标数据上报给所述数据处理端。
14.根据权利要求13所述的装置，其特征在于，所述上报单元，具体用于：
基于所述数据采集配置信息确定数据上报频率；
基于所述目标数据生成目标数据文件；
根据所述数据上报频率将所述目标数据文件上报给所述数据处理端。
15.根据权利要求14所述的装置，其特征在于，所述上报单元，具体用于：
基于所述数据采集配置信息确定数据替换信息；
基于所述数据替换信息对所述目标数据中的待替换内容进行替换；
基于替换后的目标数据生成目标数据文件。
16.根据权利要求14所述的装置，其特征在于，所述上报单元，具体用于：
基于所述数据采集配置信息确定数据聚合信息；
基于所述数据聚合信息将相同类型的目标数据进行聚合；
基于聚合后的目标数据生成目标数据文件。
17.根据权利要求14所述的装置，其特征在于，所述上报单元，具体用于：
基于所述数据上报频率确定文件生成频率；
根据所述文件生成频率基于所述目标数据生成目标数据文件。
18.根据权利要求13所述的装置，其特征在于，所述信息获取单元，具体用于：
获取与所述数据采集端关联的多个备选接口的接口信息；所述接口信息至少包括：接口参数以及接口标识；
将所述备选接口的接口信息上报至数据处理端；
获取所述数据处理端基于所述备选接口的接口信息下发的数据采集配置信息。
19.根据权利要求13所述的装置，其特征在于，所述数据上报频率，至少用于指示：所述数据采集端采集目标数据的数据量达到预设阈值时上报所述目标数据，或者，所述数据采集端每隔预设时长上报所述目标数据。
20.一种数据处理装置，其特征在于，应用于数据处理端，所述装置包括：
生成单元，用于基于待采集数据的目标接口的接口信息以及数据上报频率生成数据采集配置信息；
下发单元，用于下发所述数据采集配置信息；
数据获取单元，用于获取数据采集端基于所述数据采集配置信息上报的目标数据；
数据处理单元，用于基于所述目标数据进行处理。
21.根据权利要求20所述的装置，其特征在于，所述生成单元，具体用于：
获取数据采集端上报的备选接口的接口信息；所述接口信息至少包括：接口参数以及接口标识；
基于所述备选接口的接口信息确定待采集数据的目标接口；
基于所述目标接口的接口标识以及数据上报频率生成数据采集配置信息。
22.根据权利要求21所述的装置，其特征在于，所述生成单元，具体用于：
基于所述目标接口的接口参数确定数据上报频率；
基于所述目标接口的接口标识以及所述数据上报频率生成数据采集配置信息。
23.根据权利要求21所述的装置，其特征在于，所述生成单元，具体用于：
基于所述目标接口的接口参数确定所述目标接口的目标数据中的待替换内容；
基于所述待替换内容生成数据替换信息；
基于所述目标接口的接口标识、所述数据替换信息以及数据上报频率生成数据采集配置信息。
24.根据权利要求21所述的装置，其特征在于，所述生成单元，具体用于：
基于所述目标接口的接口参数确定数据聚合信息；所述数据聚合信息指示：将相同类型的目标数据聚合；
基于所述目标接口的接口标识、所述数据聚合信息以及数据上报频率生成数据采集配置信息。
25.一种电子设备，其特征在于，包括：
用于存储处理器可执行指令的存储器；
处理器，与所述存储器连接；
其中，所述处理器被配置为执行如权利要求1至12中任一项提供的数据处理方法。
26.一种非临时性计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至12中任一项提供的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210412785.8A CN114844763B (zh) | 2022-04-19 | 数据处理方法及装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210412785.8A CN114844763B (zh) | 2022-04-19 | 数据处理方法及装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114844763A true CN114844763A (zh) | 2022-08-02 |
| CN114844763B CN114844763B (zh) | 2024-07-30 |
Family
ID=
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050138111A1 (en) * | 2003-10-15 | 2005-06-23 | Microsoft Corporation | On-line service/application monitoring and reporting system |
| US20180349436A1 (en) * | 2017-05-30 | 2018-12-06 | Yodlee, Inc. | Intelligent Data Aggregation |
| CN113687974A (zh) * | 2021-10-22 | 2021-11-23 | 飞狐信息技术（天津）有限公司 | 客户端日志处理方法、装置及计算机设备 |
| CN113886193A (zh) * | 2021-10-26 | 2022-01-04 | Oppo广东移动通信有限公司 | 日志数据处理方法、装置、电子设备及存储介质 |
| CN114003457A (zh) * | 2021-10-29 | 2022-02-01 | 腾讯科技（深圳）有限公司 | 数据获取方法和装置、存储介质及电子设备 |
| CN114067456A (zh) * | 2021-10-13 | 2022-02-18 | 北京梧桐车联科技有限责任公司 | 日志处理方法、电子设备及存储介质 |
| CN114116172A (zh) * | 2021-12-01 | 2022-03-01 | 恒安嘉新（北京）科技股份公司 | 一种流量数据采集方法、装置、设备及存储介质 |
| CN114168408A (zh) * | 2021-11-22 | 2022-03-11 | 青岛海信智慧生活科技股份有限公司 | 一种基于物联网的巡检方法、***、电子设备及存储介质 |
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050138111A1 (en) * | 2003-10-15 | 2005-06-23 | Microsoft Corporation | On-line service/application monitoring and reporting system |
| US20180349436A1 (en) * | 2017-05-30 | 2018-12-06 | Yodlee, Inc. | Intelligent Data Aggregation |
| CN114067456A (zh) * | 2021-10-13 | 2022-02-18 | 北京梧桐车联科技有限责任公司 | 日志处理方法、电子设备及存储介质 |
| CN113687974A (zh) * | 2021-10-22 | 2021-11-23 | 飞狐信息技术（天津）有限公司 | 客户端日志处理方法、装置及计算机设备 |
| CN113886193A (zh) * | 2021-10-26 | 2022-01-04 | Oppo广东移动通信有限公司 | 日志数据处理方法、装置、电子设备及存储介质 |
| CN114003457A (zh) * | 2021-10-29 | 2022-02-01 | 腾讯科技（深圳）有限公司 | 数据获取方法和装置、存储介质及电子设备 |
| CN114168408A (zh) * | 2021-11-22 | 2022-03-11 | 青岛海信智慧生活科技股份有限公司 | 一种基于物联网的巡检方法、***、电子设备及存储介质 |
| CN114116172A (zh) * | 2021-12-01 | 2022-03-01 | 恒安嘉新（北京）科技股份公司 | 一种流量数据采集方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107992398B (zh) | 一种业务***的监控方法和监控*** | |
| CN110232010A (zh) | 一种告警方法、告警服务器及监控服务器 | |
| CN112311617A (zh) | 一种配置化数据监控告警方法及*** | |
| CN109460343A (zh) | 基于日志的***异常监控方法、装置、设备及存储介质 | |
| CN113656245B (zh) | 数据的巡检方法、装置、存储介质及处理器 | |
| CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| CN110941530B (zh) | 监控数据的获取方法、装置、计算机设备和存储介质 | |
| CN111400127A (zh) | 业务日志的监控方法及装置、存储介质、计算机设备 | |
| CN114756328A (zh) | 容器云平台巡检方法及装置 | |
| CN111984505A (zh) | 一种运维数据采集引擎及采集方法 | |
| CN113360413A (zh) | 一种代码测试方法及装置 | |
| CN112306871A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN114844763B (zh) | 数据处理方法及装置、电子设备及存储介质 | |
| CN114844763A (zh) | 数据处理方法及装置、电子设备及存储介质 | |
| CN109815081A (zh) | 数据库性能的远程收集方法及收集装置 | |
| CN113806195B (zh) | 数据处理方法、装置、设备、***及存储介质 | |
| CN113590492B (zh) | 信息处理方法、***、电子设备及计算机可读存储介质 | |
| CN115499514A (zh) | 数据存储服务的访问方法、计算设备及计算机存储介质 | |
| CN113051222B (zh) | 日志存储方法、装置、计算机可读存储介质及电子设备 | |
| CN115473858A (zh) | 数据传输方法和流式数据传输*** | |
| CN112950447B (zh) | 资源调度方法、装置、服务器及存储介质 | |
| CN113472881A (zh) | 在线终端设备的统计方法和装置 | |
| CN115883639A (zh) | 一种web实时消息推送方法及装置、设备、存储介质 | |
| CN113778709A (zh) | 接口调用方法、装置、服务器及存储介质 | |
| CN109034768B (zh) | 财务调拨方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |