CN113886193A - 日志数据处理方法、装置、电子设备及存储介质 - Google Patents
日志数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113886193A CN113886193A CN202111248571.3A CN202111248571A CN113886193A CN 113886193 A CN113886193 A CN 113886193A CN 202111248571 A CN202111248571 A CN 202111248571A CN 113886193 A CN113886193 A CN 113886193A
- Authority
- CN
- China
- Prior art keywords
- data
- log data
- system log
- target
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000013144 data compression Methods 0.000 claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000007906 compression Methods 0.000 claims description 41
- 230000006835 compression Effects 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 32
- 230000006399 behavior Effects 0.000 claims description 28
- 230000002776 aggregation Effects 0.000 claims description 15
- 238000004220 aggregation Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 239000011230 binding agent Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012423 maintenance Methods 0.000 description 9
- 238000012827 research and development Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
- G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3068—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data format conversion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例公开了一种日志数据处理方法、装置、电子设备及存储介质，该方法包括：获取通过日志采集模块采集的***日志数据；采用与所述***日志数据所属的数据类型匹配的数据压缩方式，对所述***日志数据进行数据压缩处理，得到目标日志数据。上述的日志数据处理方法、装置、电子设备及存储介质，能够减少日志数据的数据量，以减少日志数据占用的存储空间，且提高了对日志数据进行数据压缩的效果。
Description
技术领域
本申请涉及数据处理技术领域，具体涉及一种日志数据处理方法、装置、电子设备及存储介质。
背景技术
日志数据指的是记录计算机***产生的过程性事件记录数据，通过查看日志数据，可以了解到电子设备在什么时间、执行了什么具体操作，或者是电子设备在各个时间点对应的运行情况等。运维或研发人员通过查看日志数据经常可解决故障定位排查的问题。日志数据的数据量大，因此，如何有效减少日志数据占用的存储空间成了亟需解决的问题。
发明内容
本申请实施例公开了一种日志数据处理方法、装置、电子设备及存储介质，能够减少日志数据的数据量，以减少日志数据占用的存储空间，且提高了对日志数据进行数据压缩的效果。
本申请实施例公开了一种日志数据处理方法，包括：
获取通过日志采集模块采集的***日志数据；
采用与所述***日志数据所属的数据类型匹配的数据压缩方式，对所述***日志数据进行数据压缩处理，得到目标日志数据。
本申请实施例公开了一种日志数据处理装置，包括：
日志获取模块，用于获取通过日志采集模块采集的***日志数据；
压缩模块，用于采用与所述***日志数据所属的数据类型匹配的数据压缩方式，对所述***日志数据进行数据压缩处理，得到目标日志数据。
本申请实施例公开了一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。
本申请实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
本申请实施例提供的日志数据处理方法、装置、电子设备及存储介质，获取通过日志采集模块采集的***日志数据，采用与***日志数据所属的数据类型匹配的数据压缩方式，对***日志数据进行数据压缩处理，得到目标日志数据，针对不同数据类型的***日志数据，会采用不同的数据压缩方式对***日志数据进行数据压缩处理，数据压缩处理更为灵活、有效，既能够减少日志数据的数据量，减少了日志数据占用的存储空间，且可以提高对***日志数据进行数据压缩的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中日志数据处理方法的流程图；
图2为一个实施例中对***日志数据进行编码压缩处理的示意图；
图3为一个实施例中对数据协议表进行动态更新的流程图；
图4A为一个实施例中***在执行刷新屏幕的操作行为的示意图；
图4B为另一个实施例中***在执行刷新屏幕的操作行为的示意图；
图5为一个实施例中对状态数据类型的***日志数据进行压缩处理的流程图；
图6为一个实施例中内存空间占用状态监测的示意图；
图7为另一个实施例中日志数据处理方法的流程图；
图8为一个实施例中日志数据处理装置的框图；
图9为一个实施例中电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一接口字符串称为第二接口字符串，且类似地，可将第二接口字符串称为第一接口字符串。第一接口字符串和第二接口字符串两者属于接口的字符串，但其不是同一接口的字符串。另外，需要说明的是，本申请实施例中所使用的术语“多个”等指的是两个或两个以上。
如图1所示，在一个实施例中，提供一种日志数据处理方法，可应用于电子设备，该电子设备可包括但不限于手机、平板电脑、可穿戴设备、个人计算机(Personal Computer，PC)等终端设备，也可以是服务器等设备。该方法可包括以下步骤：
步骤110，获取通过日志采集模块采集的***日志数据。
日志采集模块可以是运行在电子设备中能够进行日志数据抓取的计算机程序，例如，Log工具、systrace工具等。日志采集模块可在电子设备中的操作***运行的程序中进行埋点，也即在操作***运行的程序中植入采集事件信息的工具代码，通过埋点可采集操作***中发生的各种行为事件信息，并生成相应的***日志数据。
在本申请实施例中，***日志数据可指的是电子设备中产生各类日志数据，例如，操作***进行操作行为所产生的日志数据、运行在操作***上的应用程序(Application，APP)进行操作行为所产生的日志数据、对电子设备中的各类硬件(如内存、资源)的状态进行监控所产生的日志数据等，但不限于此。
每一条***日志数据均可包括时间信息、事件信息、用户信息等中一种或多种。其中，时间信息指的是生成***日志数据的时间，该时间信息通常为***发生行为事件的时间，比如，***调用某个接口的时间、***执行某个操作的时间等。事件信息可用于描述***中发生的行为事件，或是关注的事件状态，比如，***调用的接口的信息，***中各个资源(如处理器、内存等)分配的状态等。用户信息可指的是在***中登录的用户身份信息，如管理员、研发人员、产品使用者等。
在一些实施例中，可以实时获取日志采集模块采集的***日志数据，也即，可在日志采集模块采集到一条***日志数据时，就进行数据压缩。也可以批量获取日志采集模块采集的***日志数据，每次对日志采集模块采集到的多条***日志数据进行数据压缩。可选地，批量获取***日志数据的方式，可以是设置获取时间周期，每隔一段时间(如5秒、1分钟、30秒等)获取一次日志采集模块采集的***日志数据；也可以是设置批量获取的日志数量，例如，在日志采集模块采集的***日志数据达到预设数量(如23条、50条、100条等)，获取日志采集模块采集的***日志数据。
在本申请实施例中，可按照多种不同的数据类型对***日志数据进行划分，可选地，数据类型可包括高频字段数据类型、规律性数据类型及状态数据类型等中的一种或多种。
高频字段数据类型的***日志数据可为***调用目标接口产生的日志数据，该目标接口可为操作***中频繁被调用的接口函数，例如用于进程间通信的Binder接口等，但不限于此。
规律性数据类型的***日志数据为***重复执行同一操作行为产生的日志数据，例如，***重复刷新屏幕上显示的图像的行为等，但不限于此。
状态数据类型的***日志数据为对***的状态进行监控产生的日志数据，该***的状态可包括各个硬件的状态，如内存的占用状态、处理器的温度、处理器的频率、电池的剩余电量、功耗状态等，但不限于此。
作为一种实施方式，针对不同数据类型的***日志数据，也可采用不同的获取方式，比如，高频字段数据类型及规律性数据类型的***日志数据，可采用批量获取再进行数据压缩的方式，能够提高压缩效率，状态数据类型的***日志数据可采用实时获取并进行数据压缩的方式，能够保证实时反馈***状态。进一步地，对于高频字段数据类型及规律性数据类型的***日志数据，也可采用不同的批量策略，批量获取再进行数据压缩。可提高获取***日志数据的灵活性，并提高压缩处理的效率。
需要说明的是，也可采用其它方式获取***日志数据，并不仅限于上述的几种方式。
步骤120，采用与该***日志数据所属的数据类型匹配的数据压缩方式，对***日志数据进行数据压缩处理，得到目标日志数据。
针对不同数据类型的***日志数据，可分别采用不同的数据压缩方式进行数据压缩处理，以得到数据量较少的目标日志数据。可选地，与高频字段数据类型匹配的数据压缩方式可为编码压缩，与规律性数据类型匹配的数据压缩方式可为数据聚合压缩，与状态数据类型匹配的数据压缩方式可为数据差分。进一步地，各个数据压缩方式均可以是无损的数据压缩方式，既能够有效减少***日志数据的数据量，也可保证重要信息不会丢失。
在一些实施例中，在获取到***日志数据后，可对该***日志数据进行分析，以确定***日志数据所属的数据类型。可选地，不同数据类型的***日志数据，可分别采用不同的数据格式，通过解析获取的各条***日志数据的数据格式，可确定所属的数据类型。
在另一些实施例中，可将各个数据类型匹配的数据压缩方式可直接与埋点关联，也即，可将数据压缩方式与植入到操作***运行的程序中用于采集日志的工具代码关联。植入到不同程序中的工具代码会根据程序所运行的事件产生相应的***日志数据，同一程序产生的***日志数据可属于相同的数据类型。例如，可在Binder模块的程序中埋点，植入的工具代码可采集到***中的进程在调用Binder接口所产生的***日志数据，该***日志数据即为高频字段数据类型的***日志数据，则可将编码压缩与Binder模块的程序中植入的工具代码进行关联，Binder模块的程序中植入的工具代码采集的***日志数据均会采用编码压缩的方式进行压缩处理。
在本申请实施例中，获取通过日志采集模块采集的***日志数据，采用与***日志数据所属的数据类型匹配的数据压缩方式，对***日志数据进行数据压缩处理，得到目标日志数据，针对不同数据类型的***日志数据，会采用不同的数据压缩方式对***日志数据进行数据压缩处理，数据压缩处理更为灵活、有效，既能够减少日志数据的数据量，减少了日志数据占用的存储空间，且可以提高对***日志数据进行数据压缩的效果。
下面分别针对采用不同的数据压缩方式对不同数据类型的***日志数据进行压缩处理进行说明。
在一些实施例中，针对高频字段数据类型的***日志数据，步骤采用与***日志数据所属的数据类型匹配的数据压缩方式，对***日志数据进行数据压缩处理，得到目标日志数据，可包括：对属于高频字段数据类型的***日志数据进行编码处理，将***日志数据中包含的接口字符串转化为目标字符，得到目标日志数据。
高频字段数据类型的***日志数据可为***调用目标接口产生的日志数据，该目标接口可为操作***中会被频繁调用的接口，目标接口可由研发人员或运维人员根据实际需求进行设置，也可以是在统计电子设备的操作***中各个接口的调用情况后设置的。高频字段数据类型的***日志数据中可包括接口字符串，该接口字符串用于表征***调用的目标接口，可选地，该接口字符串可以是调用的目标接口的函数名称等。
例如，***日志数据为：“android.view.accessibility.AccessibilityManagerClient”code:xxx，其中，接口字符串“android.view.accessibility.AccessibilityManagerClient”为调用的接口函数名称。
由于***在调用同一接口时，生成的***日志数据中包含的接口字符串是相同的，因此，对于高频字段数据类型的***日志数据，可采用编码压缩方式，将***日志数据中包含的接口字符串转化为目标字符，利用占用存储空间更少的目标字符代替接口字符串，以减少***日志数据的数据量。
目标字符可以是数字、字母、符号等中的任一种，进一步地，目标字符可为整数型的数字，能够节省日志数据占用的存储空间，也节省***性能损耗。不同目标接口的接口字符串对应的目标字符不同，从而后续运维人员或研发人员在查看编码得到的目标目志数据时，通过目标目志数据中包含的目标字符，可获知该目标日志数据记录调用的目标接口。
例如，***日志数据为：“android.view.accessibility.AccessibilityManagerClient”code:xxx，其中，接口字符串“android.view.accessibility.AccessibilityManagerClient”对应的目标字符为5，则编码后得到的目标日志数据可为：5code:xxx。***日志数据为：“android.os.IserviceManager”code:xxx，其中，接口字符串“android.os.IserviceManager”对应的目标字符为4，则编码后得到的目标日志数据可为：4code:xxx。可有效减少日志数据的数据量，减少日志数据占用的存储空间。
在一些实施例中，步骤将***日志数据中包含的接口字符串转化为目标字符，得到目标日志数据，可包括：在数据协议表中查找与***日志数据中包含的接口字符串对应的目标字符，并将***日志中的接口字符串转化为目标字符，得到目标日志数据。
电子设备中可存储有数据协议表，该数据协议表用于存储一个或多个接口字符串，及各个接口字符串对应的目标字符。示例性地，数据协议表可如表1所示：
表1
需要说明的是，表1中的接口字符串及目标字符及用于说明本申请实施例中的数据协议表，并不用于对具体的数据协议表进行限制。在获取到***日志数据后，可获取***日志数据中包含的接口字符串，并在数据协议表中查找与该接口字符串对应的目标字符。
示例性地，图2为一个实施例中对***日志数据进行编码压缩处理的示意图。如图2所示，操作***中的进程A向进程B发送Binder请求，生成相应的日志数据：“android.view.accessibility.AccessibilityManagerClient”code:xxx，可查询数据协议表，将接口字符串“android.view.accessibility.AccessibilityManagerClient”转化为目标字符“5”，得到日志数据：5code:xxx，再进行日志数据存储。进程A发送的Binder请求经由内核的Binder驱动给进程B，进程B接收该Binder请求，并生成相应的日志数据：“android.view.accessibility.AccessibilityManagerClient”code:xxx，也可查询数据协议表，将接口字符串“android.view.accessibility.AccessibilityManagerClient”转化为目标字符“5”，得到日志数据：5code:xxx，再进行日志数据存储。相较于产生的日志数据，编码压缩处理后的日志数据的数据量明显减少，能够减少日志数据占用的存储空间。
在一些实施例中，数据协议表中包含的接口字符串及对应的目标字符可以是固定的，运维人员或研发人员可将需要关注的目标接口的接口字符串及对应的目标字符写入数据协议表，再将数据协议表存储在电子设备中，电子设备在运行过程中均采用该数据协议表对高频字段数据类型的***日志数据进行编码压缩处理。
在一些实施例中，数据协议表中包含的接口字符串及对应的目标字符，也可以是动态变化的，电子设备可根据实际运行过程中各个目标接口的调用情况对数据协议表进行更新。如图3所示，在一个实施例中，对数据协议表进行动态更新的方式，可包括以下步骤：
步骤302，获取日志采集模块在第一时间段内采集的属于高频字段数据类型的***日志数据。
电子设备可按照设置的时间周期更新数据协议表，每隔第一时间段对数据协议表进行更新。可获取日志采集模块在第一时间段内采集的属于高频字段数据类型的***日志数据，该日志采集模块在第一时间段内采集的属于高频字段数据类型的***日志数据反映了***在第一时间段内对各个目标接口的调用情况。可选地，第一时间段可根据实际需求进行设置，例如1小时、30分钟、45分钟等，但不限于此。
步骤304，根据第一时间段内采集的属于高频字段数据类型的***日志数据，统计满足高频调用条件的第一目标接口。
可对第一时间段内采集的属于高频字段数据类型的***日志数据进行统计，并获取在该第一时间段内满足高频调用条件的第一目标接口。在一些实施例中，该高频调用条件可包括以下几种中的任一种：
一、在第一时间段内的调用次数大于第一次数阈值。可根据第一时间段内采集的属于高频字段数据类型的***日志数据中，包含的各个接口字符串，统计各个目标接口被调用的调用次数。若包含任一目标接口的接口字符串的***日志数据的数量大于数量阈值，即确定该目标接口在第一时间段内的调用次数大于第一次数阈值，其中，数量阈值与第一次数阈值可相等。可将在第一时间段内的调用次数大于第一次数阈值的目标接口确定为满足高频调用条件的第一目标接口。
二、在第一时间段内的调用频率大于第一频率阈值。调用频率可指的是在单位时间内的调用次数。可将各个目标接口在第一时间段内被调用的调用次数除以第一时间段，得到的值可作为各个目标接口在第一时间段的调用频率。可将在第一时间段内的调用频率大于第一频率阈值的目标接口确定为满足高频调用条件的第一目标接口。
三、按照调用次数从大到小的排列顺序，在第一时间段内的调用次数排列在前N个，N为正整数。可按照各个目标接口在第一时间段内被调用的调用次数从大到小顺序，对各个目标接口进行排序，并将排列在前N个的目标接口确定为满足高频调用条件的第一目标接口。
步骤306，生成与第一目标接口对应的第一目标字符，并将第一目标接口的第一接口字符串及对应的第一目标字符存储到数据协议表中。
针对每个第一目标接口，可分别生成不同的第一目标字符，并将第一目标接口的第一接口字符串及生成的第一目标字符对应存储在数据协议表中。可选地，可按照预设的生成规则生成各个第一目标接口对应的第一目标字符。例如，目标字符为整数型的数字，则可获取数据协议表最大的目标字符，并按数字顺序依次生成新的第一目标字符。示例性地，数据协议表中的最大的目标字符为6，则可依次生成第一目标字符为7、8、9……等。生成目标字符的方式简单，且不会出生重复的情况，保证数据协议表的准确性，以保证对***日志数据进行编码压缩的准确性。
在一些实施例中，数据协议表中可预先存储多个依次排列的目标字符，可依次将第一目标接口的第一接口字符串写入到数据协议表中，并建立写入的第一接口字符串与数据协议表中的第一目标字符之间的对应关系，该第一目标字符可以是之前没有对应的接口字符串的目标字符。
示例性地，数据协议表可如表2所示：
表2
| 接口字符串 | 目标字符 |
| “Android.app.IAIarmManager” | 0 |
| “Android.app.IActivityManager” | 1 |
| “Android.content.pm.IPackageManager” | 2 |
| “Android.app.IApplicationThread” | 3 |
| “android.os.IserviceManager” | 4 |
| “android.view.accessibility.AccessibilityManagerClient” | 5 |
| 6 | |
| 7 | |
| …… | …… |
其中，在表2中，从目标字符6开始都没有对应的接口字符串，则在确定第一目标接口A和第一目标接口B后，可将第一目标接口A的第一接口字符串及第一目标接口B的第一接口字符串写入到数据协议表中，并建立第一目标接口A的第一接口字符串与目标字符6的对应关系，建立第一目标接口B的第一接口字符串与目标字符7的对应关系。
在一些实施例中，在确定第一目标接口后，可判断数据协议表中是否存在第一目标接口的第一接口字符串，若数据协议表中存在第一目标接口的第一接口字符串，则该第一目标接口的第一接口字符串已经有对应的目标字符，不需要重新生成及写入。若数据协议表中不存在第一目标接口的第一接口字符串，则生成与该第一目标接口对应的第一目标字符，并将第一目标接口的第一接口字符串及对应的第一目标字符存储到数据协议表中。
例如，在确定第一目标接口A和第一目标接口B后，数据协议表中已经存在第一目标接口A的第一接口字符串，则可只生成第一目标接口B对应的第一目标字符，并将第一目标接口B的第一接口字符串及对应的第一目标字符写入数据协议表。可以避免数据协议表重复存储同一目标接口的目标字符，或是出现同一目标接口对应两个不同的目标字符的情况。
在一些实施例中，数据协议表的大小可固定，可预先设置数据协议表中可存储的接口字符串的数量，在将第一目标接口的第一接口字符串及对应的第一目标字符存储到数据协议表之前，可先判断数据协议表中包含的接口字符串的数量是否达到第一阈值。若数据协议表中包含的接口字符串的数量达到第一阈值，则可删除数据协议表中的第二接口字符串及对应的第二目标字符，再将第一目标接口的接口字符串及对应的第一目标字符存储到数据协议表中。
可选地，数据协议表中删除的第二接口字符串的数量大于或等于待写入的第一目标接口的第一接口字符串的数量，以保证能够正常将第一目标接口的第一接口字符串及对应的第一目标字符存储到数据协议表中。
在一些实施例中，第二接口字符串包括：在第二时间段内满足低频调用条件的第二目标接口的接口字符串；或，按照存储到数据协议表中的存储时刻从先到后的顺序，排列在前M个的接口字符串，M为正整数。
作为一种实施例中，第二接口字符串可以是在第二时间段内满足低频调用条件的第二目标接口的接口字符串。具体地，可获取日志采集模块在第二时间段内采集的属于高频字段数据类型的***日志数据，该日志采集模块在第二时间段内采集的属于高频字段数据类型的***日志数据反映了***在第二时间段内对各个目标接口的调用情况。
可根据获取的在第二时间段内属于高频字段数据类型的***日志数据，确定数据协议表中包含的各个接口字符串对应的目标接口在第二时间段的调用数据(如调用次数、调用频率等)，并确定满足低频调用条件的第二目标接口。在一些实施例中，低频调用条件，包括以下中的任一种：
一、在第二时间段内的调用次数小于第二次数阈值。
二、在第二时间段内的调用频率小于第二频率阈值。
三、按照调用次数从小到大的排列顺序，在第二时间段内的调用次数排列在前O个，O为正整数。
需要说明的是，确定数据协议表中在第二时间段内满足低频调用条件的第二目标接口的接口字符串的方式，与上述实施例中确定在第一时间段内满足高频调用条件的目标接口的方式类似，仅在于条件不同，在此不再重复赘述。
作为一种实施方式，第二接口字符串可以是按照存储到数据协议表中的存储时刻从先到后的顺序，排列在前M个的接口字符串。按照存储到数据协议表中的存储时刻从先到后的顺序，越早存储到数据协议表中的接口字符串及对应的目标字符会先被删除。
通过删除数据协议表中的部分接口字符串及对应的目标字符，可以避免数据协议表中的数据无限增加，导致数据协议表过于臃肿，既占用了大量空间，又影响在编码压缩处理时的查找效率的情况。
在一些实施例中，数据协议表中可包括两种类型的接口字符串及对应的目标字符，第一种类型为固定设置的接口字符串，不能够进行变更，第二种类型为动态变更的接口字符串。例如，数据协议表中的前20个接口字符串及对应的目标字符为固定设置的，后30个接口字符串及对应的目标字符是可以动态更新的。在数据协议表存储到电子设备时，可仅包含前20个接口字符串及对应的目标字符，在电子设备的运行过程中，可根据实际产生的***日志数据更新数据协议表，将***中频繁调用的目标接口的接口字符串及生成的对应的目标字符存入数据协议表中后30个的位置中。通过动态更新数据协议表的方式，可使得数据协议表贴合各个电子设备的实际运行情况，提高了***日志的压缩效果。
在本申请实施例中，可采用编码压缩的方式对高频字段数据类型的***日志数据进行压缩处理，既能够减少日志数据的数据量，减少了日志数据占用的存储空间，也不会造成***日志数据的信息丢失，提高了对***日志数据进行数据压缩的效果。
在一些实施例中，针对规律性数据类型的***日志数据，步骤采用与***日志数据所属的数据类型匹配的数据压缩方式，对***日志数据进行数据压缩处理，得到目标日志数据，可包括：对属于规律性数据类型的***日志数据进行数据聚合处理，得到目标日志数据。
规律性数据类型的***日志数据可为***重复执行同一操作行为产生的日志数据，该操作行为可以是操作***频繁执行的操作，例如刷新屏幕的操作等。在***重复执行同一操作行为时，每次执行时都会产生日志数据，且产生的日志数据是具有规律性的，且大部分日志数据为重复数据。因此，可采用数据聚合的方式，对规律性数据类型的***日志数据进行压缩处理。
作为一种实施方式，规律性数据类型的***日志数据是完全重复的，则对属于规律性数据类型的***日志数据进行数据聚合处理，得到目标日志数据，可包括：若***日志数据中，同一操作行为每次执行时对应的日志数据均相同，则对***日志数据中同一操作行为对应的日志数据进行数据聚合处理，得到一条目标日志数据。
若同一操作行为每次执行时对应的日志数据均相同，则不需要将每次执行该操作行为时产生的日志数据进行保存，则将获取的***日志数据中同一操作行为对应的日志数据聚合成一条目标日志数据，该目标日志数据可包括每次执行该操作行为时均会记录的信息，以及执行的次数等。
示例性地，图4A为一个实施例中***在执行刷新屏幕的操作行为的示意图。如图4A所示，在每次刷新屏幕时，也即渲染每帧显示界面时，均会进行doframe、traversal、draw、Record View，每次刷新屏幕产生的日志数据均包含执行doframe、traversal、draw、Record View的信息，因此可整合成一条目标日志数据：(doframe；traversal；draw；RecordView；52)，其中，52表示在一段时间内重复执行doframe、traversal、draw、Record View的次数。相较于相关技术中直接存储52条日志数据的方式，能够有效减少日志数据的数据量。
作为另一种实施方式，规律性数据类型的***日志数据不完全重复，则对属于规律性数据类型的***日志数据进行数据聚合处理，得到目标日志数据，可包括：若***日志数据中，同一操作行为每次执行时对应的日志数据存在不同，则对同一操作行为对应的相同的日志数据进行数据聚合处理，得到一条目标日志数据，并保留同一操作行为对应的存在不同的日志数据。
***日志数据不完全重复，即该***日志数据中包含部分相同的日志数据及部分不同的日志数据，则可对***日志数据中相同的日志数据进行数据聚合处理，聚合成一条目标日志数据。针对存在不同的日志数据可分别单独保留相应的一条完整的日志数据，再将聚合得到的一条目标日志数据以及单独保留的日志数据进行存储。
示例性地，图4B为另一个实施例中***在执行刷新屏幕的操作行为的示意图。如图4B所示，***在某次刷新屏幕时，除了进行doframe、traversal、draw、Record View以外，还执行了动作X(可能是因为刷帧异常导致)，因此，除了将***日志数据整合成一条目标日志数据：(doframe；traversal；draw；Record View；52)以外，还单独保留一条日志数据：(doframe；traversal；draw；Record View；A；1)。
在本申请实施例中，可采用数据聚合压缩的方式对规律性数据类型的***日志数据进行压缩处理，能够减少日志数据的数据量，减少了日志数据占用的存储空间。此外，对于存在不同的日志数据，单独保留相应的日志数据，可避免有用信息丢失。
如图5所示，在一些实施例中，针对状态数据类型的***日志数据，步骤采用与***日志数据所属的数据类型匹配的数据压缩方式，对***日志数据进行数据压缩处理，得到目标日志数据，可包括以下步骤：
步骤502，将属于状态数据类型的***日志数据中包含的实时状态数据与保存的基准状态数据进行比较。
状态数据类型的***日志数据可为对***的状态进行监控产生的日志数据，该***的状态可包括各个硬件的状态，如内存的占用状态、处理器的温度、处理器的频率、电池的剩余电量、功耗状态等，但不限于此。
状态数据类型的***日志数据可包括采集***的状态信息的时间点，以及检测到的实时状态数据，比如该***日志数据为内存的占用状态的日志数据，则可包括各个采集时间点下内存被占用空间的百分比。
针对监控的各个状态信息，可存储有对应的基准状态数据，该基准状态数据可以是监控的状态在上一次发生状态变化时的状态值。例如，监控处理器的温度，处理器上一次发生温度变化时的温度值为22℃，则基准状态数据可为22℃。
可将***日志数据中包含的实时状态数据与保存的基准状态数据进行比较，判断实时状态数据与保存的基准状态数据是否相同，如果不同，说明监控的***的状态发生了变化，则可存储变化相当的日志数据。
步骤504，若实时状态数据与基准状态数据不同，则根据实时状态数据对基准状态数据进行更新，以得到目标日志数据。
步骤506，若实时状态数据与基准状态数据相同，则丢弃***日志数据。
如果***日志数据中包含的实时状态数据与基准状态数据不同，则可将该实时状态数据作为新的基准状态数据进行存储，对基准状态数据进行更新。进一步地，还可计算实时状态数据与未更新的基准状态数据之间的差值，并保存该差值及该***日志数据对应的时间点。例如，处理器的温度的基准状态数据为22℃，获取到***日志数据：23，14：00，表示在14：00时检测到处理器的温度为23℃，则可存储差值1℃及时间点14：00，还可将处理器的温度的基准状态数据更新为23℃，以用于下一个***日志数据的比较。通过保存发生变化的状态数据的差分数据，可使得到的目标日志数据能够准确反映监控的***的状态变化情况。
如果***日志数据中包含的实时状态数据与基准状态数据相同，说明监控的***的状态未发生变化，则可丢弃该***日志数据，以减少数据量。
示例性地，图6为一个实施例中内存空间占用状态监测的示意图。如图6所示，内存的占用状态的初始的基准状态数据可为20％(即开始监测时内存空间的占用比例)，在获取到时间点A对应的***日志数据，发现内存的占用状态发生变化，占用比例从20％变为40％，则可保存变化的差值20％、时间点A以及新的基准状态数据40％。从开始监测到时间点A之间获取的***日志数据，由于内存的占用状态未发生变化，则可全部丢弃。同时，在获取到时间点B对应的***日志数据，发现内存的占用状态发生变化，占用比例从40％变为17％，则可保存变化的差值-23％、时间点B以及新的基准状态数据17，而时间点A到时间点B之间获取的***日志数据，由于内存的占用状态未发生变化，则可全部丢弃。
在本申请实施例中，可采用数据差分的方式对状态数据类型的***日志数据进行压缩处理，既能够减少日志数据的数据量，减少了日志数据占用的存储空间，压缩后的日志数据也能够准确反映监控的状态变化情况，不会造成重要信息的丢失。
如图7所示，在另一个实施例中，提供一种日志数据处理方法，可应用于上述的电子设备，该方法可包括以下步骤：
步骤702，获取通过日志采集模块采集的***日志数据。
步骤702的描述可参考上述各实施例中的相关描述，在此不再重复赘述。
步骤704，按照目标规则对***日志数据进行过滤，剔除满足目标规则的***日志数据。
在本申请实施例中，在对***日志数据进行压缩处理之前，可按照目标规则对***日志数据进行过滤，以剔除不重要的***日志数据。在一些施例中，目标规则可包括以下几种规则中的一种或多种：
规则一、***日志数据对应的代码块的执行时间小于时间阈值。***执行代码块的执行时间小于时间阈值，说明执行该代码块是无异常，则产生的***日志数据可以不关注，因此可直接过滤掉。
规则二、***日志数据对应的优先级低于优先级阈值。***日志数据对应的优先级低于优先级阈值，说明该***日志数据不是运维人员或研发人员重点关注的***日志数据，因此可直接过滤掉。
可选地，***日志数据对应的优先级可根据产生该***日志数据的应用程序对应的优先级进行确定。作为一种实施方式，应用程序对应的优先级可按照应用程序运行在前台或后台进行划分，运行在前台的应用程序的优先级可高于运行在后台的应用程序的优先级。作为另一种实施方式，应用程序对应的优先级可按照应用程序的应用类型进行划分，比如社交类应用、音视频播放类应用、信息浏览类应用、游戏类应用等可分别对应不同的优先级。
需要说明的是，***日志数据对应的优先级及优先级阈值可根据运维人员或研发人员的实际需求进行设置，在此不作限定。
规则三、***日志数据的来源为目标来源，该目标来源包括应用程序或操作***。可选择过滤掉应用程序(APP)产生的***日志数据，也可选择过滤掉操作***产生的***日志数据等，运维人员或研发人员可根据实际需求进行设置，在此不作限定。
规则四、***日志数据与目标数据内容不匹配。目标数据内容可指的是运维人员或研发人员需要重要关注的数据内容，可预先根据实际需求进行设置。在获取***日志数据后，可将***日志数据与目标数据内容进行比对，并确定***日志数据与目标数据内容之间的关联性，关联性越高，则匹配度越高。若***日志数据与目标数据内容之间的关联性低于关联阈值，则确定***日志数据与目标数据内容不匹配，说明该***日志数据不是运维人员或研发人员重点关注的***日志数据，因此可直接过滤掉。
步骤706，采用与过滤后的***日志数据所属的数据类型匹配的数据压缩方式，对过滤后的***日志数据进行数据压缩处理。
在对***日志数据进行过滤后，可根据过滤后的***日志数据所属的数据类型，采用相应的数据压缩方式，对过滤后的***日志数据进行数据压缩处理。具体的数据压缩处理的描述可参考上述各实施例中的相关描述，在此不再重复赘述。
在本申请实施例中，在对***日志数据进行压缩处理之前，可按照目标规则对***日志数据进行过滤，以剔除不重要的***日志数据，进一步减少日志数据的数据量，减少占用的存储空间，提高***性能，且可以减少后续数据压缩处理的***日志数据的数据量，提高压缩处理的效率。
如图8所示，在一个实施例中，提供一种日志数据处理装置800，可应用于上述的电子设备。该日志数据处理装置800包括：日志获取模块810及压缩模块820。
日志获取模块810，用于获取通过日志采集模块采集的***日志数据。
压缩模块820，用于采用与***日志数据所属的数据类型匹配的数据压缩方式，对***日志数据进行数据压缩处理，得到目标日志数据。
在本申请实施例中，获取通过日志采集模块采集的***日志数据，采用与***日志数据所属的数据类型匹配的数据压缩方式，对***日志数据进行数据压缩处理，得到目标日志数据，针对不同数据类型的***日志数据，会采用不同的数据压缩方式对***日志数据进行数据压缩处理，数据压缩处理更为灵活、有效，既能够减少日志数据的数据量，减少了日志数据占用的存储空间，且可以提高对***日志数据进行数据压缩的效果。
在一个实施例中，***日志数据所属的数据类型包括高频字段数据类型，高频字段数据类型的***日志数据为***调用目标接口产生的日志数据。压缩模块820包括第一压缩单元。
第一压缩单元，用于对属于高频字段数据类型的***日志数据进行编码处理，将***日志数据中包含的接口字符串转化为目标字符，得到目标日志数据，其中，接口字符串用于表征***调用的目标接口。
在一个实施例中，第一压缩单元，还用于在数据协议表中查找与***日志数据中包含的接口字符串对应的目标字符，并将***日志中的接口字符串转化为目标字符，得到目标日志数据。
在一个实施例中，上述的日志数据处理装置800，除了包括日志获取模块810及压缩模块820，还包括表更新模块。
表更新模块，用于获取日志采集模块在第一时间段内采集的属于高频字段数据类型的***日志数据；根据第一时间段内采集的属于高频字段数据类型的***日志数据，统计满足高频调用条件的第一目标接口；以及生成与第一目标接口对应的第一目标字符，并将第一目标接口的第一接口字符串及对应的第一目标字符存储到数据协议表中。
在一个实施例中，高频调用条件包括以下中的任一种：
在第一时间段内的调用次数大于第一次数阈值；
在第一时间段内的调用频率大于第一频率阈值；
按照调用次数从大到小的排列顺序，在第一时间段内的调用次数排列在前N个，N为正整数。
在一个实施例中，表更新模块，还用于若数据协议表中不存在第一目标接口的第一接口字符串，则生成与第一目标接口对应的第一目标字符，并将第一目标接口的第一接口字符串及对应的第一目标字符存储到数据协议表中。
在一个实施例中，表更新模块，还用于若数据协议表中包含的接口字符串的数量达到第一阈值，则删除数据协议表中的第二接口字符串及对应的第二目标字符，再将第一目标接口的接口字符串及对应的第一目标字符存储到数据协议表中。
在一个实施例中，第二接口字符串包括：在第二时间段内满足低频调用条件的第二目标接口的接口字符串；或，按照存储到数据协议表中的存储时刻从先到后的顺序，排列在前M个的接口字符串，M为正整数。
其中，低频调用条件，包括以下中的任一种：
在第二时间段内的调用次数小于第二次数阈值；
在第二时间段内的调用频率小于第二频率阈值；
按照调用次数从小到大的排列顺序，在第二时间段内的调用次数排列在前O个，O为正整数。
在一个实施例中，目标字符为整数型的数字。
在本申请实施例中，可采用编码压缩的方式对高频字段数据类型的***日志数据进行压缩处理，既能够减少日志数据的数据量，减少了日志数据占用的存储空间，也不会造成***日志数据的信息丢失，提高了对***日志数据进行数据压缩的效果。
在一个实施例中，***日志数据所属的数据类型包括规律性数据类型，规律性数据类型的***日志数据为***重复执行同一操作行为产生的日志数据。压缩模块820除了包括第一压缩单元，还包括第二压缩单元。
第二压缩单元，用于对属于规律性数据类型的***日志数据进行数据聚合处理，得到目标日志数据。
在一个实施例中，第二压缩单元，还用于若***日志数据中，同一操作行为每次执行时对应的日志数据均相同，则对***日志数据中同一操作行为对应的日志数据进行数据聚合处理，得到一条目标日志数据。
在一个实施例中，第二压缩单元，还用于若***日志数据中，同一操作行为每次执行时对应的日志数据存在不同，则对同一操作行为对应的相同的日志数据进行数据聚合处理，得到一条目标日志数据，并保留同一操作行为对应的存在不同的日志数据。
在本申请实施例中，可采用数据聚合压缩的方式对规律性数据类型的***日志数据进行压缩处理，能够减少日志数据的数据量，减少了日志数据占用的存储空间。此外，对于存在不同的日志数据，单独保留相应的日志数据，可避免有用信息丢失。
在一个实施例中，***日志数据所属的数据类型包括状态数据类型，状态数据类型的***日志数据为对***的状态进行监控产生的日志数据。压缩模块820除了包括第一压缩单元、第二压缩单元，还包括第三压缩单元。
第三压缩单元，用于将属于状态数据类型的***日志数据中包含的实时状态数据与保存的基准状态数据进行比较；若实时状态数据与基准状态数据不同，则根据实时状态数据对基准状态数据进行更新，以得到目标日志数据；若实时状态数据与基准状态数据相同，则丢弃***日志数据。
在本申请实施例中，可采用数据差分的方式对状态数据类型的***日志数据进行压缩处理，既能够减少日志数据的数据量，减少了日志数据占用的存储空间，压缩后的日志数据也能够准确反映监控的状态变化情况，不会造成重要信息的丢失。
在一个实施例中，上述的日志数据处理装置800，还包括过滤模块。
过滤模块，用于按照目标规则对***日志数据进行过滤，剔除满足目标规则的***日志数据。
在一个实施例中，目标规则包括以下中的一种或多种：
***日志数据对应的代码块的执行时间小于时间阈值；
***日志数据对应的优先级低于优先级阈值；
***日志数据的来源为目标来源，该目标来源包括应用程序或操作***；
***日志数据与目标数据内容不匹配。
压缩模块820，还用于采用与过滤后的***日志数据所属的数据类型匹配的数据压缩方式，对过滤后的***日志数据进行数据压缩处理。
在本申请实施例中，在对***日志数据进行压缩处理之前，可按照目标规则对***日志数据进行过滤，以剔除不重要的***日志数据，进一步减少日志数据的数据量，减少占用的存储空间，提高***性能，且可以减少后续数据压缩处理的***日志数据的数据量，提高压缩处理的效率。
图9为一个实施例中电子设备的结构框图。如图9所示，电子设备900可以包括一个或多个如下部件：处理器910、与处理器910耦合的存储器920，其中存储器920可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器910执行时实现如上述各实施例描述的方法。
处理器910可以包括一个或者多个处理核。处理器910利用各种接口和线路连接整个电子设备900内的各个部分，通过运行或执行存储在存储器920内的指令、程序、代码集或指令集，以及调用存储在存储器920内的数据，执行电子设备900的各种功能和处理数据。可选地，处理器910可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器910可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器910中，单独通过一块通信芯片进行实现。
存储器920可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器920可用于存储指令、程序、代码、代码集或指令集。存储器920可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备900在使用中所创建的数据等。
可以理解地，电子设备900可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、WiFi(Wireless Fidelity，无线保真)模块、扬声器、蓝牙模块、传感器等，还可在此不进行限定。
本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述实施例描述的方法。
本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM等。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM，PROM)、可擦除PROM(Erasable PROM，EPROM)、电可擦除PROM(Electrically ErasablePROM，EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory，RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM可为多种形式，诸如静态RAM(Static RAM，SRAM)、动态RAM(Dynamic Random Access Memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM，DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM，ESDRAM)、同步链路DRAM(Synchlink DRAM，SLDRAM)、存储器总线直接RAM(Rambus DRAM，RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM，DRDRAM)。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上对本申请实施例公开的一种日志数据处理方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种日志数据处理方法，其特征在于，包括：
获取通过日志采集模块采集的***日志数据；
采用与所述***日志数据所属的数据类型匹配的数据压缩方式，对所述***日志数据进行数据压缩处理，得到目标日志数据。
2.根据权利要求1所述的方法，其特征在于，所述***日志数据所属的数据类型包括高频字段数据类型，所述高频字段数据类型的***日志数据为***调用目标接口产生的日志数据；
所述采用与所述***日志数据所属的数据类型匹配的数据压缩方式，对所述***日志数据进行数据压缩处理，得到目标日志数据，包括：
对属于所述高频字段数据类型的所述***日志数据进行编码处理，将所述***日志数据中包含的接口字符串转化为目标字符，得到目标日志数据，其中，所述接口字符串用于表征***调用的目标接口。
3.根据权利要求2所述的方法，其特征在于，所述将所述***日志数据中包含的接口字符串转化为目标字符，得到目标日志数据，包括：
在数据协议表中查找与所述***日志数据中包含的接口字符串对应的目标字符，并将所述***日志中的所述接口字符串转化为所述目标字符，得到目标日志数据。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述日志采集模块在第一时间段内采集的属于所述高频字段数据类型的***日志数据；
根据所述第一时间段内采集的属于所述高频字段数据类型的***日志数据，统计满足高频调用条件的第一目标接口；
生成与所述第一目标接口对应的第一目标字符，并将所述第一目标接口的第一接口字符串及对应的第一目标字符存储到所述数据协议表中。
5.根据权利要求1所述的方法，其特征在于，所述***日志数据所属的数据类型包括规律性数据类型，所述规律性数据类型的***日志数据为***重复执行同一操作行为产生的日志数据；
所述采用与所述***日志数据所属的数据类型匹配的数据压缩方式，对所述***日志数据进行数据压缩处理，得到目标日志数据，包括：
对属于所述规律性数据类型的所述***日志数据进行数据聚合处理，得到目标日志数据。
6.根据权利要求1所述的方法，其特征在于，所述***日志数据所属的数据类型包括状态数据类型，所述状态数据类型的***日志数据为对***的状态进行监控产生的日志数据；
所述采用与所述***日志数据所属的数据类型匹配的数据压缩方式，对所述***日志数据进行数据压缩处理，得到目标日志数据，包括：
将属于所述状态数据类型的所述***日志数据中包含的实时状态数据与保存的基准状态数据进行比较；
若所述实时状态数据与所述基准状态数据不同，则根据所述实时状态数据对所述基准状态数据进行更新，以得到目标日志数据；
若所述实时状态数据与所述基准状态数据相同，则丢弃所述***日志数据。
7.根据权利要求1～6任一所述的方法，其特征在于，在所述获取通过日志采集模块采集的***日志数据之后，所述方法还包括：
按照目标规则对所述***日志数据进行过滤，剔除满足所述目标规则的***日志数据；
所述采用与所述***日志数据所属的数据类型匹配的数据压缩方式，对所述***日志数据进行数据压缩处理，包括：
采用与过滤后的***日志数据所属的数据类型匹配的数据压缩方式，对所述过滤后的***日志数据进行数据压缩处理。
8.一种日志数据处理装置，其特征在于，包括：
日志获取模块，用于获取通过日志采集模块采集的***日志数据；
压缩模块，用于采用与所述***日志数据所属的数据类型匹配的数据压缩方式，对所述***日志数据进行数据压缩处理，得到目标日志数据。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至7任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111248571.3A CN113886193A (zh) | 2021-10-26 | 2021-10-26 | 日志数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111248571.3A CN113886193A (zh) | 2021-10-26 | 2021-10-26 | 日志数据处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113886193A true CN113886193A (zh) | 2022-01-04 |
Family
ID=79014499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111248571.3A Withdrawn CN113886193A (zh) | 2021-10-26 | 2021-10-26 | 日志数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113886193A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114844763A (zh) * | 2022-04-19 | 2022-08-02 | 北京快乐茄信息技术有限公司 | 数据处理方法及装置、电子设备及存储介质 |
| CN114936040A (zh) * | 2022-05-31 | 2022-08-23 | 北京达佳互联信息技术有限公司 | 程序数据处理方法、装置、电子设备、存储介质 |
| CN115495427A (zh) * | 2022-11-22 | 2022-12-20 | 青岛远洋船员职业学院 | 一种基于智慧安全管理平台的日志数据存储方法 |
| CN116894021A (zh) * | 2023-05-24 | 2023-10-17 | 北京优特捷信息技术有限公司 | 一种日志数据存储方法、查询方法、装置、设备及介质 |
| CN117689759A (zh) * | 2024-02-02 | 2024-03-12 | 青岛中博瑞泰信息技术有限公司 | 一种用于图像渲染数据自适应存储方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107402863A (zh) * | 2016-03-28 | 2017-11-28 | 阿里巴巴集团控股有限公司 | 一种用于通过日志***处理业务***的日志的方法与设备 |
| CN107609118A (zh) * | 2017-09-13 | 2018-01-19 | 广东欧珀移动通信有限公司 | 日志信息上报方法、装置及存储介质、adsp和终端 |
| CN113268453A (zh) * | 2021-05-27 | 2021-08-17 | 杭州迪普科技股份有限公司 | 日志信息压缩存储方法及装置 |
| CN113297154A (zh) * | 2021-05-04 | 2021-08-24 | 西安博达软件股份有限公司 | 一种网站日志压缩方法及装置 |
-
2021
- 2021-10-26 CN CN202111248571.3A patent/CN113886193A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107402863A (zh) * | 2016-03-28 | 2017-11-28 | 阿里巴巴集团控股有限公司 | 一种用于通过日志***处理业务***的日志的方法与设备 |
| CN107609118A (zh) * | 2017-09-13 | 2018-01-19 | 广东欧珀移动通信有限公司 | 日志信息上报方法、装置及存储介质、adsp和终端 |
| CN113297154A (zh) * | 2021-05-04 | 2021-08-24 | 西安博达软件股份有限公司 | 一种网站日志压缩方法及装置 |
| CN113268453A (zh) * | 2021-05-27 | 2021-08-17 | 杭州迪普科技股份有限公司 | 日志信息压缩存储方法及装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114844763A (zh) * | 2022-04-19 | 2022-08-02 | 北京快乐茄信息技术有限公司 | 数据处理方法及装置、电子设备及存储介质 |
| CN114936040A (zh) * | 2022-05-31 | 2022-08-23 | 北京达佳互联信息技术有限公司 | 程序数据处理方法、装置、电子设备、存储介质 |
| CN115495427A (zh) * | 2022-11-22 | 2022-12-20 | 青岛远洋船员职业学院 | 一种基于智慧安全管理平台的日志数据存储方法 |
| CN116894021A (zh) * | 2023-05-24 | 2023-10-17 | 北京优特捷信息技术有限公司 | 一种日志数据存储方法、查询方法、装置、设备及介质 |
| CN117689759A (zh) * | 2024-02-02 | 2024-03-12 | 青岛中博瑞泰信息技术有限公司 | 一种用于图像渲染数据自适应存储方法 |
| CN117689759B (zh) * | 2024-02-02 | 2024-05-03 | 青岛中博瑞泰信息技术有限公司 | 一种用于图像渲染数据自适应存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113886193A (zh) | 日志数据处理方法、装置、电子设备及存储介质 | |
| CN110347716B (zh) | 日志数据处理方法、装置、终端设备及存储介质 | |
| CN105376335B (zh) | 一种采集数据上传方法和装置 | |
| CN105701122B (zh) | 一种日志收集方法、装置及*** | |
| CN111524609B (zh) | 生成筛查模型、筛查传染病高风险感染人群的方法及*** | |
| CN110895524B (zh) | redis满载时键的复合过期方法、装置、服务器及存储介质 | |
| CN109144862A (zh) | 测试数据的统计方法、装置、计算机设备及存储介质 | |
| WO2021068113A1 (zh) | 时长统计方法、装置、电子设备和计算机可读介质 | |
| CN111680016A (zh) | 分布式服务器集群日志数据处理方法、装置及*** | |
| CN108197002B (zh) | 移动设备无埋点数据统计方法、***、终端及介质 | |
| CN111324511A (zh) | 报警规则的生成方法、装置、电子设备及存储介质 | |
| CN113641567B (zh) | 一种数据库巡检方法、装置、电子设备及存储介质 | |
| CN112199374B (zh) | 针对数据缺失的数据特征挖掘方法及其相关设备 | |
| CN107291743B (zh) | 数据的调用方法和装置 | |
| CN113886192B (zh) | 日志数据的获取方法、装置、终端设备及可读存储介质 | |
| CN112463799A (zh) | 数据提取方法、装置、设备及存储介质 | |
| CN110109803B (zh) | 一种用户行为上报方法及*** | |
| CN112256529A (zh) | 网络爬虫监控方法、装置、计算机设备和存储介质 | |
| US20140089525A1 (en) | Compressed analytics data for multiple recurring time periods | |
| CN110909263A (zh) | 一种身份特征的伴随关系确定方法及装置 | |
| CN116071123A (zh) | 商品数据处理方法、***、电子设备及存储介质 | |
| CN114402313A (zh) | 标签更新方法、装置、电子设备及存储介质 | |
| CN116781568A (zh) | 数据监控告警方法、装置、设备及存储介质 | |
| CN112463864B (zh) | 数据处理方法及装置、数据处理*** | |
| CN115794756A (zh) | 一种仿真文件的压缩方法及装置、设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220104 |
|
| WW01 | Invention patent application withdrawn after publication |