CN112069048A - 日志处理方法、装置及存储介质 - Google Patents
日志处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112069048A CN112069048A CN202010943762.0A CN202010943762A CN112069048A CN 112069048 A CN112069048 A CN 112069048A CN 202010943762 A CN202010943762 A CN 202010943762A CN 112069048 A CN112069048 A CN 112069048A
- Authority
- CN
- China
- Prior art keywords
- information
- log
- single label
- user identity
- label information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000009194 climbing Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 241000411851 herbal medicine Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明的实施例提供了一种日志处理方法、装置及存储介质，涉及数据处理技术领域，本实施例提供的日志处理方法，通过获取原始日志，按照预设定的分隔符对所述原始日志进行拆分及重组，生成多个单一标签信息；根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果，所述查询结果包括所述维度信息对应的所述单一标签信息的数量通过对原始日志进行拆分，重组，形成多个单一标签信息，将多个一对多的数据类型转换为多个一对一的数据类型，简化了数据类型，在对用户日志进行具体分析的时候，可以直接按照设定的维度进行查询整理，有助于提高数据处理分析的效率。
Description
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种日志处理方法、装置及存储介质。
背景技术
随着信息技术以及通讯技术的快速发展，使得各种应用软件广泛应用与推广，收集用户的数据日志与分析用户的行为成为了必要。
针对不同的应用软件与***，现阶段的解决方案只是解决用户的基础信息的收集，如简单使用记录、应用软件的访问量、访问次数、兴趣爱好等生成日志，针对手机的用户日志进行简单的分析，但现有技术面对海量的用户日志数据的分析处理方法较为繁琐，多个数据交叉混叠存储，当数据较多时处理效率低。
发明内容
本发明的目的在于提供了一种日志处理方法、装置及存储介质，以对手机的用户数据进行快速地实现对数据的统计分析，提高处理效率。
本发明采用的技术方案如下
第一方面，本发明实施例提供一种日志处理方法，所述方法包括：
获取原始日志，所述原始日志包括多个用户身份信息以及所述用户身份信息与多个类型标签的对应关系；
按照预设定的分隔符对所述原始日志进行拆分及重组，生成多个单一标签信息；所述单一标签信息包括一个所述用户身份信息与一个类型标签的对应关系；
根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果，所述查询结果包括所述维度信息对应的所述单一标签信息的数量。
在可选的实施方式中，按照预设定的分隔符对所述原始日志进行拆分及重组，生成多个单一标签信息的步骤包括：
依据所述用户身份信息进行对所述原始日志初步分割得到中间日志，所述中间日志包括一个所述用户身份信息与多个类型标签的对应关系；
按照预设的分隔符对所述中间日志进行分割，得到用户身份信息与多个类型标签；
将所述用户身份信息分别与所述多个类型标签逐一进行组合生成多个单一标签信息。
在可选的实施方式中，根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果的步骤之后，所述方法还包括：
将所述中间日志及所述单一标签信息删除。
在可选的实施方式中，所述根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果步骤包括：
读取第一预设数量个数据块，每个数据块包括第二预设数量个所述单一标签信息；
分别根据每一个数据块内的单一标签信息按照预设维度进行查询，生成初步结果，所述初步结果包括该数据块内查询到的所述预设维度对应的所述单一标签信息数量；
将多个数据块对应的多个初步结果进行分类统计，以得到所述查询结果。
在可选的实施方式中，根据预设定的维度信息对多个所述单一标签信息进行查询之前，所述日志处理方法还包括：
获取查询指令，所述查询指令包括预设定的维度信息，所述维度信息为所述多个标签信息中的至少一个。
第二方面，本发明实施例提供一种日志处理装置，所述日志处理装置用于实现如前述实施方式任意一项所述的日志处理方法，所述日志处理装置包括：
获取模块，用于获取原始日志，所述原始日志包括多个用户身份信息以及所述用户身份信息与多个类型标签的对应关系；
拆分模块，用于按照预设定的分隔符对所述原始日志进行拆分及重组，生成多个单一标签信息；所述单一标签信息包括一个所述用户身份信息与一个类型标签的对应关系；
处理模块，用于根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果，所述查询结果包括所述维度信息对应的所述单一标签信息的数量。
在可选的实施方式中，所述拆分模块用于依据所述用户身份信息进行对所述原始日志初步分割得到中间日志，所述中间日志包括一个所述用户身份信息与多个类型标签的对应关系；按照预设的分隔符对所述中间日志进行分割，得到用户身份信息与多个类型标签；将所述用户身份信息分别与所述多个类型标签逐一进行组合生成多个单一标签信息。
在可选的实施方式中，所述拆分模块还用于当根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果的步骤之后，将所述中间日志及所述单一标签信息删除。
在可选的实施方式中，所述处理模块用于分别根据每一个数据块内的单一标签信息按照预设维度进行查询，生成初步结果，所述初步结果包括该数据块内查询到的所述预设维度对应的所述单一标签信息数量；将多个数据块对应的多个初步结果进行分类统计，以得到所述查询结果。
第三方面，本发明实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任意一项所述的日志处理方法。
相对于现有技术，本申请提供了一种日志处理方法、装置及存储介质，所述日志处理方法包括：获取原始日志，所述原始日志包括多个用户身份信息以及所述用户身份信息与多个类型标签的对应关系；按照预设定的分隔符对所述原始日志进行拆分及重组，生成多个单一标签信息；所述单一标签信息包括一个所述用户身份信息与一个类型标签的对应关系；根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果，所述查询结果包括所述维度信息对应的所述单一标签信息的数量。通过将原始日志进行切割，生成多个单一标签信息，可以快速地从任意维度查询生成对日志的分析处理结果，提高对日志的分析处理效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本实施例提供的电子设备的示意图；
图2为本实施例提供的一种日志处理方法的流程示意图；
图3为本实施例提供的另一种日志处理方法的流程示意图；
图4为本实施例提供的另一种日志处理方法的流程示意图；
图5为本实施例提供的另一种日志处理方法的流程示意图；
图6为本实施例提供的初步结果融合的示意图；
图7为本实施例提供的另一种日志处理方法的流程示意图；
图8为本实施例提供的一种日志处理装置的功能模块示意图。
附图标记说明：210-处理器；211-存储器；212-总线；213-通信接口；300-日志处理装置；310-获取模块；320-拆分模块；330-处理模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
随着信息技术以及通讯技术的快速发展，使得各种应用软件广泛应用与推广，收集用户的数据日志与分析用户的行为成为了必要。针对不同的应用软件与***，现阶段的解决方案只是解决用户的基础信息的收集，如简单使用记录、应用软件的访问量、访问次数、兴趣爱好等生成日志，针对手机的用户日志进行简单的分析，但现有技术面对海量的用户日志数据的分析处理方法较为繁琐，多个数据交叉混叠存储，当数据较多时处理效率较低。
为了改善上述问题，本申请实施例提供了一种电子设备，请参照图1，图1示出了本实施例提供的电子设备的结构示意图。电子设备包括处理器210、存储器211、总线212。处理器210、存储器211通过总线212连接，处理器210用于执行存储器211中存储的可执行模块，例如计算机程序。
处理器210可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本实施例提供的日志处理方法的各步骤可以通过处理器210中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器210可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器211可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
总线212可以是ISA(Industry Standard Architecture)总线、PCI(PeripheralComponent Interconnect)总线或EISA(Extended Industry Standard Architecture)总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线212或一种类型的总线212。
存储器211用于存储程序，例如日志处理装置对应的程序。日志处理装置包括至少一个可以软件或固件(firmware)的形式存储于存储器211中或固化在电子设备的操作***(operating system，OS)中的软件功能模块。处理器210在接收到执行指令后，执行所述程序以实现日志处理方法的步骤。
可能地，本申请实施例提供的电子设备还包括通信接口213。通信接口213通过总线与处理器210连接。该通信接口213可以用于连接外部设备，例如至少一台摄像机、音频采集设备等等。
应当理解的是，图1所示的结构仅为电子设备的部分的结构示意图，电子设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
基于图1所示的电子设备，本实施例提供了一种日志处理方法，请参阅图2，图2示出了本实施例提供的日志处理方法的流程示意图，该日志处理方法包括步骤110～步骤130。
步骤110：获取原始日志，原始日志包括多个用户身份信息以及用户身份信息与多个类型标签的对应关系。
原始日志为采集的用户数据，包括用户的用户身份信息以及多个类型标签的对应关系，类型标签包括用户的兴趣爱好、访问来源、访问时间以及所在地城市等信息。用户数据按照预设定的格式进行存储，如表1所示，表1提供了一种可能的原始日志的存储形式。
在一种可能的实现方式中，原始日志存储在服务器，该服务器可以是分布式服务器。
表1
步骤120：按照预设定的分隔符对原始日志进行拆分及重组，生成多个单一标签信息；单一标签信息包括一个用户身份信息与一个类型标签的对应关系。
原始日志中存储有多个用户身份信息以及用户身份信息与多个类型标签的对应关系，在实际处理过程中，一个用户身份信息对应的标签类型太多，当数据较多时会降低分析处理的效率。于本实施例中，按照预设定的分隔符对原始日志进行拆分以及重组，生成多个单一标签信息，单一标签信息是指一个用户身份信息与一个类型标签的对应关系。对原始日志进行拆分及重组，即是将多个一对多的数据类型转换为多个一对一的数据类型，将数据类型进行简化，有助于后期对数据进行处理以及统计分析。
步骤130：根据预设定的维度信息对多个单一标签信息进行查询，以得到查询结果，查询结果包括维度信息对应的单一标签信息的数量。
对原始日志进行拆分以及重组，生成多个单一标签信息后，即可按照预设定的维度信息对多个单一标签信息进行查询，以得到查询结果，于本实施例中，查询结果包括维度信息对应的单一标签信息的数量。维度信息为一个或多个类型的标签，例如以爱好为足球这一维度对所有的单一标签信息进行查询，即可确定爱好为足球的所有用户数量，若以爱好为足球、城市为北京这为维度对所有的单一标签信息进行查询，即可确定北京的所有爱好足球的用户数量。
本实施例提供的日志处理方法，通过获取原始日志，按照预设定的分隔符对所述原始日志进行拆分及重组，生成多个单一标签信息；根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果，所述查询结果包括所述维度信息对应的所述单一标签信息的数量通过对原始日志进行拆分，重组，形成多个单一标签信息，将多个一对多的数据类型转换为多个一对一的数据类型，简化了数据类型，在对用户日志进行具体分析的时候，可以直接按照设定的维度进行查询整理，有助于提高数据处理分析的效率。
在图2的基础上，参阅图3，对于如何对原始日志进行分割及重组，本实施例提供了另一种可能的实现方式，图3示出了本实施例提供的另一种日志处理方法的流程示意图，步骤120包括以下子步骤：
步骤120-1：依据用户身份信息进行对原始日志初步分割得到中间日志，中间日志包括一个用户身份信息与多个类型标签的对应关系。
如表1所示，原始日志信息按照用户身份信息为索引，存储了多个用户身份信息与多个类型标签的对应关系。也就是说，原始日志存储了多个一对多的数据类型，在一种可能的实现方式中，以用户身份信息为分隔符，将原始日志进行分割得到中间日志。如表2、表3所示，分割得到的中间日志可以表2、表3所示的形式存储。
表2
| 用户ID | 用户兴趣 | 城市名称 | 访问来源 | 访问时间 | 项目ID | 关键字 | 其它 |
| User08 | 足球、登山 | 北京 | 淘宝 | 2020-07-21 | 10012 | 飞利浦 | … |
表3
在一种可能的实现方式中，若原始日志包含N个用户身份信息以及N个用户身份信息与多个类型标签的对应关系，则对该原始日志进行分割形成N个中间日志。每一个中间日志均包括一个用户身份信息与多个类型标签的对应关系。
步骤120-2：按照预设的分隔符对中间日志进行分割，得到用户身份信息与多个类型标签。
按照预设的分隔符对中间日志再次进行分割，得到用户身份信息与多个类型标签。
在一种可能的实现方式中，以标点符号或者制表位作为分隔符对一个中间日志进行再次分割，得到一个用户身份信息与多个类型标签。
以表2所示的中间日志为例，以标点符号对其进行分割，则将其分割为用户身份信息为User08，以及包含：爱好足球；爱好登山；城市为北京；访问来源为淘宝；访问时间为2020年7月21日；项目ID为10012；关键字为飞利浦等类型标签。
步骤120-3：将用户身份信息分别与多个类型标签逐一进行组合生成多个单一标签信息。
将用户身份信息分别与多个类型标签进行注意组合生成多个单一标签信息，例如为了获得用户的爱好情况，则以用户身份信息与类型为爱好的标签进行重组生成单一标签信息。
例如，对于表2所示的中间日志，生成用户身份信息为User08、爱好为足球；以及用户身份信息为User08、爱好为登山两条单一标签信息。对于多个中间日志，则可以生成多个单一标签信息，在一种可能的实现方式中，生成的多个单一标签信息可以用户身份信息为索引进行存储，如表4所示，表4示出了一种可能的单一标签信息的存储形式。
表4
| 用户ID | 用户兴趣 | 访问时间 |
| User01 | 足球 | 2020-07-21 |
| User01 | 登山 | 2020-07-21 |
| User01 | 游戏 | 2020-07-21 |
| User01 | 旅游 | 2020-07-21 |
| User02 | 足球 | 2020-07-21 |
| User02 | 旅游 | 2020-07-21 |
| User02 | 摄影 | 2020-07-21 |
| User03 | 摄影 | 2020-07-21 |
| User03 | 美食 | 2020-07-21 |
| User03 | 跳舞 | 2020-07-21 |
| User04 | 旅游 | 2020-07-20 |
| User04 | 跳舞 | 2020-07-20 |
| User03 | 摄影 | 2020-07-26 |
| User03 | 美食 | 2020-07-26 |
| User03 | 跳舞 | 2020-07-26 |
可以理解地，由于同一个用户可能有多个爱好，因此可能会存在多个同一用户身份信息对应的爱好标签。
生成单一标签信息后，即可根据单一标签信息对用户日志进行分析及统计，在一种可能的实现方式中，参阅图4，在生成单一标签信息之前，该日志处理方法还包括：
步骤111：获取查询指令，查询指令包括预设定的维度信息，维度信息为多个标签信息中的至少一个。
获取查询指令，该查询指令包括用户需要查询的维度信息，维度信息为多个类型标签中的至少一个。例如，需要统计爱好为足球的用户数量有多少个，则需要统计出用户的爱好；爱好则为该查询指令包括的维度信息。
获取该查询指令后，即根据该维度信息对原始日志进行处理得到与爱好相对应的单一标签信息。
在一种可能的实现方式中，生成单一标签信息后，即可根据单一标签信息对用户日志进行分析及统计，参阅图5，步骤130包括以下步骤：
步骤130-1：读取第一预设数量个数据块，每个数据块包括第二预设数量个单一标签信息。
将多有的单一标签信息划分为多个数据块，在一种可能的实现方式中，结合处理器的计算能力，以第二预设数量个单一标签信息作为一个数据块，将所有的单一标签信息划分为第一预设数目个数据块。
例如，若存才12个单一标签信息，以三个单一标签信息作为一个数据块，形成个数据块，在对数据进行统计处理时，首先读取这四个数据块。
在一种可能的实现方式中，由于日志量很大，运用hadoop的mapreduce计算框架进行分组计算，可以由同一个处理器读取上述四个数据块，但在其他的可能的实现方式中，还可以由分布式的处理器分别读取上述四个数据块以提高处理效率。
步骤130-2：分别根据每一个数据块内的单一标签信息按照预设维度进行查询，生成初步结果，初步结果包括该数据块内查询到的预设维度对应的单一标签信息数量。
分别对每一个数据块内的单一标签信息按照预设维度进行查询，生成初步结果。初步结果包括该数据块内查询到的预设维度对应的单一标签信息数量。例如，第一个数据块包括的信息如表5所示：
表5
| User01 | 足球 |
| User01 | 登山 |
| User01 | 游戏 |
则，以爱好这一类型标签作为维度对第一个数据块进行查询统计可以得到以下初步结果，如表6所示：
表6
| 足球 | 1人 |
| 登山 | 1人 |
| 游戏 | 1人 |
步骤130-3：将多个数据块对应的多个初步结果进行分类统计，以得到查询结果。
对多个数据块分别进行处理后，将多个数据块处理得到的多个初步结果进行雷加融合，得到查询结果。
例如，对第二个数据块进行查询处理，得到第二个数据块对应的初步结果，对第三个数据块进行查询处理，得到第三个数据块对应的初步结果，对第四个数据块进行查询处理得到第四个数据块对应的初步结果。
将第一个数据块对应的初步结果、第二个数据块对应的初步结果、第三个数据块对应的初步结果以及第四个数据块对应的初步结果进行融合，得到最终的查询结果。如图6所示。
参阅图7，在步骤130之后，该方法还包括：
步骤140：将中间日志及单一标签信息删除。
对数据进行处理后，将生成的中间日志以及单一标签信息删除，避免占用过多的空间。
为了执行上述实施例及各个可能的实施方式中的相应步骤，下面给出一种日志处理装置的实现方式，请参阅图8，图8为本发明较佳实施例提供的一种日志处理装置300。需要说明的是，本实施例所提供的日志处理装置300，其基本原理及产生的技术效果和上述实施例提供的空调控制方法基本相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。本实施例提供的日志处理装置300包括获取模块310、拆分模块320及处理模块330。
获取模块310，用于获取原始日志，原始日志包括多个用户身份信息以及用户身份信息与多个类型标签的对应关系。
可以理解地，在一种可能的实现方式中，获取模块310可以用于执行上述各个图中的步骤110，以实现相应的技术效果。
拆分模块320，用于按照预设定的分隔符对原始日志进行拆分及重组，生成多个单一标签信息；单一标签信息包括一个用户身份信息与一个类型标签的对应关系。
可以理解地，在一种可能的实现方式中，拆分模块320可以用于执行上述各个图中的步骤120，以实现相应的技术效果。
处理模块330，用于根据预设定的维度信息对多个单一标签信息进行查询，以得到查询结果，查询结果包括维度信息对应的单一标签信息的数量。
可以理解地，在一种可能的实现方式中，该处理模块330可以用于执行上述各个图中的步骤130，以实现相应的技术效果。
在可选的实施方式中，拆分模块320用于依据用户身份信息进行对原始日志初步分割得到中间日志，中间日志包括一个用户身份信息与多个类型标签的对应关系；按照预设的分隔符对中间日志进行分割，得到用户身份信息与多个类型标签；将用户身份信息分别与多个类型标签逐一进行组合生成多个单一标签信息。
可以理解地，在一种可能的实现方式中，拆分模块320可以用于执行上述各个图中的步骤120-1～步骤120-3，以实现相应的技术效果。
在可选的实施方式中，拆分模块还用于当根据预设定的维度信息对多个单一标签信息进行查询，以得到查询结果的步骤之后，将中间日志及单一标签信息删除。
可以理解地，在一种可能的实现方式中，拆分模块320可以用于执行上述各个图中的步骤140，以实现相应的技术效果。
在可选的实施方式中，处理模块用于分别根据每一个数据块内的单一标签信息按照预设维度进行查询，生成初步结果，初步结果包括该数据块内查询到的预设维度对应的单一标签信息数量；将多个数据块对应的多个初步结果进行分类统计，以得到查询结果。
可以理解地，在一种可能的实现方式中，处理模块330可以用于执行上述各个图中的步骤130-1～步骤130-3，以实现相应的技术效果。
本发明实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述实施方式中任意一项的日志处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (10)
1.一种日志处理方法，其特征在于，所述方法包括：
获取原始日志，所述原始日志包括多个用户身份信息以及所述用户身份信息与多个类型标签的对应关系；
按照预设定的分隔符对所述原始日志进行拆分及重组，生成多个单一标签信息；所述单一标签信息包括一个所述用户身份信息与一个类型标签的对应关系；
根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果，所述查询结果包括所述维度信息对应的所述单一标签信息的数量。
2.根据权利要求1所述的日志处理方法，其特征在于，按照预设定的分隔符对所述原始日志进行拆分及重组，生成多个单一标签信息的步骤包括：
依据所述用户身份信息进行对所述原始日志初步分割得到中间日志，所述中间日志包括一个所述用户身份信息与多个类型标签的对应关系；
按照预设的分隔符对所述中间日志进行分割，得到用户身份信息与多个类型标签；
将所述用户身份信息分别与多个类型标签逐一进行组合生成多个单一标签信息。
3.根据权利要求2所述的日志处理方法，其特征在于，根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果的步骤之后，所述方法还包括：
将所述中间日志及所述单一标签信息删除。
4.根据权利要求1所述的日志处理方法，其特征在于，所述根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果步骤包括：
读取第一预设数量个数据块，每个数据块包括第二预设数量个所述单一标签信息；
分别根据每一个数据块内的单一标签信息按照预设维度进行查询，生成初步结果，所述初步结果包括该数据块内查询到的所述预设维度对应的所述单一标签信息数量；
将多个数据块对应的多个初步结果进行分类统计，以得到所述查询结果。
5.根据权利要求1所述的日志处理方法，其特征在于，根据预设定的维度信息对多个所述单一标签信息进行查询之前，所述日志处理方法还包括：
获取查询指令，所述查询指令包括预设定的维度信息，所述维度信息为多个标签信息中的至少一个。
6.一种日志处理装置，其特征在于，所述日志处理装置用于实现如权利要求1～5任意一项所述的日志处理方法，所述日志处理装置包括：
获取模块，用于获取原始日志，所述原始日志包括多个用户身份信息以及所述用户身份信息与多个类型标签的对应关系；
拆分模块，用于按照预设定的分隔符对所述原始日志进行拆分及重组，生成多个单一标签信息；所述单一标签信息包括一个所述用户身份信息与一个类型标签的对应关系；
处理模块，用于根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果，所述查询结果包括所述维度信息对应的所述单一标签信息的数量。
7.根据权利要求6所述的日志处理装置，其特征在于，所述拆分模块用于依据所述用户身份信息进行对所述原始日志初步分割得到中间日志，所述中间日志包括一个所述用户身份信息与多个类型标签的对应关系；按照预设的分隔符对所述中间日志进行分割，得到用户身份信息与多个类型标签；将所述用户身份信息分别与所述多个类型标签逐一进行组合生成多个单一标签信息。
8.根据权利要求7所述的日志处理装置，其特征在于，所述拆分模块还用于当根据预设定的维度信息对多个所述单一标签信息进行查询，以得到查询结果的步骤之后，将所述中间日志及所述单一标签信息删除。
9.根据权利要求6所述的日志处理装置，其特征在于，所述处理模块用于分别根据每一个数据块内的单一标签信息按照预设维度进行查询，生成初步结果，所述初步结果包括该数据块内查询到的所述预设维度对应的所述单一标签信息数量；将多个数据块对应的多个初步结果进行分类统计，以得到所述查询结果。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～5中任意一项所述的日志处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010943762.0A CN112069048A (zh) | 2020-09-09 | 2020-09-09 | 日志处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010943762.0A CN112069048A (zh) | 2020-09-09 | 2020-09-09 | 日志处理方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112069048A true CN112069048A (zh) | 2020-12-11 |
Family
ID=73663511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010943762.0A Pending CN112069048A (zh) | 2020-09-09 | 2020-09-09 | 日志处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112069048A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112632020A (zh) * | 2020-12-25 | 2021-04-09 | 中国电子科技集团公司第三十研究所 | 基于spark大数据平台的日志信息类型提取方法、挖掘方法 |
| CN112800666A (zh) * | 2021-01-18 | 2021-05-14 | 上海派拉软件股份有限公司 | 日志行为分析的训练方法、身份安全风险预测方法 |
| CN114168650A (zh) * | 2021-12-01 | 2022-03-11 | 安天科技集团股份有限公司 | 一种日志数据分析方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103178982A (zh) * | 2011-12-23 | 2013-06-26 | 阿里巴巴集团控股有限公司 | 日志分析方法和装置 |
| CN109739821A (zh) * | 2018-12-18 | 2019-05-10 | 中国科学院计算机网络信息中心 | 日志数据分层存储方法、装置及存储介质 |
| CN109831316A (zh) * | 2018-12-17 | 2019-05-31 | 国网浙江省电力有限公司 | 海量日志实时分析***、实时分析方法及可读存储介质 |
| CN111352903A (zh) * | 2020-03-13 | 2020-06-30 | 京东方科技集团股份有限公司 | 日志管理平台、日志管理方法、介质以及电子设备 |
-
2020
- 2020-09-09 CN CN202010943762.0A patent/CN112069048A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103178982A (zh) * | 2011-12-23 | 2013-06-26 | 阿里巴巴集团控股有限公司 | 日志分析方法和装置 |
| CN109831316A (zh) * | 2018-12-17 | 2019-05-31 | 国网浙江省电力有限公司 | 海量日志实时分析***、实时分析方法及可读存储介质 |
| CN109739821A (zh) * | 2018-12-18 | 2019-05-10 | 中国科学院计算机网络信息中心 | 日志数据分层存储方法、装置及存储介质 |
| CN111352903A (zh) * | 2020-03-13 | 2020-06-30 | 京东方科技集团股份有限公司 | 日志管理平台、日志管理方法、介质以及电子设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112632020A (zh) * | 2020-12-25 | 2021-04-09 | 中国电子科技集团公司第三十研究所 | 基于spark大数据平台的日志信息类型提取方法、挖掘方法 |
| CN112632020B (zh) * | 2020-12-25 | 2022-03-18 | 中国电子科技集团公司第三十研究所 | 基于spark大数据平台的日志信息类型提取方法、挖掘方法 |
| CN112800666A (zh) * | 2021-01-18 | 2021-05-14 | 上海派拉软件股份有限公司 | 日志行为分析的训练方法、身份安全风险预测方法 |
| CN114168650A (zh) * | 2021-12-01 | 2022-03-11 | 安天科技集团股份有限公司 | 一种日志数据分析方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112069048A (zh) | 日志处理方法、装置及存储介质 | |
| CN108268586B (zh) | 跨多数据表的数据处理方法、装置、介质和计算设备 | |
| WO2017166644A1 (zh) | 一种数据采集方法和*** | |
| CN111400392B (zh) | 多源异构数据处理方法及装置 | |
| CN110943961A (zh) | 数据处理方法、设备以及存储介质 | |
| CN103902535A (zh) | 获取联想词的方法、装置及*** | |
| CN112347501A (zh) | 数据处理方法、装置、设备及存储介质 | |
| US20200204688A1 (en) | Picture book sharing method and apparatus and system using the same | |
| US20160019266A1 (en) | Query generating method and query generating device | |
| CN110889036A (zh) | 一种多维度信息的处理方法、装置及终端设备 | |
| CN112632213A (zh) | 地址信息标准化方法及装置、电子设备、存储介质 | |
| CN112015806A (zh) | 区块链存储数据的方法及装置 | |
| CN111737528A (zh) | 一种数据采集校验方法、装置、电子设备及存储介质 | |
| CN109635072B (zh) | 舆情数据分布式存储方法、装置、存储介质和终端设备 | |
| CN114691356A (zh) | 数据并行处理方法、装置、计算机设备及可读存储介质 | |
| CN111008220A (zh) | 数据源的动态识别方法及装置、存储介质和电子装置 | |
| CN110580304A (zh) | 数据融合方法、装置、计算机设备及计算机存储介质 | |
| CN108509059B (zh) | 一种信息处理方法、电子设备和计算机存储介质 | |
| CN114258541A (zh) | 数据合并方法、装置、电子设备及存储介质 | |
| CN111107443A (zh) | 一种dash分片文件合并方法、终端设备及存储介质 | |
| CN110674383A (zh) | 舆情查询方法、装置及设备 | |
| CN116070049A (zh) | 一种回溯页面数据的方法、装置、设备和可读存储介质 | |
| US20150032749A1 (en) | Method of creating classification pattern, apparatus, and recording medium | |
| CN114297236A (zh) | 一种数据血缘分析方法、终端设备及存储介质 | |
| CN114611039A (zh) | 异步加载规则的解析方法、装置、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |