CN117271445A - 日志数据处理方法、装置、服务器、存储介质和程序产品 - Google Patents
日志数据处理方法、装置、服务器、存储介质和程序产品 Download PDFInfo
- Publication number
- CN117271445A CN117271445A CN202311175241.5A CN202311175241A CN117271445A CN 117271445 A CN117271445 A CN 117271445A CN 202311175241 A CN202311175241 A CN 202311175241A CN 117271445 A CN117271445 A CN 117271445A
- Authority
- CN
- China
- Prior art keywords
- log
- target
- log data
- serial number
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 227
- 238000004458 analytical method Methods 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000004590 computer program Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- Finance (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Library & Information Science (AREA)
- Computer Hardware Design (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种日志数据处理方法、装置、服务器、存储介质和程序产品,可用于大数据技术领域。方法包括:根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号;根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件;其中,不同日志文件用于存储不同业务处理流水号对应的各日志数据;根据目标日志文件进行日志分析处理,得到目标分析结果。本申请实施例可以节省日志查询分析的时间,从而可以提高日志查询分析效率。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种日志数据处理方法、装置、服务器、存储介质和程序产品。
背景技术
随着互联网技术的快速发展和银行数字化转型的加速推进,业务***的日志数据数量急速增长。业务***产生的日志数据可以作为评估***性能、监测安全性,和/或,解决***问题的关键数据,因此,如何从海量的日志数据中获取所需的日志数据对于业务***的管理过程是至关重要的。
相关技术中,业务***中的日志数据通常按照时间顺序混合记录在一起,在查询的时候通常根据查询时间从海量日志数据中查找所需的日志数据。但相关技术中的日志查询分析效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高日志查询分析效率的日志数据处理方法、装置、服务器、存储介质和程序产品。
第一方面,本申请提供了一种日志数据处理方法。方法包括:
根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号;
根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件;其中,不同日志文件用于存储不同业务处理流水号对应的各日志数据;
根据目标日志文件进行日志分析处理,得到目标分析结果。
在其中一个实施例中,根据目标日志文件进行日志分析处理,得到目标分析结果,包括:
根据待查询的附属关键词从目标日志文件中确定各目标日志数据;
根据各目标日志数据进行日志分析处理,得到目标分析结果。
在其中一个实施例中,目标日志文件中还包括接口调用顺序,根据目标日志文件进行日志分析处理,得到目标分析结果,包括:
根据目标日志文件中的接口调用顺序进行日志分析处理,得到目标分析结果。
在其中一个实施例中,方法还包括:
获取待分类的多条日志数据;
根据业务处理流水号将多条日志数据进行分片存储,得到多个日志文件。
在其中一个实施例中,根据业务处理流水号将多条日志数据进行分片存储,得到多个日志文件,包括:
根据业务处理流水号将多条日志数据划分为多个日志数据集合;其中,日志数据集合中的各日志数据对应的业务处理流水号相同;
对于各日志数据集合,将日志数据集合中的各日志数据存储到对应的日志文件;其中,日志文件与业务处理流水号相关联。
在其中一个实施例中,若日志数据集合中的部分日志数据包括接口调用信息,方法还包括:
根据日志数据集合中的各接口调用信息,确定日志数据集合对应的接口调用顺序;
将接口调用顺序存储到日志数据集合对应的日志文件。
第二方面,本申请还提供了一种日志数据处理装置。装置包括:
第一确定模块,用于根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号;
第二确定模块,用于根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件;其中,不同日志文件用于存储不同业务处理流水号对应的各日志数据;
分析模块,用于根据目标日志文件进行日志分析处理,得到目标分析结果。
第三方面,本申请还提供了一种服务器。服务器包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时以实现上述第一方面的方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面的方法的步骤。
第五方面,本申请还提供了一种计算机程序产品。计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面的方法的步骤。
上述日志数据处理方法、装置、服务器、存储介质和程序产品,通过根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号;根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件;其中,不同日志文件用于存储不同业务处理流水号对应的各日志数据;根据目标日志文件进行日志分析处理,得到目标分析结果。本申请实施例中,通过根据待查询的业务标识对应的目标业务处理流水号,从多个日志文件中确定与目标业务处理流水号对应的目标日志文件,由于本申请实施例中的目标日志文件中包括有目标业务处理流水号对应的各日志数据,相对于相关技术中从海量日志数据查询日志数据的方式,本申请实施例中的目标日志文件中的日志数据的数量相对较少,因此,基于目标日志文件中的各日志数据可以节省日志查询分析的时间,从而可以提高日志查询分析效率。
附图说明
图1为本申请一个实施例中日志数据处理方法的应用环境示意图;
图2为本申请一个实施例中日志数据处理方法的流程示意图;
图3为本申请另一个实施例中日志数据处理方法的流程示意图;
图4为本申请另一个实施例中日志数据处理方法的流程示意图;
图5为本申请另一个实施例中日志数据处理方法的流程示意图;
图6为本申请另一个实施例中日志数据处理方法的流程示意图;
图7为本申请一个实施例中日志数据处理装置的结构示意图;
图8为本申请一个实施例中服务器的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的日志数据处理方法、装置、服务器、存储介质和程序产品,可以应用于业务***的日志查询分析的应用场景;当然还可以应用于其它场景,本申请实施例中对此并不作限定。
需要说明的是,以下实施例为了方便说明,以本申请实施例的日志数据处理方法应用于银行业务***的日志查询分析场景为例进行说明。应理解,当本申请实施例的日志数据处理方法应用于其它场景时,其实现原理和技术效果类似。
图1为本申请一个实施例中日志数据处理方法的应用环境示意图,如图1所示,本申请实施例的应用环境示意图可以包括但不限于:终端10和服务器11;其中,终端10通过网络可以与服务器11进行通信。例如,终端10可以向服务器11发送业务请求或者触发请求等。数据存储***可以存储服务器11需要处理的日志数据。数据存储***可以集成在服务器11上,也可以放在云上或其他网络服务器上。示例性地,本申请实施例中的服务器11可以采用本申请实施例的日志数据处理方法进行日志查询分析处理。
示例性地,终端10可以包括但不限于客户对应的终端或者可以为业务***的运维人员对应的终端。其中,终端10可以包括但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑。服务器11可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
相关技术中,业务***中的日志数据通常按照时间顺序混合记录在一起,在查询日志或者定位错误时,常常需要从海量日志数据中根据查询时间查找所需的日志数据。然而,由于服务器时间与真实环境时间可能存在差异,日志数据中的时间戳可能无法准确地反映业务处理对应的时间信息,因此,会给基于查询时间检索日志带来困难,从而导致日志查询分析的效率较低。
本申请实施例提供的日志数据处理方法、装置、服务器、存储介质和程序产品,通过根据待查询的业务标识对应的目标业务处理流水号,从多个日志文件中确定与目标业务处理流水号对应的目标日志文件,由于本申请实施例中的目标日志文件中包括有目标业务处理流水号对应的各日志数据,相对于相关技术中从海量日志数据查询日志数据的方式,本申请实施例中的目标日志文件中的日志数据的数量相对较少,因此,基于目标日志文件中的各日志数据可以节省日志查询分析的时间,从而可以提高日志查询分析效率。
在一个实施例中,图2为本申请一个实施例中日志数据处理方法的流程示意图,本申请实施例中以该方法应用于图1中的服务器为例进行说明。如图2所示,本申请实施例的方法可以包括以下步骤:
步骤S201、根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号。
示例性地,本申请实施例中涉及的业务标识可以用于唯一地指示待查询的业务。例如,业务标识可以包括但不限于客户的业务单号、业务流程编号、客户标识等,其中,客户标识可以包括但不限于客户证件号。
示例性地,本申请实施例中的预设业务标识与业务处理流水号之间的对应关系可以用于指示多组业务标识与对应的业务处理流水号的对应关系。例如,预设业务标识与业务处理流水号之间的对应关系可以用于指示业务标识A与业务处理流水号1之间的对应关系、业务标识B与业务处理流水号2之间的对应关系,以及业务标识C与业务处理流水号C之间的对应关系。
示例性地,本申请实施例中的任意业务处理流水号可以用于指示相应业务的业务处理信息。需要说明的是,对于任意业务的各业务处理对应的业务处理流水号是相同的。
一种可能的实现方式中,服务器可以每隔预设时长根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号;其中,待查询的业务标识可以为预设待查询业务标识集合中的业务标识。
另一种可能的实现方式中,服务器可以在接收到触发请求的情况下,根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号;其中,触发请求中可以包括但不限于业务标识。例如,触发请求可以为日志查询请求或者报错指示消息等。
当然,服务器还可以通过其他方式获取待查询的业务标识。
本步骤中,服务器可以根据待查询的业务标识通过查询预设业务标识与业务处理流水号之间的对应关系,并将与待查询的业务标识对应的业务处理流水号作为目标业务处理流水号。
例如,假设预设业务标识与业务处理流水号之间的对应关系可以用于指示业务标识A与业务处理流水号1之间的对应关系以及业务标识B与业务处理流水号2之间的对应关系,待查询的业务标识为业务标识A,则服务器可以根据待查询的业务标识A通过查询预设业务标识与业务处理流水号之间的对应关系,并将与待查询的业务标识A对应的业务处理流水号1作为目标业务处理流水号。
步骤S202、根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件。
本申请实施例中的不同日志文件用于存储不同业务处理流水号对应的各日志数据,其中,任意日志文件中的各日志数据的业务处理流水号是相同的。
示例性地,本申请实施例中的日志数据可以包括但不限于业务处理数据、服务器运行状态数据、错误异常数据、终端行为需求数据。
本步骤中,服务器可以根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件;其中,目标日志文件中存储有目标业务处理流水号对应的目标业务的各业务处理的各日志数据。
一种可能的实现方式中,本申请实施例中的任意日志文件与对应的业务处理流水号相关联,服务器可以根据目标业务处理流水号与各日志文件相关联的业务处理流水号进行匹配,将与目标业务处理流水号匹配的业务处理流水号相关联的日志文件作为目标日志文件。
另一种可能的实现方式中,服务器可以根据目标业务处理流水号查询日志索引信息,确定目标业务处理流水号对应的日志文件索引,并根据日志文件索引确定目标日志文件;其中,日志索引信息中可以包括多组业务处理流水号和对应的日志文件索引的记录,任意日志文件索引可以包括但不限于日志文件对应的名称信息或者存储位置信息。
当然,服务器根据目标业务处理流水号,还可以通过其他方式从多个日志文件中确定与目标业务处理流水号对应的目标日志文件。
步骤S203、根据目标日志文件进行日志分析处理,得到目标分析结果。
本步骤中,服务器可以根据目标日志文件进行日志分析处理,得到目标分析结果。示例性地,本申请实施例中的日志分析结果可以包括但不限于问题定位结果,或者测试分析结果。
由于本申请实施例中的目标日志文件中包括有目标业务处理流水号对应的目标业务的各业务处理的各日志数据,相对于相关技术中从海量日志数据查询日志数据的方式,本申请实施例中的目标日志文件中的日志数据的数量相对较少,因此,服务器通过基于目标日志文件中的各日志数据可以快速地进行日志分析处理。
一种可能的实现方式中,根据待查询的附属关键词从目标日志文件中确定各目标日志数据;根据各目标日志数据进行日志分析处理,得到目标分析结果。
示例性地,本申请实施例中的附属关键词可以携带于触发请求中,或者可以为服务器根据待查询的业务标识通过查询预设业务标识与关键词之间的对应关系得到的;当然,附属关键词还可以为服务器通过其他方式获取的。
需要说明的是,本申请实施例中的附属关键词为统称,其可以包括一个关键词,或者多个关键词。
本实现方式中,服务器可以根据待查询的附属关键词将目标日志文件中与附属关键词对应的各日志数据作为目标日志数据,并根据各目标日志数据进行日志分析处理,得到目标分析结果。
示例性地,服务器可以使用预设搜索方法从目标日志文件中筛选出包含附属关键词对应的各目标日志数据。
可见,本实现方式中,通过根据附属关键词对目标日志文件中的各日志数据作了进一步地筛选,以便于基于筛选后的各目标日志数据可以更加快速地进行日志分析处理,从而进一步地提高了日志查询分析效率。
另一种可能的实现方式中,目标日志文件中还包括接口调用顺序,根据目标日志文件中的接口调用顺序进行日志分析处理,得到目标分析结果。
本申请实施例中的服务器在针对任意业务进行业务处理过程中,通常会通过调用相应接口与其他服务器或者设备进行通信。
本申请实施例中的接口调用顺序可以用于指示服务器在业务处理过程中的接口调用的先后顺序。
本实现方式中,服务器可以根据目标日志文件中的接口调用顺序可以获知服务器在针对目标业务进行业务处理过程中的接口调用的先后顺序和相关的日志数据,并基于接口调用的先后顺序和相关的日志数据进行日志分析处理。由于本申请实施例中的日志文件中存储有接口调用顺序,基于日志文件可以获取到接口调用信息,以便于可以非常方便用户查看和追溯调用接口,无需有经验的人员或者熟悉业务场景的人员专门定位,因此,本申请实施例有利于进一步地节省日志查询分析的时间。
需要说明的是,上述两种可实现方式可以相互结合,例如,可以首先根据附属关键词查询筛选出符合条件的目标日志数据,然后对这些目标日志数据进行日志分析处理时可以结合接口调用顺序信息。
上述日志数据处理方法中,通过根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号。进一步地,根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件,并根据目标日志文件进行日志分析处理,得到目标分析结果;其中,不同日志文件用于存储不同业务处理流水号对应的各日志数据。可见,本申请实施例中,通过根据待查询的业务标识对应的目标业务处理流水号,从多个日志文件中确定与目标业务处理流水号对应的目标日志文件,由于本申请实施例中的目标日志文件中包括有目标业务处理流水号对应的各日志数据,相对于相关技术中从海量日志数据查询日志数据的方式,本申请实施例中的目标日志文件中的日志数据的数量相对较少,因此,基于目标日志文件中的各日志数据可以节省日志查询分析的时间,从而可以提高日志查询分析效率。
在一个实施例中,图3为本申请另一个实施例中日志数据处理方法的流程示意图,在上述实施例的基础上,本申请实施例中对上述实施例中涉及的多个日志文件的获取方式进行介绍说明。如图3所示,本申请实施例的方法还可以包括以下步骤:
步骤S301、获取待分类的多条日志数据。
本步骤中,服务器可以获取已经生成的待分类的多条日志数据,或者可以实时生成待分类的多条日志数据。
一种可能的实现方式中,服务器在对于各业务的业务处理过程中可以实时生成对应的各日志数据,以记录服务器在业务处理过程中的运行情况等,以便于可以帮助开发人员或者运维人员可以基于日志数据快速地定位业务处理过程中出现的问题。
另一种可能的实现方式中,服务器可以从本地或者其他设备获取已经生成的待分类的多条日志数据。
本实现方式中,服务器通过查询接口从本地获取符合预设查询条件的多条日志数据,或者可以通过与其他设备的通信接口从其他设备获取符合预设获取条件的多条日志数据。
可见,本实现方式中,服务器可以通过预设查询条件或者预设获取条件从相应位置获取符合条件的多条日志的方式,可以提高日志数据的获取效率。
当然,服务器还可以通过其他方式获取待分类的多条日志数据。
步骤S302、根据业务处理流水号将多条日志数据进行分片存储,得到多个日志文件。
本步骤中,服务器可以根据业务处理流水号将上述步骤S301中获取的多条日志数据进行分片存储,以得到多个日志文件;其中,任意日志文件中的各日志数据的业务处理流水号是相同的。
例如,假设日志数据D1对应业务处理流水号1,日志数据D2对应业务处理流水号2,日志数据D3对应业务处理流水号1,日志数据D4对应业务处理流水号3,服务器可以根据业务处理流水号将日志数据D1和日志数据D3存储到日志文件L1,日志数据D2存储到日志文件L2,以及日志数据D4存储到日志文件L3。
可选地,根据业务处理流水号将多条日志数据划分为多个日志数据集合;其中,日志数据集合中的各日志数据对应的业务处理流水号相同;对于各日志数据集合,将日志数据集合中的各日志数据存储到对应的日志文件;其中,日志文件与业务处理流水号相关联。本申请实施例中,服务器可以将业务处理流水号相同的各日志数据划分为相同的日志数据集合,以得到多个日志数据集合,其中,不同日志数据集合对应的业务处理流水号不相同。
例如,假设日志数据D1对应业务处理流水号1,日志数据D2对应业务处理流水号2,日志数据D3对应业务处理流水号1,日志数据D4对应业务处理流水号3,服务器可以根据业务处理流水号将日志数据D1和日志数据D3划分为日志数据集合S1,日志数据D2划分为日志数据集合S2,以及日志数据D4划分为日志数据集合S3。
进一步地,对于各日志数据集合,服务器可以将日志数据集合中的各日志数据存储到对应的日志文件;其中,日志文件与业务处理流水号相关联,以便于可以后续可以通过业务处理流水号查询到对应的日志文件。
例如,服务器可以将日志数据集合S1中的各日志数据存储到日志文件L1、日志数据集合S2中的各日志数据存储到日志文件L2,以及日志数据集合S3存储到日志文件L3。
可见,本申请实施例中,通过根据业务处理流水号将多条日志数据划分为多个日志数据集合,并将各日志数据集合中的各日志数据分别存储到对应的日志文件,可以实现根据业务处理流水号对日志数据进行分片存储,以便于后续可以基于业务处理流水号快速地定位到相应的日志文件,从而可以基于日志文件中的各日志数据快速地进行日志分析处理。
在上述实施例的基础上,若任意日志数据集合中的部分日志数据包括接口调用信息,本申请实施例的日志数据处理方法还可以包括:
根据日志数据集合中的各接口调用信息,确定日志数据集合对应的接口调用顺序;将接口调用顺序存储到日志数据集合对应的日志文件。
示例性地,本申请实施例中的接口调用信息可以用于指示服务器在业务处理过程中的接口调用信息,其中,接口调用信息可以包括但不限于接口的标识和/或接口的调用时间。
本申请实施例中,服务器可以根据日志数据集合中的各接口调用信息,确定日志数据集合对应的接口调用顺序,并将接口调用顺序存储到日志数据集合对应的日志文件,以便于后续可以基于接口调用顺序清晰地了解各个接口的调用顺序和相关的日志数据,从而有利于提高日志查询分析效率。
综上,本申请实施例中,通过获取待分类的多条日志数据,并根据业务处理流水号将多条日志数据进行分片存储的方式,以便于后续可以基于业务处理流水号快速地定位追溯到相应的日志文件,并基于日志文件中的各日志数据快速地进行日志分析处理。
在一个实施例中,图4为本申请另一个实施例中日志数据处理方法的流程示意图,如图4所示,在上述实施例的基础上,本申请实施例中对上述日志数据处理方法中的整体流程进行介绍。如图4所示,本申请实施例的方法还可以包括以下步骤:
S401、服务器可以获取待分类的多条日志数据。
S402、服务器可以根据业务处理流水号将多条日志数据进行分片存储,得到多个日志文件。
S403、服务器可以根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号。
S404、服务器可以根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件。
S405、服务器可以根据目标日志文件进行日志分析处理,得到目标分析结果。
需要说明的是,本申请实施例中的各步骤的可实现方式,可以参考上述实施例中的相关内容,此处不再赘述。
综上,本申请实施例中,通过根据业务处理流水号对日志数据进行分片存储,根据待查询的业务标识对应的目标业务处理流水号进行目标日志文件的定位,以及根据目标日志文件进行日志分析处理的方式,可以大大节约日志查询分析的时间,从而可以提高日志查询分析效率,有利于提高问题定位效率和解决问题效率。
在一个实施例中,图5为本申请另一个实施例中日志数据处理方法的流程示意图,如图5所示,在上述实施例的基础上,本申请实施例中以服务器包括日志数据获取模块和分片存储模块为例,对上述日志数据处理方法中的日志数据存储过程的相关内容进行介绍。如图5所示,本实施例的方法可以包括以下步骤:
1)日志数据获取模块获取待分类的多条日志数据。
示例性地,本申请实施例中的日志数据可以包括但不限于服务器根据终端通过通信接口发送的业务请求在执行业务处理过程中得到的日志数据。
2)分片存储模块根据业务处理流水号将多条日志数据进行分片存储,得到多个日志文件。
示例性地,不同日志文件可以存储在不同存储模块(或者称之为存储分区)上。需要说明的是,为了便于示出,图5中以三个日志文件分别对应的三个存储模块为例示出的。
需要说明的是,本申请实施例中的各步骤的可实现方式和技术效果,可以参考上述实施例中的相关内容,此处不再赘述。
在一个实施例中,图6为本申请另一个实施例中日志数据处理方法的流程示意图,如图6所示,在上述实施例的基础上,本申请实施例中以服务器包括流水号获取模块和查询分析模块为例,对上述日志数据处理方法中的日志数据查询分析过程的相关内容进行介绍。如图6所示,本实施例的方法可以包括以下步骤:
步骤S601、流水号获取模块根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号。
步骤S602、查询分析模块根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件,并根据目标日志文件进行日志分析处理,得到目标分析结果。
需要说明的是,本申请实施例中的各步骤的可实现方式和技术效果,可以参考上述实施例中的相关内容,此处不再赘述。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的日志数据处理方法的日志数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个日志数据处理装置实施例中的具体限定可以参见上文中对于日志数据处理方法的限定,在此不再赘述。
在一个实施例中,图7为本申请一个实施例中日志数据处理装置的结构示意图,本申请实施例提供的日志数据处理装置可以应用于服务器中。如图7所示,本申请实施例的日志数据处理装置,可以包括:第一确定模块701、第二确定模块702和分析模块703。
其中,第一确定模块701,用于根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号;
第二确定模块702,用于根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件;其中,不同日志文件用于存储不同业务处理流水号对应的各日志数据;
分析模块703,用于根据目标日志文件进行日志分析处理,得到目标分析结果。
在一个实施例中,分析模块703具体用于:
根据待查询的附属关键词从目标日志文件中确定各目标日志数据;
根据各目标日志数据进行日志分析处理,得到目标分析结果。
在一个实施例中,目标日志文件中还包括接口调用顺序,分析模块703具体用于:
根据目标日志文件中的接口调用顺序进行日志分析处理,得到目标分析结果。
在一个实施例中,日志数据处理装置还包括:获取模块和存储模块。
其中,获取模块,用于获取待分类的多条日志数据;
存储模块,用于根据业务处理流水号将多条日志数据进行分片存储,得到多个日志文件。
在一个实施例中,存储模块可以包括:划分单元和存储单元。
其中,划分单元,用于根据业务处理流水号将多条日志数据划分为多个日志数据集合;其中,日志数据集合中的各日志数据对应的业务处理流水号相同;
存储单元,用于对于各日志数据集合,将日志数据集合中的各日志数据存储到对应的日志文件;其中,日志文件与业务处理流水号相关联。
在一个实施例中,若日志数据集合中的部分日志数据包括接口调用信息,存储单元还用于:
根据日志数据集合中的各接口调用信息,确定日志数据集合对应的接口调用顺序;
将接口调用顺序存储到日志数据集合对应的日志文件。
本申请实施例提供的日志数据处理装置可以用于执行本申请上述日志数据处理方法实施例中的技术方案,其实现原理和技术效果类似,此处不再赘述。
上述日志数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于服务器中的处理器中,也可以以软件形式存储于服务器中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,图8为本申请一个实施例中服务器的内部结构图,如图8所示,本申请实施例的服务器可以包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口通过输入/输出接口连接到***总线。其中,该服务器的处理器用于提供计算和控制能力。该服务器的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该服务器的输入/输出接口用于处理器与外部设备之间交换信息。该服务器的通信接口用于与外部的设备通过网络连接通信。该计算机程序被处理器执行时以实现本申请上述实施例中的日志数据处理方法。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种服务器,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号;
根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件;其中,不同日志文件用于存储不同业务处理流水号对应的各日志数据;
根据目标日志文件进行日志分析处理,得到目标分析结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据待查询的附属关键词从目标日志文件中确定各目标日志数据;根据各目标日志数据进行日志分析处理,得到目标分析结果。
在一个实施例中,目标日志文件中还包括接口调用顺序,处理器执行计算机程序时还实现以下步骤:
根据目标日志文件中的接口调用顺序进行日志分析处理,得到目标分析结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取待分类的多条日志数据;根据业务处理流水号将多条日志数据进行分片存储,得到多个日志文件。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据业务处理流水号将多条日志数据划分为多个日志数据集合;其中,日志数据集合中的各日志数据对应的业务处理流水号相同;对于各日志数据集合,将日志数据集合中的各日志数据存储到对应的日志文件;其中,日志文件与业务处理流水号相关联。
在一个实施例中,若日志数据集合中的部分日志数据包括接口调用信息,处理器执行计算机程序时还实现以下步骤:
根据日志数据集合中的各接口调用信息,确定日志数据集合对应的接口调用顺序;将接口调用顺序存储到日志数据集合对应的日志文件。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号;
根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件;其中,不同日志文件用于存储不同业务处理流水号对应的各日志数据;
根据目标日志文件进行日志分析处理,得到目标分析结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据待查询的附属关键词从目标日志文件中确定各目标日志数据;根据各目标日志数据进行日志分析处理,得到目标分析结果。
在一个实施例中,目标日志文件中还包括接口调用顺序,计算机程序被处理器执行时还实现以下步骤:
根据目标日志文件中的接口调用顺序进行日志分析处理,得到目标分析结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取待分类的多条日志数据;根据业务处理流水号将多条日志数据进行分片存储,得到多个日志文件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据业务处理流水号将多条日志数据划分为多个日志数据集合;其中,日志数据集合中的各日志数据对应的业务处理流水号相同;对于各日志数据集合,将日志数据集合中的各日志数据存储到对应的日志文件;其中,日志文件与业务处理流水号相关联。
在一个实施例中,若日志数据集合中的部分日志数据包括接口调用信息,计算机程序被处理器执行时还实现以下步骤:
根据日志数据集合中的各接口调用信息,确定日志数据集合对应的接口调用顺序;将接口调用顺序存储到日志数据集合对应的日志文件。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与业务标识对应的目标业务处理流水号;
根据目标业务处理流水号从多个日志文件中确定与目标业务处理流水号对应的目标日志文件;其中,不同日志文件用于存储不同业务处理流水号对应的各日志数据;
根据目标日志文件进行日志分析处理,得到目标分析结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据待查询的附属关键词从目标日志文件中确定各目标日志数据;根据各目标日志数据进行日志分析处理,得到目标分析结果。
在一个实施例中,目标日志文件中还包括接口调用顺序,计算机程序被处理器执行时还实现以下步骤:
根据目标日志文件中的接口调用顺序进行日志分析处理,得到目标分析结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取待分类的多条日志数据;根据业务处理流水号将多条日志数据进行分片存储,得到多个日志文件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据业务处理流水号将多条日志数据划分为多个日志数据集合;其中,日志数据集合中的各日志数据对应的业务处理流水号相同;对于各日志数据集合,将日志数据集合中的各日志数据存储到对应的日志文件;其中,日志文件与业务处理流水号相关联。
在一个实施例中,若日志数据集合中的部分日志数据包括接口调用信息,计算机程序被处理器执行时还实现以下步骤:
根据日志数据集合中的各接口调用信息,确定日志数据集合对应的接口调用顺序;将接口调用顺序存储到日志数据集合对应的日志文件。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(FerroelectricRandom Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(StaticRandom Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种日志数据处理方法,其特征在于,所述方法包括:
根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与所述业务标识对应的目标业务处理流水号;
根据所述目标业务处理流水号从多个日志文件中确定与所述目标业务处理流水号对应的目标日志文件;其中,不同所述日志文件用于存储不同业务处理流水号对应的各日志数据;
根据所述目标日志文件进行日志分析处理,得到目标分析结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标日志文件进行日志分析处理,得到目标分析结果,包括:
根据待查询的附属关键词从所述目标日志文件中确定各目标日志数据;
根据所述各目标日志数据进行日志分析处理,得到所述目标分析结果。
3.根据权利要求1所述的方法,其特征在于,所述目标日志文件中还包括接口调用顺序,所述根据所述目标日志文件进行日志分析处理,得到所述目标分析结果,包括:
根据所述目标日志文件中的所述接口调用顺序进行日志分析处理,得到所述目标分析结果。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
获取待分类的多条日志数据;
根据业务处理流水号将所述多条日志数据进行分片存储,得到多个日志文件。
5.根据权利要求4所述的方法,其特征在于,所述根据业务处理流水号将所述多条日志数据进行分片存储,得到多个日志文件,包括:
根据所述业务处理流水号将所述多条日志数据划分为多个日志数据集合;其中,所述日志数据集合中的各日志数据对应的业务处理流水号相同;
对于各日志数据集合,将所述日志数据集合中的各日志数据存储到对应的日志文件;其中,所述日志文件与所述业务处理流水号相关联。
6.根据权利要求5所述的方法,其特征在于,若所述日志数据集合中的部分日志数据包括接口调用信息,所述方法还包括:
根据所述日志数据集合中的各所述接口调用信息,确定所述日志数据集合对应的接口调用顺序;
将所述接口调用顺序存储到所述日志数据集合对应的日志文件。
7.一种日志数据处理装置,其特征在于,所述装置包括:
第一确定模块,用于根据待查询的业务标识以及预设业务标识与业务处理流水号之间的对应关系,确定与所述业务标识对应的目标业务处理流水号;
第二确定模块,用于根据所述目标业务处理流水号从多个日志文件中确定与所述目标业务处理流水号对应的目标日志文件;其中,不同所述日志文件用于存储不同业务处理流水号对应的各日志数据;
分析模块,用于根据所述目标日志文件进行日志分析处理,得到目标分析结果。
8.一种服务器,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311175241.5A CN117271445A (zh) | 2023-09-12 | 2023-09-12 | 日志数据处理方法、装置、服务器、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311175241.5A CN117271445A (zh) | 2023-09-12 | 2023-09-12 | 日志数据处理方法、装置、服务器、存储介质和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117271445A true CN117271445A (zh) | 2023-12-22 |
Family
ID=89213507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311175241.5A Pending CN117271445A (zh) | 2023-09-12 | 2023-09-12 | 日志数据处理方法、装置、服务器、存储介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117271445A (zh) |
-
2023
- 2023-09-12 CN CN202311175241.5A patent/CN117271445A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111352902A (zh) | 日志处理方法、装置、终端设备及存储介质 | |
CN110162512B (zh) | 一种日志检索方法、装置及存储介质 | |
CN112395157B (zh) | 审计日志的获取方法、装置、计算机设备和存储介质 | |
CN111475105A (zh) | 监控数据存储方法、设备、服务器及存储介质 | |
CN108228611B (zh) | 单据信息抄写方法和装置 | |
CN115858322A (zh) | 日志数据处理方法、装置和计算机设备 | |
CN115481026A (zh) | 测试案例的生成方法、装置、计算机设备、存储介质 | |
CN117271445A (zh) | 日志数据处理方法、装置、服务器、存储介质和程序产品 | |
US9483560B2 (en) | Data analysis control | |
CN116628042A (zh) | 数据处理方法、装置、设备及介质 | |
CN112364007B (zh) | 基于数据库的海量数据交换方法、装置、设备和存储介质 | |
CN106528577B (zh) | 一种设置待清理文件的方法和装置 | |
CN112860755B (zh) | 业务标识生成方法、装置、计算机设备和介质 | |
CN112711608B (zh) | 数据展示方法、装置、计算机可读存储介质和计算机设备 | |
CN116225830A (zh) | 业务操作日志上报方法、装置、计算机设备和存储介质 | |
CN117785674A (zh) | 接口用例生成方法、装置、计算机设备和存储介质 | |
CN117389960A (zh) | 文件解析方法、装置、设备、存储介质和程序产品 | |
CN117632009A (zh) | 基于业务应用的数据存储方法、装置和计算机设备 | |
CN117708117A (zh) | 批量数据处理方法、装置、电子装置和存储介质 | |
CN117135077A (zh) | 虚拟地址访问故障处理方法、装置和计算机设备 | |
CN117635105A (zh) | 抢修方案确定方法、装置、计算机设备和存储介质 | |
CN117312283A (zh) | 分库分表的数据校验方法、装置、计算机设备和存储介质 | |
CN116521546A (zh) | 接口性能的调整方法、装置、计算机设备及存储介质 | |
CN116880927A (zh) | 规则管理方法、装置、计算机设备和存储介质 | |
CN118228716A (zh) | 文件对比方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |