CN111782621B - 一种业务应用日志处理方法及装置 - Google Patents
一种业务应用日志处理方法及装置 Download PDFInfo
- Publication number
- CN111782621B CN111782621B CN202010617619.2A CN202010617619A CN111782621B CN 111782621 B CN111782621 B CN 111782621B CN 202010617619 A CN202010617619 A CN 202010617619A CN 111782621 B CN111782621 B CN 111782621B
- Authority
- CN
- China
- Prior art keywords
- log
- type
- stat
- logs
- segmented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 198
- 238000000034 method Methods 0.000 claims abstract description 90
- 238000012216 screening Methods 0.000 claims abstract description 26
- 239000012634 fragment Substances 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 21
- 230000003993 interaction Effects 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 60
- 230000007246 mechanism Effects 0.000 description 23
- 238000005192 partition Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种业务应用日志处理方法及装置，该方法包括：依据第一预设时间间隔获取待处理的业务应用日志；对业务应用日志进行分片处理，得到多个分片数据；基于预设日志类型筛选多个分片数据，得到确定日志类型的分片日志；根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。在本发明实施例中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种业务应用日志处理方法及装置。
背景技术
随着民航信息化的快速发展，在大型主机***上运行的应用程序，每天均会产生大量日志，这些日志记录着主机***的运行状态，由于日志为交互日志，且为了了解主机***的运行状态，在对日志进行处理时需要将多条日志进行上下文对照而形成一个具备完整语义的数据结构。
目前，基于日志产生的时间顺序从消息队列中逐条获取日志，并对单条日志进行处理。在日志上下文处理过程中，由于无法直接从大型主机***上获取业务应用日志，只能通过***设备获取交互日志，因此，业务应用的发送请求和回复请求存在不同的日志中，单条日志中只包含发送请求或回复请求。通过上述方式处理日志，容易出现日志上下文不匹配的情况，从而导致日志的处理过程中存在数据不完整，及不准确的问题。
发明内容
有鉴于此，本发明实施例提供一种业务应用日志处理方法及装置，以解决现有技术中由于日志上下文不匹配，导致日志的处理过程中存在数据不完整，及不准确的问题。
为实现上述目的，本发明实施例提供如下技术方案：
本发明实施例第一方面公开了一种业务应用日志处理方法，所述方法包括：
依据第一预设时间间隔获取待处理的业务应用日志；
对所述业务应用日志进行分片处理，得到多个分片数据；
基于预设日志类型筛选所述多个分片数据，得到确定日志类型的分片日志；
根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。
可选的，所述对所述应用日志进行分片处理，得到多个分片数据，包括：
对所述待处理的业务应用日志进行分片处理，得到多个分片日志和对应所述分片日志的日志偏移量，每一分片日志和对应所述分片日志的日志偏移量组成一分片数据，所述每一个分片日志包括日志数据和冗余数据，所述冗余数据用于存储未包含在日志数据中的回复报文；
将所述分片数据暂存至内部缓存中，将所述日志偏移量存储至消息管理队列。
可选的，所述基于预设日志类型筛选所述多个分片数据，得到确定日志类型的分片日志，包括：
针对每一分片数据，根据所述分片数据中的日志偏移量在内部缓存中读取与所述日志偏移量对应的分片日志；
基于预先存储的服务器名称和监控指标滤除所述多个分片日志中的无效分片日志，得到有效分片日志；
基于预设日志类型筛选所述有效分片日志，得到日志类型为预设日志类型的分片日志，所述预设日志类型包括***内组件输出交互DAUDIT_OUT类型、***间交互输入STAT_IN类型和***间交互输出STAT_OUT类型。
可选的，所述根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果，包括：
若筛选得到的分片日志中仅存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型中任一一种或二种类型的分片日志，将所述业务应用日志丢弃；
若筛选得到的分片日志中存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型三种类型的分片日志，针对每一DAUDIT_OUT类型的分片日志，查找DAUDIT_OUT类型的分片日志的交易ID；
根据所述交易ID在预设时间内查找所有的有效分片日志中是否存在包含所述交易ID的STAT_IN类型的分片日志和STAT_OUT类型的分片日志；
若不存在包含所述交易ID的STAT_OUT类型的分片日志，则将所述DAUDIT_OUT类型的分片日志丢弃；
若不存在包含所述交易ID的STAT_IN类型的分片日志，确定将所述DAUDIT_OUT类型的分片日志对应的日志记录记为超时记录；
若均存在，将所述含有同一交易ID的DAUDIT_OUT类型的分片日志、STAT_IN类型的分片日志和STAT_OUT类型的分片日志构成初始的回环数据；
对所述初始的回环数据进行处理，得到处理结果。
可选的，所述对所述初始的回环数据进行处理，得到处理结果，包括：
确定所述初始的回环数据中的请求信息，所述请求信息用于指示所述初始的回环数据中有用户进行输入操作和输出回复的请求信息，所述请求信息包括同步请求或异步请求；
若为异步请求，根据STAT_IN类型的分片日志中的用户ID在预设时间内查找所有分片日志中是否包含与所述用户ID相同的其他STAT_IN类型的分片日志；
若是，确定所述其他STAT_IN类型的分片日志中是否存在异步标识；
若存在异步标识，重置预设时间，并在重置的预设时间内查找所述其他STAT_IN类型的分片日志中是否存在成功标识或失败标识；
若存在成功标识或失败标识，记录查找到含有成功标识或者失败标识的STAT_IN类型的分片日志的响应时间；
若不存在成功标识或失败标识，将所述STAT_IN类型的分片日志对应的日志记录记为超时记录。
可选的，还包括：
汇总所述处理结果，并基于汇总后的处理结果计算预警值；
判断所述预警值是否等于或大于设定预警值；若满足，则报警。
可选的，还包括：
按照第二预设时间间隔获取所述待处理的业务应用日志的处理结果，并显示。
本发明实施例第二方面公开了一种业务应用日志处理装置，所述装置包括：
采集模块，用于依据第一预设时间间隔获取待处理的业务应用日志；
分片模块，用于对所述应用日志进行分片处理，得到多个分片数据；
筛选模块，用于基于日志类型筛选所述多个分片数据，得到确定日志类型的分片日志；
处理模块，用于根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。
本发明实施例第三方面公开了一种电子设备，所述电子设备用于运行程序，其中，所述程序运行时执行如本发明实施例第一方面所述的业务应用日志处理方法。
本发明实施例第四方面公开了一种计算机存储介质，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如如本发明实施例第一方面所述的业务应用日志处理法。
基于上述本发明实施例提供的一种业务应用日志处理方法及装置，该方法包括：依据第一预设时间间隔获取待处理的业务应用日志；对业务应用日志进行分片处理，得到多个分片数据；基于预设日志类型筛选多个分片数据，得到确定日志类型的分片日志；根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。在本发明实施例中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的业务应用日志处理***的架构示意图；
图2为本发明实施例提供的一种业务应用日志处理方法的流程示意图；
图3为本发明实施例提供的对业务应用日志进行分片处理的流程示意图；
图4为本发明实施例提供的对不同日志类型的分片日志进行处理的流程示意图；
图5为本发明实施例提供的对不同日志类型的分片日志进行处理的流程示意图；
图6为本发明实施例提供的另一种业务应用日志处理方法的流程示意图；
图7为本发明实施例提供的又一种业务应用日志处理方法的流程示意图；
图8为本发明实施例提供的一种业务应用日志处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明实施例中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。
如图1所示，为本发明实施例提供的业务应用日志处理***的架构示意图。该业务应用日志处理***包括：日志采集组件11和日志分析组件12。
该日志分析组件12包括消息管理机构121和临时存储机构122。
基于该***的架构实现针对业务应用日志的处理过程包括：
日志采集组件11通过部署在应用服务器上的采集技术依据第一预设时间间隔采集各个业务应用上的日志，并将采集到的业务应用日志存储至日志采集组件11的消息队列Kafka中。
利用日志分析组件12上部署的分布式***Hadoop或者CDH平台的Spark环境对该业务应用日志进行分析处理，具体的：消息管理机构121获取日志采集组件11中的消息队列Kafka存储的业务应用日志。并对分片处理，得到多个分片数据，并将分片数据暂存至内部缓存，即临时存储机构122中；按照预设日志类型筛选多个分片数据，从而能够确定每一分片日志的日志类型；最后根据不同日志类型的分片日志的处理方式依次处理对应类型的分片日志，得到处理结果，并暂存至临时存储机构122。
继续参见图1，业务应用日志处理***还进一步设置监控报警组件13和输出显示组件14。
监控报警组件13实时监控临时存储机构122中的处理结果，并对该处理结果进行汇总计算，在确定汇总计算后的预警值等于或大于设定预警值时进行报警。
输出显示组件14获取临时存储机构122中的处理结果，并按照第二预设时间间隔刷新显示。
在本发明实施例中，日志采集组件依据第一预设时间间隔获取待处理的业务应用日志，并存储；日志分析组件中的消息管理机构对业务应用日志进行分片处理，得到多个分片数据，并存储日志分析组件的临时存储机构中；日志分析组件中的消息管理机构基于预设日志类型筛选多个分片数据，得到确定日志类型的分片日志；根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。在本发明实施例中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。进一步的，在业务应用日志处理***增设监控报警组件和输出显示组件，能够使用户更好的了解日志的处理情况，以便于用户提供一定的处理措施。
基于上述业务应用日志处理***，参见图2，为本发明实施例提供的一种业务应用日志处理方法的流程示意图，该方法包括：
步骤S201：依据第一预设时间间隔获取待处理的业务应用日志。
在具体实现步骤S201的过程中，日志采集组件通过部署在应用服务器上的分布式数据采集agent技术，依据第一预设时间间隔读取位于应用服务器指定位置的待处理的业务应用日志，并将采集到的待处理的业务应用日志暂存至日志采集组件的消息队列Kafka中。
需要说明的是，第一预设时间间隔是通过多次实验设定，也可以根据技术人员的经验进行设置，比如：可设置为2分钟。
可选的，应用服务器是大型主机***的***设备，应用服务器的指定位置记录着大型主机***的输入和输出日志数据。
步骤S202：对业务应用日志进行分片处理，得到多个分片数据。
在具体实现步骤S202的过程中，包括以下步骤：
步骤S11：对业务应用日志进行分片处理，得到多个分片日志和对应分片日志的日志偏移量。
在步骤S11中，每一分片日志和对应分片日志的日志偏移量组成一分片数据，每一个分片日志包括日志数据和冗余数据，冗余数据用于存储未包含在日志数据中的回复报文。
需要说明的是，日志偏移量包括日志起始偏移量和日志结束偏移量。其中，若日志偏移量所对应的分片日志不为最后一个分片日志，则该分片日志对应的日志结束偏移量为下一分片日志的起始偏移量。
在具体实现步骤S11的过程中，消息管理机构获取消息队列Kafka中暂存的待处理的业务应用日志，按照预设分片数量对待处理的业务应用日志进行分片，得到与预设分片数量对应的分片日志和对应分片日志的日志起始偏移量和结束偏移量。
需要说明的是，预设分片数量通过多次实验设定，也可以根据技术人员的经验进行设置，比如可设置为10。
日志偏移量是指分片日志的实际地址与其所在段的段地址之间的距离。
步骤S12：将分片数据暂存至内部缓存中，将日志偏移量存储至消息管理队列。
在具体实现步骤S12的过程中，将分片数据暂存至Spark集群的内部缓存中，即临时存储机构，将日志偏移量存储至Kafka内部的消息管理队列。
可选的，日志偏移量可以保存在Kafka内部的消息管理队列、分布式应用程序协调服务Zookeeper或高性能的key-value数据库Redis中。
其中，可通过消息管理机构管理消息管理队列Kafka中存储的日志偏移量，比如：将本次读取的分片日志对应的日志结束偏移量保存至消息管理队列Kafka中，作为下一个分片日志读取的日志起始偏移量。
可选的，在对待处理的业务应用日志进行分片的过程中，日志分析组件中的消息管理机构确定每一分片日志中的日志数据和与该日志数据对应的冗余数据中是否存在请求报文，以及与请求报文对应的回复报文，若存在，则将该分片日志中的冗余数据丢弃。
步骤S203：基于预设日志类型筛选多个分片数据，得到确定日志类型的分片日志。
在本发明实施例中，应用服务器中含有主机***全部的输入和输出数据，按照主机***内调用业务应用数据和***外调用业务应用数据，将待处理的业务应用数据进行日志类型设置，比如可预设设置为***内组件输出交互DAUDIT_OUT类型、***间交互输入STAT_IN类型和***间交互输出STAT_OUT类型。
在具体实现步骤S203的过程中，日志分析组件中的消息管理机构基于预设日志类型对多个日志数据进行筛选，从而确定每一分片日志对应日志类型。
步骤S204：根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。
在具体实现步骤S204的过程中，消息管理机构根据分片日志的日志类型，按照与该日志类型对应的分片日志的处理方式依次对分片日志进行处理，得到处理结果，并将处理结果暂存至临时存储机构。
在本发明实施例中，依据第一预设时间间隔获取待处理的业务应用日志；对业务应用日志进行分片处理，得到多个分片数据；基于预设日志类型筛选多个分片数据，得到确定日志类型的分片日志；根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。在本发明实施例中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。
基于上述示出的业务应用日志处理方法，在具体执行步骤S203基于预设日志类型筛选多个分片数据，得到确定日志类型的分片日志的过程中，如图3所示，包括以下步骤：
步骤S301：针对每一分片数据，根据分片数据中的日志偏移量在内部缓存中读取与日志偏移量对应的分片日志。
在具体实现步骤S301的过程中，消息管理机构根据第一个分片数据中的日志起始偏移量，在Spark集群的内部缓存，即临时存储机构中读取分片日志。
步骤S302：基于预设存储的服务器名称和监控指标滤除多个分片日志中的无效分片日志，得到有效分片日志。
在步骤S302中，消息管理机构滤除不包含预设存储的服务器名称和监控指标的分片日志，即无效分片日志，得到有效分片日志。
需要说明的是，监控指标是指评价业务应用自身是否存在问题的数据。
步骤S303：基于预设日志类型筛选有效分片日志，得到日志类型为预设日志类型的分片日志。
在步骤S303中，预设日志类型包括***内组件输出交互DAUDIT_OUT类型、***间交互输入STAT_IN类型和***间交互输出STAT_OUT类型。
在具体实现步骤S303的过程中，根据预设日志类型对有效分片日志进行识别，得到日志类型为预设日志类型的分片日志。
需要说明的是，DAUDIT_OUT类型的分片日志包括对业务应用发送请求的用户身份信息，具体包括对业务应用发送请求的用户对应的用户ID，操作ID、区域ID、***名，所属组织ID等信息；STAT_IN类型的分片日志包括真实发送请求信息、交易ID和用户ID；STAT_OUT类型日志包含真实回复应答信息、交易ID和用户ID。
可选的，由于每一分片日志中可能包含噪声等影响分片日志处理的信息，因此，在筛选得到有效分片日志后，可对有效分片日志进行数据清洗，以去除有效分片日志中影响分片日志处理的信息。
在本发明实施例中，针对每一分片数据，根据分片数据中的日志偏移量在内部缓存中读取与日志偏移量对应的分片日志；基于预设存储的服务器名称和监控指标滤除多个分片日志中的无效分片日志，得到有效分片日志；基于预设日志类型筛选有效分片日志，得到日志类型为预设日志类型的分片日志。以便于后续根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。在本方案中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。
基于上述示出的业务应用日志处理方法，在具体执行步骤S204根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果的过程中，如图4所示，包括以下步骤：
步骤S401：判断筛选得到的分片日志中是否存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型三种类型的分片日志，若仅存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型中任一一种或二种类型的分片日志，执行步骤S402，若筛选得到的分片日志中存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型三种类型的分片日志，则执行步骤S403至步骤S408。
在具体实现步骤S401的过程中，确定筛选得到的有效日志的日志类型，若筛选得到的有效日志的日志类型中仅包括DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型中任一一种或二种类型的分片日志，则执行步骤S402，若筛选得到的有效日志的日志类型中包括DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型三种类型的分片日志，则执行步骤S403至步骤S408。
步骤S402：将业务应用日志丢弃。
在具体实现步骤S402的过程中，将该第一预设时间间隔内获取的业务应用日志丢弃。
步骤S403：针对每一DAUDIT_OUT类型的分片日志，查找DAUDIT_OUT类型的分片日志的交易ID。
在本发明实施例中，筛选得到的有效日志的日志类型中可能存在多个DAUDIT_OUT类型的分片日志、STAT_IN类型的分片日志和STAT_OUT类型的分片日志。因此，需要依次对日志类型对应的有效分片日志进行处理。
在具体实现步骤S403的过程中，对于一个待处理的DAUDIT_OUT类型的分片日志，查找该待处理的DAUDIT_OUT类型的分片日志中的交易ID。
步骤S404：根据交易ID在预设时间内查找所有的有效分片日志中是否存在包含交易ID的STAT_IN类型的分片日志和STAT_OUT类型的分片日志，若不存在包含交易ID的STAT_OUT类型的分片日志，执行步骤S405，若不存在包含交易ID的STAT_IN类型的分片日志，执行步骤S406，若均存在，执行步骤S407和步骤S408。
在具体实现步骤S404的过程中，在预设时间内，查找所有的STAT_IN类型的分片日志和STAT_OUT类型的分片日志中是否含有该交易ID，若查找不到包含与该交易ID一致的交易ID的STAT_OUT类型的分片日志，执行步骤S405；若查找不到包含与该交易ID一致的交易ID的STAT_IN类型的分片日志，执行步骤S406；若查找到包含与该交易ID一致的交易ID的STAT_IN类型的分片日志和STAT_OUT类型的分片日志，执行步骤S407和步骤S408。
需要说明的是，预设时间通过多次实验设定，也可以根据技术人员的经验进行设置，比如可设置为5秒。
步骤S405：将DAUDIT_OUT类型的分片日志丢弃。
在本发明实施例中，当确定该业务应用日志中不存在STAT_OUT类型的分片日志，说明该DAUDIT_OUT类型的分片日志不是构成一条完整回环的数据，因此，在具体实现步骤S405的过程中，将与该交易ID对应的DAUDIT_OUT类型的分片日志丢弃。
步骤S406：确定将DAUDIT_OUT类型的分片日志对应的日志记录记为超时记录。
在具体实现步骤S406的过程中，确定将DAUDIT_OUT类型的分片日志对应的日志记录记为超时记录，即该DAUDIT_OUT类型的分片日志对应的处理结果，将该超时记录进行暂存。
步骤S407：将含有同一交易ID的DAUDIT_OUT类型的分片日志、STAT_IN类型的分片日志和STAT_OUT类型的分片日志构成初始的回环数据。
在具体实现步骤S407的过程中，由于STAT_IN类型的分片日志中含有真实发送请求信息、STAT_OUT类型的分片日志中含有真实回复应答信息，以及DAUDIT_OUT类型的分片日志中有业务应用发送请求的用户身份信息，因此，含有同一交易ID的DAUDIT_OUT类型的分片日志、STAT_IN类型的分片日志和STAT_OUT类型的分片日志能够构成一个完整的初始的回环数据，使得业务应用日志上下文呼应，从而形成一个完整的回环数据结构。
步骤S408：对初始的回环数据进行处理，得到处理结果。
在本发明实施例中，由于大型主机***可能含有一次发送请求信息，多次回复应答信息的异步处理机制，因此需要对初始的回环数据进行进一步处理，得到处理结果。
在本发明实施例中，确定待处理的业务应用日志中每一分片日志的日志类型，针对每一个DAUDIT_OUT类型的分片日志，获取DAUDIT_OUT类型的分片日志的交易ID，以便于查找是否存在含有交易ID的STAT_IN类型的分片日志和STAT_OUT类型的分片日志，若存在，则构建一个初始的回环数据结构，且将在构建初始的回环数据结构的过程中产生的处理结果进行存储。在本方案中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。
基于上述图4示出的业务应用日志处理方法，由于大型主机***可能含有一次发送请求信息，多次回复应答信息的异步处理机制，因此需要对初始的回环数据进行进一步处理，在执行步骤S408对初始的回环数据进行处理，得到处理结果的过程中，结合图4，如图5所示，包括以下步骤：
步骤S501：确定初始的回环数据中的请求信息，若为异步请求，执行步骤S502至步骤S507，若为同步请求，则可以将DAUDIT_OUT类型的分片日志、STAT_IN类型的分片日志和STAT_OUT类型的分片日志构建完整的回环数据。
在步骤S501中，请求信息用于指示初始的回环数据中有用户进行输入操作和输出回复的请求信息，请求信息包括同步请求或异步请求。
在具体实现步骤S501的过程中，判断初始的回环数据中的请求信息是否含有异步标识，若含有，则执行步骤S502至步骤S507，若不含有，则说明该请求信息为同步请求，将DAUDIT_OUT类型的分片日志、STAT_IN类型的分片日志和STAT_OUT类型的分片日志构建完整的回环数据。
需要说明的是，同步请求是指一个发送请求信息要等待上一个发送请求信息执行完之后，才能开始执行该发送请求信息。
异步请求是指一个发送请求信息在执行中，下一个发送请求信息不必等待它执行完，就可以开始执行下一发送请求信息。
异步标识是指用于标识异步请求的标志。
步骤S502：根据STAT_IN类型的分片日志中的用户ID在预设时间内查找所有分片日志中是否包含与用户ID相同的其他STAT_IN类型的分片日志，若有与用户ID相同的其他STAT_IN类型的分片日志，执行步骤S503，若超过预设时间，没有找到有与用户ID相同的其他STAT_IN类型的分片日志，则将该STAT_IN类型的分片日志删除。
在具体实现步骤S502的过程中，由于异步请求对应的回复应答信息的交易ID为空，因此，获取STAT_IN类型的分片日志中的用户ID，并在预设时间内，查找所有分片日志中其他的STAT_IN类型的分片日志是否存在该用户ID，若有与用户ID相同的其他STAT_IN类型的分片日志，执行步骤S503，若超过预设时间，没有找到有与用户ID相同的其他STAT_IN类型的分片日志，则将该STAT_IN类型的分片日志删除。
步骤S503：确定其他STAT_IN类型的分片日志中是否存在异步标识，若存在异步标识，则执行步骤S504，若不存在异步标识，说明不存在多次异步回复应答信息。
在具体实现步骤步骤S503的过程中，判断其他STAT_IN类型的分片日志中是否也存在异步标识，若存在异步标识，说明存在多次异步回复应答信息，并执行步骤S504，若不存在异步标识，说明不存在多次异步回复应答信息。
步骤S504：重置预设时间。
在具体实现步骤S504的过程中，将预设时间重置。
步骤S505：在重置的预设时间内查找其他STAT_IN类型的分片日志中是否存在成功标识或失败标识，若存在成功标识或失败标识，执行步骤S506，若不存在成功标识或失败标识，执行步骤S507。
在具体实现步骤S505的过程中，判断在重置的预设时间内，是否能够找到含有用户ID的其他STAT_IN类型的分片日志中的成功标识或失败标识，若能够找到成功标识或失败标识，则执行步骤S506，若不能找到成功标识或失败标识，则执行步骤S507。
步骤S506：记录查找到的含有成功标识或者失败标识的STAT_IN类型的分片日志的响应时间。
在具体实现步骤S506的过程中，记录查找到的含有成功标识或者失败标识的STAT_IN类型的分片日志的响应时间，即处理STAT_IN类型的分片日志的处理结果，并暂存该响应时间。
需要说明的是，响应时间小于等于重置的预设时间。
步骤S507：将STAT_IN类型的分片日志对应的日志记录记为超时记录。
在具体实现步骤S507的过程中，确定在重置的预设时间内找不到含有成功标识或者失败标识的STAT_IN类型的分片日志，则说明查找超时，并将STAT_IN类型的分片日志对应的日志记录记为超时记录，即记录处理STAT_IN类型的分片日志的处理结果，并暂存该响应时间。
需要说明的是，当处理完一个待处理的DAUDIT_OUT类型的分片日志后，继续查找下一个DAUDIT_OUT类型的分片日志，至返回执行步骤S303，直至循环该待处理的业务应用日志中的所有DAUDIT_OUT类型的分片日志，也就是说，循环该待处理的业务应用日志中的所有的分片日志。
在本发明实施例中，对构建的初始回环数据进行处理，确定初始的回环数据中的请求信息，若为异步请求，确定所有分片日志中包含与用户ID相同的其他STAT_IN类型的分片日志；并确定确定其他STAT_IN类型的分片日志中是否存在异步标识。当存在异步标识时，若确定含有用户ID的其他STAT_IN类型的分片日志中存在成功标识或失败标识，并记录查找到的含有成功标识或者失败标识的STAT_IN类型的分片日志的响应时间；若确定含有用户ID的其他STAT_IN类型的分片日志中不存在成功标识或失败标识，将STAT_IN类型的分片日志对应的日志记录记为超时记录。将在处理初始的回环数据的过程中产生的处理结果进行存储。在本方案中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。
为更好解释说明上述本发明实施例公开的日志处理方法，下面进行举例说明。
假设第一预设时间间隔为2分钟，指定位置为A，待处理的业务应用日志为B，预设分片数量为10，预设时间为5秒，
日志采集组件通过部署在应用服务器上的分布式数据采集agent技术，每隔2分钟读取位于应用服务器指定位置A的待处理的业务应用日志B，并将采集到的待处理的业务应用日志B暂存至日志采集组件的消息队列Kafka中。
消息管理机构获取消息队列Kafka中暂存的待处理的业务应用日志，按照预设分片数量对待处理的业务应用日志进行分片，得到10个分片数据。
其中，每一分片数据由分片日志和对应分片日志的日志起始偏移量和结束偏移量组成。
将分片数据暂存至Spark集群的内部缓存中，将日志偏移量存储至Kafka内部的消息管理队列中。
日志分析组件中的消息管理机构基于预设日志类型对10个日志数据进行筛选，从而确定每一分片日志对应日志类型。
其中，第1个分片日志对应日志类型为DAUDIT_OUT类型1，第2个分片日志对应日志类型为STAT_IN类型1，第3个分片日志对应日志类型为STAT_IN类型2，第4个分片日志对应日志类型为DAUDIT_OUT类型2，第5个分片日志对应日志类型为STAT_IN类型3，第6个分片日志对应日志类型为STAT_IN类型4，第7个分片日志对应日志类型为STAT_IN类型5，第8个分片日志对应日志类型为DAUDIT_OUT类型3，第9个分片日志对应日志类型为STAT_OUT类型1，第10个分片日志对应日志类型为STAT_OUT类型2。
进一步的，需要说明的是，DAUDIT_OUT类型1的分片日志所对应的交易ID为1234；DAUDIT_OUT类型2的分片日志所对应的交易ID为2345；DAUDIT_OUT类型3的分片日志所对应的交易ID为3456；STAT_IN类型2的分片日志和STAT_OUT类型1的分片日志所对应的交易ID均为1234；STAT_IN类型1的分片日志所对应的交易ID均为2345；STAT_OUT类型2的分片日志；STAT_IN类型2的分片日志、STAT_IN类型4的分片日志和STAT_IN类型5的分片日志所对应的用户ID均为11111。
确定筛选得到的分片日志中存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型三种类型的分片日志，针对DAUDIT_OUT类型1的分片日志，获取DAUDIT_OUT类型1的分片日志的交易ID1234。
在5秒内查找到包含该交易ID1234的STAT_IN类型2的分片日志和STAT_OUT类型1的分片日志。
将DAUDIT_OUT类型1的分片日志、STAT_IN类型2的分片日志和STAT_OUT类型1的分片日志构成初始的回环数据。
确定初始的回环数据中的的请求信息为异步请求，获取STAT_IN类型2的分片日志中的用户ID11111，并在5秒内确定10个分片日志中存在与用户ID1111相同的STAT_IN类型4的分片日志和STAT_IN类型5的分片日志。
确定STAT_IN类型4的分片日志和STAT_IN类型5的分片日志中存在异步标识。
重置预设时间，在重置的5秒内查找到STAT_IN类型4的分片日志中存在成功标识或失败标识，记录查找到的含有成功标识或者失败标识的STAT_IN类型4的分片日志的响应时间为3秒。
继续对下一个分片日志进行处理，即对DAUDIT_OUT类型2的分片日志进行处理，获取DAUDIT_OUT类型2的分片日志的交易ID1234。
在5秒内查找到包含该交易ID2345的STAT_IN类型1的分片日志，没有查找到包含该交易ID2345的STAT_OUT类型的分片日志。
将DAUDIT_OUT类型2的分片日志丢弃。
继续对下一个分片日志进行处理，即对DAUDIT_OUT类型3的分片日志进行处理，获取DAUDIT_OUT类型3的分片日志的交易ID3456。
在5秒内查找到包含该交易ID2345的STAT_OUT类型2的分片日志，没有查找到包含该交易ID3456的STAT_IN类型的分片日志。
确定将DAUDIT_OUT类型3的分片日志对应的日志记录记为超时记录，并暂存超时记录至临时存储机构中。
在本发明实施例中，依据第一预设时间间隔获取待处理的业务应用日志；对业务应用日志进行分片处理，得到多个分片数据；基于预设日志类型筛选多个分片数据，得到确定日志类型的分片日志；根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。在本发明实施例中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。
基于上述示出的业务应用日志处理方法，结合图2，如图6所示，还包括：
步骤S205：汇总处理结果，并基于汇总后的处理结果计算预警值。
在具体实现步骤S205的过程中，将每一种处理结果进行汇总，并计算每一种处理结果汇总后的总量和/或平均值，得到与每一种处理结果对应的预警值。
比如：汇总该业务应用日志中记录的每一响应时间，并计算每一响应时间汇总后的平均值，得到响应时间对应的预警值。或者，汇总该业务应用日志中记录的每一超时记录，并计算该业务应用日志中超时记录的次数，得到超时记录对应的预警值。
步骤S206：判断预警值是否等于或大于设定预警值，若满足，则执行步骤S207。
需要说明的是，预警值是经过多次实验设置的，也可以是技术人员根据经验设置的。
步骤S207：报警。
在具体实现步骤S207的过程中，通过调用外部的报警接口进行报警。比如调用外部的报警器进行报警。
在本发明实施例中，汇总处理结果，并基于汇总后的处理结果计算预警值，在确定预警值等于或大于设定预警值时，报警。在业务应用日志处理***增设监控报警组件，能够使用户更好的了解日志的处理情况，以便于用户提供一定的处理措施。
基于上述示出的业务应用日志处理方法，结合图2，如图7所示，还包括：
步骤S208：按照第二预设时间间隔获取待处理的业务应用日志的处理结果，并显示。
在具体实现步骤S208的过程中，实时获取待处理的业务应用日志的处理结果，并按照第二预设时间间隔刷新显示界面上展示的处理结果。
需要说明的是，第二预设时间间隔是通过多次实验设定，也可以根据技术人员的经验进行设置，比如可设置为10秒。
其中，第二预设时间间隔与第一预设时间间隔可以相同，也可以不同。
在本发明实施例中，按照第二预设时间间隔获取待处理的业务应用日志的处理结果，并显示。在业务应用日志处理***增设输出显示组件，能够使用户更好的了解日志的处理情况，以便于用户提供一定的处理措施。
基于上述本发明实施例示出的业务应用日志处理方法，本发明实施例还对应公开了一种业务应用日志处理装置，如图8所示，为本发明实施例提供的一种业务应用日志处理装置的结构示意图，该应用日志处理装置包括：
采集模块801，用于依据第一预设时间间隔获取待处理的业务应用日志。
分片模块802，用于对应用日志进行分片处理，得到多个分片数据。
可选的，分片模块802具体用于：对待处理的业务应用日志进行分片处理，得到多个分片日志和对应分片日志的日志偏移量；将分片数据暂存至内部缓存中，将日志偏移量存储至消息管理队列。
需要说明的是，每一分片日志和对应分片日志的日志偏移量组成一分片数据，每一个分片日志包括日志数据和冗余数据，冗余数据用于存储未包含在日志数据中的回复报文。
筛选模块803，用于基于日志类型筛选多个分片数据，得到确定日志类型的分片日志。
处理模块804，用于根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。
需要说明的是，上述本发明实施例公开的业务应用日志处理装置中的各个模块具体的原理和执行过程，与上述本发明实施的业务应用日志处理方法相同，可参见上述本发明实施例公开的业务应用日志处理方法中相应的部分，这里不再进行赘述。
在本发明实施例中，依据第一预设时间间隔获取待处理的业务应用日志；对业务应用日志进行分片处理，得到多个分片数据；基于预设日志类型筛选多个分片数据，得到确定日志类型的分片日志；根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。在本发明实施例中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。
基于上述本发明实施例示出的业务应用日志处理装置，筛选模块803包括：
读取单元，用于针对每一分片数据，根据分片数据中的日志偏移量在内部缓存中读取与日志偏移量对应的分片日志。
滤除单元，用于基于预先存储的服务器名称和监控指标滤除多个分片日志中的无效分片日志，得到有效分片日志。
筛选单元，用于基于预设日志类型筛选有效分片日志，得到日志类型为预设日志类型的分片日志。
需要说明的是，预设日志类型包括***内组件输出交互DAUDIT_OUT类型、***间交互输入STAT_IN类型和***间交互输出STAT_OUT类型。
在本发明实施例中，针对每一分片数据，根据分片数据中的日志偏移量在内部缓存中读取与日志偏移量对应的分片日志；基于预设存储的服务器名称和监控指标滤除多个分片日志中的无效分片日志，得到有效分片日志；基于预设日志类型筛选有效分片日志，得到日志类型为预设日志类型的分片日志。以便于后续根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。在本方案中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。
基于上述本发明实施例示出的业务应用日志处理装置，处理模块804包括：
确定单元，用于若筛选得到的分片日志中仅存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型中任一一种或二种类型的分片日志，将业务应用日志丢弃。
第一查找单元，用于若筛选得到的分片日志中存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型三种类型的分片日志，针对每一DAUDIT_OUT类型的分片日志，查找DAUDIT_OUT类型的分片日志的交易ID。
第二查找单元，用于根据交易ID在预设时间内查找所有的有效分片日志中是否存在包含交易ID的STAT_IN类型的分片日志和STAT_OUT类型的分片日志，若不存在包含所述交易ID的STAT_OUT类型的分片日志，则执行丢弃单元；若不存在包含所述交易ID的STAT_IN类型的分片日志，则执行第一记录单元；若均存在，则执行构成单元。
丢弃单元，用于将DAUDIT_OUT类型的分片日志丢弃。
第一记录单元，用于确定将DAUDIT_OUT类型的分片日志对应的日志记录记为超时记录。
构成单元，用于将含有同一交易ID的DAUDIT_OUT类型的分片日志、STAT_IN类型的分片日志和STAT_OUT类型的分片日志构成初始的回环数据。
处理单元，用于对初始的回环数据进行处理，得到处理结果。
在本发明实施例中，确定待处理的业务应用日志中每一分片日志的日志类型，针对每一个DAUDIT_OUT类型的分片日志，获取DAUDIT_OUT类型的分片日志的交易ID，以便于查找是否存在含有交易ID的STAT_IN类型的分片日志和STAT_OUT类型的分片日志，若存在，则构建一个初始的回环数据结构，且将在构建初始的回环数据结构的过程中产生的处理结果进行存储。在本方案中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。
进一步的，基于上述本发明实施例示出的业务应用日志处理装置，处理单元具体用于：确定初始的回环数据中的请求信息；若为异步请求，根据STAT_IN类型的分片日志中的用户ID在预设时间内查找所有分片日志中是否包含与用户ID相同的其他STAT_IN类型的分片日志；若是，确定其他STAT_IN类型的分片日志中是否存在异步标识；若存在异步标识，重置预设时间，并在重置的预设时间内查找其他STAT_IN类型的分片日志中是否存在成功标识或失败标识；若存在成功标识或失败标识，记录查找到含有成功标识或者失败标识的STAT_IN类型的分片日志的响应时间；若不存在成功标识或失败标识，将STAT_IN类型的分片日志对应的日志记录记为超时记录。
需要说明的是，请求信息用于指示初始的回环数据中有用户进行输入操作和输出回复的请求信息，请求信息包括同步请求或异步请求。
在本发明实施例中，对构建的初始回环数据进行处理，确定初始的回环数据中的请求信息，若为异步请求，确定所有分片日志中包含与用户ID相同的其他STAT_IN类型的分片日志；并确定确定其他STAT_IN类型的分片日志中是否存在异步标识。当存在异步标识时，若确定含有用户ID的其他STAT_IN类型的分片日志中存在成功标识或失败标识，并记录查找到的含有成功标识或者失败标识的STAT_IN类型的分片日志的响应时间；若确定含有用户ID的其他STAT_IN类型的分片日志中不存在成功标识或失败标识，将STAT_IN类型的分片日志对应的日志记录记为超时记录。将在处理初始的回环数据的过程中产生的处理结果进行存储。在本方案中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。
基于上述本发明实施例示出的业务应用日志处理装置，还包括：
报警模块，用于汇总所述处理结果，并基于汇总后的处理结果计算预警值；判断所述预警值是否等于或大于设定预警值；若满足，则报警。
在本发明实施例中，汇总处理结果，并基于汇总后的处理结果计算预警值，在确定预警值等于或大于设定预警值时，报警。在业务应用日志处理***增设监控报警组件，能够使用户更好的了解日志的处理情况，以便于用户提供一定的处理措施。
基于上述本发明实施例示出的业务应用日志处理装置，还包括：
显示模块，用于按照第二预设时间间隔获取待处理的业务应用日志的处理结果，并显示。
在本发明实施例中，按照第二预设时间间隔获取待处理的业务应用日志的处理结果，并显示。在业务应用日志处理***增设输出显示组件，能够使用户更好的了解日志的处理情况，以便于用户提供一定的处理措施。
本发明实施例提供一种电子设备，所述电子设备用于运行程序，其中，所述程序运行时执行如本发明任一实施例提供的业务应用日志处理方法。
本发明实施例提供一种计算机存储介质，该存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如本发明任一实施例提供的业务应用日志处理方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的***及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种业务应用日志处理方法，其特征在于，所述方法包括：
依据第一预设时间间隔获取待处理的业务应用日志；
对所述业务应用日志进行分片处理，得到多个分片数据；
基于预设日志类型筛选所述多个分片数据，得到确定日志类型的分片日志，其中，所述预设日志类型包括***内组件输出交互DAUDIT_OUT类型、***间交互输入STAT_IN类型和***间交互输出STAT_OUT类型；
若筛选得到的分片日志中仅存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型中任一一种或二种类型的分片日志，将所述业务应用日志丢弃；
若筛选得到的分片日志中存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型三种类型的分片日志，针对每一DAUDIT_OUT类型的分片日志，查找DAUDIT_OUT类型的分片日志的交易ID；
根据所述交易ID在预设时间内查找所有的有效分片日志中是否存在包含所述交易ID的STAT_IN类型的分片日志和STAT_OUT类型的分片日志；
若不存在包含所述交易ID的STAT_OUT类型的分片日志，则将所述DAUDIT_OUT类型的分片日志丢弃；
若不存在包含所述交易ID的STAT_IN类型的分片日志，确定将所述DAUDIT_OUT类型的分片日志对应的日志记录记为超时记录；
若均存在，将含有同一交易ID的DAUDIT_OUT类型的分片日志、STAT_IN类型的分片日志和STAT_OUT类型的分片日志构成初始的回环数据；
对所述初始的回环数据进行处理，得到处理结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述业务应用日志进行分片处理，得到多个分片数据，包括：
对所述待处理的业务应用日志进行分片处理，得到多个分片日志和对应所述分片日志的日志偏移量，每一分片日志和对应所述分片日志的日志偏移量组成一分片数据，所述每一个分片日志包括日志数据和冗余数据，所述冗余数据用于存储未包含在日志数据中的回复报文；
将所述分片数据暂存至内部缓存中，将所述日志偏移量存储至消息管理队列。
3.根据权利要求2所述的方法，其特征在于，所述基于预设日志类型筛选所述多个分片数据，得到确定日志类型的分片日志，包括：
针对每一分片数据，根据所述分片数据中的日志偏移量在内部缓存中读取与所述日志偏移量对应的分片日志；
基于预先存储的服务器名称和监控指标滤除所述多个分片日志中的无效分片日志，得到有效分片日志；
基于预设日志类型筛选所述有效分片日志，得到日志类型为预设日志类型的分片日志。
4.根据权利要求1所述的方法，其特征在于，所述对所述初始的回环数据进行处理，得到处理结果，包括：
确定所述初始的回环数据中的请求信息，所述请求信息用于指示所述初始的回环数据中有用户进行输入操作和输出回复的请求信息，所述请求信息包括同步请求或异步请求；
若为异步请求，根据STAT_IN类型的分片日志中的用户ID在预设时间内查找所有分片日志中是否包含与所述用户ID相同的其他STAT_IN类型的分片日志；
若是，确定所述其他STAT_IN类型的分片日志中是否存在异步标识；
若存在异步标识，重置预设时间，并在重置的预设时间内查找所述其他STAT_IN类型的分片日志中是否存在成功标识或失败标识；
若存在成功标识或失败标识，记录查找到含有成功标识或者失败标识的STAT_IN类型的分片日志的响应时间；
若不存在成功标识或失败标识，将所述STAT_IN类型的分片日志对应的日志记录记为超时记录。
5.根据权利要求1所述的方法，其特征在于，还包括：
汇总所述处理结果，并基于汇总后的处理结果计算预警值；
判断所述预警值是否等于或大于设定预警值；若满足，则报警。
6.根据权利要求1所述的方法，其特征在于，还包括：
按照第二预设时间间隔获取所述待处理的业务应用日志的处理结果，并显示。
7.一种业务应用日志处理装置，其特征在于，所述装置包括：
采集模块，用于依据第一预设时间间隔获取待处理的业务应用日志；
分片模块，用于对所述应用日志进行分片处理，得到多个分片数据；
筛选模块，用于基于预设日志类型筛选所述多个分片数据，得到确定日志类型的分片日志，其中，所述预设日志类型包括***内组件输出交互DAUDIT_OUT类型、***间交互输入STAT_IN类型和***间交互输出STAT_OUT类型；
处理模块，用于若筛选得到的分片日志中仅存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型中任一一种或二种类型的分片日志，将所述业务应用日志丢弃；若筛选得到的分片日志中存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型三种类型的分片日志，针对每一DAUDIT_OUT类型的分片日志，查找DAUDIT_OUT类型的分片日志的交易ID；根据所述交易ID在预设时间内查找所有的有效分片日志中是否存在包含所述交易ID的STAT_IN类型的分片日志和STAT_OUT类型的分片日志；若不存在包含所述交易ID的STAT_OUT类型的分片日志，则将所述DAUDIT_OUT类型的分片日志丢弃；若不存在包含所述交易ID的STAT_IN类型的分片日志，确定将所述DAUDIT_OUT类型的分片日志对应的日志记录记为超时记录；若均存在，将含有同一交易ID的DAUDIT_OUT类型的分片日志、STAT_IN类型的分片日志和STAT_OUT类型的分片日志构成初始的回环数据；对所述初始的回环数据进行处理，得到处理结果。
8.一种电子设备，其特征在于，所述电子设备用于运行程序，其中，所述程序运行时执行如权利要求1-6中任一所述的业务应用日志处理方法。
9.一种计算机存储介质，其特征在于，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-6中任一所述的业务应用日志处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010617619.2A CN111782621B (zh) | 2020-06-30 | 2020-06-30 | 一种业务应用日志处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010617619.2A CN111782621B (zh) | 2020-06-30 | 2020-06-30 | 一种业务应用日志处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111782621A CN111782621A (zh) | 2020-10-16 |
| CN111782621B true CN111782621B (zh) | 2023-12-22 |
Family
ID=72761411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010617619.2A Active CN111782621B (zh) | 2020-06-30 | 2020-06-30 | 一种业务应用日志处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111782621B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113312321A (zh) * | 2021-05-31 | 2021-08-27 | 中国民航信息网络股份有限公司 | 一种业务量的异常监测方法及相关设备 |
| CN113485891A (zh) * | 2021-06-30 | 2021-10-08 | 中国民航信息网络股份有限公司 | 业务日志监控方法、装置、存储介质及电子设备 |
| CN115277382B (zh) * | 2022-07-27 | 2024-06-04 | 腾讯音乐娱乐科技（深圳）有限公司 | 日志获取方法、日志平台和计算机程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6539434B1 (en) * | 1998-11-30 | 2003-03-25 | Ibm Corporation | UOWE's retry process in shared queues environment |
| CN105808414A (zh) * | 2016-03-08 | 2016-07-27 | 联想(北京)有限公司 | 一种日志处理方法及日志处理电子设备 |
| CN106126383A (zh) * | 2016-06-01 | 2016-11-16 | 杭州华三通信技术有限公司 | 一种日志处理方法和装置 |
| CN110262942A (zh) * | 2019-06-13 | 2019-09-20 | 腾讯科技(成都)有限公司 | 一种日志分析方法及装置 |
-
2020
- 2020-06-30 CN CN202010617619.2A patent/CN111782621B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6539434B1 (en) * | 1998-11-30 | 2003-03-25 | Ibm Corporation | UOWE's retry process in shared queues environment |
| CN105808414A (zh) * | 2016-03-08 | 2016-07-27 | 联想(北京)有限公司 | 一种日志处理方法及日志处理电子设备 |
| CN106126383A (zh) * | 2016-06-01 | 2016-11-16 | 杭州华三通信技术有限公司 | 一种日志处理方法和装置 |
| CN110262942A (zh) * | 2019-06-13 | 2019-09-20 | 腾讯科技(成都)有限公司 | 一种日志分析方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Elasticsearch的实时集群日志采集和分析***实现;胡庆宝等;科研信息化技术与应用;第7卷(第3期);13-18 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111782621A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111782621B (zh) | 一种业务应用日志处理方法及装置 | |
| CN110661659B (zh) | 一种告警方法、装置、***及电子设备 | |
| US9021077B2 (en) | Management computer and method for root cause analysis | |
| US7936260B2 (en) | Identifying redundant alarms by determining coefficients of correlation between alarm categories | |
| US8353043B2 (en) | Web firewall and method for automatically checking web server for vulnerabilities | |
| CN111177165B (zh) | 数据一致性检测的方法、装置及设备 | |
| US8468134B1 (en) | System and method for measuring consistency within a distributed storage system | |
| CN111143158B (zh) | 一种监控数据实时存储方法、***、电子设备及存储介质 | |
| CN111314158B (zh) | 大数据平台监控方法、装置及设备、介质 | |
| JP6633642B2 (ja) | 分散データベースにおけるデータブロックを処理する方法およびデバイス | |
| CN109218401B (zh) | 日志采集方法、***、计算机设备和存储介质 | |
| CN111221890B (zh) | 通用指标类自动监控预警方法及装置 | |
| CN110780815A (zh) | 日志的删除方法及装置 | |
| CN113342608A (zh) | 流式计算引擎任务的监控方法及装置 | |
| CN107632926B (zh) | 业务数量统计方法、装置、设备及计算机可读存储介质 | |
| CN113010208A (zh) | 一种版本信息的生成方法、装置、设备及存储介质 | |
| CN110633165B (zh) | 故障处理方法、装置、***服务器及计算机可读存储介质 | |
| CN112905106B (zh) | 一种数据处理方法、装置、***、设备及存储介质 | |
| CN113868096B (zh) | 异步数据传输的监控方法及装置、电子设备、存储介质 | |
| CN114629786A (zh) | 日志实时分析方法、装置、存储介质及*** | |
| CN110505238B (zh) | 基于edr的消息队列的处理装置和方法 | |
| CN110515803B (zh) | 针对日志消息的处理方法、装置以及电子设备 | |
| JP4445750B2 (ja) | 因果関係推定プログラム及び因果関係推定方法 | |
| CN113485891A (zh) | 业务日志监控方法、装置、存储介质及电子设备 | |
| CN113421109A (zh) | 一种业务核对方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |