CN115757045A - 一种交易日志分析方法、***及装置 - Google Patents

Abstract

本申请提供一种交易日志分析方法、***及装置，涉及日志分析领域，特别是涉及一种交易日志分析方法，所述方法包括：获取预先制订的标准日志模型；采集各个***上的交易日志数据；根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据；根据所述标准化数据，进行交易分析，得到分析结果。本申请能够兼容不同***、不同格式的日志，能够同时对多个不同部署领域的***进行集中的交易日志分析。

Description

一种交易日志分析方法、***及装置

技术领域

本申请涉及日志分析领域，特别是涉及一种交易日志分析方法、***及装置。

背景技术

目前金融行业信息***规模愈加庞大，部署模式各有不同，交易流水、应用日志散落在云平台、本地机房等多个***上。且各个交易***开发标准各有差异，所指定的日志与流水标准也各不相同，给分析造成困难。现在的解决方案一般是单独搭建监控***，对单个***或部署平台上的日志进行采集和监控，或者手动登录到***上进行日志的查询与数据统计。现有的方案，不能兼容不同***、不同格式的日志，无法同时对多个不同部署领域的***进行集中的交易日志分析。

因此，如何兼容不同***、不同格式的日志，同时对多个不同部署领域的***进行集中的交易日志分析，是本领域技术人员亟待解决的技术问题。

发明内容

为解决上述技术问题，本申请提供一种交易日志分析方法，能够兼容不同***、不同格式的日志，能够同时对多个不同部署领域的***进行集中的交易日志分析。本申请还提供一种交易日志分析***及装置，具有相同的技术效果。

本申请的第一个目的为提供一种交易日志分析方法。

本申请的上述申请目的一是通过以下技术方案得以实现的：

一种交易日志分析方法，包括：

获取预先制订的标准日志模型；

采集各个***上的交易日志数据；

根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据；

根据所述标准化数据，进行交易分析，得到分析结果。

优选地，所述交易日志分析方法中，所述标准日志模型包括标准流水结构，其中：

所述标准流水结构中包括固定字段；

所述固定字段包括：时间戳、交易码、交易描述、交易金额、交易***、技术成功、业务成功、交易结果描述、***名称、交易时延、响应码、主机名。

优选地，所述交易日志分析方法中，所述根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据包括：

根据所述标准日志模型，对所述交易日志数据进行数据提取，得到第一数据；

将所述第一数据转化为标准的数据结构，得到第二数据；

将所述第二数据存入所述标准流水结构中对应的所述固定字段，得到标准化数据。

优选地，所述交易日志分析方法中，所述得到标准化数据之后，还包括：

判断所述标准化数据中交易描述的固定字段是否为空，

若是，则根据所述标准化数据中的交易码的固定字段与预设表，对所述交易描述的固定字段进行补充。

优选地，所述交易日志分析方法中，所述采集各个***上的交易日志数据之后，还包括：

在所述交易日志数据上添加交易时间、交易***名称、主机名称、文件名的字段；

建立基于所述交易时间、所述交易***名称、所述主机名称、所述文件名的筛选机制。

优选地，所述交易日志分析方法中，所述得到标准化数据之后，还包括：

将所述标准化数据存入elasticsearch。

优选地，所述交易日志分析方法中，所述采集各个***上的交易日志数据，通过轻量型日志采集器filebeat完成。

优选地，所述交易日志分析方法中，所述根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据，通过logstash或shell脚本完成。

本申请的第二个目的为提供一种交易日志分析***。

本申请的上述申请目的二是通过以下技术方案得以实现的：

一种交易日志分析***，包括：

模型获取模块，用于获取预先制订的标准日志模型；

数据采集模块，用于采集各个***上的交易日志数据；

数据处理模块，用于根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据；

数据分析模块，用于根据所述标准化数据，进行交易分析，得到分析结果。

本申请的第三个目的为提供一种交易日志分析装置。

本申请的上述申请目的三是通过以下技术方案得以实现的：

一种交易日志分析装置，包括存储介质和处理器，所述存储介质中存储有计算机程序，当所述处理器运行所述存储介质存储的计算机程序时，所述处理器执行上述任一项所述的交易日志分析方法。

上述技术方案，通过采集各个***上的交易日志数据，并根据预先制定的标准日志模型，对交易日志数据进行标准化处理，得到标准化数据，可以实现不同***、不同格式的日志兼容；通过对标准化数据进行交易分析，得到分析结果，可以同时对不同***的交易日志进行统一分析与比较。此外，上述技术方案，无需对***应用进行修改，部署简单，只需修改少量配置文件即可实现，扩展性强，数据整合完成后可联动其他软件或脚本。综上可知，上述技术方案能够兼容不同***、不同格式的日志，能够同时对多个不同部署领域的***进行集中的交易日志分析。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中提供的一种交易日志分析方法的流程示意图；

图2为本申请实施例中日志标准化处理的流程示意图；

图3为本申请实施例中提供的一种交易日志分析***的结构示意图；

图4为本申请实施例中提供的一种交易日志分析装置的结构示意图。

具体实施方式

为了使本领域的技术人员更好地理解本申请中的技术方案，下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请所提供的实施例中，应该理解到，所揭露的方法和***，可以通过其它的方式实现。以下所描述的***实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

本领域普通技术人员可以理解：实现下述方法实施例的全部或部分步骤可以通过程序指令及相关的硬件来完成，前述的程序指令可以存储于计算机可读取存储介质中，该程序指令在执行时，执行包括下述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储介质(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本申请的描述中，“多个”、“若干个”的含义是两个或两个以上，除非另有明确具体的限定。

本申请实施例采用递进的方式撰写。

如图1所示，本申请实施例提供一种交易日志分析方法，包括：

S101.获取预先制订的标准日志模型；

在S101中，可以通过调研各个交易***流水日志的核心要素，归纳并制订符合银行业务情况的标准日志模型；优选地，所述标准日志模型包括标准流水结构，所述标准流水结构中包括固定字段，所述固定字段包括：时间戳、交易码、交易描述、交易金额、交易***、技术成功、业务成功、交易结果描述、***名称、交易时延、响应码、主机名。其中，“时间戳”字段用于对交易日志数据产生的时间进行认证，从而可以验证这段数据在产生后是否经过篡改；“交易描述”字段可以通过交易日志数据解析得出，也可以根据预设交易描述表得到；根据“响应码”字段，可以分析出“技术成功”字段和“业务成功”字段，“技术成功”字段代表该交易在技术路径上无异常，“业务成功”字段代表该交易正常完成，业务成功必定技术成功，技术成功有可能业务不成功；根据“***名”字段和“主机名”字段，可以形成筛选条件，方便对于交易成功率的统计；若“交易金额”字段为空，则可归类于非账务***易，“交易金额”字段不为空，则为账务***易。

S102.采集各个***上的交易日志数据；

在S102中，所述交易日志数据，可以是银行应用监控平台生成的交易日志，银行应用监控平台对于金融交易有较为完整的监控、告警的方案，其可以将交易日志同步归集到本地，保留为交易日志数据；所述交易日志数据，也可以是，其他由应用产生，且包含了交易信息的日志，例如部分后台任务、订阅任务等独立应用，此类应用的监控与分析需根据报文对日志进行解析与整理，将该类日志可单独搜集，并作为交易分析的数据源。考虑到需搜集的日志分散于不同主机的不同目录下，且采集时不能影响业务***的计算资源，优选地，所述采集各个***上的交易日志数据，通过轻量型日志采集器filebeat完成。轻量型日志采集器filebeat能较好的满足日志采集的需求，其具备部署简单、占用资源少、日志搜集快等特点，也可以在日志搜集的同时，进行初步的格式处理，例如如添加主机名、路径等字段、将段内换行合并等。

S103.根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据；

在S103中，所述标准化处理的目的是兼容不同***日志输出规范，根据所述标准日志模型，得到格式统一的标准化数据。同时，在纳入新***时，通过上述步骤，可以不要求新***应用输出标准格式的流水，甚至可以不输出流水日志，从应用日志中同样可以获取到对应的信息，部署方便，扩展性强。优选地，所述根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据，可以通过logstash或shell脚本完成。其中，logstash作为ELK(elasticsearch、logstash、kibana)开源软件中重要的日志处理工具，能高效的解析各个事件，识别字段以构建结构，并将其转化为通用的格式，不受格式与复杂度的影响。Shell脚本与Windows/Dos下的批处理相似，也就是用各类命令预先放入到一个文件中，方便一次性执行的一个程序文件，主要是方便管理员进行设置或者管理。但是它比Windows下的批处理更强大，比用其他编程程序编辑的程序效率更高。

S104.根据所述标准化数据，进行交易分析，得到分析结果。

在S104中，根据整合之后的标准化数据，可以方便的进行交易分析，得到分析结果，优选地，所述分析结果可以包括告警、图表、报表的形式，通过输出报表、图表，进行图形化展示，可以实现数据的可视化，通过告警定制的工作，可以达到快速响应、排查的目的。

目前金融行业信息***规模愈加庞大，部署模式各有不同，交易流水、应用日志散落在云平台、本地机房等多个***上。且各个交易***开发标准各有差异，所指定的日志与流水标准也各不相同，给分析造成困难。现在的解决方案一般是单独搭建监控***，对单个***或部署平台上的日志进行采集和监控，或者手动登录到***上进行日志的查询与数据统计。现有的方案，不能兼容不同***、不同格式的日志，无法同时对多个不同部署领域的***进行集中的交易日志分析。

上述实施例，通过采集各个***上的交易日志数据，并根据预先制定的标准日志模型，对交易日志数据的标准化处理，得到标准化数据，可以实现不同***、不同格式的日志兼容；通过对标准化数据进行交易分析，得到分析结果，可以同时对不同***的交易日志进行统一分析与比较。此外，上述实施例，无需对***应用进行修改，部署简单，只需修改少量配置文件即可实现，扩展性强，数据整合完成后可联动其他软件或脚本。综上可知，上述实施例能够兼容不同***、不同格式的日志，能够同时对多个不同部署领域的***进行集中的交易日志分析。

如图2所示，在上述实施例的基础上，所述根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据的步骤的其中一种实现方式可以包括以下步骤：

S201.根据所述标准日志模型，对所述交易日志数据进行数据提取，得到第一数据；

在S201中，具体地，可以根据所述标准日志模型中的固定字段，对所述交易日志数据进行数据提取，得到所述第一数据。所述第一数据，即可表征所述交易日志数据的核心要素。

S202.将所述第一数据转化为标准的数据结构，得到第二数据；

在S202中，考虑不同***间数据格式存在差异，通过将所述第一数据转化为标准的数据结构，得到第二数据，可以实现数据的归一化处理。

S203.将所述第二数据存入所述标准流水结构中对应的所述固定字段，得到标准化数据。

在S203中，通过将所述第二数据存入所述标准流水结构中对应的所述固定字段，得到标准化数据，实现了不同***日志输出规范的兼容，根据所述标准日志模型，得到格式统一的标准化数据，同时也有利于提高后续数据分析处理的效率。

上述实施步骤，通过结合所述标准日志模型中的所述标准流水结构和所述固定字段，对所述交易日志数据进行标准化处理，实现了不同***日志输出规范的兼容，在保留所述交易日志数据的核心要素的前提下，提高了交易分析效率。

在上述实施例的基础上，所述得到标准化数据之后，还包括：

S301.判断所述标准化数据中交易描述的固定字段是否为空，若是，则根据所述标准化数据中的交易码的固定字段与预设表，对所述交易描述的固定字段进行补充。

在S301中，所述预设表，可以是交易码与交易描述的对应表，其可以根据实际业务需求制定。

上述实施步骤，针对所述交易日志数据中不能解析出交易描述字段的情况，利用交易码的固定字段与预设表，实现了对交易描述的固定字段的补充。

在上述实施例的基础上，所述采集各个***上的交易日志数据之后，还包括：

S401.在所述交易日志数据上添加交易时间、交易***名称、主机名称、文件名的字段；

S402.建立基于所述交易时间、所述交易***名称、所述主机名称、所述文件名的筛选机制。

上述实施步骤，针对应用日志，其搜集的目的主要是进行集中查询，为提高查询效率与精度，在日志搜集完成后依据其来源，添加交易时间、交易***名称、主机名称、文件名的字段，形成基于交易时间、交易***名称、主机名称、文件名的多级筛选条件。在实际运用中应用日志筛选功能，可以达到快速检索、排查的目的。优选地，所述筛选机制中，还可以增加全局事件跟踪号、交易耗时、错误码、交易描述等关键信息，形成更加丰富的多级筛选条件。

在上述实施例的基础上，所述得到标准化数据之后，还包括：

S501.将所述标准化数据存入elasticsearch。

其中，Elasticsearch是位于Elastic Stack核心的分布式搜索和分析引擎，Elasticsearch为所有类型的数据提供近乎实时的搜索和分析，无论是结构化或非结构化文本、数字数据还是日志数据，Elasticsearch都能以支持快速搜索的方式高效地存储和索引数据文本。具体地，可以将所述标准化数据存入elasticsearch对应的index中，并合理设置个字段的类型，并按预定周期进行归档。

如图3所示，在本申请的另一实施例中，还提供一种交易日志分析***，包括：

模型获取模块10，用于获取预先制订的标准日志模型；

数据采集模块11，用于采集各个***上的交易日志数据；

数据处理模块12，用于根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据；

数据分析模块13，用于根据所述标准化数据，进行交易分析，得到分析结果。

作为一种优选的实施方式，所述交易日志分析***中，还包括显示模块，所述显示模块用于显示所述分析结果。其中，所述显示模块可以是显示屏，通过显示屏，可以实时查看所述分析结果，有利于提升管理人员精细化分析运维能力。

如图4所示，在本申请的另一实施例中，还提供一种交易日志分析装置，包括存储介质14和处理器15，所述存储介质14中存储有计算机程序，当所述处理器15运行所述存储介质14存储的计算机程序时，所述处理器15执行上述任一项所述的交易日志分析方法。

其中，处理器15可以包括一个或者多个处理核心。处理器15通过运行或执行存储在存储介质14内的指令、程序、代码集或指令集，调用存储在存储介质14内的数据，执行本申请的各种功能和处理数据。处理器15可以为特定用途集成电路、数字信号处理器、数字信号处理装置、可编程逻辑装置、现场可编程门阵列、中央处理器、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器15功能的电子器件还可以为其它。

其中，存储介质14可用于存储指令、程序、代码、代码集或指令集。存储介质14可以包括存储程序区和存储数据区，其中存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令以及用于实现上述任一交易日志分析方法的指令等；存储数据区可存储上述任一交易日志分析方法中涉及到的数据等。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种交易日志分析方法，其特征在于，包括：

获取预先制订的标准日志模型；

采集各个***上的交易日志数据；

根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据；

根据所述标准化数据，进行交易分析，得到分析结果。

2.如权利要求1所述的方法，其特征在于，所述标准日志模型包括标准流水结构，其中：

所述标准流水结构中包括固定字段；

所述固定字段包括：时间戳、交易码、交易描述、交易金额、交易***、技术成功、业务成功、交易结果描述、***名称、交易时延、响应码、主机名。

3.如权利要求2所述的方法，其特征在于，所述根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据包括：

根据所述标准日志模型，对所述交易日志数据进行数据提取，得到第一数据；

将所述第一数据转化为标准的数据结构，得到第二数据；

将所述第二数据存入所述标准流水结构中对应的所述固定字段，得到标准化数据。

4.如权利要求3所述的方法，其特征在于，所述得到标准化数据之后，还包括：

判断所述标准化数据中交易描述的固定字段是否为空，

若是，则根据所述标准化数据中的交易码的固定字段与预设表，对所述交易描述的固定字段进行补充。

5.如权利要求1所述的方法，其特征在于，所述采集各个***上的交易日志数据之后，还包括：

在所述交易日志数据上添加交易时间、交易***名称、主机名称、文件名的字段；

建立基于所述交易时间、所述交易***名称、所述主机名称、所述文件名的筛选机制。

6.如权利要求1所述的方法，其特征在于，所述得到标准化数据之后，还包括：

将所述标准化数据存入elasticsearch。

7.如权利要求1所述的方法，其特征在于，所述采集各个***上的交易日志数据，通过轻量型日志采集器filebeat完成。

8.如权利要求1所述的方法，其特征在于，所述根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据，通过logstash或shell脚本完成。

9.一种交易日志分析***，其特征在于，包括：

模型获取模块，用于获取预先制订的标准日志模型；

数据采集模块，用于采集各个***上的交易日志数据；

数据处理模块，用于根据所述标准日志模型，对所述交易日志数据进行标准化处理，得到标准化数据；

数据分析模块，用于根据所述标准化数据，进行交易分析，得到分析结果。

10.一种交易日志分析装置，其特征在于，包括存储介质和处理器，所述存储介质中存储有计算机程序，当所述处理器运行所述存储介质存储的计算机程序时，所述处理器执行如权利要求1-8任一项所述的交易日志分析方法。

Images