CN111935140A

CN111935140A - 异常报文识别方法及装置

Info

Publication number: CN111935140A
Application number: CN202010793851.1A
Authority: CN
Inventors: 朱秋生
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2020-08-10
Filing date: 2020-08-10
Publication date: 2020-11-13
Anticipated expiration: 2040-08-10
Also published as: CN111935140B

Abstract

本发明公开了一种异常报文识别方法及装置，属于人工智能技术领域，该方法包括：获取报文数据，并确定所述报文数据对应的处理服务器；将所述报文数据加入到所述处理服务器对应的当天的整日报文数据集中；根据所述当天的整日报文数据集以及所述处理服务器对应的训练好的分类模型识别出所述报文数据是否为异常报文，其中，所述分类模型为以所述处理服务器对应的历史的整日报文数据集作为训练数据并采用预设的分类算法训练得出的。本发明实现了准确、快速的识别出异常报文的有益效果。

Description

异常报文识别方法及装置

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种异常报文识别方法及装置。

背景技术

随着互联网创新的高速发展，业务处理量显著的增长，各业务通过多个处理服务器进行处理，每个处理服务器负责处理业务中的一部分，在进行业务处理时各处理服务器之间通过报文频繁进行交互，以完成具体的业务。目前，各处理服务器之间的交互报文的数据量巨大，如何针对这些数据量巨大的报文进行异常识别是现有技术亟需解决的问题。

发明内容

本发明为了解决上述背景技术中的技术问题，提出了一种异常报文识别方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种异常报文识别方法，该方法包括：

获取报文数据，并确定所述报文数据对应的处理服务器；

将所述报文数据加入到所述处理服务器对应的当天的整日报文数据集中；

根据所述当天的整日报文数据集以及所述处理服务器对应的训练好的分类模型识别出所述报文数据是否为异常报文，其中，所述分类模型为以所述处理服务器对应的历史的整日报文数据集作为训练数据并采用预设的分类算法训练得出的。

可选的，所述整日报文数据集根据预设的多个时间区间分为多个数据子集，每个数据子集对应一个数据项。

可选的，所述数据项包含一个时间特征值以及一个数据列，所述时间特征值由对应的数据子集的时间区间来确定，所述数据列由对应的数据子集包含的所有报文数据来确定。

可选的，所述根据所述当天的整日报文数据集以及所述处理服务器对应的训练好的分类模型中识别出所述处理服务器的异常报文，包括：

根据所述当天的整日报文数据集的数据项以及所述处理服务器对应的训练好的分类模型中识别出所述处理服务器的异常报文。

可选的，所述多个时间区间为连续的，每个时间区间的大小均等于预设值。

可选的，该异常报文识别方法，还包括：

获取各处理服务器各自对应的训练数据，其中，所述训练数据为历史的整日报文数据集；

根据所述训练数据以及所述预设的分类算法训练出各处理服务器各自对应分类模型。

可选的，所述根据所述训练数据以及所述分类算法训练出各处理服务器各自对应分类模型，包括：

根据所述训练数据以及预设的损失函数得到损失函数的值；

根据Softmax分类器对所述损失函数的值进行归一化处理；

使用梯度下降算法优化所述损失函数，进行训练模型。

可选的，所述报文数据包括：报文收/发时间、端口信息、编码类型、报文时长、报文大小、报文协议、路由信息、报文状态以及报文类型中的至少一个。

为了实现上述目的，根据本发明的另一方面，提供了一种异常报文识别装置，该装置包括：

报文数据获取单元，用于获取报文数据，并确定所述报文数据对应的处理服务器；

数据写入单元，用于将所述报文数据加入到所述处理服务器对应的当天的整日报文数据集中；

异常报文识别单元，用于根据所述当天的整日报文数据集以及所述处理服务器对应的训练好的分类模型识别出所述报文数据是否为异常报文，其中，所述分类模型为以所述处理服务器对应的历史的整日报文数据集作为训练数据并采用预设的分类算法训练得出的。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述异常报文识别方法中的步骤。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述异常报文识别方法中的步骤。

本发明的有益效果为：本发明通过历史的整日报文数据集训练出各处理服务器各自对应的分类模型，进而根据训练好的分类模型对当前报文数据中的异常报文进行识别，实现了准确、快速的识别出异常报文的有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例异常报文识别方法的第一流程图；

图2是本发明实施例异常报文识别方法的第二流程图；

图3是本发明实施例模型训练流程图；

图4是本发明实施例异常报文识别装置的第一结构框图；

图5是本发明实施例异常报文识别装置的第二结构框图；

图6是本发明实施例计算机设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

图1是本发明实施例异常报文识别方法的第一流程图，如图1所示，本实施例的异常报文识别方法包括步骤S101至步骤S103。

步骤S101，获取报文数据，并确定所述报文数据对应的处理服务器。

在本发明可选实施例中，各处理服务器通过网关进行报文交互，网关用于对各处理服务器的报文进行中转。本步骤的获取报文数据，具体可以为，网关实时获取各处理服务器交互的每一笔报文的报文数据。进一步，网关根据报文数据中的IP地址确定各报文数据对应的处理服务器。

在本发明可选实施例中，报文数据中记载了处理服务器的IP地址，每个处理服务器各自对应固定的IP地址，本步骤通过报文数据中记载的IP地址就可以确定报文数据对应的处理服务器。

在本发明可选实施例中，报文数据为报文的特征信息集合，一笔报文对应一组报文数据。在本发明可选实施例中，报文数据可以包括：报文收/发时间、端口信息、编码类型、报文时长、报文大小、报文协议、路由信息、报文状态以及报文类型中的至少一个。在本发明一具体实施例中，报文数据具体包括：报文收/发时间、端口信息、编码类型、报文时长、报文大小、报文协议、路由信息、报文状态、报文类型、负载情况、以及收发速度等信息。在本发明实施例中，报文数据中各信息均采用数值化的形式，例如报文状态用预设的不同数值表示不同的状态。

步骤S102，将所述报文数据加入到所述处理服务器对应的当天的整日报文数据集中。

在本发明可选实施例中，每个处理服务器各自每天对应一个整日报文数据集，该整日报文数据集用于存储对应的处理服务器一整天的所有报文数据。在本发明可选实施例中，该整日报文数据集用于存储一天的0点至24:00点的所有报文数据，在整日报文数据集中以各报文数据各自对应的报文收/发时间对各报文数据进行区分，例如，8：45报文数据A、8：46报文数据B、8：47报文数据C。

在本发明一个可选实施例中，整日报文数据集(包括历史的整日报文数据集)包含多个数据项，每个报文数据对应一个数据项，该数据项为一个一维数组，该一维数组表示时间点对应的报文数据，该时间点为报文数据对应的报文收/发时间。本步骤将所述报文数据加入到所述处理服务器对应的当天的整日报文数据集中，生成所述报文数据对应的数据项。

本步骤具体可以为，根据所述报文数据的报文收/发时间将所述报文数据加入到所述处理服务器对应的当天的整日报文数据集中。

步骤S103，根据所述当天的整日报文数据集以及所述处理服务器对应的训练好的分类模型识别出所述报文数据是否为异常报文，其中，所述分类模型为以所述处理服务器对应的历史的整日报文数据集作为训练数据并采用预设的分类算法训练得出的。

在本发明可选实施例中，本步骤根据所述当天的整日报文数据集的数据项以及所述处理服务器对应的训练好的分类模型中识别出所述处理服务器的异常报文。具体的，可以为将所述报文数据对应的数据项输入到所述处理服务器对应的训练好的分类模型中，确定所述报文数据是否为异常报文。

在本发明可选实施例中，所述分类模型可以为曲线模型或者数值分布模型。

在本发明另一个可选实施例中，所述整日报文数据集(包括用于模型训练的历史的整日报文数据集)根据预设的多个时间区间分为多个数据子集，例如每个小时为一个时间区间，按照一天24个小时将整日报文数据集分为24个数据子集。在本发明实施例中，每个数据子集对应一个数据项，所述数据项包含一个时间特征值以及一个数据列，所述数据列可以为一个列向量。所述时间特征值由对应的数据子集对应的时间区间来确定，具体可以为由时间区间确定的一个时间值，也可以为时间区间对应的序号。所述数据列由对应的数据子集包含的所有报文数据来确定，具体可以为将数据子集包含的所有报文数据的每个对应的项进行求和，得到数据列。在本发明实施例中，所述数据列包含的项与报文数据包含的项相同。

在本发明一个实施例中，所述多个时间区间为连续的，每个时间区间的大小均等于预设值。可选的，该预设值的取值范围为大于等于1毫秒小于等于1秒。在本发明优选实施例中，该预设值为1毫秒，这样一天24小时包含86400000毫秒，整日报文数据集分为86400000个数据子集，每个数据子集记载对应毫秒的数据，例如，对于一天的第一个毫秒发送的报文的报文数据，则记载在整日报文数据集中的第一个数据子集中。这样整日报文数据集包含86400000个数据项，各数据项的时间特征值为时间值，单位可以为毫秒，当数据子集中仅包含一个报文数据时，该数据子集对应的数据项的数据列即为该包含的报文数据；当数据子集中仅包含两个及以上报文数据时，将每个报文数据的对应的项进行加和得到数据列。在本发明实施例中，初始时，整日报文数据集中各数据子集对应的数据列用0来表示。

图2是本发明实施例异常报文识别方法的第二流程图，如图2，在本发明可选实施例中，上述步骤S103中的分类模型的训练流程包括步骤S201和步骤S202。

步骤S201，获取各处理服务器各自对应的训练数据，其中，所述训练数据为历史的整日报文数据集。

在本发明实施例中，每个训练数据包含多个数据项。

步骤S202，根据所述训练数据以及所述预设的分类算法训练出各处理服务器各自对应分类模型。

在本发明实施例中，本步骤根据各训练数据的数据项采用预设的分类算法训练进行模型训练，得到各处理服务器各自对应分类模型。

图3是本发明实施例模型训练流程图，如图3所示，在本发明可选实施例中，上述步骤S202的根据所述训练数据以及所述分类算法训练出各处理服务器各自对应分类模型，具体包括步骤S301至步骤S303。

步骤S301，根据所述训练数据以及预设的损失函数得到损失函数的值。

步骤S302，根据Softmax分类器对所述损失函数的值进行归一化处理。

步骤S303，使用梯度下降算法优化所述损失函数，进行训练模型。

在本发明可选实施例中，损失函数包含loss方程以及正则化惩罚项，loss方程包含训练数据中的实际值以及通过一维预估值函数方程得到的预估值，正则化惩罚项由一维预估值函数方程中的一维随机值W来确定。

在本发明另一可选实施例中，模型训练的流程具体可以包括以下步骤：

A、正向传播：构造一个y＝W×x_data+b的一维预估函数方程，其中y为预估标签的值，W可以为一个-1到1之间的一个一维随机值，W也可以为随机函数，b初始化为一个常数值(可以取值0或1等)，x_data为数据项的时间特征值，y为预测的数据项的数据列中的数据。

B、获取预设的loss方程：

其中，

为上述一维预估函数方程输出的预估值，Y_i为实际值，即训练数据中数据项的数据列中的值，该loss方程对预估值和实际值的差进行平方，并对所有差值的平方和求平均值。

C、损失函数的值等于构造的loss方程的值加上正则化惩罚项的值。正则化惩罚项公式为：对一维估值函数方程中的W进行平方再求和。

D、构造Softmax分类器：对损失函数的值进行归一化：公式为先对损失函数的值进行运算，公式为：e^x其中x为计算出损失函数的值，损失函数exp运算后的值相加为分母，以每个损失函数exp运算的值为分子组成一组一维函数，并对这一维函数进行计算损失值公式为y＝-log P其中P为这个一维函数的每个值。

E、使用Adam梯度下降算法优化此损失函数，训练模型。

F、不断通过训练数据进行模型训练，最终拟合出分类模型，该分类模型可以为曲线模型或者数值分布模型。

由以上实施例可以看出，本发明通过历史的整日报文数据集训练出各处理服务器各自对应的分类模型，进而根据训练好的分类模型对当前报文数据中的异常报文进行识别，实现了准确、快速的识别出异常报文，提高了日常巡检工作效率，能够更好各处理服务器的安全稳定的运行。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

基于同一发明构思，本发明实施例还提供了一种异常报文识别装置，可以用于实现上述实施例所描述的异常报文识别方法，如下面的实施例所述。由于异常报文识别装置解决问题的原理与异常报文识别方法相似，因此异常报文识别装置的实施例可以参见异常报文识别方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是本发明实施例异常报文识别装置的第一结构框图，如图4所示，本发明实施例异常报文识别装置包括：

报文数据获取单元1，用于获取报文数据，并确定所述报文数据对应的处理服务器；

数据写入单元2，用于将所述报文数据加入到所述处理服务器对应的当天的整日报文数据集中；

异常报文识别单元3，用于根据所述当天的整日报文数据集以及所述处理服务器对应的训练好的分类模型识别出所述报文数据是否为异常报文，其中，所述分类模型为以所述处理服务器对应的历史的整日报文数据集作为训练数据并采用预设的分类算法训练得出的。

在本发明的可选实施例中，所述整日报文数据集根据预设的多个时间区间分为多个数据子集；每个数据子集对应一个数据项，所述数据项包含一个时间特征值以及一个数据列，所述时间特征值由对应的数据子集的时间区间来确定，所述数据列由对应的数据子集包含的所有报文数据来确定。

在本发明的可选实施例中，所述异常报文识别单元，具体用于根据所述当天的整日报文数据集的数据项以及所述处理服务器对应的训练好的分类模型中识别出所述处理服务器的异常报文。

在本发明的可选实施例中，所述多个时间区间为连续的，每个时间区间的大小均等于预设值。

在本发明的可选实施例中，所述报文数据包括：报文收/发时间、端口信息、编码类型、报文时长、报文大小、报文协议、路由信息、报文状态以及报文类型中的至少一个。

图5是本发明实施例异常报文识别装置的第二结构框图，如图5所示，本发明实施例异常报文识别装置还包括：

训练数据获取单元4，用于获取各处理服务器各自对应的训练数据，其中，所述训练数据为历史的整日报文数据集；

模型训练单元5，用于根据所述训练数据以及所述预设的分类算法训练出各处理服务器各自对应分类模型。

在本发明一个实施例中，所述模型训练单元5包括：

损失函数模块，用于根据所述训练数据以及预设的损失函数得到损失函数的值；

分类器模块，用于根据Softmax分类器对所述损失函数的值进行归一化处理；

损失函数优化模块，用于使用梯度下降算法优化所述损失函数，进行训练模型。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图6所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。

处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。

上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述异常报文识别方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种异常报文识别方法，其特征在于，包括：

获取报文数据，并确定所述报文数据对应的处理服务器；

2.根据权利要求1所述的异常报文识别方法，其特征在于，所述整日报文数据集根据预设的多个时间区间分为多个数据子集，每个数据子集对应一个数据项。

3.根据权利要求2所述的异常报文识别方法，其特征在于，所述数据项包含一个时间特征值以及一个数据列，所述时间特征值由对应的数据子集的时间区间来确定，所述数据列由对应的数据子集包含的所有报文数据来确定。

4.根据权利要求2所述的异常报文识别方法，其特征在于，所述根据所述当天的整日报文数据集以及所述处理服务器对应的训练好的分类模型中识别出所述处理服务器的异常报文，包括：

5.根据权利要求2所述的异常报文识别方法，其特征在于，所述多个时间区间为连续的，每个时间区间的大小均等于预设值。

6.根据权利要求1所述的异常报文识别方法，其特征在于，还包括：

7.根据权利要求6所述的异常报文识别方法，其特征在于，所述历史的整日报文数据集根据预设的多个时间区间分为多个数据子集，每个数据子集对应一个数据项。

8.根据权利要求7所述的异常报文识别方法，其特征在于，所述数据项包含一个时间特征值以及一个数据列，所述时间特征值由对应的数据子集的时间区间来确定，所述数据列由对应的数据子集包含的所有报文数据来确定。

9.根据权利要求6所述的异常报文识别方法，其特征在于，所述根据所述训练数据以及所述分类算法训练出各处理服务器各自对应分类模型，包括：

根据所述训练数据以及预设的损失函数得到损失函数的值；

根据Softmax分类器对所述损失函数的值进行归一化处理；

使用梯度下降算法优化所述损失函数，进行训练模型。

10.根据权利要求1所述的异常报文识别方法，其特征在于，所述报文数据包括：报文收/发时间、端口信息、编码类型、报文时长、报文大小、报文协议、路由信息、报文状态以及报文类型中的至少一个。

11.一种异常报文识别装置，其特征在于，包括：

12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一项所述的方法。

13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求1至10任意一项所述的方法。