CN110472114B - 异常数据预警方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种异常数据预警方法、装置、计算机设备及存储介质，通过获取数据统计请求，数据统计请求包括约束条件和分类标签；根据约束条件在数据库中查询，获取待评估数据；对待评估数据进行识别，获取每一待评估数据的待评估信息；采用分类标签对待评估信息进行分类，得到待评估信息分类集；对每一待评估信息集中的待评估信息进行整合，得到每一待评估信息集的统计数据，根据不同的维度对每一待评估信息集的统计信息进行横向匹配，得到每一待评估信息集的异常信息；采用预设的基准数据对每一待评估信息集的异常信息进行合规校验，并根据合规校验失败的目标异常信息生成预警信息；从而提高了对异常数据进行预警的效率和准确性。

Description

异常数据预警方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据处理领域，尤其涉及一种异常数据预警方法、装置、计算机设备及存储介质。

背景技术

随着互联网技术和云计算的不断发展，人类社会开始步入了大数据时代，基于大数据的复杂和多样性，在海量的数据中往往存在一些不符合要求的异常数据，因此，对数据进行准确预警变得越来越重要。传统的异常数据预警方法往往只是根据***预先设定好的预警条件进行预警；对于会经常发生变化或更新的数据，采用传统的异常数据预警方法进行数据预警会存在很多的局限性，对异常数据进行预警的结果不够准确。

发明内容

本发明实施例提供一种异常数据预警方法、装置、计算机设备及存储介质，以解决对异常数据进行预警的准确性不高的问题。

一种异常数据预警方法，包括：

获取数据统计请求，所述数据统计请求包括约束条件和分类标签；

根据所述约束条件在数据库中查询，获取待评估数据；

对所述待评估数据进行识别，获取每一所述待评估数据的待评估信息；

采用所述分类标签对所述待评估信息进行分类，得到待评估信息分类集，所述待评估信息分类集包括N个待评估信息集，N为正整数；

对每一所述待评估信息集的待评估信息进行整合，得到每一所述待评估信息集的统计数据，其中，所述统计数据包括至少两个维度的统计信息；

根据不同的维度对每一所述待评估信息集的所述统计信息进行横向匹配，得到每一所述待评估信息集的异常信息；

采用预设的基准数据对每一所述待评估信息集的所述异常信息进行合规校验，获取合规校验失败的目标异常信息，并根据所述目标异常信息生成预警信息。

一种异常数据预警装置，包括：

数据统计请求获取模块，用于获取数据统计请求，所述数据统计请求包括约束条件和分类标签；

待评估数据获取模块，用于根据所述约束条件在数据库中查询，获取待评估数据；

识别模块，用于对所述待评估数据进行识别，获取每一所述待评估数据的待评估信息；

分类模块，用于采用所述分类标签对所述待评估信息进行分类，得到待评估信息分类集，所述待评估信息分类集包括N个待评估信息集，N为正整数；

整合模块，用于对每一所述待评估信息集的待评估信息进行整合，得到每一所述待评估信息集的统计数据，其中，所述统计数据包括至少两个维度的统计信息；

横向匹配模块，用于根据不同的维度对每一所述待评估信息集的所述统计信息进行横向匹配，得到每一所述待评估信息集的异常信息；

合规校验模块，用于采用预设的基准数据对每一所述待评估信息集的所述异常信息进行合规校验，获取合规校验失败的目标异常信息，并根据所述目标异常信息生成预警信息。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述异常数据预警方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述异常数据预警方法。

上述异常数据预警方法、装置、计算机设备及存储介质，通过获取数据统计请求，数据统计请求包括约束条件和分类标签；根据约束条件在数据库中查询，获取待评估数据；对待评估数据进行识别，获取每一待评估数据的待评估信息；采用分类标签对待评估信息进行分类，得到待评估信息分类集，待评估信息分类集包括N个待评估信息集，N为正整数；对每一待评估信息集的待评估信息进行整合，得到每一待评估信息集的统计数据，其中，统计数据包括至少两个维度的统计信息；根据不同的维度对每一待评估信息集的统计信息进行横向匹配，得到每一待评估信息集的异常信息；采用预设的基准数据对每一待评估信息集的异常信息进行合规校验，获取合规校验失败的目标异常信息，并根据目标异常信息生成预警信息；从而提高了对异常数据进行预警的效率和准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中异常数据预警方法的一应用环境示意图；

图2是本发明一实施例中异常数据预警方法的一示例图；

图3是本发明一实施例中异常数据预警方法的另一示例图；

图4是本发明一实施例中异常数据预警方法的另一示例图；

图5是本发明一实施例中异常数据预警方法的另一示例图；

图6是本发明一实施例中异常数据预警方法的另一示例图；

图7是本发明一实施例中异常数据预警装置的一原理框图；

图8是本发明一实施例中异常数据预警装置的另一原理框图；

图9是本发明一实施例中异常数据预警装置的另一原理框图；

图10是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的异常数据预警方法，该异常数据预警方法可应用如图1所示的应用环境中。具体地，该异常数据预警方法应用在异常数据预警***中，该异常数据预警***包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于解决数据预警的准确性不高的问题。其中，客户端又称为用户端，是指与服务端相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种异常数据预警方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：

S10：获取数据统计请求，数据统计请求包括约束条件和分类标签。

其中，数据统计请求指对数据进行统计的触发请求。可选地，该数据统计请求可以由客户端发送至服务端，也可以由客户端设置进行定时触发，或者设置一个触发条件进行触发。该触发条件可以为数据量、时间或者其他等。例如，可以通过设定一个触发周期和具体的触发时间，客户端根据触发周期和触发时间来定时向服务端发送数据统计请求。例如：设定触发周期为一个月，触发时间为每个月的1号，则客户端会在每个月的1号向服务端发送数据统计请求。

约束条件指指对数据进行筛选或选择的一种条件。可选地，约束条件可以为数据交易时间、数据导入时间、数据对象、数据类型、数据来源或数据金额等。具体地，用户在客户端页面的约束条件筛选框中输入或选取对应的约束信息后，即可生成约束条件。其中，约束信息指用户在客户端页面对数据进行筛选时所输入或选取的信息。分类标签指用于区别不同类型的数据的一种标识信息。可选地，分类标签可以为消费、健康、交易、财务或测试等不同类型的数据标识信息。例如：消费又可以包括旅游、出差或者餐饮等。

在一应用场景中，用户可通过在客户端页面的约束条件筛选框和分类标签筛选框中分别输入或选取对应的约束条件和分类标签后，点击“确认”按钮或者通过命令行输入相应的控制指令，从而触发该数据统计请求，并将该数据统计请求发送给服务端，以使服务端接收到该数据统计请求，从而使服务端可根据该数据统计请求执行数据统计的操作。

S20：根据约束条件在数据库中查询，获取待评估数据。

其中，待评估数据指从数据库中筛选出的满足约束条件的数据。可选地，待评估数据可以为消费数据、业务数据或健康数据等。在一具体实施例中，数据库中预先存储有若干数据，且每一数据都有对应的数据标签，该数据标签可以为每一待评估数据存入数据库时的存储时间，也可以为每一待评估数据的数据属性。具体地，服务端在获取到数据统计请求所携带的约束条件后，以该约束条件作为查询字段，执行与该查询字段相对应的查询语句，从数据库中获取满足该约束条件的待评估数据。示例性地，若从客户端获取的数据统计请求所携带的约束条件包括数据导入时间：2018-01-01至2018-12-12、数据来源：xx公司、数据类型：消费数据，则服务端根据约束条件对数据库中预先存储的若干数据进行筛选后，获取的待评估数据为在2018-01-01至2018-12-12时间段内xx公司的消费数据。

S30：对待评估数据进行识别，获取每一待评估数据的待评估信息。

其中，待评估信息指对待评估数据进行识别后所生成的文字信息。在一具体实施方式中，将待评估数据存储到数据库时可能直接以扫描图像、或者图片的形式存储在数据库。因此，为了保证后续对待评估数据进行分类的准确性，需采用文字识别技术对待评估数据进行识别，从而获取每一待评估数据的待评估信息。其中，文字识别技术可以为OCR识别技术。例如：若某一待评估数据为“餐饮***”的扫描图片，则采用文字识别技术对该“餐饮***”的图片进行识别后，得到该待评估数据的待评估信息包括有：消费时间：2018年10月10日，消费总额：530元，部门：市场部，消费类型：餐饮等。可以理解地，若获取的待评估数据为一具体的文本信息，则直接将待评估数据作为待评估信息。

S40：采用分类标签对待评估信息进行分类，得到待评估信息分类集，待评估信息分类集包括N个待评估信息集，N为正整数。

在获取到每一待评估数据的待评估信息，根据数据统计请求携带的分类标签对每一待评估数据的待评估信息进行分类，得到待评估信息分类集。其中，待评估信息分类集指将获取的待评估信息，按照分类标签进行分类后的数据集。待评估信息分类集包括N个待评估信息集。可以理解地，同一待评估信息集所包含的待评估信息的数据类型相同，不同待评估信息集所包含的待评估信息的数据类型不同。例如：若分类标签包括文具、旅游、餐饮和出差，则采用分类标签对待评估信息进行分类后，得到的待评估信息分类集包括文具待评估信息集、旅游待评估信息集、餐饮待评估信息集和出差待评估信息集。

具体地，采用分类标签对所述待评估信息进行分类，可先对每一待评估信息进行关键词提取，然后采用字符串匹配算法或者正则匹配法，将分类标签与每一待评估信息的关键词进行匹配，将与待评估信息的关键词匹配度最高的分类标签，作为该待评估信息的分类类别；或者，先对每一待评估信息进行特征提取，获取每一待评估信息的信息特征；然后采用相似度算法，将分类标签与每一待评估信息的信息特征进行匹配，将与待评估信息的信息特征相似度最高的分类标签，作为该待评估信息的分类类别；最后将相同分类类别的待评估信息归纳为同一待评估信息集，将不同分类类别的待评估信息归纳为另一一待评估信息集，最后得到包括N个待评估信息集组成的待评估信息分类集。

S50：对每一待评估信息集的待评估信息进行整合，得到每一待评估信息集的统计数据，其中，统计数据包括至少两个维度的统计信息。

具体地，对每一待评估信息集的待评估信息进行整合是指将每一待评估信息集的待评估信息按照预设的统计因子进行汇总的过程。可选地，统计因子可以为将每一待评估信息集的待评估信息以部门为单位进行整合，或者将每一待评估信息集的待评估信息以消费金额为单位进行整合，还可以将每一待评估信息集的待评估信息以消费时间为单位进行整合等。优选地，为了保证得到的每一待评估信息集的统计数据的直观性和多样性，在本实施例中，将每一待评估信息集的待评估信息至少以两种不同的统计因子进行整合，得到包括至少两个维度的统计信息的统计数据。其中，维度是指有分类意义的列，每一维度在数据表中都对应一列。例如：将对每一待评估信息集的待评估信息同时以部门为单位和以消费时间为单位进行整合，得到每一待评估信息集的的统计数据。其中，该统计数据包括2个维度的统计信息。示例性地，第一维度的统计信息可以包括不同部门在同一消费时间的具体消费数据，第二维度的统计信息可以包括同一部门在不同消费时间的具体消费数据。

在本步骤中，将每一待评估信息集的待评估信息至少以两种不同的统计因子为单位进行整合，比如以部门为单位和以消费时间为单位进行整合，得到的每一待评估信息集的统计数据可更好地体现出不同部门在同一时间段中的消费数据，和同一部门在不同时间段的消费数据，进一步保证了得到的每一待评估信息集的统计数据的直观性和多样性。

S60：根据不同的维度对每一待评估信息集的统计信息进行横向匹配，得到每一待评估信息集的异常信息。

其中，异常信息指对每一待评估信息集中同一维度上的统计信息进行一一匹配后，得到的不满足预定要求的数据。具体地，根据不同的维度对每一待评估信息集的信息数据进行横向匹配，可将每一待评估信息集中同一维度上的统计信息进行求和后取平均值，得到一个平均数据，然后将该维度上的统计信息分别与该平均数据进行一一比对，得到一个差值数据，最后判断该差值数据是否在设定阈值范围内，若该差值数据不在设定阈值范围内，则判断该差值数据对应的统计信息为异常信息，若该差值数据在设定阈值范围内，则判断该差值数据对应的统计信息为非异常信息。其中，设定阈值指用于评估每一待评估信息集中同一维度上的统计信息是否属于异常信息的阈值，用户可根据实际情况自定义设置。可以理解地，不同的维度上所对应的设定阈值可能不同。

另外地，还可以预先给每一待评估信息集中的每一统计信息分别设定一对应的预设值，然后将每一统计信息与对应的预设值进行关联和建立索引，并存储在服务端的数据库；在得到每一待评估信息集的统计信息后，每一统计信息可根据索引从服务端的数据库获取对应的预设值，并与获取的预设值进行一一比较；若设定的预设值为一具体的数值，则将超过对应的预设值的统计信息确定为异常信息，若设定的预设值为一数值范围，则将不在对应的数值范围内的统计信息确定为异常信息。

S70：采用预设的基准数据对每一待评估信息集的异常信息进行合规校验，获取合规校验失败的目标异常信息，并根据目标异常信息生成预警信息。

其中，基准数据是指用于评估每一待评估信息集的异常信息是否为非合规的异常信息的数据。在一具体实施例中，由于每一异常信息所对应的基准数据可能不同，因此，在采用预设的基准数据对每一待评估信息集的异常信息进行合规校验时，需先根据每一异常信息所对应的目标表头信息从数据库获取对应的基准数据，然后判断该异常信息是否满足对应的基准数据，若该异常信息不满足对应的基准数据，则确定该异常信息为非合规的异常信息，即为目标异常信息，反之，若该异常信息满足对应的基准数据，则确定该异常信息为合规的异常信息。可选地，基准数据可以为一具体的数值，也可以为一数值范围，若基准数据为一具体的数值，则将超过对应的基准数据的异常信息确定为合规校验失败的目标异常信息，若基准数据为一数值范围，则将不在对应的数值范围内的异常信息确定为合规校验失败的目标异常信息。

进一步地，在确定了目标异常信息之后，服务端会根据每一目标异常信息生成的对应的预警信息。其中，预警信息指为提示用户该统计信息为非合理数据的信息。具体地，可以通过将对应的统计信息自动标识为红色警告显示在客户端页面以提示用户该统计信息为非合理数据。

在本步骤中，先采用预设的基准数据对每一待评估信息集的异常信息进行合规校验，然后再将合规校验失败的异常信息确定为目标异常信息，可进一步提高获取的目标异常信息的准确性和客观性。

在本实施例中，通过获取数据统计请求，数据统计请求包括约束条件和分类标签；根据约束条件在数据库中查询，获取待评估数据；对待评估数据进行识别，获取每一待评估数据的待评估信息；采用分类标签对待评估信息进行分类，得到待评估信息分类集，待评估信息分类集包括N个待评估信息集，N为正整数；对每一待评估信息集的待评估信息进行整合，得到每一待评估信息集的统计数据，其中，统计数据包括至少两个维度的统计信息；根据不同的维度对每一待评估信息集的统计信息进行横向匹配，得到每一待评估信息集的异常信息；采用预设的基准数据对每一待评估信息集的异常信息进行合规校验，获取合规校验失败的目标异常信息，并根据目标异常信息生成预警信息；提高了对异常数据进行预警的效率和准确性。

在一实施例中，如图3所示，采用分类标签对待评估信息进行分类，得到待评估信息分类集，具体包括如下步骤：

S401：对每一待评估信息进行特征提取，获取每一待评估信息的特征项数据。

其中，特征项数据是指由待评估信息提取到的可体现属性的具体特征项的数据。在本实施例中，特征项数据可以为体现消费类型的数据。具体地，可先预先定义好能体现消费类型的特定字段，在获取到对每一待评估信息后，采用关键词提取算法定位出特定字段在每一待评估信息中的具***置，从每一待评估信息中获取对应的特征项数据。其中，关键词提取算法是指从文本中提取文本的关键词的算法。例如：若预先设定的特定字段为花费项目，花费项目可以为：钢笔、笔记本、橡皮擦或日历等；某一待评估信息为“营销1部购买钢笔花费500元，则采用关键词提取算法定位出“花费项目”在待评估信息中的位置，再提取“花费项目”对应的值(钢笔)作为特征项数据。

S402：基于分类标签从数据库中获取与分类标签对应的关键词库。

其中，关键词库是预先设置的存储有若干不同类型的关键词的词库。在一具体的实施例中，服务端的数据库预先存储有多个关键词库，且不同关键词库所对应存储的关键词的类型不同。每一关键词库都有对应的词库标识，以便服务端后续基于该词库标识可快速、准确查询到对应的关键词库。具体地，基于分类标签从数据库中获取与分类标签对应的关键词库，可采用字符串匹配算法将从数据统计请求中获取的每一分类标签与数据库中的每一关键词库的词库标识进行一一匹配，将与分类标签匹配程度最高的词库标识所对应的关键词库，作为该分类标签对应的关键词库。

S403：采用关键词库对特征项数据进行匹配，得到每一待评估信息的分类类别。

不同分类标签所对应关键词库中的关键词的类型不同，例如：文具分类标签对应的关键词库中包含的关键词可能为：铅笔、橡皮擦、尺子和笔记本等。旅行分类标签对应的关键词库中包含的关键词可能为：春游、秋游、季度游、年会等。具体地，可采用字符串匹配算法或正则匹配法，将根据步骤S401得到的每一待评估信息的特征项数据，与每一分类标签所对应关键词库中的关键词进行一一匹配处理，将与待评估信息的特征项数据匹配度最高的关键词所在的关键词库，作为该待评估信息的目标关键词库，并将该目标关键词库所对应的分类标签作为该待评估信息的分类类别。例如：若某一待评估数据的特征项数据为钢笔，采用关键词库对该特征项数据进行匹配后，得到该特征项数据与文具分类标签所对应的关键词库中的关键词铅笔的匹配度最高，则将文具分类标签作为该待评估信息的分类类别。

S404：根据分类类别对每一待评估信息进行分类，得到待评估信息分类集。

具体地，根据分类类别对每一待评估信息进行分类，将分类类别相同的待评估信息作为同一类型的待评估信息集，将分类类别不同的待评估信息作为不同类型的待评估信息集。最后，得到由若干不同类型的待评估信息集所组成的待评估信息分类集。可以理解地，同一待评估信息集中所包含的待评估信息所对应的分类类别相同，不同待评估信息集中所包含的待评估信息所对应的分类类别不同。

在本实施例中，通过对每一待评估信息进行识别，获取每一待评估信息的特征项数据；基于分类标签从数据库中获取与分类标签对应的关键词库；采用关键词库对特征项数据进行匹配，得到每一待评估信息的分类类别；根据分类类别对每一待评估信息进行分类，得到待评估信息分类集；根据不同的分类标签对获取的待评估信息进行分类，便于后续对待评估信息的分析处理。

在一实施例中，如图4所示，对每一待评估信息集的待评估信息进行整合，得到每一待评估信息集的统计数据，具体包括如下步骤：

S501：获取预设的基准数据表，基准数据表包括至少两个分页数据表，每一分页数据表包括表格ID和表头信息。

其中，基准数据表是服务端预先设置用来存储每一待评估信息集的待评估信息的表格。在本实施例中，该基准数据表中预先存储有多个分页数据表，且每一分页数据表包括表格ID和对应的表头信息。表格ID指用于唯一识别不同分页数据表的标识，该基准数据表中每一分页数据表所对应的表格ID是唯一确定的，以便后续基于该表格ID从该基准数据表中获取对应的分页数据表。表头信息是每一分页数据表中预先配置好的字段信息。可选地，表头信息可以为服务端的管理人员预先依据设定的分类标准所设定的分类信息。在一具体实施例中，基准数据表中每一分页数据表所对应的表头信息可以相同或不同。例如：表头信息可以为部门名称、消费时间段和消费金额区间等。部门名称可以包括市场部、研发部、行政部和项目部等。消费时间段可以包括1-3月、4-6月、7-9月和10-12月等。

S502：根据表格ID和表头信息，将每一待评估信息集中的待评估信息导入基准数据表对应的分页数据表中，得到每一待评估信息集的分类数据表。

具体地，服务端先根据每一分页数据表的表格ID，确定每一待评估信息集应导入的分页数据表，在一具体实施例中，服务端已预先将每一待评估信息集与对应分页数据表的表格ID相关联，在获取到每一分页数据表的表格ID时，可直接根据表格ID确定每一待评估信息集应导入的分页数据表。进一步地，在确定了每一待评估信息集应导入的分页数据表之后，根据每一分页数据表中的表头信息，将每一待评估信息集中的待评估信息导入对应的分页数据表中。可选地，可采用JAVA反射原理将每一待评估信息集中的待评估信息导入基准数据表对应的分页数据表中，得到每一待评估信息集的分类数据表。JAVA反射原理是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。在本实施例中，服务端先根据每一分页数据表的表格ID，确定每一待评估信息集应导入的分页数据表，然后采用JAVA反射原理将对应的待评估信息集中的待评估信息导入在该分页数据表中，以得到对应的分类数据表。

本实施例中，根据表格ID可唯一确定其对应的待评估信息集，表头信息可限定每一分页数据表所包含的内容，基于该表格ID和表头信息即可实现将每一待评估信息集中的待评估信息导入基准数据表对应的分页数据表中，得到每一待评估信息集的分类数据表。其中，分类数据表是指导入了待评估信息集中的待评估信息后的表格。在本步骤中，用户可基于表格ID定位出每一待评估信息集所在的表格位置，且根据表头信息可直观地看出每一分页数据表中待评估信息的分布情况，有助于提高查询效率。

S503：采用预设的统计函数对每一待评估信息集的分类数据表中的待评估信息进行计算，得到每一待评估信息集的统计数据。

其中，统计函数指对数据表中特定区域所包含的数据进行自动统计分析的函数。例如：统计函数可以为SUMIF函数、MAX函数、MIN函数、AVERGE函数和VARP函数等。具体地，若预设的统计函数为SUMIF函数，则对每一待评估信息集的分类数据表中的待评估信息进行计算，得到每一待评估信息集的统计数据为每一待评估信息集的分类数据表中同一维度上的所有待评估信息的数值总和。示例性地，若某一分类数据表的表头信息包括：部门名称和消费时间段，预设的统计函数为SUMIF函数，则采用SUMIF函数对该分类数据表中的待评估信息进行计算后，得到的统计数据包括每个部门在总消费时间段内的总消费数据，以及所有部门在每一消费时间段内的总消费数据。优选地，为了保证得到的每一分类数据的统计数据的直观性和多样性，还可以同时采用多种不同类型的统计函数对每一待评估信息集的分类数据表中的待评估信息进行计算。

在本实施例中，通过获取预设的基准数据表，基准数据表包括至少两个分页数据表，每一分页数据表包括表格ID和表头信息；根据表格ID和表头信息，将每一待评估信息集中的待评估信息导入基准数据表对应的分页数据表中，得到每一待评估信息集的分类数据表；采用预设的统计函数对每一待评估信息集的分类数据表中的待评估信息进行计算，得到每一待评估信息集的统计数据，从而保证了获取的每一待评估信息集的统计数据的直观性和多样性。

在一实施例中，如图5所示，根据不同的维度对每一待评估信息集的统计信息进行横向匹配，得到每一待评估信息集的异常信息，具体包括如下步骤：

S601：对每一待评估信息集中的每一统计信息进行特征向量转化，得到每一统计信息的统计向量。

具体地，提取出每一待评估信息集中的每一统计信息，再将每一统计信息向量化，得到每一统计信息的统计向量。例如：若某一待评估信息集中包含的统计信息为：研发1部的文具消费数据为2000、研发2部的文具消费数据为3000、研发3部的文具消费数据为5000、研发4部的文具消费数据为6000、研发5部的文具消费数据为9000；则对该待评估信息集中的每一统计信息进行特征向量转化后，得到该统计信息的统计向量为[2000,3000,5000,6000,9000]。

S602：根据不同的维度对每一统计信息的统计向量进行计算，得到每一维度中的向量均值。

其中，向量均值指对相同维度上的所有统计信息的统计向量进行求和取平均值后所得的数值。具体地，服务端可先采用求和函数对每一维度中的所以统计信息的统计向量进行求和，获取每一维度对应的求和值，然后再采用求平均值函数对获取的每一维度对应的求和值进行取均值，得到每一维度中的向量均值。例如：若得到某一维度上的统计信息的统计向量为[2000,3000,5000,6000,9000]，则对该维度的统计信息的统计向量进行计算后，得到该维度的向量均值为5000。

S603：计算每一统计信息的统计向量和对应的向量均值的向量差值，将向量差值不符合预设向量偏差的统计向量确定为异常信息，得到每一待评估信息集的异常信息。

其中，预设向量偏差指用来评估每一统计向量是否为异常信息的值。例如：预设向量偏差可以设定为2000,3000或5000等。用户可根据不同维度中不同统计向量的整体数值进行自定义设置。可以理解地，不同维度上所对应的预设向量偏差可能不同。

在一具体实施例中，服务端的数据库已预先存储有不同维度所对应的预设向量偏差。服务端在通过调用求差值函数计算每一统计信息的统计向量和对应的向量均值的向量差值后，可直接从数据库获取对应维度上的预设向量偏差，然后将每一向量差值与对应维度上的预设向量偏差进行一一比较，若向量差值大于对应维度上的预设向量偏差，则确定该向量差值所对应的统计信息为异常信息；反之，若向量差值小于或等于对应维度上的预设向量偏差，则确定该向量差值所对应的统计信息为非异常信息。例如：若某一维度上的统计信息的统计向量为[2000,3000,5000,6000,9000]，对应维度上的预设向量偏差为3000，向量均值为5000，则计算得到的向量差值为[3000,2000,1000,4000]，将每一向量差值与预设向量偏差3000进行一一比较后，得到向量差值4000大于预设向量偏差3000，则将该向量差值4000所对应的统计向量9000确定为异常信息。

在本实施例中，通过对每一待评估信息集中的每一统计信息进行特征向量转化，得到每一统计信息的统计向量；根据不同的维度对每一统计信息的统计向量进行计算，得到每一维度中的向量均值；计算每一统计信息的统计向量和对应的向量均值的向量差值，将向量差值不符合预设向量偏差的统计向量确定为异常信息，得到每一待评估信息集的异常信息，从而保证了获取的异常信息的准确性。

在一实施例中，如图6所示，采用预设的基准数据对每一待评估信息集的异常信息进行合规校验，获取合规校验失败的目标异常信息，并根据目标异常信息生成预警信息，具体包括如下步骤：

S701：确定每一待评估信息集的异常信息对应的目标表头信息。

具体地，由于步骤S502中是基于表格ID和表头信息将每一待评估信息集中的待评估信息导入基准数据表对应的分页数据表中的，因此，可根据每一待评估信息集的异常信息在对应分类数据表中的位置，确定该异常信息对应的目标表头信息。在本实施例中，由于每一待评估信息集的统计数据包括至少两个维度的统计信息，因此，每一异常信息对应的目标表头信息至少为两个。

S702：根据目标表头信息从数据库中获取对应的基准数据。

在一具体实施方式中，每一分类数据表中的目标表头信息都预先关联有对应的基准数据。因此，在确定了异常信息对应的目标表头信息后，可直接根据获头取的目标表信息从数据库获取对应的基准数据。可以理解地，每一异常信息对应唯一一个基准数据。

S703：判断每一待评估信息集的异常信息是否在对应的基准数据范围内，将不在基准数据范围内的异常信息确定为目标异常信息，并根据目标异常信息生成对应的的预警信息。

其中，基准数据是指用于评估每一待评估信息集的异常信息是否为目标异常信息的数据。在本步骤中，为了保证得到的目标异常信息的准确性，将基准数据设定为一数值范围。具体地，将每一待评估信息集的异常信息与对应的基准数据进行一一比对，判断每一异常信息是否在对应的基准数据范围内；若该异常信息不在对应的基准数据范围内，则确定该异常数据为目标异常信息，并根据该目标异常信息生成对应的的预警信息。

其中，预警信息指为提示用户该统计信息为非合理数据的信息。具体地，可以通过将对应的统计信息自动标识为红色警告显示在客户端页面以提示用户该统计信息为非合理数据。优选地，预警信息还可以包括每一目标异常信息对应的推荐数据。其中，推荐数据指为每一目标异常信息推荐的正确参考数据。推荐数据可以为一具体的数据，也可以为一数据范围。例如：若目标异常信息为9000，则对应的推荐数据可能是为5000-8000。

在本实施例中，通过确定每一待评估信息集的异常信息对应的目标表头信息；根据目标表头信息从数据库中获取对应的基准数据；判断每一待评估信息集的异常信息是否在对应的基准数据范围内；将不在基准数据范围内的异常信息确定为目标异常信息，并根据目标异常信息生成对应的的预警信息；在获取到异常数据后，再通过基准数据对获取的异常数据进行校验，保证了获取的目标异常信息的准确性和客观性，从而进一步提高了对异常数据进行预警的效率和准确性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种异常数据预警装置，该异常数据预警装置与上述实施例中异常数据预警方法一一对应。如图7所示，该异常数据预警装置包括数据统计请求获取模块10、待评估数据获取模块20、识别模块30、分类模块40、整合模块50、横向匹配模块60和合规校验模块70。各功能模块详细说明如下：

数据统计请求获取模块10，用于获取数据统计请求，数据统计请求包括约束条件和分类标签；

待评估数据获取模块20，用于根据约束条件在数据库中查询，获取待评估数据；

识别模块30，用于对待评估数据进行识别，获取每一待评估数据的待评估信息；

分类模块40，用于采用分类标签对待评估信息进行分类，得到待评估信息分类集，待评估信息分类集包括N个待评估信息集，N为正整数；

整合模块50，用于对每一待评估信息集的待评估信息进行整合，得到每一待评估信息集的统计数据，其中，统计数据包括至少两个维度的统计信息；

横向匹配模块60，用于根据不同的维度对每一待评估信息集的统计信息进行横向匹配，得到每一待评估信息集的异常信息；

合规校验模块70，用于采用预设的基准数据对每一待评估信息集的异常信息进行合规校验，获取合规校验失败的目标异常信息，并根据目标异常信息生成预警信息。

优选地，分类模块40包括：

特征提取单元401，用于对每一待评估信息进行特征提取，获取每一待评估信息的特征项数据；

关键词库获取单元402，用于基于分类标签从数据库中获取与分类标签对应的关键词库；

匹配单元403，用于采用关键词库对特征项数据进行匹配，得到每一待评估信息的分类类别；

分类单元404，用于根据分类类别对每一待评估信息进行分类，得到待评估信息分类集。

优选地，整合模块50包括：

基准数据表获取单元501，用于获取预设的基准数据表，基准数据表包括至少两个分页数据表，每一分页数据表包括表格ID和表头信息；

导入单元502，用于根据表格ID和表头信息，将每一待评估信息集中的待评估信息导入基准数据表对应的分页数据表中，得到每一待评估信息集的分类数据表；

第一计算单元503，用于采用预设的统计函数对每一待评估信息集的分类数据表中的待评估信息进行计算，得到每一待评估信息集的统计数据。

优选地，横向匹配模块60包括：

特征向量转化单元，用于对每一待评估信息集中的每一统计信息进行特征向量转化，得到每一统计信息的统计向量；

第二计算单元，用于根据不同的维度对每一统计信息的统计向量进行计算，得到每一维度中的向量均值；

第三计算单元，用于计算每一统计信息的统计向量和对应的向量均值的向量差值，将向量差值不符合预设向量偏差的统计向量确定为异常信息，得到每一待评估信息集的异常信息。

优选地，合规校验模块70包括：

目标表头信息确认单元，用于确定每一待评估信息集的异常信息对应的目标表头信息；

基准数据获取单元，用于根据目标表头信息从数据库中获取对应的基准数据；

判断单元，用于判断每一待评估信息集的异常信息是否在对应的基准数据范围内，将不在基准数据范围内的异常信息确定为目标异常信息，并根据目标异常信息生成对应的的预警信息。

关于异常数据预警装置的具体限定可以参见上文中对于异常数据预警方法的限定，在此不再赘述。上述异常数据预警装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述实施例中异常数据预警方法使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常数据预警方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中异常数据预警方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现述实施例中异常数据预警方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种异常数据预警方法，其特征在于，包括：

获取数据统计请求，所述数据统计请求包括约束条件和分类标签；

根据所述约束条件在数据库中查询，获取待评估数据；

对所述待评估数据进行识别，获取每一所述待评估数据的待评估信息；

采用所述分类标签对所述待评估信息进行分类，得到待评估信息分类集，所述待评估信息分类集包括N个待评估信息集，N为正整数；

对每一所述待评估信息集的待评估信息进行整合，得到每一所述待评估信息集的统计数据，包括：获取预设的基准数据表，所述基准数据表包括至少两个分页数据表，每一所述分页数据表包括表格ID和表头信息；根据所述表格ID和所述表头信息，将每一所述待评估信息集中的待评估信息导入所述基准数据表对应的所述分页数据表中，得到每一所述待评估信息集的分类数据表；采用预设的统计函数对每一所述待评估信息集的所述分类数据表中的待评估信息进行计算，得到每一待评估信息集的统计数据，其中，所述统计数据包括至少两个维度的统计信息；

根据不同的维度对每一所述待评估信息集的所述统计信息进行横向匹配，得到每一所述待评估信息集的异常信息，包括：对每一所述待评估信息集中的每一统计信息进行特征向量转化，得到每一所述统计信息的统计向量；根据不同的维度对每一所述统计信息的统计向量进行计算，得到每一维度中的向量均值；计算每一所述统计信息的所述统计向量和对应的所述向量均值的向量差值，将所述向量差值不符合预设向量偏差的统计向量确定为异常信息，得到每一所述待评估信息集的异常信息；

采用预设的基准数据对每一所述待评估信息集的所述异常信息进行合规校验，获取合规校验失败的目标异常信息，并根据所述目标异常信息生成预警信息，包括：确定每一所述待评估信息集的所述异常信息对应的目标表头信息；根据所述目标表头信息从数据库中获取对应的基准数据；判断每一所述待评估信息集的所述异常信息是否在对应的所述基准数据范围内，将不在所述基准数据范围内的所述异常信息确定为目标异常信息，并根据所述目标异常信息生成对应的预警信息。

2.如权利要求1所述的异常数据预警方法，其特征在于，所述采用所述分类标签对所述待评估信息进行分类，得到待评估信息分类集，包括：

对每一所述待评估信息进行特征提取，获取每一所述待评估信息的特征项数据；

基于所述分类标签从数据库中获取与所述分类标签对应的关键词库；

采用所述关键词库对所述特征项数据进行匹配，得到每一所述待评估信息的分类类别；

根据所述分类类别对每一所述待评估信息进行分类，得到待评估信息分类集。

3.一种异常数据预警装置，其特征在于，包括：

数据统计请求获取模块，用于获取数据统计请求，所述数据统计请求包括约束条件和分类标签；

待评估数据获取模块，用于根据所述约束条件在数据库中查询，获取待评估数据；

识别模块，用于对所述待评估数据进行识别，获取每一所述待评估数据的待评估信息；

分类模块，用于采用所述分类标签对所述待评估信息进行分类，得到待评估信息分类集，所述待评估信息分类集包括N个待评估信息集，N为正整数；

整合模块，用于对每一所述待评估信息集的待评估信息进行整合，得到每一所述待评估信息集的统计数据，包括：获取预设的基准数据表，所述基准数据表包括至少两个分页数据表，每一所述分页数据表包括表格ID和表头信息；根据所述表格ID和所述表头信息，将每一所述待评估信息集中的待评估信息导入所述基准数据表对应的所述分页数据表中，得到每一所述待评估信息集的分类数据表；采用预设的统计函数对每一所述待评估信息集的所述分类数据表中的待评估信息进行计算，得到每一待评估信息集的统计数据，其中，所述统计数据包括至少两个维度的统计信息；

横向匹配模块，用于根据不同的维度对每一所述待评估信息集的所述统计信息进行横向匹配，得到每一所述待评估信息集的异常信息，包括：对每一所述待评估信息集中的每一统计信息进行特征向量转化，得到每一所述统计信息的统计向量；根据不同的维度对每一所述统计信息的统计向量进行计算，得到每一维度中的向量均值；计算每一所述统计信息的所述统计向量和对应的所述向量均值的向量差值，将所述向量差值不符合预设向量偏差的统计向量确定为异常信息，得到每一所述待评估信息集的异常信息；

合规校验模块，用于采用预设的基准数据对每一所述待评估信息集的所述异常信息进行合规校验，获取合规校验失败的目标异常信息，并根据所述目标异常信息生成预警信息，包括：确定每一所述待评估信息集的所述异常信息对应的目标表头信息；根据所述目标表头信息从数据库中获取对应的基准数据；判断每一所述待评估信息集的所述异常信息是否在对应的所述基准数据范围内，将不在所述基准数据范围内的所述异常信息确定为目标异常信息，并根据所述目标异常信息生成对应的预警信息。

4.如权利要求3所述的异常数据预警装置，其特征在于，所述分类模块包括：

特征提取单元，用于对每一所述待评估信息进行特征提取，获取每一所述待评估信息的特征项数据；

关键词库获取单元，用于基于所述分类标签从数据库中获取与所述分类标签对应的关键词库；

匹配单元，用于采用所述关键词库对所述特征项数据进行匹配，得到每一所述待评估信息的分类类别；

分类单元，用于根据所述分类类别对每一所述待评估信息进行分类，得到待评估信息分类集。

5.如权利要求3所述的异常数据预警装置，其特征在于，所述整合模块包括：

基准数据表获取单元，用于获取预设的基准数据表，所述基准数据表包括至少两个分页数据表，每一所述分页数据表包括表格ID和表头信息；

导入单元，用于根据所述表格ID和所述表头信息，将每一所述待评估信息集中的待评估信息导入所述基准数据表对应的所述分页数据表中，得到每一所述待评估信息集的分类数据表；

第一计算单元，用于采用预设的统计函数对每一所述待评估信息集的所述分类数据表中的待评估信息进行计算，得到每一待评估信息集的统计数据。

6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2任一项所述异常数据预警方法。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述异常数据预警方法。