CN116701525A - 一种基于实时数据分析的预警方法、***和电子设备 - Google Patents

Abstract

本申请提供了一种基于实时数据分析的预警方法、***和电子设备，属于数据处理技术领域。本申请实施例通过高吞吐量的分布式发布订阅消息***实时地对新增和/或变化数据进行存储和处理，实现对企业大数据实时、全面的采集；同时，对初始生产数据依次进行分流和聚合，分别得到中间生产数据和目标生产数据，并将中间生产数据和目标生产数据存储至分布式发布订阅消息***，通过数据分层存储，能够简化数据结构、减少重复开发和重复计算，大大提高预警信息的生成速度；根据目标生产数据，生成与预设预警指标对应的预警信息，可以提供即时的数据查询、统计、分析服务，能够在数据出现异常的情况下，快速响应，及时发出对应的预警信息。

Description

一种基于实时数据分析的预警方法、***和电子设备

技术领域

本申请涉及数据处理技术领域，特别是涉及一种基于实时数据分析的预警方法、***和电子设备。

背景技术

预警***是企业通过采集生产数据进行数据分析，监控风险因素的变动趋势，并评价各种风险状态偏离预警线的强弱程度，向决策层发出预警信号并提前采取预控对策的***。预警***是将风险造成的损失降低至最低程度的有效手段。已成为保证企业经营活动并创造最大利益的重要措施之一。预警***的主要功能是通过各种监测手段获得有关信息和运行数据，并对数据进行加工处理分析，通过适当的评价方法，对未来的趋势做出初步判断。当判断结果满足预警准则要求时，就触动报警***，报警***根据事先设定的报警级别发出事故报警。

随着企业的快速发展，数据量越来越大，尤其是电商、金融、车企每天产生的生产数据如交易数据、用户行为数据等均是非常庞大的。对于预警***而言，数据的实时性非常重要，面对如此庞大的数据量，意味着需要更强的计算能力和响应速度。

然而，目前大部分企业的预警***鉴于企业的技术发展水平有限，往往是对企业的部分数据进行采集，数据量相对比较小，监控指标也相对较少，数据采集不全面，有可能遗漏部分风险，对企业造成损失；受限于***算力，难以对大数据量进行计算，计算缓慢，甚至出现卡死的情况；而采用离线计算分析的方式，则存在实时性低，造成预警不及时、响应不及时的问题。

发明内容

本申请提供一种基于实时数据分析的预警方法、***和电子设备，以解决企业生产数据采集不全面，难以对大量数据进行实时计算，造成实时性低、预警不及时的问题。

为了解决上述问题，本申请采用了以下的技术方案：

第一方面，本申请实施例提供了一种基于实时数据分析的预警方法，所述方法包括：

实时获取新增和/或变化的初始生产数据；

通过分布式发布订阅消息***，对所述初始生产数据进行存储；

对所述初始生产数据依次进行分流和聚合，分别得到中间生产数据和目标生产数据，并将所述中间生产数据和所述目标生产数据存储至所述分布式发布订阅消息***；

根据所述目标生产数据，生成与预设预警指标对应的预警信息。

在本申请一实施例中，实时获取新增和/或变化的初始生产数据，包括：

实时获取数据库中新增和/或变化的业务数据，或，实时获取前端页面新增和/或变化的用户行为数据；

对所述业务数据和/或所述用户行为数据进行解析，并将解析后的所述业务数据和/或所述用户行为数据作为所述初始生产数据。

在本申请一实施例中，所述分布式发布订阅消息***包括原始数据层、数据明细层和数据聚合层；其中，所述原始数据层用于存储所述初始生产数据，所述数据明细层用于存储将所述初始生产数据分流后得到的所述中间生产数据，所述数据聚合层用于存储将所述中间生产数据聚合后得到的所述目标生产数据。

在本申请一实施例中，对所述初始生产数据依次进行分流和聚合，分别得到中间生产数据和目标生产数据，并将所述中间生产数据和所述目标生产数据存储至所述分布式发布订阅消息***，包括：

采用Flink计算引擎，读取存储在所述原始数据层中的所述初始生产数据，并根据所述初始生产数据的数据类型，对所述初始生产数据进行分流，得到所述中间生产数据，并将所述中间生产数据存储至所述数据明细层；

采用所述Flink计算引擎，读取所述中间生产数据，并将所述中间生产数据中的同一主题的数据进行聚合，得到所述目标生产数据，并将所述目标生产数据存储至所述数据聚合层。

在本申请一实施例中，根据所述目标生产数据，生成与预设预警指标对应的预警信息，包括：

将所述目标生产数据存储至预先配置的列式数据库，以使所述列式数据库生成所述目标生产数据对应的指标数据；

根据预设预警指标，在所述指标数据中选择对应的目标指标数据；

根据所述目标指标数据，展示与所述预设预警指标对应的预警信息。

在本申请一实施例中，其中，所述预警信息包括每项预设预警指标对应的预警阈值，所述方法还包括：

响应于更改所述预设预警指标的配置指令，对所述预设预警指标进行更改，或，

响应于更改所述预警阈值的配置指令，对所述预警阈值进行更改。

在本申请一实施例中，所述预警信息包括每项预设预警指标对应的告警等级，所述方法还包括：

在所述预警信息中的任一目标指标数据大于对应的预警阈值的情况下，输出与所述告警等级对应的告警信息；其中，不同的告警等级对应不同的告警信息。

第二方面，基于相同发明构思，本申请实施例提供了一种基于实时数据分析的预警***，所述***包括：实时数据采集模块、数据分层存储模块、实时计算模块和数据应用模块；其中，所述数据分层存储模块包括预先配置的分布式发布订阅消息***，所述分布式发布订阅消息***包括原始数据层、数据明细层和数据聚合层；

所述实时数据采集模块，用于实时获取新增和/或变化的初始生产数据，并将所述初始生产数据发送给所述数据分层存储模块；

所述数据分层存储模块，用于接收所述初始生产数据，并将所述初始生产数据存储至所述原始数据层；

所述实时计算模块，用于通过Flink计算引擎，从所述原始数据层中读取所述初始生产数据，并对所述初始生产数据依次进行分流和聚合，分别得到中间生产数据和目标生产数据，并将所述中间生产数据存储至所述数据明细层，将所述目标生产数据存储至所述数据聚合层；还用于将所述数据聚合层中的目标生产数据发送给所述数据应用模块；

所述数据应用模块用于接收所述目标生产数据，并将所述目标生产数据存储至预先配置的列式数据库，以使所述列式数据库生成所述目标生产数据对应的指标数据。

在本申请一实施例中，所述***还包括：可视化预警模块和预警通知模块；其中，

所述可视化预警模块，用于根据预设预警指标，在所述指标数据中选择对应的目标指标数据；并根据所述目标指标数据，展示与所述预设预警指标对应的预警信息；其中，所述预警信息包括每项预设预警指标对应的预警阈值和告警等级；

所述预警通知模块，用于在所述预警信息中的任一目标指标数据大于对应的预警阈值的情况下，输出与所述告警等级对应的告警信息；其中，不同的告警等级对应不同的告警信息。

第三方面，基于相同发明构思，本申请实施例提供了一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现如本申请第一方面所述的基于实时数据分析的预警方法。

与现有技术相比，本申请包括以下优点：

本申请实施例提供的一种基于实时数据分析的预警方法，通过高吞吐量的分布式发布订阅消息***实时地对大量源源不断的新增和/或变化数据进行存储和处理，实现对企业大数据实时、全面的采集；同时，对初始生产数据依次进行分流和聚合，分别得到中间生产数据和目标生产数据，并将中间生产数据和目标生产数据存储至分布式发布订阅消息***，通过数据分层存储，能够简化数据结构、减少重复开发和重复计算，大大提高预警信息的生成速度；根据目标生产数据，生成与预设预警指标对应的预警信息，可以提供即时的数据查询、统计、分析服务，并在数据出现异常的情况下，快速响应，及时发出对应的预警信息。本申请实施例能够实现对企业大数据的实时采集，实时计算，预警信息实时更新，及时预警，具有高吞吐、低延迟、高性能的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中一种基于实时数据分析的预警方法的步骤流程图。

图2是本申请实施例中一种基于实时数据分析的预警***的功能模块示意图。

附图标记：201-实时数据采集模块；202-数据分层存储模块；203-实时计算模块；204-数据应用模块；205-可视化预警模块；206-预警通知模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，示出了本申请一种基于实时数据分析的预警方法，所述方法可以包括以下步骤：

S101：实时获取新增和/或变化的初始生产数据。

在本实施方式中，初始生产数据指企业在生产运营过程中产生的一系列业务数据和用户行为数据。其中，业务数据根据企业营业范围的不同可以分为多种业务数据，示例性的，生产制造类企业对应的业务数据可以包括产能数据、进度数据、质量数据和成本数据等数据，互联网企业对应的业务数据可以包括订单数据、交易数据、流量数据和投诉数据等数据；用户行为数据则是指记录的用户在网页或者应用上进行的用户交互行为信息，具体可以包括用户在网页或者应用上进行点击操作、浏览操作、停留时长等信息。

需要说明的是，业务数据通常存储于企业预先配置的数据库中；而用户行为数据可以通过在web/app前端页面埋点获取，所谓埋点就是在应用中特定的流程收集一些信息，用来跟踪应用使用的状况，后续用来进一步优化产品或是提供运营的数据支撑，埋点大致分为两部分，一部分是统计应用页面访问情况，即页面统计，随页面访问动作发生时进行上报；另外一部分是统计应用内的操作行为，在页面中操作时进行上报。

在本实施方式中，为保证能够实时、全面地获取新增和/或变化的初始生产数据，S101可以具体包括以下子步骤：

S101-1：实时获取数据库中新增和/或变化的业务数据，或，实时获取前端页面新增和/或变化的用户行为数据。

S101-2：对业务数据和/或用户行为数据进行解析，并将解析后的业务数据和/或用户行为数据作为初始生产数据。

在本实施方式中，从前端页面采集的用户行为数据通常采用的是特定结构的数据，如JSON(JavaScript Object Notation，JS对象简谱，一种轻量级的数据交换格式)数据，因此，还需对用户行为数据进行解析，得到解析后的用户行为数据，以便进行后续数据分析和处理。

在本实施方式中，针对存储在数据库中的业务数据，可以采用Flink-CDC技术，实时监测数据库中新增和/或变化的业务数据。Flink-CDC可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据，以监测并捕获数据库的变动，包括数据或数据表的***、更新以及删除等，并将这些变更按发生的顺序完整记录下来。示例性的，Flink-CDC在使用时，首先会根据指定的MySQL数据库的IP地址信息、端口号、用户名、密码、数据库名称等信息，和该MySQL数据库建立连接，当MySQL数据库中的业务数据发生变化后，便能实时读取发生变化的业务数据，然后对获取的业务数据进行解析，并把解析后的业务数据发送给分布式发布订阅消息***进行存储，以便进行后续数据分析和处理。

S102：通过分布式发布订阅消息***，对初始生产数据进行存储。

在本实施方式中，分布式发布订阅消息***可以基于Kafka进行构建，Kafka是一种高吞吐量的分布式发布订阅消息组件，它的最大的特性就是可以实时的处理网络中流动的大量数据以满足各种需求场景。Kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，支持数据备份防止数据丢失，支持数千个客户端同时读写。

在本实施方式中，考虑到实现对数量庞大的初始生产数据的实时计算，将带来巨大计算压力，因为，为有效减少数据重复计算，提高目标生产数据的生成速度，对分布式发布订阅消息***进行结构优化，将分布式发布订阅消息***划分为原始数据层、数据明细层和数据聚合层，其中，原始数据层用于存储初始生产数据，数据明细层用于存储将初始生产数据分流后得到的中间生产数据，数据聚合层用于存储将中间生产数据聚合后得到的目标生产数据。

在本实施方式中，通过对数据进行分层管理，每层数据可代表不同的数据粒度，每次新增加统计需求时，可以不用从初始生产数据进行计算，而是可以根据需要直接调用数据明细层中的中间数据或者数据聚合层中的目标生产数据，进而有效减少重复开发和重复计算，提升数据的生成和查询速度。

S103：对初始生产数据依次进行分流和聚合，分别得到中间生产数据和目标生产数据，并将中间生产数据和目标生产数据存储至分布式发布订阅消息***。

在本实施方式中，考虑到初始生产数据可能包含有较多的无用数据，因此，在对初始生产数据进行分流之前，可以对初始生产数据进行ETL(Extract-Transform-Load，抽取-转换-加载)操作，即将初始生产数据从数据采集端经过抽取(extract)、转换(transform)、加载(load)至原始数据层的过程。通过ETL操作，能够将企业中的分散、零乱、标准不统一的初始生产数据整合到一起，同时过滤掉空数据以及非法数据，为后续处理提供分析依据。

在本实施方式中，经过ETL处理的初始生产数据，将会根据初始生产数据的数据类型进行分流，其中，数据类型可以但不限于包括订单数据类型、交易数据类型、流量数据类型和投诉数据类型和页面访问数据类型等，并且分流后得到的中间生产数据将存储至Kafka的数据明细层。在得到中间生产数据之后，还可以根据主题对中间生产数据进行轻度聚合，并将轻度聚合后得到的目标生产数据存储至Kafka的数据聚合层。

需要说明的是，在Kafka中，消息可以以主题(Topic)为单位进行归类，发送消息者称为Producer(生产者)，消息接受者称为Consumer(消费者)，生产者负责将消息发送到特定的主题(发送到Kafka集群中的每一条消息都要指定一个主题)，而消费者负责订阅主题并进行消费。

在本实施方式中，可以根据企业的实际业务制定不同的主题，如针对电商企业而言，可以设置会员主题、优惠券主题、活动主题等。根据主题对中间数据进一步聚合，使得Kafka的数据聚合层在减轻数据明细层的查询压力的同时，能够满足更多的实时查询需求。

S104：根据目标生产数据，生成与预设预警指标对应的预警信息。

在本实施方式中，基于目标生产数据，可以提供即时的数据查询、统计和分析服务，当目标生产数据出现异常时，可以在第一时间获知该异常信息，并生成对应的预警信息。

需要说明的是，对于每天产出数据量较大的企业而言，得到的目标生产数据不仅体量大，数据类别也较多。因此，基于目标生产数据，可以对应获取各种类型的指标数据。而通过设置预设预警指标，可以从各类预警指标中筛选出预设预警指标对应的目标指标数据，并且基于目标指标数据与预警阈值之间的关系，生成目标指标数据对应的预警信息。

在本实施方式中，可以对预警信息进行可视化处理，以便相关人员能在第一时间对预警信息有清晰、全面的了解，提高异常情况下的预警响应速度。示例性的，可以根据目标指标数据，生成对应的报表和/或统计图，并将该报表和/或统计图实时展示在监控大屏中。

在一个可行的实施方式中，为满足对大量初始生产数据的计算需求，并提高计算速度，S103可以具体包括以下子步骤：

S103-1：采用Flink计算引擎，读取存储在原始数据层中的初始生产数据，并根据初始生产数据的数据类型，对初始生产数据进行分流，得到中间生产数据，并将中间生产数据存储至数据明细层。

S103-2：采用Flink计算引擎，读取中间生产数据，并将中间生产数据中的同一主题的数据进行聚合，得到目标生产数据，并将目标生产数据存储至数据聚合层。

在本实施方式中，可以通过Flink计算引擎对分布式发布订阅消息***中的各层数据进行计算。需要说明的是，Flink计算引擎是一个高吞吐、低延迟、高性能的分布式大数据处理引擎，可对无界数据流和有界数据流进行有状态计算，对各种大小的数据规模进行快速计算。

在本实施方式中，采用Flink计算引擎，可以对源源不断产生的无界数据流，即初始生产数据，进行有状态计算。

具体地，可以基于Flink计算引擎，采用分布式计算框架对数据进行实时计算，将大量的计算任务并行化为数千个在集群中分布和同时执行的任务；同时，任务通过访问本地内存状态来执行所有计算，将任务始终保留在内存中，或者，在状态大小超过可用内存时，将任务保存在访问高效的磁盘上的结构数据中。Flink采用异步和增量检查点算法，能够确保对处理延迟的影响最小，通过定期和异步检查本地状态到持久存储来保证在出现故障时的一次状态一致性，也就是说，即使发生故障或宕机，任务重启时可以通过读取任务状态，在发生故障的任务节点的基础上，继续执行该任务，避免任务丢失或重新计算，有效提高任务计算的效率。

在本实施方式中，通过Flink计算引擎对初始生产数据进行存储进行分流和对中间数据进行聚合操作，能够充分满足高吞吐、低延迟、高性能的计算要求。

在一个可行的实施方式中，S104可以具体包括以下子步骤：

S104-1：将目标生产数据存储至预先配置的列式数据库，以使列式数据库生成目标生产数据对应的指标数据。

S104-2：根据预设预警指标，在指标数据中选择对应的目标指标数据。

S104-3：根据目标指标数据，展示与预设预警指标对应的预警信息。

在本实施方式中，可以采用Clickhouse实现对预警信息的生成。需要说明的是，Clickhouse是一个用于联机分析(OLAP)的列式数据库管理***，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。ClickHouse作为目前在内存数据库领域数据处理最快的列导向数据库，其性能超过了目前大部分的列式存储数据库，并且支持数据统计分析各种场景：支持类SQL查询、支持繁多库函数、支持数组(Array)和嵌套数据结构、支持数据库异地复制部署。在ClickHouse中，为了高效的使用CPU，数据不仅仅按列存储，同时还按向量进行处理；数据压缩空间大，能够有效减少IO；具有高吞吐、写入速度快等优势，适用于大数据更新处理。

在本实施方式中，将轻度聚合的目标生产数据保存在ClickHouse中，能够提供即时的数据查询、统计、分析服务。作为其中的一个优选方案，可以调用Flink计算引擎实现对指标数据计算，然后对指标数据进行分析处理，在指标数据中选择与预设预警指标对应的目标指标数据，进而得到与预设预警指标对应的预警信息。其中，预警信息可以用报表的形式进行展示，展示的报表数据会实时更新。

在一个例子中，某电商企业基于采集初始生产数据进行分流和聚合得到目标生产数据，目标生产数据对应的指标数据包括有：商品类指标、投诉类指标、风控类指标、市场营销活动指标、交易类指标、流量类指标、购物车类指标、下单类指标和支付类指标。在以上指标中，需要对投诉类指标、风控类指标、下单类指标和支付类指标进行重点监控，则可以将上述四种重点指标作为预设预警指标进行预先配置，如此，每当上述四种重点指标对应的数据发生变化时，都会更新各自对应的预警信息，形成有效的预警机制，达到实时获取、实时计算、实时更新的目的。

在一个可行的实施方式中，预警信息设置有每项预设预警指标对应的预警阈值，方法还可以包括以下步骤：

S105：响应于更改预设预警指标的配置指令，对预设预警指标进行更改，或，响应于更改预警阈值的配置指令，对预警阈值进行更改。

在本实施方式中，可以根据实际的监测需求，对预设预警指标和预设预警指标对应的预警阈值进行设置。

示例性的，当某企业新增一项业务时，可以针对该业务，添加对应的预设预警指标，并根据实际监测需要，为该业务配置对应的预警阈值。或者，当该企业放弃某项业务或某项业务不再重要时，也可以对该业务对应的预设预警指标进行删除，如此，该业务的数据将不再展示在预警信息中。需要说明的是，虽然该业务的数据将不再展示在预警信息中，但仍会将该业务的数据分层存储至分布式发布订阅消息***中，将其用于其他数据分析需求中，进而保证企业数据采集的全面性。

在一个可行的实施方式中，预警信息还可以包括每项预设预警指标对应的告警等级，方法还可以包括以下步骤：

S106：在预警信息中的任一目标指标数据大于对应的预警阈值的情况下，输出与告警等级对应的告警信息；其中，不同的告警等级对应不同的告警信息。

在本实施方式中，可以基于异常指标的严重程度设置不同的告警方式，其中，告警信息可以包含对应的预设预警指标、当前指标数值、告警等级、告警时间、问题详情、来源***等信息。

在本实施方式中，可以通过邮件、短信、APP、电话、微信或者第三方平台等方式将告警信息通知至相关人员，同时，也可将告警信息实时显示在监控大屏中，提醒相关人员及时关注采取相应措施。

在一个例子中，某用户在电商、金融平台中正在进行一些非法或欺诈类操作，那么经过大数据实时计算，可以将这部分数据快速筛选出来，并发送风控部门进行处理。在另外一个例子中，若检测到用户针对某一商品产生的订单数据、交易数据或者点击数据较高或增加，则说明用户对于某些商品具有较强的购买意愿，那么可以把这些“商机”推送给客服部门，让客服进行主动的跟进。

在本实施方式中，对企业大数据量进行实时采集，实时计算，同时支持高吞吐、低延迟、高性能，能够快速让风控或营销及时得到预警信息，以便采取各种应对；还可以将预警信息形成统计报表，再监控大屏进行实时展示和更新，让相关人员及时了解事件的最新进展；还可以选择通过邮件、短信、APP、电话、微信或者第三方平台通知相关负责人，以便快速采取应对措施。

第二方面，参照图2，基于相同发明构思，本申请实施例提供了一种基于实时数据分析的预警***，该***包括：实时数据采集模块201、数据分层存储模块202、实时计算模块203和数据应用模块204；其中，数据分层存储模块202包括预先配置的分布式发布订阅消息***，分布式发布订阅消息***包括原始数据层、数据明细层和数据聚合层；

实时数据采集模块201，用于实时获取新增和/或变化的初始生产数据，并将初始生产数据发送给数据分层存储模块202；

数据分层存储模块202，用于接收初始生产数据，并将初始生产数据存储至原始数据层；

实时计算模块203，用于通过Flink计算引擎，从原始数据层中读取初始生产数据，并对初始生产数据依次进行分流和聚合，分别得到中间生产数据和目标生产数据，并将中间生产数据存储至数据明细层，将目标生产数据存储至数据聚合层；还用于将数据聚合层中的目标生产数据发送给数据应用模块204；

数据应用模块204用于接收目标生产数据，并将目标生产数据存储至预先配置的列式数据库，以使列式数据库生成目标生产数据对应的指标数据。

在一个可行的实施方式中，基于实时数据分析的预警***还可以包括：可视化预警模块205和预警通知模块206；其中，

可视化预警模块205，用于根据预设预警指标，在指标数据中选择对应的目标指标数据；并根据目标指标数据，展示与预设预警指标对应的预警信息；其中，预警信息包括每项预设预警指标对应的预警阈值和告警等级；

预警通知模块206，用于在预警信息中的任一目标指标数据大于对应的预警阈值的情况下，输出与告警等级对应的告警信息；其中，不同的告警等级对应不同的告警信息。

需要说明的是，本申请实施例的基于实时数据分析的预警***的具体实施方式参照前述本申请实施例第一方面提出的基于实时数据分析的预警***方法的具体实施方式，在此不再赘述。

第三方面，基于相同发明构思，本申请实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器用于执行机器可执行指令，以实现本申请实施例第一方面提出的基于实时数据分析的预警***方法。

需要说明的是，本申请实施例提出的电子设备的具体实施方式参照前述本申请实施例第一方面提出的基于实时数据分析的预警***方法的具体实施方式，在此不再赘述。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种基于实时数据分析的预警方法、***和电子设备，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于实时数据分析的预警方法，其特征在于，所述方法包括：

实时获取新增和/或变化的初始生产数据；

通过分布式发布订阅消息***，对所述初始生产数据进行存储；

对所述初始生产数据依次进行分流和聚合，分别得到中间生产数据和目标生产数据，并将所述中间生产数据和所述目标生产数据存储至所述分布式发布订阅消息***；

根据所述目标生产数据，生成与预设预警指标对应的预警信息。

2.根据权利要求1所述的方法，其特征在于，实时获取新增和/或变化的初始生产数据，包括：

实时获取数据库中新增和/或变化的业务数据，或，实时获取前端页面新增和/或变化的用户行为数据；

对所述业务数据和/或所述用户行为数据进行解析，并将解析后的所述业务数据和/或所述用户行为数据作为所述初始生产数据。

3.根据权利要求1所述的方法，其特征在于，所述分布式发布订阅消息***包括原始数据层、数据明细层和数据聚合层；其中，所述原始数据层用于存储所述初始生产数据，所述数据明细层用于存储将所述初始生产数据分流后得到的所述中间生产数据，所述数据聚合层用于存储将所述中间生产数据聚合后得到的所述目标生产数据。

4.根据权利要求3所述的方法，其特征在于，对所述初始生产数据依次进行分流和聚合，分别得到中间生产数据和目标生产数据，并将所述中间生产数据和所述目标生产数据存储至所述分布式发布订阅消息***，包括：

采用Flink计算引擎，读取存储在所述原始数据层中的所述初始生产数据，并根据所述初始生产数据的数据类型，对所述初始生产数据进行分流，得到所述中间生产数据，并将所述中间生产数据存储至所述数据明细层；

采用所述Flink计算引擎，读取所述中间生产数据，并将所述中间生产数据中的同一主题的数据进行聚合，得到所述目标生产数据，并将所述目标生产数据存储至所述数据聚合层。

5.根据权利要求1所述的方法，其特征在于，根据所述目标生产数据，生成与预设预警指标对应的预警信息，包括：

将所述目标生产数据存储至预先配置的列式数据库，以使所述列式数据库生成所述目标生产数据对应的指标数据；

根据预设预警指标，在所述指标数据中选择对应的目标指标数据；

根据所述目标指标数据，展示与所述预设预警指标对应的预警信息。

6.根据权利要求5所述的方法，其特征在于，其中，所述预警信息包括每项预设预警指标对应的预警阈值，所述方法还包括：

响应于更改所述预设预警指标的配置指令，对所述预设预警指标进行更改，或，

响应于更改所述预警阈值的配置指令，对所述预警阈值进行更改。

7.根据权利要求5所述的方法，其特征在于，所述预警信息包括每项预设预警指标对应的告警等级，所述方法还包括：

在所述预警信息中的任一目标指标数据大于对应的预警阈值的情况下，输出与所述告警等级对应的告警信息；其中，不同的告警等级对应不同的告警信息。

8.一种基于实时数据分析的预警***，其特征在于，所述***包括：实时数据采集模块、数据分层存储模块、实时计算模块和数据应用模块；其中，所述数据分层存储模块包括预先配置的分布式发布订阅消息***，所述分布式发布订阅消息***包括原始数据层、数据明细层和数据聚合层；

所述实时数据采集模块，用于实时获取新增和/或变化的初始生产数据，并将所述初始生产数据发送给所述数据分层存储模块；

所述数据分层存储模块，用于接收所述初始生产数据，并将所述初始生产数据存储至所述原始数据层；

所述实时计算模块，用于通过Flink计算引擎，从所述原始数据层中读取所述初始生产数据，并对所述初始生产数据依次进行分流和聚合，分别得到中间生产数据和目标生产数据，并将所述中间生产数据存储至所述数据明细层，将所述目标生产数据存储至所述数据聚合层；还用于将所述数据聚合层中的目标生产数据发送给所述数据应用模块；

所述数据应用模块用于接收所述目标生产数据，并将所述目标生产数据存储至预先配置的列式数据库，以使所述列式数据库生成所述目标生产数据对应的指标数据。

9.根据权利要求8所述的***，其特征在于，所述***还包括：可视化预警模块和预警通知模块；其中，

所述可视化预警模块，用于根据预设预警指标，在所述指标数据中选择对应的目标指标数据；并根据所述目标指标数据，展示与所述预设预警指标对应的预警信息；其中，所述预警信息包括每项预设预警指标对应的预警阈值和告警等级；

所述预警通知模块，用于在所述预警信息中的任一目标指标数据大于对应的预警阈值的情况下，输出与所述告警等级对应的告警信息；其中，不同的告警等级对应不同的告警信息。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现如权利要求1-7任一项所述的方法。