CN111338814A - 消息处理方法和装置、存储介质和电子装置 - Google Patents

Abstract

本申请提供了一种消息处理方法和装置、存储介质和电子装置，其中，该方法包括：获取具有目标消息标识的待处理数据，其中，待处理数据为从与目标流处理任务对应的多个节点处收集的数据，目标流处理任务为目标消息由被生产节点生产到被消费节点消费的流处理任务，目标消息标识用于唯一标识目标消息；在根据待处理数据确定目标消息未被正常消费的情况下，将目标消息添加到目标消息队列中，其中，目标消息队列中存储有与待处理的流处理任务对应的消息。通过本申请，解决了相关技术中的数据分发方式存在的数据易丢失的问题，保证了数据正确性，节省了人力成本。

Description

消息处理方法和装置、存储介质和电子装置

技术领域

本申请涉及计算机领域，尤其涉及一种消息处理方法和装置、存储介质和电子装置。

背景技术

目前，一些公司的消息服务提供数据变更消息，调用RPC(Remote ProcedureCall，远程过程调用)接口获取实体数据。消息服务的单个实体的数据量大，为节省开发和资源成本，可以统一对接消息服务，采用kafka(一种开源流处理平台)将实时数据进行分发，服务于各个业务方。

虽然kafka具有高吞吐量，高并发，低延迟等特性，但是容易产生数据丢失。例如，在使用checkpoint(检查点)进行流处理任务处理时，kafka集群升级需要手动删除，或者，启动两个流程序同时运行，或者，将偏移量存储外部数据库。然而，kafka集群升级或者业务逻辑错误易导致数据丢失，且难以发现，需要人工干预，维护成本很高。

因此，相关技术中的数据分发方式，存在数据易丢失的问题。

发明内容

本申请实施例提供了一种消息处理方法和装置、存储介质和电子装置，以至少解决相关技术中的数据分发方式存在的数据易丢失的问题。

根据本申请实施例的一个方面，提供了一种消息处理方法，包括：获取具有目标消息标识的待处理数据，其中，待处理数据为从与目标流处理任务对应的多个节点处收集的数据，目标流处理任务为目标消息由被生产节点生产到被消费节点消费的流处理任务，目标消息标识用于唯一标识目标消息；在根据待处理数据确定目标消息未被正常消费的情况下，将目标消息添加到目标消息队列中，其中，目标消息队列中存储有与待处理的流处理任务对应的消息。

可选地，获取具有目标消息标识的待处理数据包括：从数据库中读取目标时间段内的目标数据，其中，数据库中存储有从节点集群中的各个节点收集的数据，目标时间段的起始时刻与当前时刻的时间差为目标差值；使用目标消息标识从目标数据中匹配出具有目标消息标识的待处理数据。

可选地，在获取具有目标消息标识的待处理数据之前，上述方法还包括：接收多个节点发送的待处理数据，其中，待处理数据包括生产节点发送的第一数据和其他节点发送的第二数据，第一数据包括目标消息、目标消息标识和时间戳，其他节点为多个节点中除了生产节点以外的节点，第二数据包括目标消息标识和时间戳；将待处理数据保存到数据库中。

可选地，在获取具有目标消息标识的待处理数据之后，上述方法还包括：根据具有目标消息标识的待处理数据，确定目标消息在各个相邻节点的后一个节点处是否被正常消费，其中，相邻节点为多个节点中按照目标流处理任务具有相邻关系的两个节点；在确定出目标消息在多个节点中的目标节点未被正常消费的情况下，确定目标消息未被正常消费。

可选地，在将目标消息添加到目标消息队列中之前，上述方法还包括：将待处理数据发送到目标设备，以通过目标设备显示目标消息以及目标节点；接收目标设备发送的修改指令，其中，修改指令用于修改目标流处理任务的任务处理流程；在将目标消息添加到目标消息队列中之后，上述方法还包括：按照修改后的任务处理流程处理目标消息。

可选地，在根据待处理数据确定目标消息已被消费节点正常消费的情况下，上述方法还包括：将待处理数据从数据库中清除，其中，数据库中存储有从节点集群中的各个节点处收集的数据。

根据本申请实施例的另一个方面，提供了一种消息处理装置，包括：获取单元，用于获取具有目标消息标识的待处理数据，其中，待处理数据为从与目标流处理任务对应的多个节点处收集的数据，目标流处理任务为目标消息由被生产节点生产到被消费节点消费的流处理任务，目标消息标识用于唯一标识目标消息；添加单元，用于在根据待处理数据确定目标消息未被正常消费的情况下，将目标消息添加到目标消息队列中，其中，目标消息队列中存储有与待处理的流处理任务对应的消息。

可选地，获取单元包括：读取模块，用于从数据库中读取目标时间段内的目标数据，其中，数据库中存储有从节点集群中的各个节点收集的数据，目标时间段的起始时刻与当前时刻的时间差为目标差值；匹配模块，用于使用目标消息标识从目标数据中匹配出具有目标消息标识的待处理数据。

可选地，上述装置还包括：第一接收单元，用于在获取具有目标消息标识的待处理数据之前，接收多个节点发送的待处理数据，其中，待处理数据包括生产节点发送的第一数据和其他节点发送的第二数据，第一数据包括目标消息、目标消息标识和时间戳，其他节点为多个节点中除了生产节点以外的节点，第二数据包括目标消息标识和时间戳；保存单元，用于将待处理数据保存到数据库中。

可选地，上述装置还包括：第一确定单元，用于在获取具有目标消息标识的待处理数据之后，根据具有目标消息标识的待处理数据，确定目标消息在各个相邻节点的后一个节点处是否被正常消费，其中，相邻节点为多个节点中按照目标流处理任务具有相邻关系的两个节点；第二确定单元，用于在确定出目标消息在多个节点中的目标节点未被正常消费的情况下，确定目标消息未被正常消费。

可选地，上述装置还包括：发送单元，用于在将目标消息添加到目标消息队列中之前，将待处理数据发送到目标设备，以通过目标设备显示目标消息以及目标节点；第二接收单元，用于接收目标设备发送的修改指令，其中，修改指令用于修改目标流处理任务的任务处理流程；处理单元，用于在将目标消息添加到目标消息队列中之后，按照修改后的任务处理流程处理目标消息。

可选地，上述装置还包括：清除单元，用于在根据待处理数据确定目标消息已被消费节点正常消费的情况下，将待处理数据从数据库中清除，其中，数据库中存储有从节点集群中的各个节点处收集的数据。

通过本申请，采用对流处理任务的各个核心业务处理阶段进行监控的方式，获取具有目标消息标识的待处理数据，其中，待处理数据为从与目标流处理任务对应的多个节点处收集的数据，目标流处理任务为目标消息由被生产节点生产到被消费节点消费的流处理任务，目标消息标识用于唯一标识目标消息；在根据待处理数据确定目标消息未被正常消费的情况下，将目标消息添加到目标消息队列中，其中，目标消息队列中存储有与待处理的流处理任务对应的消息，由于根据从与流处理任务对应的各个节点处收集的数据判断流数据是否丢失，并在数据丢失时自动补发，可以达到保证数据正确性、节省人力成本的技术效果，从而解决了相关技术中的数据分发方式存在的数据易丢失的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例的一种可选的服务器的硬件结构框图；

图2是根据本申请实施例的一种可选的消息处理方法的流程示意图；

图3是根据本申请实施例的一种可选的消息处理方法的示意图；

图4是根据本申请实施例的另一种可选的消息处理方法的示意图；

图5是根据本申请实施例的又一种可选的消息处理方法的示意图；

图6是根据本申请实施例的另一种可选的消息处理方法的流程示意图；以及，

图7是根据本申请实施例的一种可选的消息处理装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

根据本申请实施例的一个方面，提供了一种消息处理方法。可选地，该方法可以在服务器或者类似的运算装置中执行。以运行在服务器上为例，图1是根据本申请实施例的一种可选的服务器的硬件结构框图。如图1所示，服务器10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于MCU(Microcontroller Unit，微处理器)或者FPGA(Field Programmable Gate Array，现场可编程逻辑们阵列)等的处理装置)和用于存储数据的存储器104，可选地，上述服务器还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述服务器的结构造成限定。例如，服务器10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的消息处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至服务器10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个NIC(Network Interface Controller，网络适配器)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为RF(Radio Frequency，射频)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述服务器的消息处理方法，图2是根据本申请实施例的一种可选的消息处理方法的流程示意图，如图2所示，该流程包括如下步骤：

步骤S202，获取具有目标消息标识的待处理数据，其中，待处理数据为从与目标流处理任务对应的多个节点处收集的数据，目标流处理任务为目标消息由被生产节点生产到被消费节点消费的流处理任务，目标消息标识用于唯一标识目标消息；

步骤S204，在根据待处理数据确定目标消息未被正常消费的情况下，将目标消息添加到目标消息队列中，其中，目标消息队列中存储有与待处理的流处理任务对应的消息。

可选地，上述步骤的执行主体可以为服务器等，但不限于此，其他能够进行消息处理的装置，均可以用于执行本申请实施例中的方法。

可选地，本申请实施例中的消息处理方法可以但不限于应用于流处理任务的处理过程中，该流处理任务可以由服务器节点集群执行。执行上述消息处理方法的服务器可以是该服务器节点集群中的一个服务器节点，也可以是独立于服务器节点集群以外的其他服务器。本实施例中对此不作具体限定。

通过本实施例，采用对流处理任务的各个核心业务处理阶段进行监控的方式，由于根据从与流处理任务对应的各个节点处收集的数据判断流数据是否丢失，并在数据丢失时自动补发，解决了相关技术中的数据分发方式存在的数据易丢失的问题，保证了数据正确性，节省了人力成本。

下面结合图2对本申请实施例中的消息处理方法进行解释说明。

在步骤S202中，获取具有目标消息标识的待处理数据，其中，待处理数据为从与目标流处理任务对应的多个节点处收集的数据，目标流处理任务为目标消息由被生产节点生产到被消费节点消费的流处理任务，目标消息标识用于唯一标识目标消息。

流处理任务可以是由采用Flink实时计算框架和Kafka进行消息的生产和消费的Kafka集群所处理的任务。在该集群中，可以包含一个或多个服务器，服务器节点称为broker。该Kafka集群基于Kafka分布式队列，具有多个数据生产者(即，生产节点)，多个中间数据处理阶段(对应与生成者和消费者之间的broker)，以及多个数据消费者(即，消费节点)的特性。在处理Kafka消息队列时，使用的是Flink实时计算框架。消息处理流程如图3所示。

每个流处理任务可以对应于一个消息。为了区分不同的消息，保证消息标识可以准确标识消息，可以通过消息标识来唯一标识一个消息。对于目标消息，可以通过目标消息标识唯一标识。

为了提高消息标识的利用率，可以在一个消息的有效期内，保证该消息的消息标识具有唯一性；在超出有效期之后，回收该消息标识，以供其他消息使用。一个消息的有效期可以是该消息自被生产到被最终成功消费之间的时间段，也可以是自被生产到被从数据库中删除(此时，已经确定该消息已被最终成功消费)之间的时间段。

作为一种可选的实施例，在获取具有目标消息标识的待处理数据之前，接收多个节点收集的待处理数据，其中，待处理数据包括生产节点发送的第一数据和其他节点发送的第二数据，第一数据包括目标消息、目标消息标识和时间戳，其他节点为多个节点中除了生产节点以外的节点，第二数据包括目标消息标识和时间戳；将待处理数据保存到数据库中。

在处理流程的关键节点上，可以通过指定存储数据的格式，将数据存储到数据库中。每条消息确定唯一的key(消息标识)，生产端(生产者，生产节点)的源头消息可存储消息的key、基础数据、时间戳，还可以存储消息的大小。消费端(消费者，消费节点)可只存储消息的key，时间戳。

对于目标消息，在被生成节点生产之前或者之后，可以由生产节点为该目标消息打上时间戳，该时间戳为生产节点为该目标消息打上的时间戳，可以是生产该目标消息的时间，也可以是生产完该目标消息之后发送该目标消息的时间等，具体为目标消息打上时间戳的时机可以根据需要设定，本实施例中对此不作具体限定。

在目标消息生产完之后，该目标消息的生产节点可以将该目标消息封装为特定的数据形式，封装后的数据可以包含：目标消息标识、目标消息和时间戳，还可以包括其他与目标消息相关的信息，例如，消息的大小等。生产节点可以将封装后的数据发送给生产节点与消费节点之间的节点，经过一个或多个节点的处理与转发之后，最终发送给消费节点。

目标消息从被生产节点生产到被消费节点最终消费的整个过程中，可以经历多个处理节点。对于多个处理节点中的关键节点，可以进行数据收集(如图4所示)，其中，上述关键节点可以至少包括生产节点(生产端)和消费节点(消费端)，还可以包括其他核心业务处理阶段所对应的节点。关键节点可以根据经验由业务人员进行限定，本实施例中对此不作具体限定。

可以从目标消息的生产节点收集目标消息的第一数据，该第一消息包含目标消息的目标key(目标消息标识)、基础数据(目标消息)和时间戳，还可以包含目标消息的大小。从多个节点中的其他节点收集目标消息的第二数据，该第二数据可以包含目标key和时间戳。

生产节点发送的第一数据中的时间戳为该生产节点为该目标消息打上的时间戳，其他节点发送的第二数据中的时间戳为其他节点通过解析接收到的数据得到的时间戳。也就是说，第一数据中包含的时间戳与第二数据包含的时间戳为相同的时间戳。

需要说明的是，如果目标消息最终被正常消费，则从多个节点的各个节点处均可以收集到数据，如果目标消息未被正常消费，则从多个节点中的部分节点处可能并未收集到数据。数据收集可以是由关键节点在进行数据处理时自动进行的。

对于从多个节点收集的待处理数据，可以保存到数据库中，以便进行后续的数据处理分析。

下面结合可选示例对从多个处理节点收集数据的方式进行说明。

消息M在8:55(即，8点55分)被生产节点A打上时间戳8:55(此为时间戳的示例，其他形式的时间戳与此类似)，该消息M被生产节点A生产并封装之后，发送给处理节点B1，并将消息M的key、基础数据、时间戳(即，8:55)和大小等信息(例如，辅助信息，可以包括：生产节点A的标识，处理节点B1和B2的标识，消费节点C的标识)发送到数据库进行存储。

处理节点B1在对接收到的数据进行必要的处理之后，在8:58将处理并封装后的数据发送给处理节点B2，并将消息M的key和时间戳(即，8:55)等信息(例如，辅助信息，可以包括：处理节点B1的标识)发送到数据库进行存储。

处理节点B2在对接收到的数据进行必要的处理之后，在9:01将处理并封装后的数据发送给消费节点C，并将消息M的key和时间戳(即，8:55)等信息(例如，辅助信息，可以包括：处理节点B2的标识)发送到数据库进行存储。

消费节点C在9:04对接收到的数据中的消息M进行消费之后，将消息M的key和时间戳(即，8:55)等信息(例如，辅助信息，可以包括：消费节点C的标识)发送到数据库进行存储。该消息M从被生产(8:55)到被最终消费(9:04)所用的实际共计9分钟。

数据库中可以保存从生产节点A、处理节点B1、处理节点B2和消费节点C处收集的数据，以便服务器根据数据库保存的数据，确定出消息的生产节点、中间节点和消费节点，以及在哪些节点处理成功。

通过本实施例，通过在流任务处理过程中从多个节点处收集待处理数据，可以保证数据收集的准确性。

作为一种可选的实施例，获取具有目标消息标识的待处理数据包括：从数据库中读取目标时间段内的目标数据，其中，数据库中存储有从节点集群中的各个节点收集的数据，目标时间段的起始时刻与当前时刻的时间差为目标差值；使用目标消息标识从目标数据中匹配出具有目标消息标识的待处理数据。

对于数据库中的数据，服务器可以通过准实时的离线任务分析收集的数据。例如，可以周期性地从数据库中读取数据进行处理，读取的当前时刻之前一定时间段内的数据，也就是，包含的时间戳在目标时间段内的数据。

从数据库中读取目标时间段内的目标数据可以包括：从数据库中读取包含的时间戳处于目标时间段内的目标数据，其中，对于同一消息，从该消息的生产节点收集到的数据中包含的时间戳为生产节点为消息打上的时间戳，从除了生产节点以外的节点收集到的数据中包含的时间戳为生产节点为消息打上的时间戳。

对于目标消息标识(目标key)，可以从数据库中读取目标数据，读取的目标数据的时间戳与当前时刻的时间差大于或者等于目标差值(例如，10分钟)。对于与当前时刻的时间差大于或者等于目标差值的消息，可以认为如果没有丢失，则已经被最终消费。数据丢失是指消息在由被生产到被消费的过程中发生数据处理错误导致的消息未能被消费节点最终消费成功。

一个消息从被生产者生产到被消费者最终消费，需要经过生产、传输、消费等多个过程，每个过程均需要一定时间。通过设定目标差值，可以避免获取与正在处理的消息对应的数据(例如，正在被传输的消息，正在被最终消费的消息)，从而保证从数据库中读取的目标数据是完整数据，即，对于能够被最终正常消费的消息已经被消费节点最终正常消费。

下面结合可选示例对服务器从数据库中读取数据的方式进行说明。在本示例中，服务器以轮询的方式每隔30分钟从数据库中读取数据进行处理。

如果没有设定目标差值，服务器在9:00会读取8:30到9:00接收的数据。服务器能够读取到从生产节点A和处理节点B1收集到的、与消息M对应的数据。根据读取到的数据，服务器会确定消息M未被正常消费，数据分析存在错误。

如果设定目标差值为10分钟，服务器在9:30读取8:50到9:20接收的数据时，能够读取到从生产节点A、处理节点B1、处理节点B2和消费节点C收集到的、与消息M对应的数据，根据读取到的数据，服务器会确定消息M被消费节点C最终正常消费。

通过本实施例，通过数据库保存收集的数据并设定读取的时间范围，可以保证数据分析的准确性，避免由于数据还未完成消费导致的数据处理错误。

在步骤S204中，在根据待处理数据确定目标消息未被正常消费的情况下，将目标消息添加到目标消息队列中，其中，目标消息队列中存储有与待处理的流处理任务对应的消息。

在获取到待处理数据之后，可以筛选出每个数据处理阶段丢失的数据。

作为一种可选的实施例，在获取具有目标消息标识的待处理数据之后，根据具有目标消息标识的待处理数据，确定目标消息在各个相邻节点的后一个节点处是否被正常消费，其中，相邻节点为多个节点中按照目标流处理任务具有相邻关系的两个节点；在确定出目标消息在多个节点中的目标节点未被正常消费的情况下，确定目标消息未被正常消费。

对于每条消息自生产到最终消费，可以分析每一阶段数据是否正常消费。也就是说，一个消息从生产到被最终消费，需要被生产者生产，被中间的broker(中间节点)消费(也可以理解为处理，例如是，转发等)，被消费者最终消费。

对于多个节点中的任意两个相邻节点，可以根据待处理数据判断从两个相邻节点中的各个节点是否收集到数据。如果在相邻节点中的前一个节点接收到数据，但是未从后一个节点接收到数据，则可以确定是在后一个节点处发生消息丢失。

例如，对于上述消息M，如果服务器读取到从生产节点A和处理节点B1收集到的、与消息M对应的数据。根据读取到的数据，服务器确定在处理节点B1处消息M被正常消费，在处理节点B2处消息M未被正常消费，则在处理节点B2处发生消息丢失。

需要说明的是，对于一个消息，如果在一个节点处进行了多次数据处理，即，该节点对应于该消息多个消息处理阶段(每次数据处理对应于一个消息处理节点)，可以判断是否从该节点接收到与每个消息处理阶段对应的数据，以判断该消息在该节点处是否被正常消费：如果接收到与每个消息处理阶段对应的数据，则可以确定该消息在该节点处被正常消费，如果仅接收到与部分消息处理阶段对应的数据，则可以确定该消息在该节点处未被正常消费，还可以确定发生数据丢失的消息处理阶段。

例如，对于消息M，在处理节点B1处进行了2个阶段的数据处理，在第一个阶段处理完成之后，处理节点B1向数据库发送消息M的key、时间戳、处理节点B1的标识和第一个阶段的标识。在第一个阶段发生数据丢失之后，则处理节点B1不会向数据库中发送与第二个阶段相关的数据。则服务器根据从数据库中读取的数据，可以确定该消息在处理节点B1处未被正常消费，且是在第二个阶段发生数据丢失(可能是数据处理失败导致的数据丢失)。

通过本实施例，根据待处理数据进行消息丢失分析，确定数据丢失的节点，可以便于确定数据丢失的原因，提高集群的安全性、稳定性和可靠性。

如果目标消息未被正常消费(丢失数据，该消息在中间某个阶段数据丢失)，则可以触发消息自动回补(如图4所示)，将目标消息添加到目标消息队列(kafka队列中)中，以保证数据正确性。

作为一种可选的实施例，在将目标消息添加到目标消息队列中之前，将待处理数据发送到目标设备，以通过目标设备显示目标消息以及目标节点；接收目标设备发送的修改指令，其中，修改指令用于修改目标流处理任务的任务处理流程；在将目标消息添加到目标消息队列中之后，可以按照修改后的任务处理流程处理目标消息。

丢失数据可以支持人工审核，分析数据丢失原因，优化业务逻辑，并在审核通过后触发消息回补。

为了方便进行人工审核，可以将未被正常消息的待处理数据发送到目标设备，通过目标设备显示目标消息以及目标节点，由人工分析数据丢失原因，进行业务逻辑优化(例如，修改任务处理流程)。

在进行业务逻辑优化之后，触发进行消息回补，避免消息的再次丢失。例如，可以接收目标设备发送的修改指令，该修改指令用于修改目标流处理任务的任务处理流程。在接收到修改指令之后，可以触发进行消息回补。对于补回的目标消息，可以按照修改后的任务处理流程处理目标消息。

通过本实施例，通过将未被正常消息的待处理数据发送到目标设备进行显示，可以方便进行人工审核，提高消息处理的可靠性。

作为一种可选的实施例，在根据待处理数据确定目标消息已被消费节点正常消费的情况下，将待处理数据从数据库中清除，其中，数据库中存储有从节点集群中的各个节点处收集的数据。

如果确定目标消息已被消费节点正常消费(即，消息自生产到最终消费成功)，则将待处理数据视为正常数据。为了防止数据库中数据积压过多，可以及时清理数据库的正常数据。

清理的方式可以是实时的，对于各个消息，如果确定该消息已被正常消费，则直接删除该消息相关的数据。清理的方式可以是非实时的，可以将当前周期内所有需要处理的数据均处理完之后，删除所有正常数据。

需要说明的是，消息未被正常消费可以是消息未被中间节点(生产者和消费者之间的broker)正常消费，也可以是未被消费节点正常消费，只有消息已被消费节点正常消费才认为该消息被最终正常消费。

通过本实施例，通过清除数据库中的正常数据，可以避免数据库中数据的积压，提高数据库资源利用的合理性。

下面结合可选示例对本申请实施例中的消息处理方法进行说明。如图5所示，在流处理任务中的关键节点(数据的生产端，消费端，以及核心业务处理阶段)进行数据收集，收集的数据写入数据库；使用消息自动补偿工具，通过准实时的离线任务(例如，以轮询的方式读取当前时刻之前一定时间段内的数据)，分析收集的数据，筛选出每个阶段丢失的消息，并重新写入kafka消息队列。在本示例中，通过各个消费者按需消费回补消息，实现零数据丢失。

图6是根据本申请实施例的另一种可选的消息处理方法的流程示意图，如图6所示，该流程包括以下步骤：

步骤S602，数据收集。

在流处理任务中的关键节点(数据的生产端，消费端，以及核心业务处理阶段)进行数据收集，并通过指定数据格式，存储数据到数据库中。每条消息确定唯一的key，生产端的源头消息可存储消息的基础数据，时间戳，大小等，消费端可只存储消息的key，时间戳。

步骤S604，读取数据库，进行数据分析。

可以通过准实时的离线任务分析收集的数据。读取数据库，进行数据分析。

步骤S606，判断消息是否为正常消息。

根据数据分析结果，判断每条消息自生产到最终消费，每一阶段数据是否正常消费，如果是，执行步骤S608，否则，执行步骤S610。

步骤S608，及时清除正常数据。

消息自生产到最终消费成功，视为正常数据。及时清除数据库的正常数据，防止数据积压过多。

步骤S610，丢失数据自动回补。

如果中间某个阶段数据丢失，可触发消息自动回补，数据写入kafka队列中。还可以引入人工可审核机制，人工可查看丢失消息，分析消息丢失原因，优化业务逻辑，审核通过后触发消息回补。

通过本实施例，可以及时发现实时流数据丢失，节省维护成本；采用消息自动回补工具，在集群维护，程序异常等导致数据丢失时，可以保证消息自动补发，不需人工干预，节省人力成本的同时，保证数据正确性，可以解决流数据丢失后难以发现，且回补数据成本巨大的问题。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

根据本申请实施例的另一个方面，提供了一种用于实施上述实施例中的消息处理方法的消息处理装置。可选地，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图7是根据本申请实施例的一种可选的消息处理装置的结构框图，如图7所示，该装置包括：

(1)获取单元72，用于获取具有目标消息标识的待处理数据，其中，待处理数据为从与目标流处理任务对应的多个节点处收集的数据，目标流处理任务为目标消息由被生产节点生产到被消费节点消费的流处理任务，目标消息标识用于唯一标识目标消息；

(2)添加单元74，与获取单元72相连，用于在根据待处理数据确定目标消息未被正常消费的情况下，将目标消息添加到目标消息队列中，其中，目标消息队列中存储有与待处理的流处理任务对应的消息。

可选地，获取单元72可以用于上述实施例中的步骤S202，添加单元74可以用于上述实施例中的步骤S204。

通过本实施例，采用对流处理任务的各个核心业务处理阶段进行监控的方式，由于根据从与流处理任务对应的各个节点处收集的数据判断流数据是否丢失，并在数据丢失时自动补发，解决了相关技术中的数据分发方式存在的数据易丢失的问题，保证了数据正确性，节省了人力成本。

作为一种可选的实施例，获取单元72包括：

(1)读取模块，用于从数据库中读取目标时间段内的目标数据，其中，数据库中存储有从节点集群中的各个节点收集的数据，目标时间段的起始时刻与当前时刻的时间差为目标差值；

(2)匹配模块，用于使用目标消息标识从目标数据中匹配出具有目标消息标识的待处理数据。

作为一种可选的实施例，上述装置还包括：

(1)第一接收单元，用于在获取具有目标消息标识的待处理数据之前，接收多个节点发送的待处理数据，其中，待处理数据包括生产节点发送的第一数据和其他节点发送的第二数据，第一数据包括目标消息、目标消息标识和时间戳，其他节点为多个节点中除了生产节点以外的节点，第二数据包括目标消息标识和时间戳；

(2)保存单元，用于将待处理数据保存到数据库中。

作为一种可选的实施例，上述装置还包括：

(1)第一确定单元，用于在获取具有目标消息标识的待处理数据之后，根据具有目标消息标识的待处理数据，确定目标消息在各个相邻节点的后一个节点处是否被正常消费，其中，相邻节点为多个节点中按照目标流处理任务具有相邻关系的两个节点；

(2)第二确定单元，用于在确定出目标消息在多个节点中的目标节点未被正常消费的情况下，确定目标消息未被正常消费。

作为一种可选的实施例，上述装置还包括：

(1)发送单元，用于在将目标消息添加到目标消息队列中之前，将待处理数据发送到目标设备，以通过目标设备显示目标消息以及目标节点；

(2)第二接收单元，用于接收目标设备发送的修改指令，其中，修改指令用于修改目标流处理任务的任务处理流程；

(3)处理单元，用于在将目标消息添加到目标消息队列中之后，按照修改后的任务处理流程处理目标消息。

作为一种可选的实施例，上述装置还包括：

(1)清除单元，用于在根据待处理数据确定目标消息已被消费节点正常消费的情况下，将待处理数据从数据库中清除，其中，数据库中存储有从节点集群中的各个节点处收集的数据。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

根据本申请实施例的又一个方面，提供了一种计算机可读的存储介质。可选地，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行本申请实施例中所提供的上述任一项方法中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取具有目标消息标识的待处理数据，其中，待处理数据为从与目标流处理任务对应的多个节点处收集的数据，目标流处理任务为目标消息由被生产节点生产到被消费节点消费的流处理任务，目标消息标识用于唯一标识目标消息；

S2，在根据待处理数据确定目标消息未被正常消费的情况下，将目标消息添加到目标消息队列中，其中，目标消息队列中存储有与待处理的流处理任务对应的消息。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM(Read-OnlyMemory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

根据本申请实施例的又一个方面，提供了一种电子装置，包括：处理器(该存储器可以是图1中的处理器102)和存储器(该存储器可以是图1中的存储器104)，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行本申请实施例中所提供的上述任一项方法中的步骤。

可选地，上述电子装置还可以包括传输设备(该传输设备可以是图1中的传输设备106)以及输入输出设备(该输入输出设备可以是图1中的输入输出设备108)，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取具有目标消息标识的待处理数据，其中，待处理数据为从与目标流处理任务对应的多个节点处收集的数据，目标流处理任务为目标消息由被生产节点生产到被消费节点消费的流处理任务，目标消息标识用于唯一标识目标消息；

S2，在根据待处理数据确定目标消息未被正常消费的情况下，将目标消息添加到目标消息队列中，其中，目标消息队列中存储有与待处理的流处理任务对应的消息。

可选地，本实施例中的可选示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种消息处理方法，其特征在于，包括：

获取具有目标消息标识的待处理数据，其中，所述待处理数据为从与目标流处理任务对应的多个节点处收集的数据，所述目标流处理任务为目标消息由被生产节点生产到被消费节点消费的流处理任务，所述目标消息标识用于唯一标识所述目标消息；

在根据所述待处理数据确定所述目标消息未被正常消费的情况下，将所述目标消息添加到目标消息队列中，其中，所述目标消息队列中存储有与待处理的流处理任务对应的消息。

2.根据权利要求1所述的方法，其特征在于，所述获取具有目标消息标识的待处理数据包括：

从数据库中读取目标时间段内的目标数据，其中，所述数据库中存储有从节点集群中的各个节点收集的数据，所述目标时间段的起始时刻与当前时刻的时间差为目标差值；

使用所述目标消息标识从所述目标数据中匹配出具有所述目标消息标识的所述待处理数据。

3.根据权利要求2所述的方法，其特征在于，在所述获取具有目标消息标识的待处理数据之前，所述方法还包括：

接收所述多个节点发送的所述待处理数据，其中，所述待处理数据包括所述生产节点发送的第一数据和其他节点发送的第二数据，所述第一数据包括所述目标消息、所述目标消息标识和时间戳，所述其他节点为所述多个节点中除了所述生产节点以外的节点，所述第二数据包括所述目标消息标识和时间戳；

将所述待处理数据保存到所述数据库中。

4.根据权利要求1所述的方法，其特征在于，在所述获取具有目标消息标识的待处理数据之后，所述方法还包括：

根据具有所述目标消息标识的所述待处理数据，确定所述目标消息在各个相邻节点的后一个节点处是否被正常消费，其中，所述相邻节点为所述多个节点中按照所述目标流处理任务具有相邻关系的两个节点；

在确定出所述目标消息在所述多个节点中的目标节点未被正常消费的情况下，确定所述目标消息未被正常消费。

5.根据权利要求4所述的方法，其特征在于，

在所述将所述目标消息添加到目标消息队列中之前，所述方法还包括：将所述待处理数据发送到目标设备，以通过所述目标设备显示所述目标消息以及所述目标节点；接收所述目标设备发送的修改指令，其中，所述修改指令用于修改所述目标流处理任务的任务处理流程；

在所述将所述目标消息添加到目标消息队列中之后，所述方法还包括：按照修改后的所述任务处理流程处理所述目标消息。

6.根据权利要求1所述的方法，其特征在于，在根据所述待处理数据确定所述目标消息已被所述消费节点正常消费的情况下，所述方法还包括：

将所述待处理数据从数据库中清除，其中，所述数据库中存储有从节点集群中的各个节点处收集的数据。

7.一种消息处理装置，其特征在于，包括：

获取单元，用于获取具有目标消息标识的待处理数据，其中，所述待处理数据为从与目标流处理任务对应的多个节点处收集的数据，所述目标流处理任务为目标消息由被生产节点生产到被消费节点消费的流处理任务，所述目标消息标识用于唯一标识所述目标消息；

添加单元，用于在根据所述待处理数据确定所述目标消息未被正常消费的情况下，将所述目标消息添加到目标消息队列中，其中，所述目标消息队列中存储有与待处理的流处理任务对应的消息。

8.根据权利要求7所述的装置，其特征在于，所述获取单元包括：

读取模块，用于从数据库中读取目标时间段内的目标数据，其中，所述数据库中存储有从节点集群中的各个节点收集的数据，所述目标时间段的起始时刻与当前时刻的时间差为目标差值；

匹配模块，用于使用所述目标消息标识从所述目标数据中匹配出具有所述目标消息标识的所述待处理数据。

9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至6中任一项所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至6中任一项所述的方法。

Images