CN113946362A - 消费数据处理方法及存储介质 - Google Patents

Abstract

本发明提供一种消费数据处理方法及存储介质，方法包括：读取配置信息，包括消费数据在第三方平台的获取路径及利用接口调用方式和/或消息流写入方式的分发方式；获取分发方式配置信息为消息流写入方式的至少一个第一业务方，获取对应的第一消费数据，将第一消费数据发送给对应的第一业务方；和/或，获取分发方式配置信息为接口调用方式的至少一个第二业务方，获取对应的第二消费数据，接收第二业务方发送的接口访问请求，将第二消费数据发送给第二业务方。本发明实施例提供的消费数据处理方法及存储介质，避免了各个业务方在消费数据获取过程中代码的重复开发，简化了消费数据获取过程，提高了业务方获取消费数据的效率。

Description

消费数据处理方法及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种消费数据处理方法及存储介质。

背景技术

信息的发布-订阅模式，又称为观察者模式，在发布-订阅模式中，主要是两大块，就是发布和订阅，而发布和订阅流程的完成依赖于对信息的接入、对信息的限流以及对信息的处理等各个阶段的充分配合。

现有项目在处理大量信息流的过程中，消息发布-订阅***主要用于发布订阅消息，需要基于不同的消费者各自定制和开发信息的接入、信息的业务处理、信息的限流以及对应的信息处理能力。但是，在整个过程中，除了业务处理，其他的流程都是业务各自重复开发的内容，上述重复开发过程造成了编程过程的冗余，并且还会导致信息处理过程的效率低下。

发明内容

针对现有技术存在的问题，本发明提供一种消费数据处理方法及存储介质。

本发明提供一种消费数据处理方法，包括：读取配置信息；其中，所述配置信息包括消费信息源配置信息和分发方式配置信息，所述消费信息源配置信息包括消费数据在第三方平台的获取路径，所述分发方式配置信息包括消息流写入方式和/或接口调用方式；所述配置信息和业务方一一对应；

获取所述分发方式配置信息为所述消息流写入方式的至少一个第一业务方，根据所述消费数据在第三方平台的获取路径获取对应的第一消费数据，将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方；和/或，获取所述分发方式配置信息为所述接口调用方式的至少一个第二业务方，根据所述消费数据在第三方平台的获取路径获取对应的第二消费数据，接收所述第二业务方发送的用于获取所述第二消费数据的接口访问请求，将对应的所述第二消费数据发送给所述第二业务方。

根据本发明提供的一种消费数据处理方法，所述配置信息还包括进程管理配置信息，所述进程管理配置信息包括进程启动配置信息、进程监控配置信息、进程保护配置信息中的至少一种；其中，所述进程启动配置信息包括为主进程和子进程设置启动条件；所述进程保护配置信息包括为主进程设置保护进程和/或配置在监测到子进程异常后重新启动新的子进程；所述进程监控配置信息包括配置监控主进程和子进程的运行情况，在监控到主进程和/或子进程运行异常时，触发进程保护；所述方法还包括：根据所述进程管理配置信息进行进程管理。

根据本发明提供的一种消费数据处理方法，所述子进程对应所述第一业务方或所述第二业务方，所述子进程用于根据所述消费数据在第三方平台的获取路径获取对应的所述第一消费数据或根据所述消费数据在第三方平台的获取路径获取对应的所述第二消费数据。

根据本发明提供的一种消费数据处理方法，所述主进程利用任务表数据作为拉起所述子进程的数据源并实现对所述子进程的运行情况监控；其中，所述任务表数据包括所述子进程的进程号、业务标识及所述子进程的运行状态，所述业务标识为所述第一业务方或所述第二业务方的标识。

根据本发明提供的一种消费数据处理方法，所述配置信息还包括限流配置信息，所述限流配置信息用于在所述分发方式配置信息为所述消息流写入方式时控制写入速度。

根据本发明提供的一种消费数据处理方法，所述限流配置信息包括配置向令牌桶投递令牌的速度；所述将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方，具体包括：请求从所述令牌桶取走令牌，若取到所述令牌，则将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方，若未取到所述令牌，则转到所述请求从所述令牌桶取走令牌。

根据本发明提供的一种消费数据处理方法，所述配置信息还包括：在所述分发方式配置信息为所述接口调用方式时，配置所述消费数据在数据库的存储规则；所述存储规则包括数据存储时间和/或数据存储的上限；和/或，所述配置信息还包括业务重试配置信息，所述业务重试配置信息包括配置所述第二业务方在所述接口访问请求失败后重新发起所述接口访问请求的信息。

根据本发明提供的一种消费数据处理方法，所述方法还包括：当业务消费出问题时，根据消费数据在数据库中存储的时间节点和/或偏移量进行重新消费；和/或，当本地存储数据丢失时，自动根据所述消费信息源配置信息从kafka数据源节点的偏移量同步获取数据。

根据本发明提供的一种消费数据处理方法，所述配置信息还包括报警规则配置信息；所述方法还包括：根据所述报警规则配置信息进行报警处理，并将报警信息发送到对应的所述第一业务方或所述第二业务方。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述消费数据处理方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述消费数据处理方法的步骤。

本发明提供的消费数据处理方法及存储介质，通过对消费规则的配置，明确了业务方从第三方平台获取消费数据的具体路径，实现了业务方对于第三方平台内消费数据的精准获取；而对于分发方式的配置，使业务方对于消费数据的获取同时具有了主动请求和被动接收的能力，丰富了业务方获取数据的方式；基于对消费数据处理过程的上述配置，避免了各个业务方在消费数据获取过程中代码的重复开发，简化了消费数据获取过程，提高了业务方获取消费数据的效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的消费数据处理方法的流程示意图之一；

图2是本发明提供的消费数据处理方法的流程示意图之二；

图3是本发明提供的消费数据处理装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的消费数据处理方法的流程示意图之一，如图1所示，所述方法包括：

步骤S110，读取配置信息；其中，所述配置信息包括消费信息源配置信息和分发方式配置信息，所述消费信息源配置信息包括消费数据在第三方平台的获取路径，所述分发方式配置信息包括消息流写入方式和/或接口调用方式；所述配置信息和业务方一一对应；

步骤S120，获取所述分发方式配置信息为所述消息流写入方式的至少一个第一业务方，根据所述消费数据在第三方平台的获取路径获取对应的第一消费数据，将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方；和/或，获取所述分发方式配置信息为所述接口调用方式的至少一个第二业务方，根据所述消费数据在第三方平台的获取路径获取对应的第二消费数据，接收所述第二业务方发送的用于获取所述第二消费数据的接口访问请求，将对应的所述第二消费数据发送给所述第二业务方。

所述第三方平台可以是一种发布-订阅消息***，在发布-订阅消息***中，消息的生产者称为发布者，消费者称为订阅者，典型代表有MQ和Kafka两款产品，以Kafka为例，消息以主题(Topic)来分类，每一个主题都对应一个消息队列，即类似于数据库中的表，但是如果把所有同类的消息都塞入到一个“中心”队列中，势必缺少可伸缩性，无论是生产者/消费者数目的增加，还是消息数量的增加，都可能耗尽***的性能或存储。基于此，对Topic内的消息队列进行分区处理，将每一个消息队列划为不同的分区(Partition)，以此实现对于消息队列的细化管理。

一个Kafka服务器也称为Broker，它接受生产者发送的消息并存入磁盘，Broker同时服务消费者拉取分区消息的请求，返回目前已经提交的消息。使用特定的机器硬件，一个Broker每秒可以处理成千上万的分区和百万数目级的消息。若干个Broker组成一个集群(Cluster)，其中集群内某个Broker会成为集群控制器(Cluster Controller)，它负责管理集群，包括分配分区到Broker、监控Broker故障等。在集群内，一个分区由一个Broker负责，这个Broker也称为这个分区的Leader。当然一个分区可以被复制到多个Broker上来实现冗余，这样当存在Broker故障时可以将其分区重新分配到其他Broker来负责。

本发明提供的消费数据处理方法可以应用于服务器。需要说明的是，所述消费信息源配置信息包括消费数据在第三方平台的获取路径，具体为：业务方获取第三方平台内提供的消费数据所需要经历的路径，以Kafka为例，业务方需要确定对应的集群(Cluster)、该集群上的服务器(Broker)、以及该服务器上的主题(Topic)和分区(Partition)，当将上述参数确定完成后，即得到业务方从Kafka获取消费数据的完整路径。

所述分发方式配置信息包括接口调用方式和/或消息流写入方式，而上述两种不同的分发方式分别对应于业务方获取消费数据的具体方式。消息流写入方式，属于业务方被动接收消费数据的一种分发方式，具体为，服务器根据预先配置好的消费数据获取路径将Kafka上的消费数据发送给业务方，在该过程中，将利用消息流写入方式获取消费数据的业务方称为第一业务方；接口调用方式，属于业务方主动请求获取消费数据的一种分发方式，具体可以为，业务方基于http协议向服务器发出接口访问请求，服务器在接收到请求后，按照预先配置好的消费数据获取路径向业务方发送相应的消费数据，而如果业务方所请求获取的消费数据在数据库中已经存在，则直接将数据库中存储的消费数据发送给业务方，在上述过程中，将利用接口调用方式获取消费数据的业务方称为第二业务方。

需要说明的是，在一个处理大量信息流的项目中，业务方有多个，而对于分发方式的配置上可以只采用一种分发方式，也可以同时存在不同的分发方式，业务方可自主选择具体采用哪一种分发方式。

本发明提供的消费数据处理方法，通过对消费规则的配置，明确了业务方从第三方平台获取消费数据的具体路径，实现了业务方对于第三方平台内消费数据的精准获取；而对于分发方式的配置，使业务方对于消费数据的获取同时具有了主动请求和被动接收的能力，丰富了业务方获取数据的方式；基于对消费数据处理过程的上述配置，避免了各个业务方在消费数据获取过程中代码的重复开发，简化了消费数据获取过程，提高了业务方获取消费数据的效率。

根据本发明提供的一种消费数据处理方法，在本发明中，所述配置信息还包括进程管理配置信息，所述进程管理配置信息包括进程启动配置信息、进程监控配置信息、进程保护配置信息中的至少一种；其中，所述进程启动配置信息包括为主进程和子进程设置启动条件；所述进程保护配置信息包括为主进程设置保护进程和/或配置在监测到子进程异常后重新启动新的子进程；所述进程监控配置信息包括配置监控主进程和子进程的运行情况，在监控到主进程和/或子进程运行异常时，触发进程保护；

所述方法还包括：根据所述进程管理配置信息进行进程管理。

将业务方从Kafka获取一次消费数据的完整流程称为一个子进程，业务方具体可以为第一业务方或者第二业务方。在数据库中对进程管理进行了参数配置，具体为，对进程启动、进程监控以及进程保护进行了全方位的配置；其中，进程启动用于根据主进程和子进程设置的启动条件进行进程启动，进程监控用于监控进程进行过程中的运行情况，当监控到进程运行异常时，触发进程保护，进程保护具有两个功能：①当监控到主进程异常时，触发备份进程，基于备份进程继续进行未完成的进程；②当监控到子进程异常时，重新启动一个子进程。

本发明提供的消费数据处理方法，通过在数据库中预先进行进程启动配置信息、进程监控配置信息以及进程保护配置信息，使得当业务方获取消费数据的进程中出现异常时，能够及时进行自动处理，确保了整个消费数据获取过程的正常进行，提高了数据获取的可靠性。

根据本发明提供的一种消费数据处理方法，在本发明中，所述子进程对应所述第一业务方或所述第二业务方，所述子进程用于根据所述消费数据在第三方平台的获取路径获取对应的所述第一消费数据或根据所述消费数据在第三方平台的获取路径获取对应的所述第二消费数据。

需要说明的是，第一业务方通过消息流写入方式获取信息，对应地，第一业务方获取的信息称为第一消费数据；第二业务方通过接口调用方式获取信息，对应地，第二业务方获取的信息称为第二消费数据。本发明提供的消费数据处理方法，通过根据消费数据的不同获取方式将消费数据处理进程划分为不同的子进程进行分别处理，有利于实现对各个子进程的分别管理，提高进程管理效率，且避免彼此之间的影响。

根据本发明提供的一种消费数据处理方法，在本发明中，所述主进程利用任务表数据作为拉起所述子进程的数据源并实现对所述子进程的运行情况监控；其中，所述任务表数据包括所述子进程的进程号、业务标识及所述子进程的运行状态，所述业务标识为所述第一业务方或所述第二业务方的标识。

通过启动常驻的主进程和主进程的保护进程，确保主进程运行正常。主进程使用任务表数据作为子任务拉起的数据源，从而实现对于子进程所执行的子任务的调度。任务表数据包括子进程的进程号、业务标识及子进程的运行状态。子进程与业务方对应，因此，业务标识为第一业务方或第二业务方的标识。主进程可以根据一定的时间间隔(如每隔5分钟)定期检测任务表数据，监控子进程的运行状态，若发现子进程异常退出，则获取对应的报警信息，发送报警信息给对应的业务方。

本发明提供的消费数据处理方法，通过利用任务表数据存储子进程相关信息，实现了子进程的启动及监控的快速控制。

根据本发明提供的一种消费数据处理方法，在本发明中，所述配置信息还包括限流配置信息，所述限流配置信息用于在所述分发方式配置信息为所述消息流写入方式时控制写入速度。

需要说明的是，如前所述，当分发方式为接口调用方式时，业务方对于消费数据的获取本质上属于一种主动获取，所以该方式下业务方可以实现对于消费数据获取频率的控制；但是当分发方式为消息流写入方式时，业务方对于消费数据的获取属于一种被动接收，基于此，业务方无法实现对于消费数据获取频率的把控，当消费数据发送频率过高或消费数据发送量过大时，会造成业务方的获取压力，产生超载问题。基于此，在数据库中进行参数配置时，针对于消息流写入这种分发方式进行了限流配置，其目的在于控制消息流的的写入速度。

本发明提供的消费数据处理方法，通过在数据库中针对于消息流写入方式下的限流配置，实现了对于消息流写入速度的控制，有效缓解了业务方对于消费数据的获取压力，提升了用户体验。

根据本发明提供的一种消费数据处理方法，在本发明中，所述限流配置信息包括配置向令牌桶投递令牌的速度；所述将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方，具体包括：请求从所述令牌桶取走令牌，若取到所述令牌，则将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方，若未取到所述令牌，则转到所述请求从所述令牌桶取走令牌。

本发明可以基于Redis构建令牌桶，Redis是一个高性能的key-value数据库，其构建过程为，首先设有一个令牌桶，桶内存放令牌，一开始令牌桶内的令牌是满的(桶内令牌的数量可根据服务器情况设定)；每次访问从桶内取走一个令牌，当桶内令牌为0，则不允许再访问；每隔一段时间，再放入令牌，最多使桶内令牌满额。(可以根据实际情况，每隔一段时间放入若干个令牌，或直接补满令牌桶)。

需要说明的是，在分发方式为消息流写入的方式下，每次消息流写入开始前需要向令牌桶发送请求，请求从已构建完成的令牌桶内取走令牌，若令牌获取成功，则将消费数据发送给第一业务方；若令牌获取失败，则向令牌桶重新发起令牌获取请求。上述过程中，对于令牌获取请求的重新发起过程本质上属于两次消费数据成功获取进程之间的等待过程，基于此实现了第一业务方获取消费数据过程的限流作用。

本发明提供的消费数据处理方法，通过基于Redis构建令牌桶，将令牌获取与否作为第一业务方接收消费数据的对应条件，实现了在消息流写入条件下对于消费数据获取过程的限流作用，有效减缓了第一业务方的数据获取压力。

根据本发明提供的一种消费数据处理方法，在本发明中，所述配置信息还包括：在所述分发方式配置信息为所述接口调用方式时，配置所述消费数据在数据库的存储规则；所述存储规则包括数据存储时间和/或数据存储的上限；

和/或，所述配置信息还包括业务重试配置信息，所述业务重试配置信息包括配置所述第二业务方在所述接口访问请求失败后重新发起所述接口访问请求的信息。

需要说明的是，在分发方式为接口调用的方式下，需要将消费数据存储于数据库中以便于后续对于消费数据的调用过程，而在对消费数据进行存储时，需要使数据存储整体处于一个动态平衡之中，即数据库中的消费数据有存储有调用，而且需要考虑到数据库的存储能力，基于此对消费数据的存储时间和数据库的存储上限进行了预先配置。

在分发方式为接口调用方式时，可能会因为短暂的网络情况差或者服务器稳定性差等问题导致接口访问请求失败，造成消费数据获取的低效，所以在数据库中进行参数配置时，同时进行了业务重试配置，该配置主要针对于接口调用分发方式下的情形，具体为，当第二业务方进行接口访问请求失败后，自动重新发起接口访问请求。

在针对于接口调用方式的配置信息中，加入业务重试配置信息，相当于为接口访问请求过程添加了一个保障机制，以确保在初次请求失败的前提下，可以重新发起接口访问请求的信息，进行再次请求。

本发明提供的消费数据处理方法，在分发方式为接口调用的方式下，对数据库进行存储过程中的存储时间和存储上限进行了预先配置，使数据库整体处于一个动态平衡之中，实现了数据库的稳定运行；与此同时，业务重试配置信息的加入，可以有效提高接口访问请求的成功率，提高消费数据处理过程的可靠性。

根据本发明提供的一种消费数据处理方法，在本发明中，所述方法还包括：当业务消费出问题时，根据消费数据在数据库中存储的时间节点和/或偏移量进行重新消费；

和/或，当本地存储数据丢失时，自动根据所述消费信息源配置信息从kafka数据源节点的偏移量同步获取数据。

需要说明的是，当业务消费出现问题时，即业务消费失败时，此时会触发业务消费重试机制，具体为：根据消费数据在数据库中存储的时间节点和/或偏移量进行重新消费，该重试机制可以有效确保对消费数据的精准消费，避免出现消费数据的重复消费或遗漏消费的问题，同时该重试机制可以有效确保数据消费过程的稳定性与可靠性。

当本地存储数据丢失时，自动根据消费信息源配置信息从kafka数据源节点的偏移量同步获取数据，该过程实际上是一种对于消费数据的自动补充过程，并且“从kafka数据源节点的偏移量同步获取数据”可以有效确保所补充的数据与已消费完成的数据不发生重合，亦不发生遗漏，确保所补充数据的准确与可靠。

本发明提供的消费数据处理方法，通过业务消费重试机制可以使业务消费出现问题时，及时进行再次业务消费过程，确保数据消费过程的稳定性与可靠性；与此同时，通过消费数据的自动补充过程可以使本地存储数据丢失时，及时进行消费数据的自动补充，确保数据消费过程的稳定进行。

根据本发明提供的一种消费数据处理方法，在本发明中，所述配置信息还包括报警规则配置信息；所述方法还包括：根据所述报警规则配置信息进行报警处理，并将报警信息发送到对应的所述第一业务方或所述第二业务方。

在数据库中进行参数配置时，同时进行了报警规则配置，当消费数据获取过程中发生异常时，会进行报警处理，将报警信息发送到出现异常所对应的第一业务方或者第二业务方，对于报警信息的发送方式具体可以利用邮件将报警信息发送给出现异常所对应的第一业务方或者第二业务方。

需要说明的是，对于异常情况的设定按照分发方式的不同可以设置为两种情况：①消息流写入方式下，在进行限流后对于消费数据的写入失败，此时触发报警，并将报警信息发送给对应的第一业务方；②接口调用方式下，在对消费数据进行数据存储过程中因为存储超载或者接口调用地址识别失败，触发报警，并将报警信息发送给对应的第二业务方。

本发明提供的消费数据处理方法，通过在数据库内配置报警规则，并针对不同的分发方式进行了不同的报警规则设置，并将报警信息传达给业务方，基于此确保业务方在对消费数据获取过程中出现大的异常时，可以快速明晰当前状态，增强了业务方与***的交互作用，从而确保了整个***的正常运转。

图2是本发明提供的消费数据处理方法的流程示意图之二，如图2所示，所述方法包括：

(1)预先配置消费规则、业务处理规则(包括分发方式)、业务存储规则(包括数据存储规则)、报警规则；

所述消费规则包括消费数据在Kafka的获取路径，具体为，业务方需要确定对应的集群(Cluster)、该集群上的服务器(Broker)、以及该服务器上的主题(Topic)和分区(Partition)，当将上述参数确定完成后，即得到业务方从Kafka获取消费数据的完整路径。

所述业务处理规则主要用于区分具体利用哪种分发方式来实现对于消费数据的分发过程，具体为利用消息流写入方式或者接口调用方式，消息流写入方式指的是服务器根据预先配置好的消费数据获取路径将Kafka上的消费数据发送给业务方，而接口调用方式可以是业务方基于http协议向服务器发出消费数据接收请求，服务器在接收到请求后，按照预先配置好的消费数据获取路径向业务方发送相应的消费数据。

所述业务存储规则包括在业务处理规则为接口调用方式的前提下，消费数据在数据库中需要存储的时间以及在数据库中对于消费数据的存储量大小的设定，以便于后续基于接口调用方式实现对于消费数据的调用过程。

所述报警规则包括：①消息流写入方式下，在进行限流后对于消费数据的写入失败，此时触发报警，并将报警信息发送给对应的第一业务方；②接口调用方式下，在对消费数据进行数据存储过程中因为存储超载或者接口调用地址识别失败，触发报警，并将报警信息发送给对应的第二业务方；

(2)进行消费数据获取过程；

服务器通过读取kafka数据流进行数据消费，并将消费数据发送给业务方以起到服务消费者的功能(业务方实际是最终消费者)。要实现对于业务方的服务，首先需要为业务方配置消费规则，根据消费规则可以获知消费数据在Kafka的获取路径。若某个业务方没有配置对应的消费规则，则直接结束。若配置有消费规则，则进一步获取业务处理规则，业务处理规则包括消息流写入方式或者接口调用方式。

当采用消息流写入方式获取消费数据时，基于第一业务方的ID确定该第一业务方所需要的Kafka中消费数据的具***置，依次包括集群(Cluster)、集群上的服务器(Broker)、服务器上的主题(Topic)和分区(Partition)，基于以上信息构建消费数据获取路径，每次消息流写入开始前需要向令牌桶发送请求，请求从已构建完成的令牌桶内取走令牌，若令牌获取成功，则将消费数据发送给第一业务方；若令牌获取失败，则向令牌桶重新发起令牌获取请求，最终实现对于消费数据的信息流写入过程。

当采用接口调用方式获取消费数据时，第二业务方基于http协议向服务器发起消费数据接收请求，服务器在接收到请求后，按照预先配置好的消费数据获取路径向第二业务方发送相应的消费数据。可以预先根据配置好的消费数据获取路径获取业务数据(消费数据)并存储于数据库中，服务器从数据库获取对应的业务数据，将业务数据输出给第二业务方。

为了确保消费数据获取过程的稳定进行，提高该过程的运行可靠性，在服务器中进行了业务处理监控配置和报警配置，具体为：业务处理监控配置用于监控进程进行过程中的运行情况，当监控到进程运行异常时，触发进程保护，进程保护具有两个功能：①当监控到主进程异常时，触发备份进程，基于备份进程继续进行未完成的进程；②当监控到子进程异常时，重新启动一个子进程。

报警配置主要针对于消费数据获取过程中产生异常情况时，给出报警提醒，方便用户及时作出反应，消除异常情况，而给出报警提醒所针对的异常情况主要有两类，具体为：①消息流写入方式下，在进行限流后对于消费数据的写入失败，此时触发报警，并将报警信息发送给对应的第一业务方；②接口调用方式下，在对消费数据进行数据存储过程中因为存储超载或者接口调用地址识别失败，触发报警，并将报警信息发送给对应的第二业务方。

图2中，实线用于表示实时的处理过程。虚线表示异步处理过程，如监听的方式。比如图2中读取kafka数据需要监听kafka集群的状态，监听数据库的状态以及消息数据流的状态进行业务处理过程监控，业务方也可以通过监听消息数据流的状态获取消费数据。

本发明提供的消费数据处理方法，通过对消费规则的配置，明确了业务方从第三方平台获取消费数据的具体路径，实现了业务方对于第三方平台内消费数据的精准获取；而对于分发方式的配置，使业务方对于消费数据的获取同时具有了主动请求和被动接收的能力，丰富了业务方获取数据的方式；基于对消费数据处理过程的上述配置，避免了各个业务方在消费数据获取过程中代码的重复开发，简化了消费数据获取过程，提高了业务方获取消费数据的效率。

图3是本发明提供消费数据处理装置的结构示意图，如图3所示，所述消费数据处理装置300包括配置信息读取模块310和消费数据分发模块320，其中：

配置信息读取模块310，用于读取配置信息；其中，所述配置信息包括消费信息源配置信息和分发方式配置信息，所述消费信息源配置信息包括消费数据在第三方平台的获取路径，所述分发方式配置信息包括消息流写入方式和/或接口调用方式；所述配置信息和业务方一一对应；

消费数据分发模块320，用于获取所述分发方式配置信息为所述消息流写入方式的至少一个第一业务方，根据所述消费数据在第三方平台的获取路径获取对应的第一消费数据，将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方；和/或，获取所述分发方式配置信息为所述接口调用方式的至少一个第二业务方，根据所述消费数据在第三方平台的获取路径获取对应的第二消费数据，接收所述第二业务方发送的用于获取所述第二消费数据的接口访问请求，将对应的所述第二消费数据发送给所述第二业务方。

本发明提供的消费数据处理装置，通过对消费规则的配置，明确了业务方从第三方平台获取消费数据的具体路径，实现了业务方对于第三方平台内消费数据的精准获取；而对于分发方式的配置，使业务方对于消费数据的获取同时具有了主动请求和被动接收的能力，丰富了业务方获取数据的方式；基于对消费数据处理过程的上述配置，避免了各个业务方在消费数据获取过程中代码的重复开发，简化了消费数据获取过程，提高了业务方获取消费数据的效率。

根据本发明提供的一种消费数据处理装置，所述配置信息还包括进程管理配置信息，所述进程管理配置信息包括进程启动配置信息、进程监控配置信息、进程保护配置信息中的至少一种；其中，所述进程启动配置信息包括为主进程和子进程设置启动条件；所述进程保护配置信息包括为主进程设置保护进程和/或配置在监测到子进程异常后重新启动新的子进程；所述进程监控配置信息包括配置监控主进程和子进程的运行情况，在监控到主进程和/或子进程运行异常时，触发进程保护；

本发明提供的消费数据处理装置，通过在数据库中预先进行进程启动配置信息、进程监控配置信息以及进程保护配置信息，使得当业务方从Kafka获取消费数据的进程中出现异常时，能够及时进行自动处理，确保了整个消费数据获取过程的正常进行，提高了数据获取的可靠性。

根据本发明提供的一种消费数据处理装置，所述子进程对应所述第一业务方或所述第二业务方，所述子进程用于根据所述消费数据在第三方平台的获取路径获取对应的所述第一消费数据或根据所述消费数据在第三方平台的获取路径获取对应的所述第二消费数据。

本发明提供的消费数据处理装置，通过根据消费数据的不同获取方式将消费数据处理进程划分为不同的子进程进行分别处理，有利于实现对各个子进程的分别管理，提高进程管理效率，且避免彼此之间的影响。

根据本发明提供的一种消费数据处理装置，所述主进程利用任务表数据作为拉起所述子进程的数据源并实现对所述子进程的运行情况监控；其中，所述任务表数据包括所述子进程的进程号、业务标识及所述子进程的运行状态，所述业务标识为所述第一业务方或所述第二业务方的标识。

本发明提供的消费数据处理装置，通过利用任务表数据存储子进程相关信息，实现了子进程的启动及监控的快速控制。

根据本发明提供的一种消费数据处理装置，所述配置信息还包括限流配置信息，所述限流配置信息用于在所述分发方式配置信息为所述消息流写入方式时控制写入速度。

本发明提供的消费数据处理装置，通过在数据库中针对于消息流写入方式下的限流配置，实现了对于消息流写入速度的控制，有效缓解了业务方对于消费数据的获取压力，提升了用户体验。

根据本发明提供的一种消费数据处理装置，所述限流配置信息包括配置向令牌桶投递令牌的速度；消费数据分发模块320在用于执行所述将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方时，具体用于：请求从所述令牌桶取走令牌，若取到所述令牌，则将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方，若未取到所述令牌，则转到所述请求从所述令牌桶取走令牌。

本发明提供的消费数据处理装置，通过基于Redis构建令牌桶，将令牌获取与否作为第一业务方接收消费数据的对应条件，实现了在消息流写入条件下对于消费数据获取过程的限流作用，有效减缓了第一业务方的数据获取压力。

根据本发明提供的一种消费数据处理装置，所述配置信息还包括：在所述分发方式配置信息为所述接口调用方式时，配置所述消费数据在数据库的存储规则；所述存储规则包括数据存储时间和/或数据存储的上限；和/或，所述配置信息还包括业务重试配置信息，所述业务重试配置信息包括配置所述第二业务方在所述接口访问请求失败后重新发起所述接口访问请求的信息。

本发明提供的消费数据处理装置，在分发方式为接口调用的方式下，对数据库进行存储过程中的存储时间和存储上限进行了预先配置，使数据库整体处于一个动态平衡之中，实现了数据库的稳定运行；与此同时，业务重试配置信息的加入，可以有效提高接口访问请求的成功率，提高消费数据处理过程的可靠性。

根据本发明提供的一种消费数据处理装置，所述装置还包括重试模块，所述重试模块用于：当业务消费出问题时，根据消费数据在数据库中存储的时间节点和/或偏移量进行重新消费；

和/或，当本地存储数据丢失时，自动根据所述消费信息源配置信息从kafka数据源节点的偏移量同步获取数据。

本发明提供的消费数据处理装置，本发明提供的消费数据处理方法，通过业务消费重试机制可以使业务消费出现问题时，及时进行再次业务消费过程，确保数据消费过程的稳定性与可靠性；与此同时，通过消费数据的自动补充过程可以使本地存储数据丢失时，及时进行消费数据的自动补充，确保数据消费过程的稳定进行。

根据本发明提供的一种消费数据处理装置，所述配置信息还包括报警规则配置信息；所述装置还包括报警模块，所述报警模块用于：根据所述报警规则配置信息进行报警处理，并将报警信息发送到对应的所述第一业务方或所述第二业务方。

本发明提供的消费数据处理装置，通过在数据库内配置报警规则，并针对不同的分发方式进行了不同的报警规则设置，并将报警信息以传达给业务方，基于此确保业务方在对消费数据获取过程中出现大的异常时，可以快速明晰当前状态，增强了业务方与***的交互作用，从而确保了整个***的正常运转。

图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行消费数据处理方法，该方法包括：读取配置信息；其中，所述配置信息包括消费信息源配置信息和分发方式配置信息，所述消费信息源配置信息包括消费数据在第三方平台的获取路径，所述分发方式配置信息包括消息流写入方式和/或接口调用方式；所述配置信息和业务方一一对应；

获取所述分发方式配置信息为所述消息流写入方式的至少一个第一业务方，根据所述消费数据在第三方平台的获取路径获取对应的第一消费数据，将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方；和/或，获取所述分发方式配置信息为所述接口调用方式的至少一个第二业务方，根据所述消费数据在第三方平台的获取路径获取对应的第二消费数据，接收所述第二业务方发送的用于获取所述第二消费数据的接口访问请求，将对应的所述第二消费数据发送给所述第二业务方。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的消费数据处理方法，该方法包括：读取配置信息；其中，所述配置信息包括消费信息源配置信息和分发方式配置信息，所述消费信息源配置信息包括消费数据在第三方平台的获取路径，所述分发方式配置信息包括消息流写入方式和/或接口调用方式；所述配置信息和业务方一一对应；

获取所述分发方式配置信息为所述消息流写入方式的至少一个第一业务方，根据所述消费数据在第三方平台的获取路径获取对应的第一消费数据，将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方；和/或，获取所述分发方式配置信息为所述接口调用方式的至少一个第二业务方，根据所述消费数据在第三方平台的获取路径获取对应的第二消费数据，接收所述第二业务方发送的用于获取所述第二消费数据的接口访问请求，将对应的所述第二消费数据发送给所述第二业务方。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的消费数据处理方法，该方法包括：读取配置信息；其中，所述配置信息包括消费信息源配置信息和分发方式配置信息，所述消费信息源配置信息包括消费数据在第三方平台的获取路径，所述分发方式配置信息包括消息流写入方式和/或接口调用方式；所述配置信息和业务方一一对应；

获取所述分发方式配置信息为所述消息流写入方式的至少一个第一业务方，根据所述消费数据在第三方平台的获取路径获取对应的第一消费数据，将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方；和/或，获取所述分发方式配置信息为所述接口调用方式的至少一个第二业务方，根据所述消费数据在第三方平台的获取路径获取对应的第二消费数据，接收所述第二业务方发送的用于获取所述第二消费数据的接口访问请求，将对应的所述第二消费数据发送给所述第二业务方。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种消费数据处理方法，其特征在于，包括：

读取配置信息；其中，所述配置信息包括消费信息源配置信息和分发方式配置信息，所述消费信息源配置信息包括消费数据在第三方平台的获取路径，所述分发方式配置信息包括消息流写入方式和/或接口调用方式；所述配置信息和业务方一一对应；

获取所述分发方式配置信息为所述消息流写入方式的至少一个第一业务方，根据所述消费数据在第三方平台的获取路径获取对应的第一消费数据，将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方；和/或，获取所述分发方式配置信息为所述接口调用方式的至少一个第二业务方，根据所述消费数据在第三方平台的获取路径获取对应的第二消费数据，接收所述第二业务方发送的用于获取所述第二消费数据的接口访问请求，将对应的所述第二消费数据发送给所述第二业务方。

2.根据权利要求1所述的消费数据处理方法，其特征在于，所述配置信息还包括进程管理配置信息，所述进程管理配置信息包括进程启动配置信息、进程监控配置信息、进程保护配置信息中的至少一种；其中，所述进程启动配置信息包括为主进程和子进程设置启动条件；所述进程保护配置信息包括为主进程设置保护进程和/或配置在监测到子进程异常后重新启动新的子进程；所述进程监控配置信息包括配置监控主进程和子进程的运行情况，在监控到主进程和/或子进程运行异常时，触发进程保护；

所述方法还包括：根据所述进程管理配置信息进行进程管理。

3.根据权利要求2所述的消费数据处理方法，其特征在于，所述子进程对应所述第一业务方或所述第二业务方，所述子进程用于根据所述消费数据在第三方平台的获取路径获取对应的所述第一消费数据或根据所述消费数据在第三方平台的获取路径获取对应的所述第二消费数据。

4.根据权利要求3所述的消费数据处理方法，其特征在于，所述方法还包括：

所述主进程利用任务表数据作为拉起所述子进程的数据源并实现对所述子进程的运行情况监控；其中，所述任务表数据包括所述子进程的进程号、业务标识及所述子进程的运行状态，所述业务标识为所述第一业务方或所述第二业务方的标识。

5.根据权利要求2所述的消费数据处理方法，其特征在于，所述配置信息还包括限流配置信息，所述限流配置信息用于在所述分发方式配置信息为所述消息流写入方式时控制写入速度。

6.根据权利要求5所述的消费数据处理方法，其特征在于，所述限流配置信息包括配置向令牌桶投递令牌的速度；

所述将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方，具体包括：

请求从所述令牌桶取走令牌，若取到所述令牌，则将所述第一消费数据按照预设的消费规则发送给对应的所述第一业务方，若未取到所述令牌，则转到所述请求从所述令牌桶取走令牌。

7.根据权利要求1所述的消费数据处理方法，其特征在于，所述配置信息还包括：

在所述分发方式配置信息为所述接口调用方式时，配置所述消费数据在数据库的存储规则；所述存储规则包括数据存储时间和/或数据存储的上限；

和/或，所述配置信息还包括业务重试配置信息，所述业务重试配置信息包括配置所述第二业务方在所述接口访问请求失败后重新发起所述接口访问请求的信息。

8.根据权利要求7所述的消费数据处理方法，其特征在于，所述方法还包括：当业务消费出问题时，根据消费数据在数据库中存储的时间节点和/或偏移量进行重新消费；

和/或，当本地存储数据丢失时，自动根据所述消费信息源配置信息从kafka数据源节点的偏移量同步获取数据。

9.根据权利要求1所述的消费数据处理方法，其特征在于，所述配置信息还包括报警规则配置信息；

所述方法还包括：根据所述报警规则配置信息进行报警处理，并将报警信息发送到对应的所述第一业务方或所述第二业务方。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至9任一项所述消费数据处理方法的步骤。

Images