CN112732731A - 业务数据的消费方法、装置、电子设备和可读存储介质 - Google Patents
业务数据的消费方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN112732731A CN112732731A CN202011588858.6A CN202011588858A CN112732731A CN 112732731 A CN112732731 A CN 112732731A CN 202011588858 A CN202011588858 A CN 202011588858A CN 112732731 A CN112732731 A CN 112732731A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- unique identification
- identification code
- universal unique
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 13
- 238000003780 insertion Methods 0.000 claims description 4
- 230000037431 insertion Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013144 data compression Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
- G06F16/2336—Pessimistic concurrency control approaches, e.g. locking or multiple versions without time stamps
- G06F16/2343—Locking methods, e.g. distributed locking or locking implementation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种业务数据的消费方法、装置、电子设备和可读存储介质,涉及数据压缩技术领域。其中,业务数据的消费方法包括:获取业务生成数据;为数据生成递增的通用唯一识别码;将具有通用唯一标识码的数据依次发送至消息队列。通过本公开的技术方案,兼容于多种维度的业务的顺序消费场景,提高了业务数据的消费效率和可靠性。
Description
技术领域
本公开涉及数据处理技术领域,尤其涉及一种业务数据的消费方法、装置、电子设备和可读存储介质。
背景技术
自多个业务***之间产生通信需求时,就产生了消息队列这种中间件,它能够适用于“异步处理”、“流量控制”和“服务解耦”等场景。
在使用消息队列的过程中,经常有需要按照某一数据维度对其进行顺序消费的场景。特别是随着业务的发展,消息队列支持的数据集越来越多,维度越来越多,这种诉求也极为重要。
相关技术中,业务数据的消费依托于消息队列本身的功能,比如单队列型消息队列和全局加锁等,但是至少存在以下技术问题:
(1)消息队列本身的数据吞吐性能差。
(2)单个消息的异常可能会阻塞后面全部消息消费,会影响到业务数据的消费效率和可靠性。
(3)无法进行业务定制化,一旦改动业务组件,队列中全部消息都受到影响。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种业务数据的消费方法、装置、电子设备和可读存储介质,至少在一定程度上克服相关技术中业务数据的消费效率低的问题。
本公开的其他特性和优点将通过后续的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种业务数据的消费方法,包括:获取业务生成数据;为所述数据生成递增的通用唯一识别码;发送具有所述通用唯一标识码的数据的消息队列。
在本公开的一个实施例中,为所述数据生成递增的通用唯一识别码包括:解析所述数据的业务类型;根据所述数据的业务类型确定业务编码;通过递增函数对属于同一个所述业务编码的数据生成递增的通用唯一识别码。
根据本公开的一个方面,提供另一种业务数据的消费方法,包括:获取所述消息队列中的一个数据;解析所述数据的通用唯一识别码和业务编码;根据业务锁状态信息、所述数据的通用唯一识别码和业务编码对所述数据进行消费处理。
在本公开的一个实施例中,根据业务锁状态信息、所述数据的通用唯一识别码和业务编码对所述数据进行消费处理包括:根据所述业务编码确定所述业务锁状态信息中对应的预设业务编码;根据所述预设业务编码确定所述业务锁状态信息中的业务状态;根据所述业务状态和所述数据的通用唯一标识码对所述数据进行消费处理。
在本公开的一个实施例中,根据所述业务状态和所述数据的通用唯一标识码对所述数据进行消费处理包括:若确定所述业务状态为未锁定,则更新所述业务锁状态信息中的通用唯一识别码为所述数据的通用唯一标识码,并对所述数据进行锁定,以及将所述业务状态设置为已锁定;对锁定的所述数据进行消费处理;在完成所述消费处理后,对所述数据进行解锁,并将所述业务状态更新为未锁定;确定所述数据消费成功。
在本公开的一个实施例中,根据所述业务状态和所述数据的通用唯一标识码对所述数据进行消费处理还包括:若确定所述业务状态为已锁定,则比较所述业务锁状态信息中的通用唯一标识码与所述数据的通用唯一标识码之间的大小关系;根据所述大小关系确定所述数据消费成功或等待所述消息队列中的下一个数据。
在本公开的一个实施例中,根据所述大小关系确定所述数据消费成功或等待所述消息队列中的下一个数据包括:若确定所述业务锁状态信息中的通用唯一标识码大于或等于所述数据的通用唯一标识码,则确定所述数据为消费成功的数据。
在本公开的一个实施例中,根据所述大小关系确定所述数据消费成功或等待所述消息队列中的下一个数据还包括:若确定所述业务锁状态信息中的通用唯一标识码小于所述数据的通用唯一标识码,则确定所述数据为消费失败的数据,并等待所述消息队列中的下一个数据。
在本公开的一个实施例中,还包括:根据所述消费处理的结果更新所述业务锁状态信息,所述业务锁状态信息包括最近处理业务数据的业务编码、所述最近处理业务数据的通用唯一标识码和所述最近处理业务数据的业务状态,所述业务状态为已锁定或未锁定。
在本公开的一个实施例中,所述业务锁状态信息包括数据库的身份标识、当前记录数据库的***时间和当前记录数据库的更新时间中的至少一种。
根据本公开的另一个方面,提供一种业务数据的消费装置,包括:获取模块,用于获取业务生成数据;生成模块,用于为所述数据生成递增的通用唯一识别码;发送模块,用于发送具有所述通用唯一标识码的数据的消息队列。
根据本公开的另一个方面,提供一种业务数据的消费装置,包括:获取模块,用于获取所述消息队列中的一个数据;解析模块,用于解析所述数据的通用唯一识别码和业务编码;消费模块,用于根据业务锁状态信息、所述数据的通用唯一识别码和业务编码对所述数据进行消费处理。
根据本公开的再一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述任意一项的业务数据的消费方法。
根据本公开的又一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任意一项的业务数据的消费方法。
本公开的实施例所提供的业务数据的消费方案,通过为所述数据生成递增的通用唯一识别码,发送具有所述通用唯一标识码的数据的消息队列,使得消息队列中的数据更加适用于多种维度的业务的顺序消费场景,提高了业务数据的消费效率和可靠性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种业务数据的消费方法的示意图;
图2示出本公开实施例中另一种业务数据的消费方法的流程图;
图3示出本公开实施例中又一种业务数据的消费方法的流程图;
图4示出本公开实施例中又一种业务数据的消费方法的流程图;
图5示出本公开实施例中又一种业务数据的消费方法的流程图;
图6示出本公开实施例中又一种业务数据的消费方法的流程图;
图7示出本公开实施例中又一种业务数据的消费方法的流程图;
图8示出本公开实施例中又一种业务数据的消费方法的流程图;
图9示出本公开实施例中又一种业务数据的消费方法的流程图;
图10示出本公开实施例中又一种业务数据的消费方法的流程图;
图11示出本公开实施例中又一种业务数据的消费方法的流程图;
图12示出本公开实施例中一种业务数据的消费装置的示意图;
图13示出本公开实施例中另一种业务数据的消费装置的示意图;
图14示出本公开实施例中一种电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
上述业务数据的消费方案可以通过多个终端和服务器集群的交互实现。
终端可以是手机、游戏主机、平板电脑、电子书阅读器、智能眼镜、MP4(MovingPicture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、智能家居设备、AR(Augmented Reality,增强现实)设备、VR(Virtual Reality,虚拟现实)设备等移动终端,或者,终端也可以是个人计算机(Personal Computer,PC),比如膝上型便携计算机和台式计算机等等。
其中,终端中可以安装有用于提供业务数据的消费的应用程序。
终端与服务器集群之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
服务器集群是一台服务器,或者由若干台服务器组成,或者是一个虚拟化平台,或者是一个云计算服务中心。服务器集群用于为提供业务数据的消费的应用程序提供后台服务。可选地,服务器集群承担主要计算工作,终端承担次要计算工作;或者,服务器集群承担次要计算工作,终端承担主要计算工作;或者,终端和服务器集群之间采用分布式计算架构进行协同计算。
可选地,不同的终端中安装的应用程序的客户端是相同的,或两个终端上安装的应用程序的客户端是不同控制***平台的同一类型应用程序的客户端。基于终端平台的不同,该应用程序的客户端的具体形态也可以不同,比如,该应用程序客户端可以是手机客户端、PC客户端或者全球广域网客户端等。
本领域技术人员可以知晓,上述终端的数量可以更多或更少。比如上述终端可以仅为一个,或者上述终端为几十个或几百个,或者更多数量。本公开实施例对终端的数量和设备类型不加以限定。
可选的,该***还可以包括管理设备,该管理设备与服务器集群之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(W标识e Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(ExtensibleMarkupLanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(InternetProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
下面,将结合附图及实施例对本示例实施方式中的业务数据的消费方法的各个步骤进行更详细的说明。
图1示出本公开实施例中一种业务数据的消费方法流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行。
如图1所示,电子设备执行业务数据的消费方法,包括以下步骤:
步骤S102,获取业务生成数据。
步骤S104,为数据生成递增的通用唯一识别码。
步骤S106,发送具有通用唯一标识码的数据的消息队列。
在本公开的一个实施例中,通过为数据生成递增的通用唯一识别码,并发送具有通用唯一标识码的数据的消息队列,消息队列作为多个业务***的中间件,对于每种业务而言,通过递增的通用唯一标识码来确定数据是否消费成功、消费失败或执行消费,提升了业务数据的消费处理的效率、可靠性和准确性,也提升了同一消息队列对多个业务***的兼容性,以及多个业务***进行数据消费的流畅度。
在图1所示的基础上,如图2所示,为数据生成递增的通用唯一识别码包括:
步骤S2042,解析数据的业务类型。
步骤S2044,根据数据的业务类型确定业务编码。
步骤S2046,通过递增函数对属于同一个业务编码的数据生成递增的通用唯一识别码。
在本公开的一个实施例中,生产者在生产消息时,首先为每一个业务指定特定的业务编码,方便后面进行管理,为每一个业务生成对应的递增UUID,可以使用redis的递增函数“incr",可以采用redis中的key、value结构来实现,用业务编码作为key,UUID和状态作为value来实现业务,Redis Incr命令将key中储存的数字值增一。
其中,如果key不存在,那么key的值会先被初始化为0,然后再执行incr操作。如果值包含错误的类型,或字符串类型的值不能表示为数字,那么返回一个错误。incr操作的值限制在64位(bit)有符号数字表示之内,可以使用任何一个消息队列中间件,只要能够发送成功即可。
其中,redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。
另外,incr函数是redis中的一个递增函数,可以实现数字按照顺序递增。
可例如,消息队列为RabbitMQ或RocketMQ等,但不限于此,
图3示出本公开实施例中另一种业务数据的消费方法流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行。
如图3所示,电子设备执行业务数据的消费方法,包括以下步骤:
步骤S302,获取消息队列中的一个数据。
步骤S304,解析数据的通用唯一识别码和业务编码。
步骤S306,根据业务锁状态信息、数据的通用唯一识别码和业务编码对数据进行消费处理。
在本公开的一个实施例中,根据业务锁状态信息、数据的通用唯一识别码和业务编码对数据进行消费处理,对未锁定的数据进行消费处理,在消费处理过程中设置数据的状态为锁定,以避免多个业务***同时处理同一数据的冲突。进一步地,由于通用唯一识别码是递增的,因此,一方面,根据通用唯一标识码对数据进行增序的消费,另一方面,通过通用唯一标识码确定获取的消息队列的数据是否消费成功或消费失败,以提高数据的消费效率,降低了单个数据发生阻塞的概率。
在图3所示的基础上,如图4所示,根据业务锁状态信息、数据的通用唯一识别码和业务编码对数据进行消费处理包括:
步骤S4062,根据业务编码确定业务锁状态信息中对应的预设业务编码。
步骤S4064,根据预设业务编码确定业务锁状态信息中的业务状态。
步骤S4066,根据业务状态和数据的通用唯一标识码对数据进行消费处理。
在本公开的一个实施例中,每种业务编码对应于一组增序的通用唯一标识码,消息队列的数据可能包含多种通用唯一标识码,各种业务执行过程中各取所需,并根据业务状态和数据的通用唯一标识码对数据进行消费处理,若业务状态为未锁定,则对数据进行消费处理,并将数据的通用唯一标识码更新至业务锁状态信息中,以记录最近完成的业务数据的通用唯一标识码,并基于此来确定业务状态为已锁定的数据是否消费成功或消费失败。
在图3和图4所示的基础上,如图5所示,根据业务状态和数据的通用唯一标识码对数据进行消费处理包括:
步骤S50662,若确定业务状态为未锁定,则更新业务锁状态信息中的通用唯一识别码为数据的通用唯一标识码,并对数据进行锁定,以及将业务状态设置为已锁定。
步骤S50664,对锁定的数据进行消费处理。
步骤S50666,在完成消费处理后,对数据进行解锁,并将业务状态更新为未锁定。
步骤S50668,确定数据消费成功。
在本公开的一个实施例中,若确定业务状态为未锁定,则更新业务锁状态信息中的通用唯一识别码为数据的通用唯一标识码,并对数据进行锁定,以及将业务状态设置为已锁定,进而高效地对锁定的数据进行消费处理,以避免多业务同时对同一数据消费的冲突。另外,在完成消费处理后,对数据进行解锁,并将业务状态更新为未锁定,确定数据消费成功,使得消息队列的数据可被其他业务复用。
在图3和图4所示的基础上,如图6所示,根据业务状态和数据的通用唯一标识码对数据进行消费处理还包括:
步骤S60662,若确定业务状态为已锁定,则比较业务锁状态信息中的通用唯一标识码与数据的通用唯一标识码之间的大小关系。
步骤S60664,根据大小关系确定数据消费成功或等待消息队列中的下一个数据。
在本公开的一个实施例中,若确定业务状态为已锁定,则比较业务锁状态信息中的通用唯一标识码与数据的通用唯一标识码之间的大小关系,并根据大小关系确定数据消费成功或等待消息队列中的下一个数据,以降低数据消费阻塞的情况发生的概率。
在图3、图4和图6所示的基础上,如图7所示,根据大小关系确定数据消费成功或等待消息队列中的下一个数据包括:
步骤S702,若确定业务锁状态信息中的通用唯一标识码大于或等于数据的通用唯一标识码,则确定数据为消费成功的数据。
在本公开的一个实施例中,通过确定业务锁状态信息中的通用唯一标识码大于或等于数据的通用唯一标识码,则确定数据为消费成功的数据,也即已通用唯一标识码更大的数据执行消费成功,可以确定当前需要执行的数据已执行了,无需再次处理,跳过即可,并确定当前消息消费成功。
在图3、图4和图6所示的基础上,如图8所示,根据大小关系确定数据消费成功或等待消息队列中的下一个数据还包括:
步骤S802,若确定业务锁状态信息中的通用唯一标识码小于数据的通用唯一标识码,则确定数据为消费失败的数据,并等待消息队列中的下一个数据。
在本公开的一个实施例中,通过确定业务锁状态信息中的通用唯一标识码小于数据的通用唯一标识码,则确定数据为消费失败的数据,并等待消息队列中的下一个数据,即通过通用唯一标识码确定存在消息未消费成功,则跳过当前通用唯一标识码消息,当前消息消费失败。
在图3所示的基础上,如图9所示,电子设备执行业务数据的消费方法还包括:
步骤S902,根据消费处理的结果更新业务锁状态信息,业务锁状态信息包括最近处理业务数据的业务编码、最近处理业务数据的通用唯一标识码和最近处理业务数据的业务状态,业务状态为已锁定或未锁定。
在本公开的一个实施例中,通过根据消费处理的结果更新业务锁状态信息,可以基于不同业务实现顺序消费,更好的支持业务发展,开发成本较低,***接入成本低,原有的业务逻辑不受太大影响,无需过多改造。
在本公开的一个实施例中,业务锁状态信息包括数据库的身份标识、当前记录数据库的***时间和当前记录数据库的更新时间中的至少一种。
综上,基于本公开的技术方案,至少具备以下方面的改进:
(1)基于redis的incr函数实现简单的递增UUID,可以满足业务要求,技术要求门槛又很低。
(2)通过创建简单的数据库表来对所有业务进行状态控制,表结构简单,可以支持多种场景,多种数据维度。
(3)在数据消费过程中,通过判断记录状态来进行状态流转,实现消息在业务上面的顺序消费,减少了数据阻塞的概率,满足了项目的多业务的消费诉求。
下面参照图10来描述根据本公开的这种实施方式的业务数据的消费方案的示意图。图10所示的业务数据的消费方案仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示,生产者(终端)侧的业务数据的消费方案的执行步骤包括:
步骤S1002,业务生产数据。
步骤S1004,为每一维度数据生成递增UUID。
步骤S1006,发送消息队列。
如图10所示,消费者(终端)侧的业务数据的消费方案的执行步骤包括:
步骤S1008,接收消息队列。
步骤S1010,确定当前业务状态。
步骤S1012,执行消费业务。
步骤S1014,消费成功。
下面参照图11来描述根据本公开的这种实施方式的业务数据的消费方案的示意图。图11所示的业务数据的消费方案仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示,消费者(终端)侧的业务数据的消费方案的执行步骤包括:
步骤S1102,接收到消息队列的数据。
步骤S1104,解析数据的业务编码、UUID。
步骤S1106,判断当前业务状态。
步骤S1108,若数据库中当前业务状态为“未锁定”。
步骤S1110,更改最新数据库的锁UUID为当前处理数据的UUID,状态置为“已锁定”。
步骤S1112,执行消费业务。
步骤S1114,完成消费业务后,将数据库锁状态设置为“未锁定”。
步骤S1116,消费成功。
步骤S1118,若数据库中当前业务状态为“已锁定”且被锁定数据的UUID小于当前业务待处理数据的UUID。
步骤S1120,若数据库中当前业务状态为“已锁定”且被锁定数据的UUID≥当前业务待处理数据的UUID。
其中,上述数据库中维护有业务锁状态信息如表1所示,以查询已记录的当前业务的UUID、业务编码和业务状态。
表1
ID | 业务编码 | UUID | 状态 | 创建时间 | 更新时间 |
ID(Identity document,是身份证标识号、账号、唯一编码、专属号码、工业设计、国家简称、法律词汇、通用账户、译码器、软件公司等各类专有词汇的缩写):可以采用随机数,或者数据库自带的递增ID。
业务编码:每个业务分配一个编码,能够通过编码唯一识别某一业务即可,比如0001、0002等,但不限于此。
UUID(Universally Unique Identifier,通用唯一识别码):当前业务下,执行到的一个UUID,通过该字段判断消息队列消费流程如何流转,设置UUID是递增的,尤其是按照顺序递增,但不限于此。
状态:包括“已锁定”、“未锁定”两种状态。
创建时间:当前记录数据库***时间。
更新时间:当前记录数据库更新时间。
(1)消费者收到消息(数据)后,解析消息(数据)中的业务编码和UUID。根据业务编码查询当前编码的最新数据以提供后面业务使用。
(2)根据业务编码查询锁状态查询表,获取当前业务编码对应的表中的UUID以及状态。
(3)若数据库中当前业务编码对应的锁状态为“未锁定”,执行以下步骤(3.1)~(3.4)。
(3.1)更改最新数据库的锁UUID为当前处理数据的UUID,状态置为“锁定”
(3.2)执行消费逻辑
(3.3)执行消费成功后,将数据库中当前业务以及当前处理数据的UUID的记录状态改为“未锁定”。
(3.4)消息(数据)消费成功。
(4)若数据库中当前业务编码对应的锁状态为“锁定”,并且被锁定的消息(数据)的UUID大于当前要执行消息(数据)的UUID,则执行步骤(4.1)。
(4.1)确定已经有更新的版本号执行成功了,当前需要执行的版本号较旧,无需处理,跳过即可,当前消息(数据)消费成功。
(5)若数据库中当前业务编码对应的锁状态为“锁定”,并且被锁定的消息(数据)的UUID小于当前要执行的消息(数据)的UUID,则执行步骤(5.1):
(5.1)在消费当前版本号时,存在旧的消息(数据)未消费成功,则跳过当前版本号的消息(数据),当前消息(数据)消费失败。
下面参照图12来描述根据本公开的这种实施方式的业务数据的消费装置1200。图12所示的业务数据的消费装置1200仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
业务数据的消费装置1200以硬件模块的形式表现。业务数据的消费装置1200的组件可以包括但不限于:获取模块1202、生成模块1204和发送模块1206。
获取模块1202,用于获取业务生成数据。
生成模块1204,用于为数据生成递增的通用唯一识别码。
发送模块1206,用于发送具有通用唯一标识码的数据的消息队列。
下面参照图13来描述根据本公开的这种实施方式的业务数据的消费装置1300。图13所示的业务数据的消费装置1300仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
业务数据的消费装置1300以硬件模块的形式表现。业务数据的消费装置1300的组件可以包括但不限于:获取模块1302、解析模块1304和消费模块1306。
获取模块1302,用于获取消息队列中的一个数据。
解析模块1304,用于解析数据的通用唯一识别码和业务编码。
消费模块1306,用于根据业务锁状态信息、数据的通用唯一识别码和业务编码对数据进行消费处理。
下面参照图14来描述根据本公开的这种实施方式的电子设备1400。图14显示的电子设备1400仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图14所示,电子设备1400以通用计算设备的形式表现。电子设备1400的组件可以包括但不限于:上述至少一个处理单元1410、上述至少一个存储单元1420、连接不同***组件(包括存储单元1420和处理单元1410)的总线1430。
其中,存储单元存储有程序代码,程序代码可以被处理单元1410执行,使得处理单元1410执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,处理单元1410可以执行本公开的业务数据的消费方法中限定的步骤。
存储单元1420可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)14201和/或高速缓存存储单元14202,还可以进一步包括只读存储单元(ROM)14203。
存储单元1420还可以包括具有一组(至少一个)程序模块14205的程序/实用工具14204,这样的程序模块14205包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1430可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1400也可以与一个或多个外部设备1440(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备交互的设备通信,和/或与使得该电子设备1400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1450进行。并且,电子设备1400还可以通过网络适配器1110与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信,网络适配器1110通过总线1430与电子设备1400的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RA标识***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
根据本公开的实施方式的用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
Claims (14)
1.一种业务数据的消费方法,其特征在于,包括:
获取业务生成数据;
为所述数据生成递增的通用唯一识别码;
发送具有所述通用唯一标识码的数据的消息队列。
2.根据权利要求1所述的业务数据的消费方法,其特征在于,为所述数据生成递增的通用唯一识别码包括:
解析所述数据的业务类型;
根据所述数据的业务类型确定业务编码;
通过递增函数对属于同一个所述业务编码的数据生成递增的通用唯一识别码。
3.一种业务数据的消费方法,其特征在于,包括:
获取所述消息队列中的一个数据;
解析所述数据的通用唯一识别码和业务编码;
根据业务锁状态信息、所述数据的通用唯一识别码和业务编码对所述数据进行消费处理。
4.根据权利要求3所述的业务数据的消费方法,其特征在于,根据业务锁状态信息、所述数据的通用唯一识别码和业务编码对所述数据进行消费处理包括:
根据所述业务编码确定所述业务锁状态信息中对应的预设业务编码;
根据所述预设业务编码确定所述业务锁状态信息中的业务状态;
根据所述业务状态和所述数据的通用唯一标识码对所述数据进行消费处理。
5.根据权利要求4所述的业务数据的消费方法,其特征在于,根据所述业务状态和所述数据的通用唯一标识码对所述数据进行消费处理包括:
若确定所述业务状态为未锁定,则更新所述业务锁状态信息中的通用唯一识别码为所述数据的通用唯一标识码,并对所述数据进行锁定,以及将所述业务状态设置为已锁定;
对锁定的所述数据进行消费处理;
在完成所述消费处理后,对所述数据进行解锁,并将所述业务状态更新为未锁定;
确定所述数据消费成功。
6.根据权利要求4所述的业务数据的消费方法,其特征在于,根据所述业务状态和所述数据的通用唯一标识码对所述数据进行消费处理还包括:
若确定所述业务状态为已锁定,则比较所述业务锁状态信息中的通用唯一标识码与所述数据的通用唯一标识码之间的大小关系;
根据所述大小关系确定所述数据消费成功或等待所述消息队列中的下一个数据。
7.根据权利要求6所述的业务数据的消费方法,其特征在于,根据所述大小关系确定所述数据消费成功或等待所述消息队列中的下一个数据包括:
若确定所述业务锁状态信息中的通用唯一标识码大于或等于所述数据的通用唯一标识码,则确定所述数据为消费成功的数据。
8.根据权利要求6所述的业务数据的消费方法,其特征在于,根据所述大小关系确定所述数据消费成功或等待所述消息队列中的下一个数据还包括:
若确定所述业务锁状态信息中的通用唯一标识码小于所述数据的通用唯一标识码,则确定所述数据为消费失败的数据,并等待所述消息队列中的下一个数据。
9.根据权利要求3-8中任一项所述的业务数据的消费方法,其特征在于,还包括:
根据所述消费处理的结果更新所述业务锁状态信息,所述业务锁状态信息包括最近处理业务数据的业务编码、所述最近处理业务数据的通用唯一标识码和所述最近处理业务数据的业务状态,所述业务状态为已锁定或未锁定。
10.根据权利要求3-8中任一项所述的业务数据的消费方法,其特征在于,
所述业务锁状态信息包括数据库的身份标识、当前记录数据库的***时间和当前记录数据库的更新时间中的至少一种。
11.一种业务数据的消费装置,其特征在于,包括:
获取模块,用于获取业务生成数据;
生成模块,用于为所述数据生成递增的通用唯一识别码;
发送模块,用于发送具有所述通用唯一标识码的数据的消息队列。
12.一种业务数据的消费装置,其特征在于,包括:
获取模块,用于获取所述消息队列中的一个数据;
解析模块,用于解析所述数据的通用唯一识别码和业务编码;
消费模块,用于根据业务锁状态信息、所述数据的通用唯一识别码和业务编码对所述数据进行消费处理。
13.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-10中任一项所述的业务数据的消费方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,
所述计算机程序被处理器执行时实现权利要求1-10中任一项所述的业务数据的消费方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011588858.6A CN112732731B (zh) | 2020-12-29 | 2020-12-29 | 业务数据的消费方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011588858.6A CN112732731B (zh) | 2020-12-29 | 2020-12-29 | 业务数据的消费方法、装置、电子设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112732731A true CN112732731A (zh) | 2021-04-30 |
CN112732731B CN112732731B (zh) | 2024-06-18 |
Family
ID=75607344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011588858.6A Active CN112732731B (zh) | 2020-12-29 | 2020-12-29 | 业务数据的消费方法、装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112732731B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113486029A (zh) * | 2021-06-28 | 2021-10-08 | 上海万物新生环保科技集团有限公司 | 一种服务降级的数据补偿方法、***及设备 |
CN113626163A (zh) * | 2021-07-20 | 2021-11-09 | 上海泛宥信息科技有限公司 | 一种轻量级分布式增量自调度方法、***、设备和介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1972341A (zh) * | 2006-12-08 | 2007-05-30 | 中国联合通信有限公司 | 一种综合增值业务***及其业务处理方法 |
US20120109920A1 (en) * | 2010-11-03 | 2012-05-03 | Robert Forster | Systems and methods providing a soft exit state fro secondary business objects locks |
US20150040140A1 (en) * | 2013-08-01 | 2015-02-05 | International Business Machines Corporation | Consuming Ordered Streams of Messages in a Message Oriented Middleware |
CN108009027A (zh) * | 2017-11-23 | 2018-05-08 | 北京百度网讯科技有限公司 | 队列消息一致性的实现方法、装置、设备及存储介质 |
CN108881492A (zh) * | 2018-08-08 | 2018-11-23 | 百卓网络科技有限公司 | 一种解决消息处理顺序及疏导消息处理的方法 |
CN111538588A (zh) * | 2020-03-30 | 2020-08-14 | 中国平安人寿保险股份有限公司 | 分布式数据处理方法及相关装置 |
CN111722918A (zh) * | 2019-03-21 | 2020-09-29 | 北京沃东天骏信息技术有限公司 | 业务标识码生成方法、装置、存储介质及电子设备 |
CN111784329A (zh) * | 2020-06-30 | 2020-10-16 | 京东数字科技控股有限公司 | 业务数据的处理方法和装置、存储介质、电子装置 |
-
2020
- 2020-12-29 CN CN202011588858.6A patent/CN112732731B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1972341A (zh) * | 2006-12-08 | 2007-05-30 | 中国联合通信有限公司 | 一种综合增值业务***及其业务处理方法 |
US20120109920A1 (en) * | 2010-11-03 | 2012-05-03 | Robert Forster | Systems and methods providing a soft exit state fro secondary business objects locks |
US20150040140A1 (en) * | 2013-08-01 | 2015-02-05 | International Business Machines Corporation | Consuming Ordered Streams of Messages in a Message Oriented Middleware |
CN108009027A (zh) * | 2017-11-23 | 2018-05-08 | 北京百度网讯科技有限公司 | 队列消息一致性的实现方法、装置、设备及存储介质 |
CN108881492A (zh) * | 2018-08-08 | 2018-11-23 | 百卓网络科技有限公司 | 一种解决消息处理顺序及疏导消息处理的方法 |
CN111722918A (zh) * | 2019-03-21 | 2020-09-29 | 北京沃东天骏信息技术有限公司 | 业务标识码生成方法、装置、存储介质及电子设备 |
CN111538588A (zh) * | 2020-03-30 | 2020-08-14 | 中国平安人寿保险股份有限公司 | 分布式数据处理方法及相关装置 |
CN111784329A (zh) * | 2020-06-30 | 2020-10-16 | 京东数字科技控股有限公司 | 业务数据的处理方法和装置、存储介质、电子装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113486029A (zh) * | 2021-06-28 | 2021-10-08 | 上海万物新生环保科技集团有限公司 | 一种服务降级的数据补偿方法、***及设备 |
CN113626163A (zh) * | 2021-07-20 | 2021-11-09 | 上海泛宥信息科技有限公司 | 一种轻量级分布式增量自调度方法、***、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112732731B (zh) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112732731B (zh) | 业务数据的消费方法、装置、电子设备和可读存储介质 | |
CN1625179B (zh) | 按可定制的、基于标签协议中的引用发送 | |
CN110019498B (zh) | 日志同步方法及装置、存储介质、电子设备 | |
US20210344766A1 (en) | Systems and methods for decentralization of blockchain-based processes employing a blockchain-associated front end or blockchain-associated user interface | |
CN113923225A (zh) | 基于分布式架构的联邦学习平台、方法、设备和存储介质 | |
US7117252B1 (en) | Data transmission method, computer-readable medium, and data transmission apparatus | |
CN114281876A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN111143310B (zh) | 日志记录方法及装置、可读存储介质 | |
CN114265638B (zh) | 基于插件兼容的通信方法、装置、设备及存储介质 | |
CN113268506B (zh) | 缓存数据库的查询方法、装置、电子设备和可读存储介质 | |
CN112948306B (zh) | 扩展***接口的方法和装置 | |
US20050080659A1 (en) | Server including an encoded data converter apparatus | |
CN110548285B (zh) | 游戏通信控制方法及装置、介质及电子设备 | |
CN109740027B (zh) | 数据交换方法、装置、服务器和存储介质 | |
CN115965227A (zh) | 工作流的数据处理方法、装置、设备、存储介质及产品 | |
CN113360558A (zh) | 数据处理方法、数据处理装置、电子设备及存储介质 | |
US20090007083A1 (en) | Techniques for parsing electronic files | |
CN114584621B (zh) | 一种数据发送的方法及装置 | |
CN111290758A (zh) | 模块解耦方法及装置、计算机可读存储介质、电子设备 | |
CN110727391A (zh) | 交易数据存储方法及装置、区块链***、介质和电子设备 | |
CN115600216B (zh) | 检测方法、装置、设备及存储介质 | |
CN114090082B (zh) | 一种整合规则引擎的调用外部接口的方法及*** | |
CN117519728A (zh) | 容器镜像部署方法、***、装置、设备及存储介质 | |
CN117708050A (zh) | 数据处理方法、装置、终端设备以及存储介质 | |
CN115079931A (zh) | 分布式存储节点的处理***、方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: Jingdong Digital Technology Holding Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |