CN104754036A - 一种基于kafka的消息处理***及处理方法 - Google Patents

一种基于kafka的消息处理***及处理方法 Download PDF

Info

Publication number
CN104754036A
CN104754036A CN201510099439.9A CN201510099439A CN104754036A CN 104754036 A CN104754036 A CN 104754036A CN 201510099439 A CN201510099439 A CN 201510099439A CN 104754036 A CN104754036 A CN 104754036A
Authority
CN
China
Prior art keywords
message
kafka
module
consumer
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510099439.9A
Other languages
English (en)
Inventor
文德民
潘柏宇
卢述奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unification Infotech (beijing) Co Ltd
Original Assignee
Unification Infotech (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unification Infotech (beijing) Co Ltd filed Critical Unification Infotech (beijing) Co Ltd
Priority to CN201510099439.9A priority Critical patent/CN104754036A/zh
Publication of CN104754036A publication Critical patent/CN104754036A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/212—Monitoring or handling of messages using filtering or selective blocking

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于kafka的消息处理***及处理方法，属于消息处理技术领域。为解决现有技术中订单***经常出现重复消息并且处理每条消息需要消耗较多的***资源，将会造成消费者端数据库访问量大量增加，消息处理能力下降，***稳定性及服务有效性下降的问题，提供一种基于kafka的消息处理***，包括由一个或多个消息生产者组成的消息生产者集群、kafka集群、由一个或多个消费者组成的消费者集群，kafka集群由一个或多个服务器组成，消费者包括过滤器模块、本地消息队列缓存模块、业务处理模块，以及由上述***实现的消息处理方法，用于需要处理大量消息的***尤其是订单***的消息处理。

Description

一种基于kafka的消息处理***及处理方法
技术领域
本发明具体涉及一种基于kafka的消息处理***及处理方法，属于消息处理技术领域。
背景技术
Kafka是由Linkedin开发的一个分布式的消息队列***(Message Queue)。
kafka开发的主要目标是构建一个用来处理海量日志，用户行为和网站运营统计等的数据处理框架。在结合了数据挖掘，行为分析，运营监控等需求的情况下，需要能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求。从需求的根本上来说，高吞吐率是第一要求，其次是实时性和持久性。
kafka的集群有多个Broker服务器组成，每个类型的消息被定义为topic，同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上，消息生产者producer和消费者consumer可以在多个Broker上生产或消费topic。
在大并发消息处理***中，一般使用kafka的生产者-消费者模式来异步处理请求，达到消除请求高峰的目的，提高***稳定性和吞吐量。对于一些需要处理大量消息的***如订单***，由于经常出现重复消息并且处理每条消息需要消耗较多的***资源（譬如多次数据库查询、访问文件***或网络调用等），将会造成消费者端数据库访问量大量增加，消息处理能力下降，***稳定性及服务有效性下降。
发明内容
因此，本发明针对现有技术中订单***经常出现重复消息并且处理每条消息需要消耗较多的***资源，将会造成消费者端数据库访问量大量增加，消息处理能力下降，***稳定性及服务有效性下降的问题，提供一种基于kafka的消息处理***，包括由一个或多个消息生产者组成的消息生产者集群、kafka集群、由一个或多个消费者组成的消费者集群，kafka集群由一个或多个服务器组成，每个服务器按照一定的主题存储消息，每个消息生产者向一个或多个服务器提交消息，每个消费者向一个或多个服务器订阅消息，其特征在于，所述消费者包括过滤器模块、本地消息队列缓存模块、业务处理模块，所述过滤器模块为不允许重复数据的容器，用于接收消费者从服务器订阅的消息，所述本地消息队列缓存模块用于缓存经过滤器模块过滤的消息，所述业务处理模块用于从消息队列缓存模块获得消息，完成对该消息的业务处理。
一种利用上述***实现的基于kafka的消息处理方法，其特征在于，所述方法为：消息生产者集群中的消息生产者向kafka集群提交消息，kafka集群将消息按照主题类型存储在相应的服务器中，服务器向订阅该主题类型的消费者发送该消息，接收消息的消费者的过滤器模块接收该消息并对该消息进行过滤处理，当该消息不在过滤器模块内时将该消息添加到本地消息队列缓存模块，本地消息队列缓存模块将该消息提供给业务处理模块，业务处理模块完成对该消息的业务处理。
所述方法中本地消息队列缓存模块设置消息队列最大值。最大值的设置需要根据期望的过滤效果和消息处理速度调整。队列大小主要影响过滤效果和内存数据丢失（如重启、宕机）时，消息丢失的多少。
所述方法中业务处理模块完成对该消息的业务处理后提示过滤器模块删除该消息。这样可以保证过滤器不会过大，并且新的消息可以添加到过滤器中。
本发明的有益效果在于：采用本发明的基于kafka的消息处理***及处理方法，在具备kafka的高吞吐率处理大量消息的能力的同时，业务处理模块不直接从Kafka取消息，而是从本地消息队列缓存模块中取消息，本地消息队列缓存模块中的消息是经过过滤器模块过滤的，重复的消息被去除，一条消息只处理一次，大大减少了对消费者端数据库的访问次数，消息处理能力上升，***稳定性及服务有效性提高。
附图说明
图1为本发明基于kafka的消息处理***的结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行说明：
如图1所示，一种基于kafka的消息处理***，包括由3个消息生产者组成的消息生产者集群、kafka集群、由2个消费者组成的消费者集群，kafka集群由3服务器组成，每个服务器按照一定的主题存储消息，主题是一定的key和算法，每个消息生产者向一个或多个服务器提交消息，每个消费者向一个或多个服务器订阅消息，消费者包括过滤器模块、本地消息队列缓存模块、业务处理模块，过滤器模块为不允许重复数据的容器，用于接收消费者从服务器订阅的消息，本地消息队列缓存模块用于缓存经过滤器模块过滤的消息，业务处理模块用于从消息队列缓存模块获得消息，完成对该消息的业务处理。
利用上述基于kafka的消息处理***实现的消息处理方法，具体应用于订单***中，消息生产者集群中的消息生产者2即用户向kafka集群提交消息，该消息为用户ID，kafka集群将用户ID按照主题类型存储在相应的服务器1中，服务器1向订阅该主题类型的消费者2发送该消息，接收用户ID的消费者2的过滤器模块接收用户ID并对用户ID进行过滤处理，当用户ID在过滤器模块内时将其过滤掉，当用户ID不在过滤器模块内时将该消息添加到本地消息队列缓存模块，本地消息队列缓存模块将用户ID提供给业务处理模块，业务处理模块完成对用户ID的业务处理。
作为优选的实施方式，本地消息队列缓存模块设置消息队列最大值。最大值的设置需要根据期望的过滤效果和消息处理速度调整。队列大小主要影响过滤效果和内存数据丢失（如重启、宕机）时，消息丢失的多少。
作为优选的实施方式，业务处理模块完成对用户ID的业务处理后提示过滤器模块删除用户ID。这样可以保证过滤器不会过大，并且新的消息可以添加到过滤器中。
如果采用现有技术的消息处理方法，一个用户可能有多个订单，每个订单还可能经过多次修改，消费者端需要多次针对用户ID建立缓存，加大了***负担，而使用本方法只需对用户ID建立一次缓存，即可保证业务处理完成之前用户ID不会重复。
主要Java语言算法结构如下：
初始化消费者
功能：初始化本地消息队列大小，生成Kafka客户端，并创建线程接收消息。
填充消息队列
功能：通过过滤器向本地消息队列添加消息，完成过滤功能。
获取消息的方式
业务处理模块不直接从Kafka取消息，而是本地消息队列中取消息，获取成功的同时从过滤器模块中删除相应的消息，这样可以保证过滤器模块不会过大，并且新的消息可以添加到过滤器模块中。
过滤器模块和本地消息队列的大小设置
不用设置过滤器容量的初始值和最大值。本地消息队列需要设置最大值，最大值的设置需要根据期望的过滤效果和消息处理速度调整。队列大小主要影响过滤效果和内存数据丢失（如重启、宕机）时，消息丢失的多少。
at-most-once的提交模式
使用Kafka客户端的at-most-once的提交模式，需要保证客户端配置参数auto.commit.enable的值为true。
过滤器模块和本地消息队列的实现
本地消息队列采用支持并发处理的BlockingQueue（需要JDK1.5以上支持）。过滤器模块采用不允许重复着的容器即可，如Set。因为可能存在多线程操作的情况，故采用支持并发操作的ConcurrentSkipListSet（需要JDK1.5以上支持）。从Kafka服务器获取到的消息先存入ConcurrentSkipListSet中，依靠Set容器不允许值重复的特性完成过滤功能。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1. 一种基于kafka的消息处理***，包括由一个或多个消息生产者组成的消息生产者集群、kafka集群、由一个或多个消费者组成的消费者集群，kafka集群由一个或多个服务器组成，每个服务器按照一定的主题存储消息，每个消息生产者向一个或多个服务器提交消息，每个消费者向一个或多个服务器订阅消息，其特征在于，所述消费者包括过滤器模块、本地消息队列缓存模块、业务处理模块，所述过滤器模块为不允许重复数据的容器，用于接收消费者从服务器订阅的消息，所述本地消息队列缓存模块用于缓存经过滤器模块过滤的消息，所述业务处理模块用于从消息队列缓存模块获得消息，完成对该消息的业务处理。
2.一种利用权利要求1所述***实现的基于kafka的消息处理方法，其特征在于，所述方法为：消息生产者集群中的消息生产者向kafka集群提交消息，kafka集群将消息按照主题类型存储在相应的服务器中，服务器向订阅该主题类型的消费者发送该消息，接收消息的消费者的过滤器模块接收该消息并对该消息进行过滤处理，当该消息不在过滤器模块内时将该消息添加到本地消息队列缓存模块，本地消息队列缓存模块将该消息提供给业务处理模块，业务处理模块完成对该消息的业务处理。
3.如权利要求2所述的基于kafka的消息处理方法，其特征在于，所述方法中本地消息队列缓存模块设置消息队列最大值。
4.如权利要求2所述的基于kafka的消息处理方法，其特征在于，所述方法中业务处理模块完成对该消息的业务处理后提示过滤器模块删除该消息。
CN201510099439.9A 2015-03-06 2015-03-06 一种基于kafka的消息处理***及处理方法 Pending CN104754036A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510099439.9A CN104754036A (zh) 2015-03-06 2015-03-06 一种基于kafka的消息处理***及处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510099439.9A CN104754036A (zh) 2015-03-06 2015-03-06 一种基于kafka的消息处理***及处理方法

Publications (1)

Publication Number Publication Date
CN104754036A true CN104754036A (zh) 2015-07-01

Family

ID=53593124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510099439.9A Pending CN104754036A (zh) 2015-03-06 2015-03-06 一种基于kafka的消息处理***及处理方法

Country Status (1)

Country Link
CN (1) CN104754036A (zh)

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141687A (zh) * 2015-08-19 2015-12-09 焦点科技股份有限公司 一种生产消息的方法
CN105227662A (zh) * 2015-09-30 2016-01-06 努比亚技术有限公司 消息处理方法、装置和***
CN105630574A (zh) * 2015-12-21 2016-06-01 中国电子科技网络信息安全有限公司 一种基于容器的消息队列总线管理***及方法
CN106170013A (zh) * 2016-06-29 2016-11-30 上海浦东发展银行股份有限公司***中心 一种基于Redis的Kafka消息唯一性方法
CN106302385A (zh) * 2016-07-26 2017-01-04 努比亚技术有限公司 一种消息分发装置及方法
CN106293968A (zh) * 2016-08-04 2017-01-04 华中科技大学 一种基于Kafka消息中间件的双向通信***及方法
CN106375200A (zh) * 2016-11-08 2017-02-01 上海找钢网信息科技股份有限公司 消息***及消息处理方法
CN106603689A (zh) * 2016-12-26 2017-04-26 努比亚技术有限公司 基于分布式发布订阅消息***的数据处理方法及装置
CN106657349A (zh) * 2016-12-29 2017-05-10 上海理想信息产业（集团）有限公司 一种消息订阅处理装置、***及方法
CN106817295A (zh) * 2016-12-08 2017-06-09 努比亚技术有限公司 一种消息处理装置和方法
WO2017114176A1 (zh) * 2015-12-30 2017-07-06 阿里巴巴集团控股有限公司 一种分布式环境协调消费队列方法和装置
CN106953901A (zh) * 2017-03-10 2017-07-14 重庆邮电大学 一种提高消息传递性能的集群通信***及其方法
CN107329832A (zh) * 2017-06-30 2017-11-07 北京奇艺世纪科技有限公司 一种数据接收方法及装置
CN107369012A (zh) * 2016-07-05 2017-11-21 康存乐付保数据科技（上海）有限公司 一种支付信息处理方法及***、及具有履约保证保险机制的预付卡处理方法
CN107590072A (zh) * 2017-08-30 2018-01-16 深圳乐信软件技术有限公司 一种应用开发和测试的方法和装置
CN107682169A (zh) * 2016-08-02 2018-02-09 北京京东尚科信息技术有限公司 一种利用Kafka集群发送消息的方法和装置
CN107911484A (zh) * 2017-12-13 2018-04-13 浪潮软件股份有限公司 一种消息处理的方法及装置
CN108009029A (zh) * 2017-11-30 2018-05-08 中电福富信息科技有限公司 基于Ignite网格缓存数据解耦持久化的方法及***
CN108076111A (zh) * 2016-11-15 2018-05-25 亿阳安全技术有限公司 一种在大数据平台中分发数据的***及方法
CN108076103A (zh) * 2016-11-18 2018-05-25 北京优朋普乐科技有限公司 一种消息处理方法、***及消息生产者集群
CN108132845A (zh) * 2016-12-01 2018-06-08 阿里巴巴集团控股有限公司 消息存储、投递方法和装置以及电子设备
CN108282514A (zh) * 2017-12-12 2018-07-13 北京奇艺世纪科技有限公司 一种分布式业务建立方法及装置
CN108874562A (zh) * 2018-06-21 2018-11-23 北京顺丰同城科技有限公司 分布式高并发消息队列推送***
CN108920144A (zh) * 2017-04-11 2018-11-30 北京京东尚科信息技术有限公司 一种消息处理方法和装置
CN108924041A (zh) * 2018-08-03 2018-11-30 北京捷易迅信息技术有限公司 一种即时通讯中消息高效可靠发送方法
CN108965355A (zh) * 2017-05-18 2018-12-07 北京京东尚科信息技术有限公司 用于数据传输的方法、装置及计算机可读存储介质
CN108984325A (zh) * 2018-07-20 2018-12-11 北京北信源信息安全技术有限公司 消息队列消费方法和装置
WO2018233592A1 (zh) * 2017-06-20 2018-12-27 中兴通讯股份有限公司 消息保序方法、网络节点及存储介质
CN109194736A (zh) * 2018-08-30 2019-01-11 百度在线网络技术（北京）有限公司 消息去重方法、装置、电子设备、介质和无人车
CN109451072A (zh) * 2018-12-29 2019-03-08 广东电网有限责任公司 一种基于Kafka的消息缓存***和方法
CN109614250A (zh) * 2018-12-04 2019-04-12 贵州电网有限责任公司 一种针对电采集***的Kafka的消息***
CN109684099A (zh) * 2018-11-23 2019-04-26 新华三大数据技术有限公司 消息处理方法及装置
CN110019240A (zh) * 2017-12-29 2019-07-16 ***通信集团北京有限公司 一种业务数据交互方法、装置及***
CN110138574A (zh) * 2019-03-26 2019-08-16 北京达佳互联信息技术有限公司 群管理方法、装置、电子设备及可读存储介质
CN110225133A (zh) * 2019-06-20 2019-09-10 恒生电子股份有限公司 消息发送方法、节点、装置、***及相关设备
CN110659124A (zh) * 2018-06-28 2020-01-07 北京京东尚科信息技术有限公司 一种消息处理方法和装置
CN110704208A (zh) * 2019-09-19 2020-01-17 深圳证券交易所 多个***的消息处理方法、服务器及存储介质
CN110740145A (zh) * 2018-07-18 2020-01-31 北京京东尚科信息技术有限公司 消息消费方法、装置、存储介质及电子设备
CN111049899A (zh) * 2019-12-11 2020-04-21 贝壳技术有限公司 kafka消息存储***、方法、装置及计算机可读存储介质
CN111131512A (zh) * 2019-12-31 2020-05-08 中消云（北京）物联网科技研究院有限公司 设备信息的处理方法、装置、存储介质及处理器
CN111163172A (zh) * 2019-12-31 2020-05-15 北京奇艺世纪科技有限公司 消息处理***、方法、电子设备及存储介质
CN111179081A (zh) * 2019-12-24 2020-05-19 中国建设银行股份有限公司 一种消息的处理方法和处理装置
CN111179080A (zh) * 2019-12-23 2020-05-19 中国建设银行股份有限公司 一种订单处理方法和订单处理装置
CN111200637A (zh) * 2019-12-20 2020-05-26 新浪网技术(中国)有限公司 一种缓存的处理方法及装置
TWI697217B (zh) * 2019-01-30 2020-06-21 中華電信股份有限公司 用以重複執行無服務器程式之容器控管系統及其方法
CN111459689A (zh) * 2020-04-07 2020-07-28 中国建设银行股份有限公司 基于分布式队列的消息处理***及方法
CN111555957A (zh) * 2020-03-26 2020-08-18 孩子王儿童用品股份有限公司 一种基于Kafka的同步消息服务***及实现方法
CN112330420A (zh) * 2020-11-27 2021-02-05 中国农业银行股份有限公司 一种订单取消方法和相关装置
CN112463411A (zh) * 2020-12-10 2021-03-09 重庆紫光华山智安科技有限公司 数据处理方法、装置、服务器及存储介质
CN112667476A (zh) * 2020-12-30 2021-04-16 平安普惠企业管理有限公司 基于任务的消息过滤方法、装置、设备及存储介质
CN112751789A (zh) * 2021-01-05 2021-05-04 浪潮云信息技术股份公司 一种非对称sdn控制器集群的实现方法及***
TWI735519B (zh) * 2017-01-24 2021-08-11 香港商阿里巴巴集團服務有限公司 分散式環境協調消費隊列方法和裝置
CN113542314A (zh) * 2020-04-13 2021-10-22 烽火通信科技股份有限公司 一种基于关键字过滤的订阅模式实现方法及***
CN115242787A (zh) * 2022-07-22 2022-10-25 恒生电子股份有限公司 消息处理***及方法
CN115914346A (zh) * 2021-08-09 2023-04-04 中移物联网有限公司 物联网消息处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102955717A (zh) * 2012-11-05 2013-03-06 北京奇虎科技有限公司 在分布式消息处理***中的消息管理设备和方法
CN103049556A (zh) * 2012-12-28 2013-04-17 中国科学院深圳先进技术研究院 一种海量医疗数据的快速统计查询方法
CN104092767A (zh) * 2014-07-21 2014-10-08 北京邮电大学 一种增加消息队列模型的发布/订阅***及其工作方法
CN104092717A (zh) * 2013-12-13 2014-10-08 深圳市腾讯计算机***有限公司 消息处理方法及***、消息目的端设备与分布式消息***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102955717A (zh) * 2012-11-05 2013-03-06 北京奇虎科技有限公司 在分布式消息处理***中的消息管理设备和方法
CN103049556A (zh) * 2012-12-28 2013-04-17 中国科学院深圳先进技术研究院 一种海量医疗数据的快速统计查询方法
CN104092717A (zh) * 2013-12-13 2014-10-08 深圳市腾讯计算机***有限公司 消息处理方法及***、消息目的端设备与分布式消息***
CN104092767A (zh) * 2014-07-21 2014-10-08 北京邮电大学 一种增加消息队列模型的发布/订阅***及其工作方法

Cited By (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141687B (zh) * 2015-08-19 2018-05-04 焦点科技股份有限公司 一种生产消息的方法
CN105141687A (zh) * 2015-08-19 2015-12-09 焦点科技股份有限公司 一种生产消息的方法
CN105227662A (zh) * 2015-09-30 2016-01-06 努比亚技术有限公司 消息处理方法、装置和***
CN105630574A (zh) * 2015-12-21 2016-06-01 中国电子科技网络信息安全有限公司 一种基于容器的消息队列总线管理***及方法
CN106933672B (zh) * 2015-12-30 2021-04-13 阿里巴巴集团控股有限公司 一种分布式环境协调消费队列方法和装置
CN106933672A (zh) * 2015-12-30 2017-07-07 阿里巴巴集团控股有限公司 一种分布式环境协调消费队列方法和装置
WO2017114176A1 (zh) * 2015-12-30 2017-07-06 阿里巴巴集团控股有限公司 一种分布式环境协调消费队列方法和装置
CN106170013A (zh) * 2016-06-29 2016-11-30 上海浦东发展银行股份有限公司***中心 一种基于Redis的Kafka消息唯一性方法
CN107369012A (zh) * 2016-07-05 2017-11-21 康存乐付保数据科技（上海）有限公司 一种支付信息处理方法及***、及具有履约保证保险机制的预付卡处理方法
CN106302385A (zh) * 2016-07-26 2017-01-04 努比亚技术有限公司 一种消息分发装置及方法
CN106302385B (zh) * 2016-07-26 2019-11-15 努比亚技术有限公司 一种消息分发装置及方法
CN107682169B (zh) * 2016-08-02 2021-03-30 北京京东尚科信息技术有限公司 一种利用Kafka集群发送消息的方法和装置
CN107682169A (zh) * 2016-08-02 2018-02-09 北京京东尚科信息技术有限公司 一种利用Kafka集群发送消息的方法和装置
CN106293968A (zh) * 2016-08-04 2017-01-04 华中科技大学 一种基于Kafka消息中间件的双向通信***及方法
CN106293968B (zh) * 2016-08-04 2019-05-10 华中科技大学 一种基于Kafka消息中间件的双向通信***及方法
CN106375200A (zh) * 2016-11-08 2017-02-01 上海找钢网信息科技股份有限公司 消息***及消息处理方法
CN108076111B (zh) * 2016-11-15 2021-07-09 亿阳安全技术有限公司 一种在大数据平台中分发数据的***及方法
CN108076111A (zh) * 2016-11-15 2018-05-25 亿阳安全技术有限公司 一种在大数据平台中分发数据的***及方法
CN108076103A (zh) * 2016-11-18 2018-05-25 北京优朋普乐科技有限公司 一种消息处理方法、***及消息生产者集群
CN108132845A (zh) * 2016-12-01 2018-06-08 阿里巴巴集团控股有限公司 消息存储、投递方法和装置以及电子设备
CN106817295A (zh) * 2016-12-08 2017-06-09 努比亚技术有限公司 一种消息处理装置和方法
CN106603689A (zh) * 2016-12-26 2017-04-26 努比亚技术有限公司 基于分布式发布订阅消息***的数据处理方法及装置
CN106603689B (zh) * 2016-12-26 2021-08-03 努比亚技术有限公司 基于分布式发布订阅消息***的数据处理方法及装置
CN106657349A (zh) * 2016-12-29 2017-05-10 上海理想信息产业（集团）有限公司 一种消息订阅处理装置、***及方法
TWI735519B (zh) * 2017-01-24 2021-08-11 香港商阿里巴巴集團服務有限公司 分散式環境協調消費隊列方法和裝置
CN106953901A (zh) * 2017-03-10 2017-07-14 重庆邮电大学 一种提高消息传递性能的集群通信***及其方法
CN106953901B (zh) * 2017-03-10 2020-04-07 重庆邮电大学 一种提高消息传递性能的集群通信***及其方法
CN108920144A (zh) * 2017-04-11 2018-11-30 北京京东尚科信息技术有限公司 一种消息处理方法和装置
CN108965355B (zh) * 2017-05-18 2021-05-25 北京京东尚科信息技术有限公司 用于数据传输的方法、装置及计算机可读存储介质
CN108965355A (zh) * 2017-05-18 2018-12-07 北京京东尚科信息技术有限公司 用于数据传输的方法、装置及计算机可读存储介质
CN109104446A (zh) * 2017-06-20 2018-12-28 中兴通讯股份有限公司 一种消息保序方法、网络节点及存储介质
WO2018233592A1 (zh) * 2017-06-20 2018-12-27 中兴通讯股份有限公司 消息保序方法、网络节点及存储介质
CN109104446B (zh) * 2017-06-20 2022-04-15 中兴通讯股份有限公司 一种消息保序方法、网络节点及存储介质
CN107329832A (zh) * 2017-06-30 2017-11-07 北京奇艺世纪科技有限公司 一种数据接收方法及装置
CN107590072A (zh) * 2017-08-30 2018-01-16 深圳乐信软件技术有限公司 一种应用开发和测试的方法和装置
CN107590072B (zh) * 2017-08-30 2020-08-18 深圳乐信软件技术有限公司 一种应用开发和测试的方法和装置
CN108009029B (zh) * 2017-11-30 2022-01-04 中电福富信息科技有限公司 基于Ignite网格缓存数据解耦持久化的方法及***
CN108009029A (zh) * 2017-11-30 2018-05-08 中电福富信息科技有限公司 基于Ignite网格缓存数据解耦持久化的方法及***
CN108282514B (zh) * 2017-12-12 2020-11-27 北京奇艺世纪科技有限公司 一种分布式业务建立方法及装置
CN108282514A (zh) * 2017-12-12 2018-07-13 北京奇艺世纪科技有限公司 一种分布式业务建立方法及装置
CN107911484A (zh) * 2017-12-13 2018-04-13 浪潮软件股份有限公司 一种消息处理的方法及装置
CN110019240B (zh) * 2017-12-29 2021-11-09 ***通信集团北京有限公司 一种业务数据交互方法、装置及***
CN110019240A (zh) * 2017-12-29 2019-07-16 ***通信集团北京有限公司 一种业务数据交互方法、装置及***
CN108874562B (zh) * 2018-06-21 2022-08-02 北京顺丰同城科技有限公司 分布式高并发消息队列推送***
CN108874562A (zh) * 2018-06-21 2018-11-23 北京顺丰同城科技有限公司 分布式高并发消息队列推送***
CN110659124A (zh) * 2018-06-28 2020-01-07 北京京东尚科信息技术有限公司 一种消息处理方法和装置
CN110740145A (zh) * 2018-07-18 2020-01-31 北京京东尚科信息技术有限公司 消息消费方法、装置、存储介质及电子设备
CN110740145B (zh) * 2018-07-18 2023-08-08 北京京东尚科信息技术有限公司 消息消费方法、装置、存储介质及电子设备
CN108984325A (zh) * 2018-07-20 2018-12-11 北京北信源信息安全技术有限公司 消息队列消费方法和装置
CN108924041A (zh) * 2018-08-03 2018-11-30 北京捷易迅信息技术有限公司 一种即时通讯中消息高效可靠发送方法
CN109194736A (zh) * 2018-08-30 2019-01-11 百度在线网络技术（北京）有限公司 消息去重方法、装置、电子设备、介质和无人车
US11050814B2 (en) 2018-08-30 2021-06-29 Baidu Online Network Technology (Beijing) Co., Ltd. Method, device and vehicle for message deduplication
CN109194736B (zh) * 2018-08-30 2021-04-27 百度在线网络技术（北京）有限公司 消息去重方法、装置、电子设备、介质和无人车
CN109684099B (zh) * 2018-11-23 2020-12-25 新华三大数据技术有限公司 消息处理方法及装置
CN109684099A (zh) * 2018-11-23 2019-04-26 新华三大数据技术有限公司 消息处理方法及装置
CN109614250A (zh) * 2018-12-04 2019-04-12 贵州电网有限责任公司 一种针对电采集***的Kafka的消息***
CN109451072A (zh) * 2018-12-29 2019-03-08 广东电网有限责任公司 一种基于Kafka的消息缓存***和方法
TWI697217B (zh) * 2019-01-30 2020-06-21 中華電信股份有限公司 用以重複執行無服務器程式之容器控管系統及其方法
CN110138574A (zh) * 2019-03-26 2019-08-16 北京达佳互联信息技术有限公司 群管理方法、装置、电子设备及可读存储介质
CN110138574B (zh) * 2019-03-26 2021-10-26 北京达佳互联信息技术有限公司 群管理方法、装置、电子设备及可读存储介质
CN110225133B (zh) * 2019-06-20 2022-01-21 恒生电子股份有限公司 消息发送方法、节点、装置、***及相关设备
CN110225133A (zh) * 2019-06-20 2019-09-10 恒生电子股份有限公司 消息发送方法、节点、装置、***及相关设备
CN110704208A (zh) * 2019-09-19 2020-01-17 深圳证券交易所 多个***的消息处理方法、服务器及存储介质
CN110704208B (zh) * 2019-09-19 2023-03-14 深圳证券交易所 多个***的消息处理方法、服务器及存储介质
CN111049899A (zh) * 2019-12-11 2020-04-21 贝壳技术有限公司 kafka消息存储***、方法、装置及计算机可读存储介质
CN111200637B (zh) * 2019-12-20 2022-07-08 新浪网技术(中国)有限公司 一种缓存的处理方法及装置
CN111200637A (zh) * 2019-12-20 2020-05-26 新浪网技术(中国)有限公司 一种缓存的处理方法及装置
CN111179080B (zh) * 2019-12-23 2023-10-27 中国建设银行股份有限公司 一种订单处理方法和订单处理装置
CN111179080A (zh) * 2019-12-23 2020-05-19 中国建设银行股份有限公司 一种订单处理方法和订单处理装置
CN111179081A (zh) * 2019-12-24 2020-05-19 中国建设银行股份有限公司 一种消息的处理方法和处理装置
CN111131512B (zh) * 2019-12-31 2023-02-10 中消云（北京）物联网科技研究院有限公司 设备信息的处理方法、装置、存储介质及处理器
CN111131512A (zh) * 2019-12-31 2020-05-08 中消云（北京）物联网科技研究院有限公司 设备信息的处理方法、装置、存储介质及处理器
CN111163172A (zh) * 2019-12-31 2020-05-15 北京奇艺世纪科技有限公司 消息处理***、方法、电子设备及存储介质
CN111555957A (zh) * 2020-03-26 2020-08-18 孩子王儿童用品股份有限公司 一种基于Kafka的同步消息服务***及实现方法
CN111555957B (zh) * 2020-03-26 2022-08-19 孩子王儿童用品股份有限公司 一种基于Kafka的同步消息服务***及实现方法
CN111459689A (zh) * 2020-04-07 2020-07-28 中国建设银行股份有限公司 基于分布式队列的消息处理***及方法
CN113542314A (zh) * 2020-04-13 2021-10-22 烽火通信科技股份有限公司 一种基于关键字过滤的订阅模式实现方法及***
CN112330420A (zh) * 2020-11-27 2021-02-05 中国农业银行股份有限公司 一种订单取消方法和相关装置
CN112463411A (zh) * 2020-12-10 2021-03-09 重庆紫光华山智安科技有限公司 数据处理方法、装置、服务器及存储介质
CN112667476B (zh) * 2020-12-30 2023-02-14 平安普惠企业管理有限公司 基于任务的消息过滤方法、装置、设备及存储介质
CN112667476A (zh) * 2020-12-30 2021-04-16 平安普惠企业管理有限公司 基于任务的消息过滤方法、装置、设备及存储介质
CN112751789A (zh) * 2021-01-05 2021-05-04 浪潮云信息技术股份公司 一种非对称sdn控制器集群的实现方法及***
CN115914346A (zh) * 2021-08-09 2023-04-04 中移物联网有限公司 物联网消息处理方法、装置、电子设备及存储介质
CN115242787A (zh) * 2022-07-22 2022-10-25 恒生电子股份有限公司 消息处理***及方法
CN115242787B (zh) * 2022-07-22 2023-09-05 恒生电子股份有限公司 消息处理***及方法

Similar Documents

Publication Publication Date Title
CN104754036A (zh) 一种基于kafka的消息处理***及处理方法
US20180365254A1 (en) Method and apparatus for processing information flow data
CN109451072A (zh) 一种基于Kafka的消息缓存***和方法
CN107515878B (zh) 一种数据索引的管理方法及装置
CN106170016A (zh) 一种处理高并发数据请求的方法和***
CN105224444B (zh) 日志生成方法及装置
CN108388479A (zh) 延迟消息推送方法、装置、计算机设备及存储介质
US20100106915A1 (en) Poll based cache event notifications in a distributed cache
CN103516807A (zh) 一种云计算平台服务器负载均衡***及方法
CN103106249A (zh) 一种基于Cassandra的数据并行处理***
CN109450987B (zh) 编号生成方法、装置及***和存储介质
CN111651510A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN104994139B (zh) 一种对高并发网络请求快速响应的***及方法
CN110727727B (zh) 一种数据库的统计方法及装置
CN104202423A (zh) 一种通过软件架构扩展缓存的***
CN105095299A (zh) 图片抓取方法和***
CN106789377A (zh) 网元集群的服务参数更新方法
CN110413978B (zh) 数据分页导出方法、装置、计算机设备和存储介质
CN103577251A (zh) 基于事件的互联网计算处理***及方法
CN108076103A (zh) 一种消息处理方法、***及消息生产者集群
CN110175152A (zh) 一种日志查询方法、中转服务器集群及日志查询***
CN111210340A (zh) 一种自动任务处理方法、装置、服务器及存储介质
CN107562803B (zh) 数据供应***及方法、终端
CN104539583A (zh) 一种实时数据库订阅***及方法
CN113360577A (zh) 一种mpp数据库数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150701

RJ01 Rejection of invention patent application after publication