CN107194013B - 基于分布式消息队列中间件的处理方法和处理*** - Google Patents

基于分布式消息队列中间件的处理方法和处理*** Download PDF

Info

Publication number
CN107194013B
CN107194013B CN201710533747.7A CN201710533747A CN107194013B CN 107194013 B CN107194013 B CN 107194013B CN 201710533747 A CN201710533747 A CN 201710533747A CN 107194013 B CN107194013 B CN 107194013B
Authority
CN
China
Prior art keywords
massage pattern
information
cache
pattern
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710533747.7A
Other languages
English (en)
Other versions
CN107194013A (zh
Inventor
骆海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing permutation Technology Co.,Ltd.
Original Assignee
Hangzhou Arrangement Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arrangement Technology Co Ltd filed Critical Hangzhou Arrangement Technology Co Ltd
Priority to CN201710533747.7A priority Critical patent/CN107194013B/zh
Publication of CN107194013A publication Critical patent/CN107194013A/zh
Application granted granted Critical
Publication of CN107194013B publication Critical patent/CN107194013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于分布式消息队列中间件的处理方法和处理***,其中,方法包括:获取上传消息根据上传消息建立带有消息模式的消息信息;对消息模式进行处理得到查询信息;根据查询信息进行查询的结果提取第一高速缓存器中的消息模式,再根据消息模式对消息信息进行编码得到编码信息,并将编码信息发送至分布式消息队列集群储存;根据查询信息进行查询的结果提取第二高速缓存器中的消息模式,再根据消息模式从分布式消息队列集群中得到对应的编码信息进行解码,并根据解码结果进行消费。本发明避免了线下“握手”过程,当生产者信息模式需要变更时,不需要线下通知消费者,便可以自动完成消息模式的升级,减轻日常维护和运营成本。

Description

基于分布式消息队列中间件的处理方法和处理***
技术领域
本发明涉及消息处理技术领域,尤其涉及一种基于分布式消息队列中间件的处理方法和处理***。
背景技术
分布式消息队列中间件是一种广泛运用在分布式***中的用于节点间通信的软件,是分布式***中的一个重要组件,主要用来解决发布消息,应用耦合,流量削峰等问题。Kafka,是由LinkedIn公司开发并开源的分布式消息队列中间件,作为一个分布式流媒体平台,是分布式消息队列的一个主流开源***,非常适合于大数据***的各个组件之间实时或者准实时通讯。
Kafka消息队列中间件包括生产者、管理者以及消费者;当产生一个新的产品业务时,需要首先制定一个消息模式,而生产者会按照这个消息模式进行编码然后再通过Kafka传输数据流。在Kafka另一端的服务需要消费这个数据流的时候,也需要拿到这个消息模式才能知道怎么解码还原数据流。
目前,生产者将消息模式上传并注册到消息模式服务管理者,并将结果线下告诉消息消费者。消费者再将这些信息提供给消息模式管理者,并下载消息模式,完成线上和线下相结合的“握手”过程。在实际运用中,随着业务的不断推进,消息模式经常升级变化,而所有的这些变动都需要双方再次“握手”才能正确处理传输的数据流。当生产者由于需求或者其他原因导致信息模式需要变更,如果没有通知到消费者时,会导致消费者出现异常,即使生产者生成的消息变更线下通知到了,消费者还需要将这些信息提供给消息模式管理者,并下载消息模式。这不仅给产品的日常维护和运营带来非常大的负担,而且造成资源的浪费。
发明内容
本发明的目的是提供一种基于分布式消息队列中间件的处理方法和处理***,避免了线下“握手”过程,当生产者由于需求或者其他原因导致信息模式需要变更时,不需要线下通知消费者,便可以自动完成消息模式的升级,减轻日常维护和运营成本。
本发明提供了一种基于分布式消息队列中间件的处理方法,包括以下步骤:
获取外部消息流中的上传消息,根据上传消息建立消息信息;所述消息信息包括消息模式;
对所述消息模式进行处理,得到查询信息;
根据所述查询信息进行查询,根据查询结果提取第一高速缓存器中的所述消息模式,再根据所述消息模式对所述消息信息进行编码,得到编码信息,并将所述编码信息发送至分布式消息队列集群储存;
根据所述查询信息进行查询,根据查询结果提取第二高速缓存器中的所述消息模式,再根据所述消息模式从所述分布式消息队列集群中得到对应的所述编码信息进行解码,并根据解码结果进行消费。
作为一种可实施方式,所述根据所述查询信息进行查询,根据查询结果提取第一高速缓存器中的所述消息模式,包括以下步骤:
根据所述查询信息进行查询,判断当前的消息模式是否存储于第一高速缓存器中;
若当前的消息模式已经存储于第一高速缓存器中,则提取第一高速缓存器中的所述消息模式;
若当前的消息模式没有存储于第一高速缓存器中,则根据所述消息信息中的注册信息将所述消息模式进行上传,并将所述消息模式储存于模式数据库中;同时,将所述消息模式存储于第一高速缓存器中。
作为一种可实施方式,所述根据所述查询信息,提取第二高速缓存器中的所述消息模式,包括以下步骤:
根据所述查询信息进行查询,判断当前的消息模式是否存储于所述第二高速缓存器中;
若当前的消息模式已经存储于第二高速缓存器中,则提取第二高速缓存器中的所述消息模式;
若当前的消息模式没有存储于第二高速缓存器中,则根据所述查询信息与所述模式数据库对比,根据结果得到对应的所述消息模式,同时,将所述存储于第二高速缓存器中。
作为一种可实施方式,所述对所述消息模式进行处理,得到查询信息,包括以下步骤:
对所述消息模式进行散列算法,得到哈希值;
对所述消息模式进行分类处理,得到分类数据;
将所述哈希值和所述分类数据合并得到所述查询信息。
作为一种可实施方式,本发明提供的基于分布式消息队列中间件的处理方法,还包括以下步骤:
在根据所述查询信息进行查询之前,将版本信息和时间戳封装到所述消息数据中。
相应的,本发明还提供一种基于分布式消息队列中间件的处理***,包括获取模块、操作模块、提取编码模块以及提取解码模块;
所述获取模块,用于获取外部消息流中的上传消息,根据上传消息建立消息信息;所述消息信息包括消息模式;
所述操作模块,用于对所述消息模式进行处理,得到查询信息;
所述提取编码模块,用于根据所述查询信息进行查询,根据查询结果提取第一高速缓存器中的所述消息模式,再根据所述消息模式对所述消息信息进行编码,得到编码信息,并将所述编码信息发送至分布式消息队列集群储存;
所述提取解码模块,用于根据所述查询信息进行查询,根据查询结果提取第二高速缓存器中的所述消息模式,再根据所述消息模式从所述分布式消息队列集群中得到对应的所述编码信息进行解码,并根据解码结果进行消费。
作为一种可实施方式,所述提取编码模块,包括第一判断单元、第一提取单元以及注册存储单元;
所述第一判断单元,用于根据所述查询信息进行查询,判断当前的消息模式是否存储于第一高速缓存器中;
所述第一提取单元,用于若当前的消息模式已经存储于第一高速缓存器中,则提取第一高速缓存器中的所述消息模式;
所述注册存储单元,用于若当前的消息模式没有存储于第一高速缓存器中,则根据所述消息信息中的注册信息将所述消息模式进行上传,并将所述消息模式储存于模式数据库中;同时,将所述消息模式存储于第一高速缓存器中。
作为一种可实施方式,所述提取解码模块,包括第二判断单元、第二提取单元以及对比存储单元;
所述第二判断单元,用于根据所述查询信息进行查询,判断当前的消息模式是否存储于所述第二高速缓存器中;
所述第二提取单元,用于若当前的消息模式已经存储于第二高速缓存器中,则提取第二高速缓存器中的所述消息模式;
所述对比存储单元,用于若当前的消息模式没有存储于第二高速缓存器中,则根据所述查询信息与所述模式数据库对比,根据结果得到对应的所述消息模式,同时,将所述存储于第二高速缓存器中。
作为一种可实施方式,所述操作模块,包括散列算法单元、分类处理单元以及合并单元;
所述散列算法单元,用于对所述消息模式进行散列算法,得到哈希值;
所述分类处理单元,用于对所述消息模式进行分类处理,得到分类数据;
所述合并单元,用于将所述哈希值和所述分类数据合并得到所述查询信息。
作为一种可实施方式,本发明提供的基于分布式消息队列中间件的处理***,还包括封装模块;
所述封装模块,用于在根据所述查询信息进行查询之前,将版本信息和时间戳封装到所述消息数据中。
与现有技术相比,本技术方案具有以下优点:
本发明提供的基于分布式消息队列中间件的处理方法和处理***,通过根据查询信息提取第一高速缓存器和第二高速缓冲器中存储的消息模式,而根据第一高速缓存器中的消息模式对消息信息进行编码,将得到的编码信息发送至分布式消息队列集群储存;根据第二高速缓存器中的消息模式从分布式消息队列集群中得到对应的编码信息进行解码,并根据解码结果进行消费。本发明避免了线下“握手”过程,当生产者由于需求或者其他原因导致信息模式需要变更时,不需要线下通知消费者,便可以自动完成消息模式的升级,减轻日常维护和运营成本。
附图说明
图1为本发明实施例一提供的基于分布式消息队列中间件的处理方法的流程示意图;
图2为本发明实施例二提供的基于分布式消息队列中间件的处理***的结构示意图;
图3为图2中操作模块的结构示意图;
图4为图2中提取编码模块的结构示意图;
图5为图2中提取解码模块的结构示意图。
图中:100、获取模块;200、操作模块;210、散列算法单元;220、分类处理单元;230、合并单元;300、提取编码模块;310、第一判断单元;320、第一提取单元;330、注册存储单元;400、提取解码模块;410、第二判断单元;420、第二提取单元;430、对比存储单元;500、封装模块。
具体实施方式
以下结合附图,对本发明上述的和另外的技术特征和优点进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的部分实施例,而不是全部实施例。
请参阅图1,本发明实施例一提供的基于分布式消息队列中间件的处理方法,包括以下步骤:
S100、获取外部消息流中的上传消息,根据上传消息建立消息信息;消息信息包括消息模式;
S200、对消息模式进行处理,得到查询信息;
S300、根据查询信息进行查询,根据查询结果提取第一高速缓存器中的消息模式,再根据消息模式对消息信息进行编码,得到编码信息,并将编码信息发送至分布式消息队列集群储存;
S400、根据查询信息进行查询,根据查询结果提取第二高速缓存器中的消息模式,再根据消息模式从分布式消息队列集群中得到对应的编码信息进行解码,并根据解码结果进行消费。
需要说明的是,上传消息是外部消息流中需要进行变更或者新产生的一个产品业务包含的信息流;而外部消息流中存在无数个这样的上传消息,上传消息是根据实际需求产生的,所以于本实施例中,是实时获取外部消息流中的上传消息。于其他实施例中,也可以是根据其他方式判断再获取上传消息。
查询信息是用来查询消息模式的,会对每个消息模式进行分类,再将每个消息模式在存储的时候将其相应的查询信息、元数据信息都会存储在一个消息模式中,也就是说一类的第一高速缓存器和第二高速缓存器中存储着各种不同的消息模式,在用到与当前相应的消息模式时,会被提取出来使用。
本发明提供的基于分布式消息队列中间件的处理方法,通过根据查询信息提取第一高速缓存器和第二高速缓冲器中存储的消息模式,而根据第一高速缓存器中的消息模式对消息信息进行编码,将得到的编码信息发送至分布式消息队列集群储存;根据第二高速缓存器中的消息模式从分布式消息队列集群中得到对应的编码信息进行解码,并根据解码结果进行消费。本发明避免了线下“握手”过程,当生产者由于需求或者其他原因导致信息模式需要变更时,不需要线下通知消费者,便可以自动完成消息模式的升级,减轻日常维护和运营成本。
进一步的,根据查询信息进行查询,根据查询结果提取第一高速缓存器中的消息模式,包括以下步骤:
S310、根据查询信息进行查询,判断当前的消息模式是否存储于第一高速缓存器中;
S320、若当前的消息模式已经存储于第一高速缓存器中,则提取第一高速缓存器中的消息模式;
S330、若当前的消息模式没有存储于第一高速缓存器中,则根据消息信息中的注册信息将消息模式进行上传,并将消息模式储存于模式数据库中;同时,将消息模式存储于第一高速缓存器中。
于本实施例中,在步骤S330之中同时,将消息模式存储于第一高速缓存器中。也是将存储于第一高速缓存器中的消息模式提前出来;而每进行一次查询,不管当前第一高速缓存器是否存在与查询信息对应消息模式,最终都会将与查询信息对应消息模式生产再存储于第一高速缓存器中,而该消息模式也会存储于模式数据库中,一般来说模式数据库中的消息模式最终都会存储于第一高速缓存器中,每一次查询也是对当前消息模式的一个过滤的过程,避免了在第一高速缓存器中重复储存一样的消息模式;这样可以减少网络访问次数,减轻***运行负担,提高运行效率。直接根据注册信息将消息模式进行上传实现消息模式的自动注册,无需额外程序支持。这里需要说明的是一个消息模式中也可能嵌套还可以有别的消息模式。
进一步的,根据查询信息,提取第二高速缓存器中的消息模式,包括以下步骤:
S410、根据查询信息进行查询,判断当前的消息模式是否存储于第二高速缓存器中;
S420、若当前的消息模式已经存储于第二高速缓存器中,则提取第二高速缓存器中的消息模式;
S430、若当前的消息模式没有存储于第二高速缓存器中,则根据查询信息与模式数据库对比,根据结果得到对应的消息模式,同时,将存储于第二高速缓存器中。
于本实施例中,在步骤S430之中同时,将消息模式存储于第一高速缓存器中。也是将存储于第一高速缓存器中的消息模式提前出来;第二高速缓存器和第一高速缓存器一样,本身存储有各类消息模式,在进行查询时,如果当前第二高速缓存器中不存在对应的消息模式,则根据查询信息与模式数据库对比,根据结果得到对应的消息模式,同时,将存储于第二高速缓存器中,也就是说模式数据库中的消息模式最终都会存储于第一高速缓存器中,每一次查询也是对当前消息模式的一个过滤的过程,避免了在第一高速缓存器中重复储存一样的消息模式;这样可以减少网络访问次数,减轻***运行负担,消息处理能力上升,***稳定性及服务有效性提高。
进一步的,步骤S200包括以下步骤:
S210、对消息模式进行散列算法,得到哈希值;
S220、对消息模式进行分类处理,得到分类数据;
S230、将哈希值和分类数据合并得到查询信息。
这里的散列算法可以是通过md5进行,得到一个128位的哈希值,而分类数据是对消息模式进行分类处理得到的。于本实施例中,并不对哈希值和分类数据的算法过程进行限定。
进一步的,本发明实施例一提供的基于分布式消息队列中间件的处理方法还包括以下步骤:
在根据查询信息进行查询之前,将版本信息和时间戳封装到消息数据中。
版本信息和时间戳对消息模式存储于第一高速缓存器和第二高速缓存器的时候起到辅助作用。
下面以Avro和Kafka为例对本发明的具体原理进行详细说明:
Kafka消息队列中间件包括生产者、管理者以及消费者;
产生者发送带消息模式的消息信息给Avro编码器;
编码器主要负责对消息信息通过Avro进行编码,Avro编码器内嵌一个消息模式的高速缓存器。高速缓存器保存所有已经使用过的Avro消息模式;在编码之前,它会将当前消息信息所用的消息模式进行md5(散列)操作,拿到一个128位的哈希值。然后,编码器会拿Kafka topic(分类数据)和哈希值联合查询本地高速缓存器,看消息模式是否已经在本地高速缓存器里面存在。如果已经存在,编码器会使用拿到的消息模式对消息信息进行编码,并将得到的解码信息发送到Kafka集群。如果不存在,它会通过HTTP POST自动调用消息模式注册服务器,上传该消息模式。消息模式注册服务器收到注册信息之后,会将这一消息模式及其相关元数据信息写入消息模式数据库。与此同时,这个新的消息模式被载入编码器的高速缓存器,使得编码器会使用拿到的消息模式对消息信息进行编码。
消费者接收到该消息信息之后,会通过解码器通过Avro进行解码。Avro解码器里面内嵌一个高速缓存器,保存所有解码器已经使用过的消息模式。解码时,解码器会得到消息模式的哈希值,然后通过Kafka topic和哈希值查询本地高速缓存器中的消息模式,检查当前消息模式是否已经存在解码器的高速缓存器里。如果存在,编码器会使用拿到的该消息模式对消息信息进行解码,消费当前的消息信息。如果不存在,编码器会自动用该Kafkatopic和哈希值并通过HTTP GET去消息模式注册服务器上取得这个新的消息信息。消息模式注册服务器负责将对应的消息模式从消息模式数据库里面取出并返回给编码器。与此同时,解码器会将此消息模式装入本地高速缓存器中,供消费同样消息模式的消息信息使用。
需要知道的是,消息信息在经过消息模式进行编码后,在消费这个消息信息时,也必须要通过这个消息模式进行解码。而在解码的过程中,使用以下算法解码:
其中,getSchemaByTopicAndSchema(topicA,md5)的实现如下:
需要指出的是,这里的list所对应的每一个元素都可能是一个不同类型的子信息,具有不同的子消息模式。虽然这个方案是基于Avro和Kafka来阐述,使用别的消息队列和别的消息模式方式,本发明也同样适用。
基于同一发明构思,本发明实施例还提供一种基于分布式消息队列中间件的处理***,该***的实施可参照上述方法的过程实现,重复之处不再冗述。
如图2所示,是本发明实施例二提供的基于分布式消息队列中间件的处理***的结构示意图,包括获取模块100、操作模块200、提取编码模块300以及提取解码模块400;
获取模块100用于获取外部消息流中的上传消息,根据上传消息建立消息信息;消息信息包括消息模式;
操作模块200用于对消息模式进行处理,得到查询信息;
提取编码模块300用于根据查询信息进行查询,根据查询结果提取第一高速缓存器中的消息模式,再根据消息模式对消息信息进行编码,得到编码信息,并将编码信息发送至分布式消息队列集群储存;
提取解码模块400用于根据查询信息进行查询,根据查询结果提取第二高速缓存器中的消息模式,再根据消息模式从分布式消息队列集群中得到对应的编码信息进行解码,并根据解码结果进行消费。
如图4所示,是提取编码模块的结构示意图,包括第一判断单元310、第一提取单元320以及注册存储单元330;
第一判断单元310用于根据查询信息进行查询,判断当前的消息模式是否存储于第一高速缓存器中;
第一提取单元320用于若当前的消息模式已经存储于第一高速缓存器中,则提取第一高速缓存器中的消息模式;
注册存储单元330用于若当前的消息模式没有存储于第一高速缓存器中,则根据消息信息中的注册信息将消息模式进行上传,并将消息模式储存于模式数据库中;同时,将消息模式存储于第一高速缓存器中。
如图5所示,是提取解码模块的结构示意图,包括第二判断单元410、第二提取单元420以及对比存储单元430;
第二判断单元410用于根据查询信息进行查询,判断当前的消息模式是否存储于第二高速缓存器中;
第二提取单元420用于若当前的消息模式已经存储于第二高速缓存器中,则提取第二高速缓存器中的消息模式;
对比存储单元430用于若当前的消息模式没有存储于第二高速缓存器中,则根据查询信息与模式数据库对比,根据结果得到对应的消息模式,同时,将存储于第二高速缓存器中。
如图3所示,是操作模块的结构示意图,包括散列算法单元210、分类处理单元220以及合并单元230;
散列算法单元210用于对消息模式进行散列算法,得到哈希值;
分类处理单元220用于对消息模式进行分类处理,得到分类数据;
合并单元230用于将哈希值和分类数据合并得到查询信息。
进一步的,如图1所示,本发明实施例一提供的基于分布式消息队列中间件的处理***还包括封装模块500;
封装模块500用于在根据查询信息进行查询之前,将版本信息和时间戳封装到消息数据中。
本发明提供的基于分布式消息队列中间件的处理***,通过根据查询信息提取第一高速缓存器和第二高速缓冲器中存储的消息模式,而根据第一高速缓存器中的消息模式对消息信息进行编码,将得到的编码信息发送至分布式消息队列集群储存;根据第二高速缓存器中的消息模式从分布式消息队列集群中得到对应的编码信息进行解码,并根据解码结果进行消费。本发明避免了线下“握手”过程,当生产者由于需求或者其他原因导致信息模式需要变更时,不需要线下通知消费者,便可以自动完成消息模式的升级,减轻日常维护和运营成本。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (8)

1.一种基于分布式消息队列中间件的处理方法,其特征在于,包括以下步骤:
获取外部消息流中的上传消息,根据上传消息建立消息信息;所述消息信息包括消息模式;
对所述消息模式进行处理,得到查询信息;
根据所述查询信息进行查询,根据查询结果提取第一高速缓存器中的所述消息模式,再根据所述消息模式对所述消息信息进行编码,得到编码信息,并将所述编码信息发送至分布式消息队列集群储存;
根据所述查询信息进行查询,根据查询结果提取第二高速缓存器中的所述消息模式,再根据所述消息模式从所述分布式消息队列集群中得到对应的所述编码信息进行解码,并根据解码结果进行消费;
所述根据所述查询信息进行查询,根据查询结果提取第一高速缓存器中的所述消息模式,包括以下步骤:
根据所述查询信息进行查询,判断当前的消息模式是否存储于第一高速缓存器中;
若当前的消息模式已经存储于第一高速缓存器中,则提取第一高速缓存器中的所述消息模式;
若当前的消息模式没有存储于第一高速缓存器中,则根据所述消息信息中的注册信息将所述消息模式进行上传,并将所述消息模式储存于模式数据库中;同时,将所述消息模式存储于第一高速缓存器中。
2.如权利要求1所述的基于分布式消息队列中间件的处理方法,其特征在于,所述根据所述查询信息,提取第二高速缓存器中的所述消息模式,包括以下步骤:
根据所述查询信息进行查询,判断当前的消息模式是否存储于所述第二高速缓存器中;
若当前的消息模式已经存储于第二高速缓存器中,则提取第二高速缓存器中的所述消息模式;
若当前的消息模式没有存储于第二高速缓存器中,则根据所述查询信息与所述模式数据库对比,根据结果得到对应的所述消息模式,同时,将所述消息模式存储于第二高速缓存器中。
3.如权利要求1所述的基于分布式消息队列中间件的处理方法,其特征在于,所述对所述消息模式进行处理,得到查询信息,包括以下步骤:
对所述消息模式进行散列算法,得到哈希值;
对所述消息模式进行分类处理,得到分类数据;
将所述哈希值和所述分类数据合并得到所述查询信息。
4.如权利要求1所述的基于分布式消息队列中间件的处理方法,其特征在于,还包括以下步骤:
在根据所述查询信息进行查询之前,将版本信息和时间戳封装到消息数据中。
5.一种基于分布式消息队列中间件的处理***,其特征在于,包括获取模块、操作模块、提取编码模块以及提取解码模块;
所述获取模块,用于获取外部消息流中的上传消息,根据上传消息建立消息信息;所述消息信息包括消息模式;
所述操作模块,用于对所述消息模式进行处理,得到查询信息;
所述提取编码模块,用于根据所述查询信息进行查询,根据查询结果提取第一高速缓存器中的所述消息模式,再根据所述消息模式对所述消息信息进行编码,得到编码信息,并将所述编码信息发送至分布式消息队列集群储存;
所述提取解码模块,用于根据所述查询信息进行查询,根据查询结果提取第二高速缓存器中的所述消息模式,再根据所述消息模式从所述分布式消息队列集群中得到对应的所述编码信息进行解码,并根据解码结果进行消费;
所述提取编码模块,包括第一判断单元、第一提取单元以及注册存储单元;
所述第一判断单元,用于根据所述查询信息进行查询,判断当前的消息模式是否存储于第一高速缓存器中;
所述第一提取单元,用于若当前的消息模式已经存储于第一高速缓存器中,则提取第一高速缓存器中的所述消息模式;
所述注册存储单元,用于若当前的消息模式没有存储于第一高速缓存器中,则根据所述消息信息中的注册信息将所述消息模式进行上传,并将所述消息模式储存于模式数据库中;同时,将所述消息模式存储于第一高速缓存器中。
6.如权利要求5所述的基于分布式消息队列中间件的处理***,其特征在于,所述提取解码模块,包括第二判断单元、第二提取单元以及对比存储单元;
所述第二判断单元,用于根据所述查询信息进行查询,判断当前的消息模式是否存储于所述第二高速缓存器中;
所述第二提取单元,用于若当前的消息模式已经存储于第二高速缓存器中,则提取第二高速缓存器中的所述消息模式;
所述对比存储单元,用于若当前的消息模式没有存储于第二高速缓存器中,则根据所述查询信息与所述模式数据库对比,根据结果得到对应的所述消息模式,同时,将所述存储于第二高速缓存器中。
7.如权利要求5所述的基于分布式消息队列中间件的处理***,其特征在于,所述操作模块,包括散列算法单元、分类处理单元以及合并单元;
所述散列算法单元,用于对所述消息模式进行散列算法,得到哈希值;
所述分类处理单元,用于对所述消息模式进行分类处理,得到分类数据;
所述合并单元,用于将所述哈希值和所述分类数据合并得到所述查询信息。
8.如权利要求5所述的基于分布式消息队列中间件的处理***,其特征在于,还包括封装模块;
所述封装模块,用于在根据所述查询信息进行查询之前,将版本信息和时间戳封装到消息数据中。
CN201710533747.7A 2017-07-03 2017-07-03 基于分布式消息队列中间件的处理方法和处理*** Active CN107194013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710533747.7A CN107194013B (zh) 2017-07-03 2017-07-03 基于分布式消息队列中间件的处理方法和处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710533747.7A CN107194013B (zh) 2017-07-03 2017-07-03 基于分布式消息队列中间件的处理方法和处理***

Publications (2)

Publication Number Publication Date
CN107194013A CN107194013A (zh) 2017-09-22
CN107194013B true CN107194013B (zh) 2019-10-29

Family

ID=59881211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710533747.7A Active CN107194013B (zh) 2017-07-03 2017-07-03 基于分布式消息队列中间件的处理方法和处理***

Country Status (1)

Country Link
CN (1) CN107194013B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595483B (zh) * 2018-03-13 2020-11-24 腾讯科技(深圳)有限公司 数据处理方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917332A (zh) * 2010-05-24 2010-12-15 宁波东海蓝帆科技有限公司 一种降低消息中间件网络负载的消息传递方法
CN104111998A (zh) * 2014-07-09 2014-10-22 江西理工大学 一种企业异构数据分类编码集成交换与管理的方法及装置
CN106487891A (zh) * 2016-10-11 2017-03-08 北京集奥聚合科技有限公司 一种基于kafka的处理消息的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917332A (zh) * 2010-05-24 2010-12-15 宁波东海蓝帆科技有限公司 一种降低消息中间件网络负载的消息传递方法
CN104111998A (zh) * 2014-07-09 2014-10-22 江西理工大学 一种企业异构数据分类编码集成交换与管理的方法及装置
CN106487891A (zh) * 2016-10-11 2017-03-08 北京集奥聚合科技有限公司 一种基于kafka的处理消息的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
利用SCTP对MRB消息中间件的改进;陈飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20081015(第10期);I138-63 *

Also Published As

Publication number Publication date
CN107194013A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
CN107070686A (zh) 一种视频监控平台码流并行转码的***和方法
CN103297807A (zh) 一种基于hadoop平台的提高视频转码效率的方法
CA2718722A1 (en) Modular transcoding pipeline
CN113181646A (zh) 游戏数据方法及装置、电子设备、存储介质
CN109274973A (zh) 嵌入式arm平台上的快速视频解码方法
CN111935663B (zh) 传感器数据流的处理方法、装置、介质及电子设备
CN110460889A (zh) 一种视频投屏方法、装置、***及存储介质
CN103051953B (zh) 一种利用视频播放器对视频文件进行解码方法
CN107194013B (zh) 基于分布式消息队列中间件的处理方法和处理***
CN113961289A (zh) 一种数据处理方法、装置、设备以及存储介质
CN111813529B (zh) 数据处理方法、装置、电子设备及存储介质
US20210014540A1 (en) Method and system for codec of visual feature data
CN105323593A (zh) 一种多媒体转码调度方法和装置
CN106846190A (zh) 一种知识产权案件管理***
CN111541864B (zh) 一种数字视网膜软件定义摄像机方法及***
CN110012003A (zh) 一种云应用抓屏方法和装置
CN105338371A (zh) 一种多媒体转码调度方法和装置
CN114880107A (zh) 一种高效低成本的云游戏***
CN112188235B (zh) 媒体处理方式的选择方法及媒体处理方法
CN111818337A (zh) 多种视频监控设备兼容监控的方法和***
CN113206843B (zh) 网络会议控制方法、装置、电子设备及存储介质
CN115734008B (zh) 一种快速集成内容供应商视频资源的方法、***及介质
CN205430500U (zh) 一种多媒体转码调度装置
CN102271122B (zh) 一种应用于p2p网络的垃圾内容确定方法及其***
CN110401851A (zh) 一种基于cmsp的视频转码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210120

Address after: 401120 room 310, business building a, East terminal area of Chongqing Jiangbei International Airport, Yubei District, Chongqing

Patentee after: Chongqing permutation Technology Co.,Ltd.

Address before: Room 501, building 19, haichuangyuan, No. 998, Wenyi West Road, Hangzhou, Zhejiang 311121

Patentee before: HANGZHOU ECREDITPAL TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right