CN107766463A - 一种多业务驱动的中间件***的存储处理方法及装置 - Google Patents

一种多业务驱动的中间件***的存储处理方法及装置 Download PDF

Info

Publication number
CN107766463A
CN107766463A CN201710900534.3A CN201710900534A CN107766463A CN 107766463 A CN107766463 A CN 107766463A CN 201710900534 A CN201710900534 A CN 201710900534A CN 107766463 A CN107766463 A CN 107766463A
Authority
CN
China
Prior art keywords
data
target
stored
terminal
local disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710900534.3A
Other languages
English (en)
Inventor
林皓
李鹏
蒙进财
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing VRV Software Corp Ltd
Original Assignee
Beijing VRV Software Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing VRV Software Corp Ltd filed Critical Beijing VRV Software Corp Ltd
Priority to CN201710900534.3A priority Critical patent/CN107766463A/zh
Publication of CN107766463A publication Critical patent/CN107766463A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种多业务驱动的中间件***的存储处理方法及装置，方法包括：根据数据存储算法将待存储数据添加至目标分区文件中；若判断获知所有分区文件的大小达到预设值，或者当前时间到达预设周期，则将所有分区文件中的数据存储至中间件***的本地磁盘；若接收到第一终端发送的数据共享请求，则根据数据共享请求获取本地磁盘中的目标数据，并将目标数据发送至第一终端。本发明实施例通过现将待存储数据添加至缓存区的目标分区文件中，保证了数据的添加速度；再根据分区文件的大小或预设周期将所有数据存储在本地磁盘，使得中间件***能够对海量和复杂的数据进行存储；并通过从本地磁盘将目标数据发送至第一终端，方便数据管理。

Description

一种多业务驱动的中间件***的存储处理方法及装置
技术领域
本发明实施例涉及通信技术领域，具体涉及一种多业务驱动的中间件***的存储处理方法及装置。
背景技术
近年来，随着互联网行业的快速发展，全球计算机数据总量也呈现出***性增长。已经有越来越多的科研机构和厂家意识到了这些数据中所蕴含的巨大价值，大数据，分布式计算，集群计算，云计算，深度学习等许多与大规模数据相关的概念都成为了热门话题。
传统中间件主要作用是用来屏蔽网络硬件平台的差异性和操作***与网络协议的异构性，连接两个独立的***或者是两个独立的应用程序，使被连接的双方能够比较平滑的交换信息。传统的中间件分为五类，分别是数据库中间件、事务处理中间件、远程过程调用中间件、对象请求代理中间件和消息中间件。其中消息中间件是研究最多使用最广的。
但是，现有中间件无法满足大数据的一些应用，比如***和数据规模的增大会对性能和***存储带来一定影响，其伸缩性不能满足不断增大的***规模；采用内存进行数据存储和转发，没有持久化机制，是***不能实现消息数据的分布式存储以及消息***故障恢复等功能。近年来，流数据和运营数据分析与处理已经成为实时监控，在线分析等应用重要的组成部分，这就需要一套稍微更加复杂的消息***对其提供支持。
在实现本发明实施例的过程中，发明人发现现有的中间件***无法对海量且复杂的数据进行分布式缓存和管理。
发明内容
由于现有方法存在上述问题，本发明实施例提出一种多业务驱动的中间件***的存储处理方法及装置。
第一方面，本发明实施例提出一种多业务驱动的中间件***的存储处理方法，包括：
接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中；
若判断获知所有分区文件的大小达到预设值，或者当前时间到达预设周期，则将所有分区文件中的数据存储至中间件***的本地磁盘，并将所有分区文件的数据清空；
若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端，以使所述第一终端根据所述目标数据生成消费记录进行存储。
可选地，所述若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，具体包括：
若接收到第一终端发送的数据共享请求，则根据所述数据共享请求解析得到目标数据在所述本地磁盘的逻辑偏移量，根据所述逻辑偏移量确定所述目标数据在所述本地磁盘中的位置，并根据所述位置获取所述目标数据。
可选地，所述接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中，具体包括：
接收待存储数据，根据数据存储算法确定若干个分区中存储所述待存储数据的目标分区，并将所述待存储数据添加至所述目标分区对应的目标分区文件中。
可选地，所述若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端，以使所述第一终端根据所述目标数据生成消费记录进行存储，具体包括：
若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端和第二终端，以使所述第一终端和所述第二终端根据所述目标数据生成消费记录进行存储；
其中，所述第二终端为与所述第一终端有关联关系的终端。
可选地，所述中间件***包括若干个代理服务器；
相应地，所述接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中，具体包括：
接收待存储数据，根据服务器分配规则确定所述若干个代理服务器中的目标代理服务器，并根据数据存储算法将所述待存储数据添加至所述目标代理服务器的目标分区文件中。
第二方面，本发明实施例还提出一种多业务驱动的中间件***的存储处理装置，包括：
数据添加模块，用于接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中；
数据存储模块，用于若判断获知所有分区文件的大小达到预设值，或者当前时间到达预设周期，则将所有分区文件中的数据存储至中间件***的本地磁盘，并将所有分区文件的数据清空；
数据发送模块，用于若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端，以使所述第一终端根据所述目标数据生成消费记录进行存储。
可选地，所述数据发送模块具体用于若接收到第一终端发送的数据共享请求，则根据所述数据共享请求解析得到目标数据在所述本地磁盘的逻辑偏移量，根据所述逻辑偏移量确定所述目标数据在所述本地磁盘中的位置，并根据所述位置获取所述目标数据。
可选地，所述数据添加模块具体用于接收待存储数据，根据数据存储算法确定若干个分区中存储所述待存储数据的目标分区，并将所述待存储数据添加至所述目标分区对应的目标分区文件中。
第三方面，本发明实施例还提出一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。
第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。
由上述技术方案可知，本发明实施例通过现将待存储数据添加至缓存区的目标分区文件中，保证了数据的添加速度；再根据分区文件的大小或预设周期将所有数据存储在本地磁盘，使得中间件***能够对海量和复杂的数据进行存储；并通过从本地磁盘将目标数据发送至所述第一终端，方便数据管理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种多业务驱动的中间件***的存储处理方法的流程示意图；
图2为本发明一实施例提供的一种代理服务器与消费者、生产者关系的模型示意图；
图3为本发明一实施例提供的分区存储的结构示意图；
图4为本发明一实施例提供的一种多业务驱动的中间件***的存储处理装置的结构示意图；
图5为本发明一实施例提供的电子设备的逻辑框图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1示出了本实施例提供的一种多业务驱动的中间件***的存储处理方法的流程示意图，包括：
S101、接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中。
其中，所述待存储数据是中间件***接收到的需要进行存储的数据。
所述数据存储算法为确定将所述待处理数据存储在哪个分区文件的算法。例如，可以采用哈希算法。
所述目标分区文件为存储所述待存储数据的分区文件。
多业务驱动的中间件***为能够同时处理多个业务的中间件***。
在如图2所示的代理服务器、生产者和消费者模型中，与传统的Push(推)模型消费模式不同的是，本实施例采用Pull(拉)模型进行“消费”，即数据从生产者被推到代理服务器，然后消费者从代理服务器拉取数据，消费者作为消费的主动方，触发消费过程。其中，生产者为提供数据的终端，消费者为请求数据的终端，代理服务器是中间件***的重要组成部分，本实施例提供的中间件***包括多个代理服务器。
S102、若判断获知所有分区文件的大小达到预设值，或者当前时间到达预设周期，则将所有分区文件中的数据存储至中间件***的本地磁盘，并将所有分区文件的数据清空。
其中，所述预设值为预先设定的分区文件的大小阈值，当超过该预设值时，说明该清空数据了，因此需要将所有数据转移至本地磁盘进行存储。
所述预设周期为预先设定的数据转移周期，当到达该预设周期时，说明该清空数据了，因此需要将所需要清空的业务数据转移至本地回收站。
S103、若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端，以使所述第一终端根据所述目标数据生成消费记录进行存储。
其中，所述第一终端即为消费者。
通过第一终端存储消费记录，而不由代理服务器来保存，大大减轻了代理端的复杂度和负载。
本实施例提供的中间件***能对海量且复杂的数据进行分布式缓存，具有高效的持久化能力。达到对TB级以上的数据也可以在常数时间复杂度读取和写入硬盘。具有高吞吐率，使由低成本的个人计算机组成的消息集群***也能够支持100K条以上消息的吞吐能力。
本实施例通过现将待存储数据添加至缓存区的目标分区文件中，保证了数据的添加速度；再根据分区文件的大小或预设周期将所有数据存储在本地磁盘，使得中间件***能够对海量和复杂的数据进行存储；并通过从本地磁盘将目标数据发送至所述第一终端，方便数据管理。
进一步地，在上述方法实施例的基础上，S103具体包括：
若接收到第一终端发送的数据共享请求，则根据所述数据共享请求解析得到目标数据在所述本地磁盘的逻辑偏移量，根据所述逻辑偏移量确定所述目标数据在所述本地磁盘中的位置，并根据所述位置获取所述目标数据。
其中，所述逻辑偏移量为将本地磁盘的空间划分为若干个大小固定的单元，每个单元顺序编号，通过起始单元编号和结束单元编号确定数据的大小和位置。方便计算数据的生命周期以及所述预设周期。
进一步地，在上述方法实施例的基础上，S101具体包括：
接收待存储数据，根据数据存储算法确定若干个分区中存储所述待存储数据的目标分区，并将所述待存储数据添加至所述目标分区对应的目标分区文件中。
具体地，本实施例采用基于分区的轻量级存储结构：基于分区存储单元机制的轻量级存储结构。一个业务会话主题(topic)的每个分区对应一个逻辑日志，一个逻辑日志由一组同样大小的分割好的分区文件(Segment file)组成的。当发布者(生产者)将消息或数据发送到分区时，中间件服务器把它添加到一个日志里的最后一个分区文件里，如图3所示。图3中包括3个分区，分别为分区0(Partition0)、分区1(Partition1)到分区n(Partition n)等多个分区中，写入消息时，可以写入分区0的最后一个分区文件中，也可以写入分区1的最后一个分区文件中，也可以写入分区n的最后一个分区文件中。当数量达到一定值或到确定时间的时候，再把分区文件存入磁盘。消息只有存入磁盘后才能被消费者进行消费。与典型的消息***不同，本中间件***中的数据没有明确的消息ID，所有的数据或者分区文件均是通过逻辑偏移量来定位。避免了用ID映射数据的真实地址而产生的维护、搜索和随机访问的过度开销。
进一步地，在上述方法实施例的基础上，S103具体包括：
若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端和第二终端，以使所述第一终端和所述第二终端根据所述目标数据生成消费记录进行存储；
其中，所述第二终端为与所述第一终端有关联关系的终端。
举例来说，第一终端为手机，第二终端为笔记本电脑，用户在第一终端和第二终端上同时登录了微信；当用户在第一终端上向中间件***请求A文件，则中间件***将A文件同时发送至第一终端的微信和第二终端的微信，以同步两个终端，实现更好的用户体验。
进一步地，在上述方法实施例的基础上，所述中间件***包括若干个代理服务器；
相应地，S101具体包括：
接收待存储数据，根据服务器分配规则确定所述若干个代理服务器中的目标代理服务器，并根据数据存储算法将所述待存储数据添加至所述目标代理服务器的目标分区文件中。
具体地，本实施例提供的中间件***采用基于Zookeeper应用程序的调度和管理。Zookeeper应用程序能够检测添加和删除的消息代理服务器和消费者，能够平衡每个消费者当有消息代理和消费者被添加和删除时的情况，能够维护消费关系，还能够跟踪每个分区里已消费的偏移量。
本实施例提供的中间件***支持多消息服务器间的消息分区，并保证分区中消息读取的有序性，具有在线水平扩展能力；这个中间件***以较低的延时可以收集和分发大量日志数据文件，消息队列能够缓冲***的流量压力，使***免于在大数据的压力下失效；可以依据流量扩展消息服务器节点，而不用修改代码和配置文件。
中间件***支持的接入数据类型包括：数据库的操作、日志事件、物联网设备数据和网页事件等，对外数据集成的类型包括：hadoop、数据库、数据仓库和CRM等业务***。支持实时的应用包括：数据转换、自定义应用程序、数据分析和监控等。
本实施例采用持久化存储，即采用创新的方式，与传统缓存方式不同，不是要在内存中保存尽可能多的数据，并在需要时将这些数据写入到文件***中，而是采取了完全相反的思路，所有数据都要立即写入持久化日志***中，不立即进行数据的调用。
本实施例提供的中间件***具体实施时，采用Avro编码方式，Snappy压缩算法和CA/SSL传输安全方式；主要包括终端信息上载、信息下载、信息下载管理、Broker管理和信息传输监控五部分功能，具体地：
A1、终端信息上载功能
终端信息上载功能包括读取参数配置文件，包括采集参数和上载参数。
其中，上载参数包括以下三类：
1)Broker IP/端口列表
2)提交频率：m秒、n条记录(最先到达为准)
3)累计汇总信息采集频率
其中，累计汇总信息包括汇总信息采集时间、终端信息提交时间、提交成功/失败标志、按天分类累计记录数和提交失败错误代码及信息。
每类终端采集信息作为一个主题(topic)，主题注册由broker端实现。根据采集参数，采集终端信息(已经实现)和累计汇总信息，把采集到的终端信息存储到本地文件；根据上载参数，发送终端信息至Broker服务器；数据上载失败时，生成上载失败日志信息，并把上载失败的信息和日志信息存储到本地文件，等到下次上载周期，首先上传此信息。
A2、信息下载功能
信息下载功能包括读取和信息下载。
其中，参数配置文件包括连接名称、Broker ip/port列表、并发数、主题、存储路径等内容。
信息下载即通过解码、解密等过程，从broker下载信息，以avro文件或组织成Hive对象方式，按区域、信息类型归类存储到HDFS。
A3、信息下载管理功能
信息下载管理功能按多级分组管理。
具体地，包括配置文件的读取、编辑、存储(包括本地和远程2份)，配置文件的分发，下载模块的安装，以及下载模块启动、关闭。
A4、Broker管理功能
Broker管理功能按多级分组管理。
具体地，包括配置文件的读取、编辑、存储(包括本地和远程2份)，Ip、端口、协议、密钥库/密码、信任库/密码等对象的管理，配置文件的分发，Broker模块的安装，Broker模块启动、关闭，信息主题的注册、删除、修改，以及CA密钥管理。
A5、信息传输监控功能
信息传输监控功能按多级分组监控。
具体地，包括接收消息数量、转发消息数量、时间延迟，平均每秒接受消息数量/吞吐量，平均每秒转发消息数量/吞吐量，Broker进程状态，Broker进程错误代码及内容，信息下载模块进程状态，信息下载进程错误代码及内容，以及告警阈值管理。
本实施例提供的中间件***参考了现有的日志收集***和消息队列，所以同时可以适应在线和离线处理两种方式，即实时通信和非实时通信两种方式。在吞吐量和可伸缩性方面，该中间件***都有更好的表现，例如，分布式架构，分区存储，顺序硬盘读写等方式。
图4示出了本实施例提供的一种多业务驱动的中间件***的存储处理装置的结构示意图，所述装置包括：数据添加模块401、数据存储模块402和数据发送模块403，其中：
所述数据添加模块401用于接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中；
所述数据存储模块402用于若判断获知所有分区文件的大小达到预设值，或者当前时间到达预设周期，则将所有分区文件中的数据存储至中间件***的本地磁盘，并将所有分区文件的数据清空；
所述数据发送模块403用于若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端，以使所述第一终端根据所述目标数据生成消费记录进行存储。
具体地，所述数据添加模块401接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中；所述数据存储模块402若判断获知所有分区文件的大小达到预设值，或者当前时间到达预设周期，则将所有分区过期文件中的数据转移至本地服务器的回收站，；所述数据发送模块403若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端，以使所述第一终端根据所述目标数据生成消费记录进行存储。
本实施例通过现将待存储数据添加至缓存区的目标分区文件中，保证了数据的添加速度；再根据分区文件的大小或预设周期将所有数据存储在本地磁盘，使得中间件***能够对海量和复杂的数据进行存储；并通过从本地磁盘将目标数据发送至所述第一终端，方便数据管理。
进一步地，在上述装置实施例的基础上，所述数据发送模块403具体用于若接收到第一终端发送的数据共享请求，则根据所述数据共享请求解析得到目标数据在所述本地磁盘的逻辑偏移量，根据所述逻辑偏移量确定所述目标数据在所述本地磁盘中的位置，并根据所述位置获取所述目标数据。
进一步地，在上述装置实施例的基础上，所述数据添加模块401具体用于接收待存储数据，根据数据存储算法确定若干个分区中存储所述待存储数据的目标分区，并将所述待存储数据添加至所述目标分区对应的目标分区文件中。
进一步地，在上述装置实施例的基础上，所述数据发送模块403具体用于若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端和第二终端，以使所述第一终端和所述第二终端根据所述目标数据生成消费记录进行存储；
其中，所述第二终端为与所述第一终端有关联关系的终端。
进一步地，在上述装置实施例的基础上，所述中间件***包括若干个代理服务器；
相应地，所述数据添加模块401具体用于接收待存储数据，根据服务器分配规则确定所述若干个代理服务器中的目标代理服务器，并根据数据存储算法将所述待存储数据添加至所述目标代理服务器的目标分区文件中。
本实施例所述的多业务驱动的中间件***的存储处理装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
参照图5，所述电子设备，包括：处理器(processor)501、存储器(memory)502和总线503；
其中，
所述处理器501和存储器502通过所述总线503完成相互间的通信；
所述处理器501用于调用所述存储器502中的程序指令，以执行上述各方法实施例所提供的方法。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多业务驱动的中间件***的存储处理方法，其特征在于，包括：
接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中；
若判断获知所有分区文件的大小达到预设值，或者当前时间到达预设周期，则将所有分区文件中的数据存储至中间件***的本地磁盘，并将所有分区文件的数据清空；
若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端，以使所述第一终端根据所述目标数据生成消费记录进行存储。
2.根据权利要求1所述的方法，其特征在于，所述若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，具体包括：
若接收到第一终端发送的数据共享请求，则根据所述数据共享请求解析得到目标数据在所述本地磁盘的逻辑偏移量，根据所述逻辑偏移量确定所述目标数据在所述本地磁盘中的位置，并根据所述位置获取所述目标数据。
3.根据权利要求1所述的方法，其特征在于，所述接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中，具体包括：
接收待存储数据，根据数据存储算法确定若干个分区中存储所述待存储数据的目标分区，并将所述待存储数据添加至所述目标分区对应的目标分区文件中。
4.根据权利要求1所述的方法，其特征在于，所述若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端，以使所述第一终端根据所述目标数据生成消费记录进行存储，具体包括：
若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端和第二终端，以使所述第一终端和所述第二终端根据所述目标数据生成消费记录进行存储；
其中，所述第二终端为与所述第一终端有关联关系的终端。
5.根据权利要求1所述的方法，其特征在于，所述中间件***包括若干个代理服务器；
相应地，所述接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中，具体包括：
接收待存储数据，根据服务器分配规则确定所述若干个代理服务器中的目标代理服务器，并根据数据存储算法将所述待存储数据添加至所述目标代理服务器的目标分区文件中。
6.一种多业务驱动的中间件***的存储处理装置，其特征在于，包括：
数据添加模块，用于接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中；
数据存储模块，用于若判断获知所有分区文件的大小达到预设值，或者当前时间到达预设周期，则将所有分区文件中的数据存储至中间件***的本地磁盘，并将所有分区文件的数据清空；
数据发送模块，用于若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端，以使所述第一终端根据所述目标数据生成消费记录进行存储。
7.根据权利要求6所述的方法，其特征在于，所述数据发送模块具体用于若接收到第一终端发送的数据共享请求，则根据所述数据共享请求解析得到目标数据在所述本地磁盘的逻辑偏移量，根据所述逻辑偏移量确定所述目标数据在所述本地磁盘中的位置，并根据所述位置获取所述目标数据。
8.根据权利要求6所述的方法，其特征在于，所述数据添加模块具体用于接收待存储数据，根据数据存储算法确定若干个分区中存储所述待存储数据的目标分区，并将所述待存储数据添加至所述目标分区对应的目标分区文件中。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至5任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行如权利要求1至5任一所述的方法。
CN201710900534.3A 2017-09-28 2017-09-28 一种多业务驱动的中间件***的存储处理方法及装置 Pending CN107766463A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710900534.3A CN107766463A (zh) 2017-09-28 2017-09-28 一种多业务驱动的中间件***的存储处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710900534.3A CN107766463A (zh) 2017-09-28 2017-09-28 一种多业务驱动的中间件***的存储处理方法及装置

Publications (1)

Publication Number Publication Date
CN107766463A true CN107766463A (zh) 2018-03-06

Family

ID=61266360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710900534.3A Pending CN107766463A (zh) 2017-09-28 2017-09-28 一种多业务驱动的中间件***的存储处理方法及装置

Country Status (1)

Country Link
CN (1) CN107766463A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108646987A (zh) * 2018-05-21 2018-10-12 北京五八信息技术有限公司 一种文件卷的管理方法、装置、存储介质及终端
CN109669941A (zh) * 2018-11-16 2019-04-23 深圳证券交易所 数据异步持久化方法、装置及计算机可读存储介质
CN109815292A (zh) * 2019-01-03 2019-05-28 广州中软信息技术有限公司 一种基于异步消息机制的涉税数据采集***
CN110851077A (zh) * 2019-10-25 2020-02-28 中盈优创资讯科技有限公司 Logstash的数据处理装置及方法
CN111641592A (zh) * 2020-05-08 2020-09-08 卓尔智联(武汉)研究院有限公司 基于中间件的数据传输方法、装置和计算机设备
CN111741041A (zh) * 2019-07-10 2020-10-02 北京京东尚科信息技术有限公司 消息处理方法及其装置、电子设备及计算机可读介质
CN116527691A (zh) * 2023-06-27 2023-08-01 天津中远海运散运数字科技有限公司 一种船岸数据的同步方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645859A (zh) * 2013-11-19 2014-03-19 华中科技大学 一种虚拟ssd与ssd异构镜像的磁盘阵列缓存方法
CN103973791A (zh) * 2014-05-08 2014-08-06 江苏物联网研究发展中心 物联网快速统一存储***
CN104113599A (zh) * 2014-07-22 2014-10-22 北京星网锐捷网络技术有限公司 一种缓存方法、装置及代理服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645859A (zh) * 2013-11-19 2014-03-19 华中科技大学 一种虚拟ssd与ssd异构镜像的磁盘阵列缓存方法
CN103973791A (zh) * 2014-05-08 2014-08-06 江苏物联网研究发展中心 物联网快速统一存储***
CN104113599A (zh) * 2014-07-22 2014-10-22 北京星网锐捷网络技术有限公司 一种缓存方法、装置及代理服务器

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108646987A (zh) * 2018-05-21 2018-10-12 北京五八信息技术有限公司 一种文件卷的管理方法、装置、存储介质及终端
CN109669941A (zh) * 2018-11-16 2019-04-23 深圳证券交易所 数据异步持久化方法、装置及计算机可读存储介质
CN109815292A (zh) * 2019-01-03 2019-05-28 广州中软信息技术有限公司 一种基于异步消息机制的涉税数据采集***
CN111741041A (zh) * 2019-07-10 2020-10-02 北京京东尚科信息技术有限公司 消息处理方法及其装置、电子设备及计算机可读介质
CN111741041B (zh) * 2019-07-10 2023-05-12 北京京东尚科信息技术有限公司 消息处理方法及其装置、电子设备及计算机可读介质
CN110851077A (zh) * 2019-10-25 2020-02-28 中盈优创资讯科技有限公司 Logstash的数据处理装置及方法
CN111641592A (zh) * 2020-05-08 2020-09-08 卓尔智联(武汉)研究院有限公司 基于中间件的数据传输方法、装置和计算机设备
CN111641592B (zh) * 2020-05-08 2022-07-29 卓尔智联(武汉)研究院有限公司 基于中间件的数据传输方法、装置和计算机设备
CN116527691A (zh) * 2023-06-27 2023-08-01 天津中远海运散运数字科技有限公司 一种船岸数据的同步方法、装置、设备和介质
CN116527691B (zh) * 2023-06-27 2023-11-03 天津中远海运散运数字科技有限公司 一种船岸数据的同步方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN107766463A (zh) 一种多业务驱动的中间件***的存储处理方法及装置
US20170083579A1 (en) Distributed data processing method and system
KR20210119372A (ko) 네트워크 최적화 및 비 일시적 컴퓨터 판독 가능 매체를 위한 장치 및 방법
CN109918349A (zh) 日志处理方法、装置、存储介质和电子装置
CN105659209B (zh) 在客户端设备上托管的云服务
EP3231199A1 (en) Notifications on mobile devices
CN105468442A (zh) 云环境中的应用和信息移动
CN111079015A (zh) 一种推荐方法、装置、计算机设备和存储介质
CN105577772A (zh) 素材接收方法、素材上传方法及装置
WO2018049563A1 (en) Systems and methods for caching
CN108255628A (zh) 一种数据处理方法及装置
CN110321225A (zh) 负载均衡方法、元数据服务器及计算机可读存储介质
CN107168802A (zh) 一种云存储中小文件的合并方法及装置
CN110324232A (zh) 基于即时通讯服务中的使用人员情况的有效的多媒体消息提供方法及***
CN110309215A (zh) 一种数据处理方法、***及元数据更新方法、***
CN107370684A (zh) 业务限流方法及业务限流装置
CN110493302A (zh) 一种文件传输方法、设备及计算机可读存储介质
US20150058438A1 (en) System and method providing hierarchical cache for big data applications
CN109947729A (zh) 一种实时数据分析方法及装置
Perez et al. A monitoring framework for multi-site 5G platforms
WO2021137768A1 (en) Method, apparatus and device for consuming messages based on message queue
CN110413684A (zh) 一种数据库同步方法、装置及***
CN110990706B (zh) 语料推荐方法及装置
CN109491807A (zh) 一种数据交换方法、装置和***
Nilsson et al. Performance evaluation of message-oriented middleware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180306

RJ01 Rejection of invention patent application after publication