CN112202862A - 一种基于kafka的集群数据以及文件的同步方法及装置 - Google Patents

一种基于kafka的集群数据以及文件的同步方法及装置 Download PDF

Info

Publication number
CN112202862A
CN112202862A CN202011010531.0A CN202011010531A CN112202862A CN 112202862 A CN112202862 A CN 112202862A CN 202011010531 A CN202011010531 A CN 202011010531A CN 112202862 A CN112202862 A CN 112202862A
Authority
CN
China
Prior art keywords
file
data
kafka
cluster
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011010531.0A
Other languages
English (en)
Other versions
CN112202862B (zh
Inventor
付少波
王志海
喻波
安鹏
王志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wondersoft Technology Co Ltd
Original Assignee
Beijing Wondersoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wondersoft Technology Co Ltd filed Critical Beijing Wondersoft Technology Co Ltd
Priority to CN202011010531.0A priority Critical patent/CN112202862B/zh
Publication of CN112202862A publication Critical patent/CN112202862A/zh
Application granted granted Critical
Publication of CN112202862B publication Critical patent/CN112202862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于kafka的集群数据以及文件的同步方法及装置，所述方法包括：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；判断解析结果，根据解析结果，将热点数据发送到Kafka的热点数据存储topic或采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic；集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。根据本发明的方案，只需要在集群项目中添加Kafka服务插件，减少项目的复杂度。实现将Kafka中的数据全部读取到集群的所有节点中，将热点数据刷新到服务内存中。实现集群服务器之间的热点数据共享以及文件的共享。

Description

一种基于kafka的集群数据以及文件的同步方法及装置
技术领域
本发明涉及数据处理领域，尤其涉及一种基于kafka的集群数据以及文件的同步方法及装置。
背景技术
随着分布式***的发展，由分布式集群完成一个共同的项目的应用场景越来越广泛，需要在分布式集群中对项目的数据以及文件进行同步、共享。现有技术中实现集群中对项目的数据以及文件进行同步、共享的方式包括基于NAS服务实现集群间文件共享、基于Redis实现热点数据共享。
基于NAS服务实现集群间文件共享的方式中，集群中所有的服务全部链接NAS服务，文件上传或读取时都需要通过NAS服务读写文件，服务间不关注附件、文件等的同步，并且使用基于NAS服务实现集群间文件共享的方式，适用于规模较大的项目。对于项目规模较小的项目，又没有NAS共享服务器时，集群间缺少能够实现文件同步的简单、实用的解决方法。
基于Redis实现热点数据共享的方式，集群中所有服务都连接Redis集群，读写热点数据需要通过Redis过渡，实现数据共享。但在存储有难度的数据结构或者数据比较大的数据时，需要采用内存中存储的热点数据，集群间的同步，使用Redis实现并不适合。
也就是说，现有的基于NAS服务实现集群间文件共享、基于Redis实现热点数据共享的方案，对于项目规模不大，在项目中没有NAS服务器的项目，需要实现文件在集群中的共享，并且还需要实现集群节点间的内存中热点数据共享，并不适用。
发明内容
为解决上述技术问题，本发明提出了一种基于kafka的集群数据以及文件的同步方法及装置，所述方法及装置，用以解决现有技术中一些无法通过NAS等共享服务器来实现数据文件共享的项目；项目规模不大，在项目中没有NAS服务器的项目或者无法通过NAS来实现数据文件以及热点数据共享的项目；项目规模不大，在项目中没有NAS服务器的项目，又需要实现文件在集群中的共享，并且还需要实现集群节点间的内存中热点数据共享的项目的数据及文件的同步的问题。
根据本发明的第一方面，提供一种基于kafka的集群数据以及文件的同步方法，所述方法包括以下步骤：
步骤S101：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；
步骤S102：判断解析结果，若解析结果为将热点数据刷新到内存中，进入步骤S103；若解析结果为文件共享，进入步骤S104；
步骤S103：将热点数据发送到Kafka的热点数据存储topic，进入步骤S105；
步骤S104：采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic，进入步骤S105；
步骤S105：集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。
进一步地，在所述步骤S101：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组之前，还包括：
通过浏览器或外部***对接集群中某个节点的服务，发送热点数据共享请求或文件共享请求。
进一步地，所述步骤S104中，所述封装文件json信息包括文件的文件路径、名称、文件流、流位置。
进一步地，对于通过消费得到的文件数据，节点根据字符串信息解析文件路径、文件流位置、文件名称，然后生成对应的文件，并将生成的文件写入对应的目录。
根据本发明第二方面，提供一种基于kafka的集群数据以及文件的同步装置，所述装置包括：
请求解析模块：配置为集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；
判断模块：配置为判断解析结果；
第一存储模块：配置为将热点数据发送到Kafka的热点数据存储topic；
第二存储模块：配置为采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic；
数据获取模块：配置为集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。
进一步地，包括接收请求模块，配置为通过浏览器或外部***对接集群中某个节点的服务，发送热点数据共享请求或文件共享请求。
进一步地，所述封装文件json信息包括文件的文件路径、名称、文件流、流位置。
进一步地，对于通过消费得到的文件数据，节点根据字符串信息解析文件路径、文件流位置、文件名称，然后生成对应的文件，并将生成的文件写入对应的目录。
根据本发明第三方面，提供一种基于kafka的集群数据以及文件的同步***，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于kafka的集群数据以及文件的同步方法。
根据本发明第四方面，提供一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于kafka的集群数据以及文件的同步方法。
根据本发明的上述方案，只需要在集群项目中添加Kafka服务插件，无需增加Redis、NAS等服务中间件，减少项目的复杂度。集群服务中通过数据发送程序实现将热点数据以及数据文件发送到Kafka的topic中的服务，需要共享热点数据或共享文件时该程序发送数据到Kafka，集群服务中的数据接收程序采用不同的消费组读取Kafka的topic中的数据，实现将Kafka中的数据全部读取到集群的所有节点中，将热点数据刷新到服务内存中，将数据文件通过RandomAccessFile读取并写入文件，保存到对应的目录。实现集群服务器之间的热点数据共享以及文件的共享。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供如下附图进行说明。在附图中：
图1为本发明一个实施方式的基于kafka的集群数据以及文件的同步方法流程图；
图2为本发明一个实施方式的基于kafka的集群数据以及文件的同步方法示意图；
图3为本发明的基于kafka的集群数据以及文件的同步方法的实施方式示意图；
图4为本发明一个实施方式的基于kafka的集群数据以及文件的同步装置结构框图。
具体实施方式
定义：
Kafka:Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息***，它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析***，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
Redis：Redis是一个key-value存储***。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。
RandomAccessFile：Java提供的一种可以对文件随机访问的操作，包括读和写操作。
首先结合图1-2说明为本发明一个实施方式的基于kafka的集群数据以及文件的同步方法。如图1-2所示，所述方法包括以下步骤：
步骤S101：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；
步骤S102：判断解析结果，若解析结果为将热点数据刷新到内存中，进入步骤S103；若解析结果为文件共享，进入步骤S104；
步骤S103：将热点数据发送到Kafka的热点数据存储topic，进入步骤S105；
步骤S104：采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic，进入步骤S105；
步骤S105：集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。
在所述步骤S101：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组之前，还包括：
通过浏览器或外部***对接集群中某个节点的服务，发送热点数据共享请求或文件共享请求。所述热点数据共享请求对应于将热点数据刷新到内存。
所述步骤S104中，所述封装文件json信息包括文件的文件路径、名称、文件流、流位置。
集群中的每个节点都能够接收并解析请求，根据解析结果确定处理方式，例如，将热点数据发送到Kafka的热点数据存储topic，或采用RandomAccessFile读取对应路径的文件流信息，封装文件信息，将封装后的文件信息发送并保存到Kafka的文件数据存储topic。
集群中的每个节点都能够发送和/或接收文件请求、热点数据请求，用于在集群节点中获取数据，实现集群间热点数据以及文件数据的共享。对于读取到的文件数据，根据字符串信息解析文件路径、文件流位置、文件名称，然后生成对应的文件，并将生成的文件写入对应的目录。
所述步骤S105之后，后续的热点数据请求或文件数据请求，都可以从任一集群节点中获取到对应的数据，还可以通过浏览器或外部***访问，实现集群之间的热点数据以及文件数据的共享。
本实施例的方法，解决了小规模项目中的热点数据同步共享问题，解决了没有NAS服务的项目中的文件同步共享问题。
以下结合图3说明一个基于kafka的集群数据以及文件的同步的具体实施方式。
步骤S301：浏览器或外部***发送热点数据或文件请求到集群服务器的某个节点；
步骤S302：当前节点接收到请求后，解析请求，如果是热点数据请求，则将热点数据发送到热点数据topic中；如果是文件请求，读取文件内容并封装文件json信息发送到Kafka中；
步骤S303：集群中的5台节点开始消费Kafka中的数据信息；并将读取到的热点数据刷新到内存中；
步骤S304：对于读取到的文件数据，根据字符串信息解析文件路径、文件流位置、文件名称，然后生成对应的文件，并将生成的文件写入对应的目录；
步骤S305：后续热点数据查询或文件数据查询请求在5台节点中都可以获取到正常的数据，实现了集群节点之间的数据和文件的同步共享。
本发明实施例进一步给出一种基于kafka的集群数据以及文件的同步装置，如图4所示，所述装置包括：
请求解析模块：配置为集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；
判断模块：配置为判断解析结果；
第一存储模块：配置为将热点数据发送到Kafka的热点数据存储topic；
第二存储模块：配置为采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic；
数据获取模块：配置为集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。
本发明实施例进一步给出一种基于kafka的集群数据以及文件的同步***，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的一种基于kafka的集群数据以及文件的同步方法。
本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于kafka的集群数据以及文件的同步方法。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作***)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于kafka的集群数据以及文件的同步方法，其特征在于，包括以下步骤：
步骤S101：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；
步骤S102：判断解析结果，若解析结果为将热点数据刷新到内存中，进入步骤S103；若解析结果为文件共享，进入步骤S104；
步骤S103：将热点数据发送到Kafka的热点数据存储topic，进入步骤S105；
步骤S104：采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic，进入步骤S105；
步骤S105：集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。
2.如权利要求1所述的基于kafka的集群数据以及文件的同步方法，其特征在于，在所述步骤S101：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组之前，还包括：
通过浏览器或外部***对接集群中某个节点的服务，发送热点数据共享请求或文件共享请求。
3.如权利要求1所述的基于kafka的集群数据以及文件的同步方法，其特征在于，所述步骤S104中，所述封装文件json信息包括文件的文件路径、名称、文件流、流位置。
4.如权利要求1所述的基于kafka的集群数据以及文件的同步方法，其特征在于，对于通过消费得到的文件数据，节点根据字符串信息解析文件路径、文件流位置、文件名称，然后生成对应的文件，并将生成的文件写入对应的目录。
5.一种基于kafka的集群数据以及文件的同步装置，其特征在于，所述装置包括：
请求解析模块：配置为集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；
判断模块：配置为判断解析结果；
第一存储模块：配置为将热点数据发送到Kafka的热点数据存储topic；
第二存储模块：配置为采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic；
数据获取模块：配置为集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。
6.如权利要求5所述的基于kafka的集群数据以及文件的同步装置，其特征在于，包括接收请求模块，配置为通过浏览器或外部***对接集群中某个节点的服务，发送热点数据共享请求或文件共享请求。
7.如权利要求5所述的基于kafka的集群数据以及文件的同步装置，其特征在于，所述封装文件json信息包括文件的文件路径、名称、文件流、流位置。
8.如权利要求5所述的基于kafka的集群数据以及文件的同步装置，其特征在于，对于通过消费得到的文件数据，节点根据字符串信息解析文件路径、文件流位置、文件名称，然后生成对应的文件，并将生成的文件写入对应的目录。
9.一种基于kafka的集群数据以及文件的同步***，其特征在于，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如权利要求1-4之任一项所述的基于kafka的集群数据以及文件的同步方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-4之任一项所述的基于kafka的集群数据以及文件的同步方法。
CN202011010531.0A 2020-09-23 2020-09-23 一种基于kafka的集群数据以及文件的同步方法及装置 Active CN112202862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011010531.0A CN112202862B (zh) 2020-09-23 2020-09-23 一种基于kafka的集群数据以及文件的同步方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011010531.0A CN112202862B (zh) 2020-09-23 2020-09-23 一种基于kafka的集群数据以及文件的同步方法及装置

Publications (2)

Publication Number Publication Date
CN112202862A true CN112202862A (zh) 2021-01-08
CN112202862B CN112202862B (zh) 2023-12-05

Family

ID=74016063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011010531.0A Active CN112202862B (zh) 2020-09-23 2020-09-23 一种基于kafka的集群数据以及文件的同步方法及装置

Country Status (1)

Country Link
CN (1) CN112202862B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485978A (zh) * 2021-06-23 2021-10-08 华泰证券股份有限公司 一种提升文件存储nas读写吞吐能力的方法、***及存储器
CN115174423A (zh) * 2022-07-12 2022-10-11 中国建设银行股份有限公司 Kafka的查询方法、装置、存储介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209986A (zh) * 2019-06-06 2019-09-06 海尔优家智能科技（北京）有限公司 内存状态数据同步方法及装置
CN110401724A (zh) * 2019-08-22 2019-11-01 北京旷视科技有限公司 文件管理方法、文件传输协议服务器及存储介质
CN110750562A (zh) * 2018-07-20 2020-02-04 武汉烽火众智智慧之星科技有限公司 基于Storm的实时数据比对预警方法及***
CN111221663A (zh) * 2019-11-21 2020-06-02 苏州浪潮智能科技有限公司 一种消息数据处理方法、装置、设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110750562A (zh) * 2018-07-20 2020-02-04 武汉烽火众智智慧之星科技有限公司 基于Storm的实时数据比对预警方法及***
CN110209986A (zh) * 2019-06-06 2019-09-06 海尔优家智能科技（北京）有限公司 内存状态数据同步方法及装置
CN110401724A (zh) * 2019-08-22 2019-11-01 北京旷视科技有限公司 文件管理方法、文件传输协议服务器及存储介质
CN111221663A (zh) * 2019-11-21 2020-06-02 苏州浪潮智能科技有限公司 一种消息数据处理方法、装置、设备及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485978A (zh) * 2021-06-23 2021-10-08 华泰证券股份有限公司 一种提升文件存储nas读写吞吐能力的方法、***及存储器
CN113485978B (zh) * 2021-06-23 2023-07-21 华泰证券股份有限公司 一种提升文件存储nas读写吞吐能力的方法、***及存储器
CN115174423A (zh) * 2022-07-12 2022-10-11 中国建设银行股份有限公司 Kafka的查询方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN112202862B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN111625452B (zh) 流量回放方法和***
US11409712B2 (en) Small-file storage optimization system based on virtual file system in KUBERNETES user-mode application
CN104462534B (zh) 网络信息分享方法和装置
WO2017048924A1 (en) Distributed data processing method and system
CN111708738B (zh) 实现hadoop文件***hdfs与对象存储s3数据互访方法及***
CN105677251A (zh) 基于Redis集群的存储***
CN112202862B (zh) 一种基于kafka的集群数据以及文件的同步方法及装置
CN104657366A (zh) 海量日志写入数据库的方法、装置和日志容灾***
CN109564502B (zh) 应用于存储设备中的访问请求的处理方法和装置
CN111400246B (zh) 异步导入文件方法、装置、计算机设备和存储介质
CN104657435A (zh) 一种应用数据的存储管理方法和网络管理***
CN115270033A (zh) 一种数据访问***、方法、设备以及网卡
CN110888972A (zh) 一种基于Spark Streaming的敏感内容识别方法及装置
CN112860412B (zh) 业务数据处理方法、装置、电子设备及存储介质
CN113821194A (zh) 一种微前端***
CN112134707B (zh) 一种针对多个kerberos集群的并发访问方法和装置
CN106790521B (zh) 采用基于ftp的节点设备进行分布式组网的***及方法
CN112052104A (zh) 基于多机房实现的消息队列的管理方法及电子设备
CN111800511A (zh) 同步登录态的处理方法、***、设备及可读存储介质
CN112910980B (zh) 一种数据库访问***和方法
CN116303309A (zh) 文件挂载方法、装置和电子设备
US20210374072A1 (en) Augmenting storage functionality using emulation of storage characteristics
CN115426375A (zh) 一种数据处理方法和数据处理***
CN115695587A (zh) 一种业务数据处理***、方法、装置和存储介质
CN111459819A (zh) 软件测试方法及装置、电子设备、计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant