CN113590040B - 数据处理方法、装置、设备和存储介质 - Google Patents

数据处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113590040B
CN113590040B CN202110862607.0A CN202110862607A CN113590040B CN 113590040 B CN113590040 B CN 113590040B CN 202110862607 A CN202110862607 A CN 202110862607A CN 113590040 B CN113590040 B CN 113590040B
Authority
CN
China
Prior art keywords
data
cluster
writing
data processing
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110862607.0A
Other languages
English (en)
Other versions
CN113590040A (zh
Inventor
张雁南
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Apas Digital Cloud Information Technology Co ltd
Original Assignee
Zhengzhou Apas Digital Cloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Apas Digital Cloud Information Technology Co ltd filed Critical Zhengzhou Apas Digital Cloud Information Technology Co ltd
Priority to CN202110862607.0A priority Critical patent/CN113590040B/zh
Publication of CN113590040A publication Critical patent/CN113590040A/zh
Application granted granted Critical
Publication of CN113590040B publication Critical patent/CN113590040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0632—Configuration or reconfiguration of storage systems by initialisation or re-initialisation of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书一个实施例提供了一种数据处理方法、装置、设备和存储介质，其中方法包括：获取第一数据集群和第二数据集群的数据处理状态；根据数据处理状态，在二者中确定第一数据写入集群和第一数据处理集群，在第一数据写入集群中写入业务数据，以及，利用第一数据处理集群进行业务数据处理；在数据写入完成后，切换第一数据写入集群和第一数据处理集群的数据处理状态，得到第二数据处理集群和第二数据写入集群；在第二数据写入集群中写入业务数据，以及，利用第二数据处理集群进行业务数据处理。通过本实施例，能够通过不同集群实现数据写入过程和数据处理过程，避免数据写入操作对数据处理效率的影响，提高业务处理效率。

Description

数据处理方法、装置、设备和存储介质
技术领域
本文件涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备和存储介质。
背景技术
目前一种主流的数据存储方式为，在数据存储集群中存储业务数据，在业务方需要时，向数据存储集群中写入更新后的业务数据或者基于数据存储集群中存储的数据进行数据处理，如进行数据查询。然而，这种数据存储方式的弊端在于，基于一个数据存储集群实现数据的写入和处理，若数据写入操作和数据处理操作同时发生，难免会由于数据写入操作影响数据处理效率，从而降低业务处理效率。
发明内容
本说明书一个实施例的目的是提供一种数据处理方法、装置、设备和存储介质，能够通过不同集群实现数据写入过程和数据处理过程，从而避免数据写入操作对数据处理效率的影响，提高业务处理效率。
为达到上述技术目的，本说明书一个实施例是这样实现的：
第一方面，本说明书一个实施例提供了一种数据处理方法，包括：
获取第一数据集群和第二数据集群的数据处理状态；所述第一数据集群和所述第二数据集群共同组成用于存储业务数据的业务数据存储集群；所述数据处理状态包括允许数据写入和允许数据处理；
根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，在所述第一数据写入集群中写入业务数据，以及，利用所述第一数据处理集群进行业务数据处理；
在业务数据写入完成后，切换所述第一数据写入集群和所述第一数据处理集群的数据处理状态，以使所述第一数据写入集群变更为第二数据处理集群，使所述第一数据处理集群变更为第二数据写入集群；
在所述第二数据写入集群中写入业务数据，以及，利用所述第二数据处理集群进行业务数据处理。
第二方面，本说明书一个实施例提供了一种数据处理装置，包括：
状态获取单元，用于获取第一数据集群和第二数据集群的数据处理状态；所述第一数据集群和所述第二数据集群共同组成用于存储业务数据的业务数据存储集群；所述数据处理状态包括允许数据写入和允许数据处理；
第一处理单元，用于根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，在所述第一数据写入集群中写入业务数据，以及，利用所述第一数据处理集群进行业务数据处理；
状态切换单元，用于在业务数据写入完成后，切换所述第一数据写入集群和所述第一数据处理集群的数据处理状态，以使所述第一数据写入集群变更为第二数据处理集群，使所述第一数据处理集群变更为第二数据写入集群；
第二处理单元，用于在所述第二数据写入集群中写入业务数据，以及，利用所述第二数据处理集群进行业务数据处理。
第三方面，本说明书一个实施例提供了一种数据处理设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现以下流程：
获取第一数据集群和第二数据集群的数据处理状态；所述第一数据集群和所述第二数据集群共同组成用于存储业务数据的业务数据存储集群；所述数据处理状态包括允许数据写入和允许数据处理；
根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，在所述第一数据写入集群中写入业务数据，以及，利用所述第一数据处理集群进行业务数据处理；
在业务数据写入完成后，切换所述第一数据写入集群和所述第一数据处理集群的数据处理状态，以使所述第一数据写入集群变更为第二数据处理集群，使所述第一数据处理集群变更为第二数据写入集群；
在所述第二数据写入集群中写入业务数据，以及，利用所述第二数据处理集群进行业务数据处理。
第四方面，本说明书一个实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：
获取第一数据集群和第二数据集群的数据处理状态；所述第一数据集群和所述第二数据集群共同组成用于存储业务数据的业务数据存储集群；所述数据处理状态包括允许数据写入和允许数据处理；
根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，在所述第一数据写入集群中写入业务数据，以及，利用所述第一数据处理集群进行业务数据处理；
在业务数据写入完成后，切换所述第一数据写入集群和所述第一数据处理集群的数据处理状态，以使所述第一数据写入集群变更为第二数据处理集群，使所述第一数据处理集群变更为第二数据写入集群；
在所述第二数据写入集群中写入业务数据，以及，利用所述第二数据处理集群进行业务数据处理。
本说明书一实施例提供的数据处理方法、装置、设备和存储介质，业务数据存储集群包括第一数据集群和第二数据集群，第一数据集群和第二数据集群具有数据处理状态，能够根据数据处理状态，在第一数据集群和第二数据集群中确定第一数据写入集群和第一数据处理集群，从而通过不同集群实现数据写入过程和数据处理过程，避免数据写入操作对数据处理效率的影响，提高业务处理效率。并且，本实施例中还能够切换第一数据写入集群和第一数据处理集群的数据处理状态，从而利用数据写入完成的集群进行数据处理，使得数据处理具有合适的数据基础，满足数据处理的数据存储要求。
附图说明
为了更清楚地说明本说明书一个或多个实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一实施例提供的数据处理方法的场景示意图；
图2为本说明书一实施例提供的数据处理方法的流程示意图；
图3为本说明书又一实施例提供的数据处理方法的流程示意图；
图4为本说明书又一实施例提供的数据处理的过程示意图；
图5为本说明书一实施例提供的数据处理装置的结构示意图；
图6为本说明书一实施例提供的数据处理设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
图1为本说明书一实施例提供的数据处理方法的场景示意图，如图1所示，该场景包括业务方设备、数据处理设备和业务数据存储集群。其中，业务方设备可以为图1中所示的业务方服务器形式，还可以为服务器集群形式。数据处理设备可以为图1中所示的数据处理服务器形式，还可以为服务器集群形式。业务数据存储集群包括第一数据集群和第二数据集群。图1中，数据处理设备可以执行本说明书一个或多个实施例中的数据处理方法，通过不同集群实现业务数据的写入过程和业务数据的处理过程，避免业务数据写入操作对业务数据处理效率的影响，提高业务处理效率。
图2为本说明书一实施例提供的数据处理方法的流程示意图，该流程能够由图1中的数据处理设备执行，如图2所示，该流程包括以下步骤：
步骤S202，获取第一数据集群和第二数据集群的数据处理状态；第一数据集群和第二数据集群共同组成用于存储业务数据的业务数据存储集群；数据处理状态包括允许数据写入和允许数据处理；
步骤S204，根据数据处理状态，在第一数据集群和第二数据集群中确定第一数据写入集群和第一数据处理集群，在第一数据写入集群中写入业务数据，以及，利用第一数据处理集群进行业务数据处理；
步骤S206，在业务数据写入完成后，切换第一数据写入集群和第一数据处理集群的数据处理状态，以使第一数据写入集群变更为第二数据处理集群，使第一数据处理集群变更为第二数据写入集群；
步骤S208，在第二数据写入集群中写入业务数据，以及，利用第二数据处理集群进行业务数据处理。
本说明书实施例中，业务数据存储集群包括第一数据集群和第二数据集群，第一数据集群和第二数据集群具有数据处理状态，能够根据数据处理状态，在第一数据集群和第二数据集群中确定第一数据写入集群和第一数据处理集群，从而通过不同集群实现数据写入过程和数据处理过程，避免数据写入操作对数据处理效率的影响，提高业务处理效率。并且，本实施例中还能够切换第一数据写入集群和第一数据处理集群的数据处理状态，从而利用数据写入完成的集群进行数据处理，使得数据处理具有合适的数据基础，满足数据处理的数据存储要求。
如图1所示，本实施例提供有第一数据集群和第二数据集群，第一数据集群和第二数据集群共同组成为用于存储业务数据的业务数据存储集群，第一数据集群和第二数据集群初始化时可以均为空集群或者均存储有全部的业务数据。第一数据集群和第二数据集群具有数据处理状态，第一数据集群和第二数据集群的数据处理状态不同，数据处理状态包括允许数据写入和允许数据处理。以第一数据集群为例，当数据处理状态为允许数据写入时，允许向第一数据集群内写入数据，当数据处理状态为允许数据处理时，不允许向第一数据集群内写入数据，但是允许利用第一数据集群内存储的数据进行数据处理。
本实施例中，第一数据集群和第二数据集群的数据处理状态相反，当第一数据处理集群的数据处理状态为允许数据写入时，第二数据处理集群的数据处理状态为允许数据处理。当第一数据处理集群的数据处理状态为允许数据处理时，第二数据处理集群的数据处理状态为允许数据写入。本实施例中，可以在redis中记录第一数据集群和第二数据集群的数据处理状态。相应地，上述步骤S202中，从redis中获取第一数据集群和第二数据集群的数据处理状态。
在一个实施例中，获取第一数据集群和第二数据集群的数据处理状态，具体为：从状态存储服务器如前述的redis中读取第一数据集群和第二数据集群的数据处理状态信息，数据处理状态信息包括表示允许数据写入的第一数据处理状态信息和表示允许数据处理的第二数据处理状态信息，根据读取的数据处理状态信息，确定第一数据集群和第二数据集群的数据处理状态。其中，状态存储服务器如redis用于存储第一数据集群和第二数据集群的数据处理状态信息。
上述步骤S204中，根据数据处理状态，在第一数据集群和第二数据集群中确定第一数据写入集群和第一数据处理集群。该动作具体为：在第一数据集群和第二数据集群中，将数据处理状态为允许数据写入的集群确定为第一数据写入集群，将数据处理状态为允许数据处理的集群确定为第一数据处理集群。
上述步骤S206中，在第一数据写入集群中写入业务数据，该动作具体为：在业务数据更新后，在第一数据写入集群中写入全量业务数据或者增量业务数据。具体而言，在业务数据更新后，在第一数据写入集群中写入更新之后的全部的业务数据，即全量业务数据，或者，在第一数据写入集群中写入被更新的部分业务数据，即增量业务数据。在一个具体的实施例中，第一数据集群和第二数据集群初始化时均存储有全部的业务数据。假设根据数据处理状态确定第一数据集群为第一数据写入集群，第二数据集群为第一数据处理集群，则在业务数据更新后，由于第一数据写入集群中预先写入有全部的业务数据，因此可以只在第一数据写入集群中写入增量业务数据。或者，为了保证数据存储的准确性，直接在业务数据更新后，在第一数据写入集群中写入全量业务数据，并删除第一数据写入集群中预先存储的业务数据。
一个实施例中，业务数据包括人群包。当为互联网中的用户提供服务时，用户具有用户画像，在根据用户画像将用户分类后，每类用户的用户标识形成一个人群包，人群包包含这类用户的用户标识。比如，根据用户画像将年龄大于30岁的游戏爱好者归为一类，这类用户的用户标识形成一个人群包。该实施例中，第一数据写入集群中预先存储有各个用户的用户标识，具体而言，预先存储有互联网中的各个用户的用户标识。在该实施例中，在业务数据更新后，在第一数据写入集群中写入全量业务数据，具体为：
(1)在人群包更新后，获取各个人群包的建立规则，建立规则用于表示人群包中所包含的用户的用户画像的共性特征；
(2)根据建立规则，从第一数据写入集群中获取每个人群包中所包含的用户标识；
(3)根据每个人群包中所包含的用户标识，建立每个人群包并写入第一数据写入集群。
首先，在人群包更新之后，获取每个人群包的建立规则，该规则能够从数据库中读取得到。以一个人群包为例，该规则用于表示一个人群包中所包含的用户的用户画像的共性特征。比如，规则为：30岁以上、游戏爱好者，该规则表示30岁以上的游戏爱好者组成一个人群包。
然后，根据人群包的建立规则，从第一数据写入集群中获取每个人群包中所包含的用户的用户标识。具体而言，以一个人群包为例，根据该人群包的建立规则，从第一数据写入集群中获取该人群包中的用户的用户标识，该人群包中的用户符合该人群包的建立规则。
最后，将每个人群包中的用户标识进行组合，得个每个人群包。将每个人群包写入第一数据写入集群。上述动作(1)-(3)中，组合得到全部人群包并写入第一数据写入集群。全部人群包中包括更新后的人群包也包括未更新的人群包。
在一个具体情况下，当互联网中的用户画像更新后，互联网中的各个人群包中必然存在部分人群包更新，这种情况下，由于分析哪些人群包由于用户画像的更新而更新比较复杂，因此可以通过以上动作(1)-(3)，基于更新后的用户画像和人群包建立规则，重新建立全部的人群包，并将重新建立的全部的人群包写入第一数据写入集群。
可见，人群包中包括用户标识，用户标识来自第一数据写入集群，人群包最后被写入第一数据写入集群，从而基于第一数据写入集群中具有的用户标识形成人群包并写入第一数据写入集群，能够保证用户标识获取的准确性。
在一个情况下，当互联网中的用户画像更新后，在人群包的建立规则不变的情况下，人群包也随之更新，因此本实施例中，用户画像更新后，确定人群包更新。
综上，本实施例中的方法可以应用在业务数据为人群包的场景下，在用户画像更新后，确定人群包更新，根据人群包的建立规则形成更新后的人群包并写入第一数据写入集群，从而实现业务数据的写入。
上述步骤S204中，利用第一数据处理集群进行业务数据处理。本实施例中，由于第一数据集群和第二数据集群具有数据处理状态，且二者的数据处理状态能够定期切换，因此第一数据处理集群之前曾经被作为数据写入集群，与第一数据写入集群的业务数据写入过程相同，第一数据处理集群在前次作为数据写入集群的过程中被写入有业务数据，具体过程可以参考前面第一数据写入集群的业务数据写入过程，这里不再重复。
在第一数据处理集群在前次作为数据写入集群的过程中被写入有业务数据的基础上，利用第一数据处理集群进行业务数据处理，具体为：利用第一数据处理集群中存储的业务数据，进行业务数据查询和/或业务数据读取。
还是以业务数据为人群包为例。利用第一数据处理集群中存储的业务数据，进行业务数据查询可以为，基于第一数据处理集群中存储的人群包，查询某个用户标识是否位于某个人群包中。利用第一数据处理集群中存储的业务数据，进行业务数据读取可以为，批量读取第一数据处理集群中存储的人群包。
以上介绍了根据第一数据集群的状态和第二数据集群的状态确定第一数据写入集群和第一数据处理集群，并向第一数据写入集群中写入业务数据，基于第一数据处理集群进行业务数据处理的过程。
上述步骤S206中，在向第一数据写入集群中写入业务数据完成后，无论第一数据处理集群中的业务数据处理过程是否完成，均切换第一数据写入集群和第一数据处理集群的数据处理状态，将第一数据写入集群的数据处理状态变为允许数据处理，将第一数据处理集群的数据处理状态变为允许数据写入，从而使得第一数据写入集群变更为第二数据处理集群，使得第一数据处理集群变更为第二数据写入集群。在切换第一数据写入集群和第一数据处理集群的数据处理状态时，第一数据处理集群中的业务数据处理过程可以完成也可以没完成，这并不影响状态的切换。在切换第一数据写入集群和第一数据处理集群的数据处理状态之后，如果第一数据处理集群中的业务数据处理过程没完成，则切换后的第一数据处理集群即第二数据写入集群可以继续进行数据处理。
由于第一数据集群和第二数据集群的数据处理状态信息可以记录在状态存储服务器中，因此切换第一数据集群和第二数据集群的数据处理状态可以具体为修改状态存储服务器中记录的第一数据集群和第二数据集群的数据处理状态信息，将二者的状态信息进行切换即可。
接着，执行步骤S208，在第二数据写入集群中写入业务数据，以及，利用第二数据处理集群进行业务数据处理。
与之前向第一数据写入集群中写入业务数据的过程相同，在第二数据写入集群中写入业务数据，具体为：在业务数据更新后，在第二数据写入集群中写入全量业务数据或者增量业务数据。
业务数据可以包括人群包。第二数据写入集群中预先存储有各个用户的用户标识。在业务数据更新后，在第二数据写入集群中写入全量业务数据，包括：
(1)在人群包更新后，获取各个人群包的建立规则，建立规则用于表示人群包中所包含的用户的用户画像的共性特征；
(2)根据建立规则，从第二数据写入集群中获取每个人群包中所包含的用户标识；
(3)根据每个人群包中所包含的用户标识，建立每个人群包并写入第二数据写入集群。
其中，在用户画像更新后，确定人群包更新。在第二数据写入集群中写入业务数据的过程与在第一数据写入集群中写入业务数据的过程相同，这里不再重复。
在一个实施例中，第二数据处理集群在前次作为数据写入集群的过程中被写入有业务数据，利用第二数据处理集群进行业务数据处理，包括：利用第二数据处理集群中存储的业务数据，进行业务数据查询和/或业务数据读取。利用第二数据处理集群进行业务数据处理的过程与利用第一数据处理集群进行业务数据处理的过程相同，这里不再重复。
本实施例中，根据第一数据集群和第二数据集群的数据处理状态，确定数据写入集群和数据处理集群，在数据写入集群中实现业务数据写入，在数据处理集群中实现业务数据处理，并可以切换数据写入集群和数据处理集群的状态，从而在之前写入过业务数据的集群中进行业务数据处理，在之前进行过业务数据处理的集群中写入业务数据，既实现了业务数据处理和业务数据写入的分离，又保证了进行业务数据处理的集群有足够多的业务数据支撑，从而通过不同集群实现业务数据写入过程和业务数据处理过程，避免业务数据写入操作对业务数据处理效率的影响，提高业务处理效率。
图3为本说明书又一实施例提供的数据处理方法的流程示意图，如图3所示，该流程包括：
步骤S302，检测用户画像是否更新。
步骤S304，在检测到用户画像更新时，确定人群包更新。
步骤S306，获取第一数据集群和第二数据集群的数据处理状态。
步骤S308，根据数据处理状态，在第一数据集群和第二数据集群中确定第一数据写入集群和第一数据处理集群。
步骤S310，从数据库中获取各个人群包的建立规则，根据建立规则，从第一数据写入集群中获取每个人群包中所包含的用户标识，根据每个人群包中所包含的用户标识，建立每个人群包并写入第一数据写入集群。
步骤S312，在业务数据写入完成后，切换第一数据写入集群和第一数据处理集群的数据处理状态，以使第一数据写入集群变更为第二数据处理集群，使第一数据处理集群变更为第二数据写入集群。
步骤S314，利用第二数据处理集群判断某个用户是否位于某个人群包内，或者，在第二数据处理集群中批量读取人群包。
接着，返回检测用户画像是否更新的动作循环执行。
本实施例中，每次在检测到用户画像更新后，在第一数据集群和第二数据集群中确定第一数据写入集群和第一数据处理集群，在第一数据写入集群中写入更新后的人群包，并在人群包写入结束后，切换第一数据集群和第二数据集群的状态，并利用第二数据处理集群实现人群包处理，既实现了业务数据处理和业务数据写入的分离，又保证了进行人群包处理的集群有足够多的数据支撑，从而通过不同集群实现业务数据写入过程和业务数据处理过程，避免业务数据写入操作对业务数据处理效率的影响，提高业务处理效率。
在一个具体的实施例中，第一数据集群和第二数据集群均为ElasticSearch集群。图1中的数据处理设备包括两个java微服务，一个为维护切换微服务,另一个为高可用读取微服务。该实施例还包括redis实例，redis实例中记录有第一数据集群和第二数据集群的数据处理状态。
用户画像可以每隔一小时更新一次，当维护切换微服务检测到用户画像更新后，读取redis实例中记录的第一数据集群和第二数据集群的数据处理状态，确定第一数据写入集群和第一数据处理集群。然后，维护切换微服务从业务方设备获取全量的各个人群包的建立规则，根据该规则，确定每个人群包中包括的用户标识，维护切换微服务从第一数据写入集群中获取每个人群包中所包含的用户标识，并建立每个人群包，并将建立的每个人群包写入第一数据写入集群，以实现全量的人群包的写入。
redis实例中针对每个人群包记录有人群包的写入状态，包括待写入、写入中、写入成功、写入失败等。redis实例还将全部人群包组合为人群包写入任务，并记录有人群包写入任务的状态，包括正在执行、执行成功和执行失败。
维护切换微服务在向第一数据写入集群写入人群包的过程中，设置待写入的index，设置副本数0，刷盘时间为300s，使用bulk请求以10000条/请求的速度写入。写入完成后设置副本数1并同步副本，修改index别名为人群包名，按照schama统一标记之前的人群包的的别名为expire。
在人群包写入过程中，若高可用读取微服务接收到来自业务方设备的人群包读取请求，则高可用读取微服务从第一数据处理集群中读取人群包。在写入过程中，若高可用读取微服务接收到来自业务方设备的用户判断请求，判断某个用户是否位于某个人群包，则高可用读取微服务基于第一数据处理集群中存储的人群包响应用户判断请求，判断某个用户是否位于某个人群包。
在人群包写入完成后，维护切换微服务切换第一数据写入集群和第一数据处理集群的数据处理状态，得到第二数据写入集群和第二数据处理集群。在切换之后，若高可用读取微服务接收到来自业务方设备的人群包读取请求，则高可用读取微服务从第二数据处理集群中读取人群包。若高可用读取微服务接收到来自业务方设备的用户判断请求，判断某个用户是否位于某个人群包，则高可用读取微服务基于第二数据处理集群中存储的人群包响应用户判断请求，判断某个用户是否位于某个人群包。
每当用户画像更新后，维护切换微服务均根据数据处理状态判断得到数据写入集群，在数据写入集群中写入全量的人群包，并在写入完成后进行数据处理状态的切换，高可用读取微服务利用数据处理集群对外提供数据处理功能，从而既实现了业务数据处理和业务数据写入的分离，又保证了进行人群包处理的集群有足够多的数据支撑，从而通过不同集群实现业务数据写入过程和业务数据处理过程，避免业务数据写入操作对业务数据处理效率的影响，提高业务处理效率。
图4为本说明书又一实施例提供的数据处理的过程示意图，如图4所致，在T1时刻，用户画像更新，维护切换微服务确定集群1为数据写入集群，集群2为数据处理集群，维护切换微服务在集群1中写入更新后的全量的人群包，高可用读取微服务利用集群2对业务方设备提供数据处理服务。在T2时刻人群包写入完成，维护切换微服务切换集群1和集群2的状态，高可用读取微服务利用集群1对业务方设备提供数据处理服务。在T3时刻，用户画像更新，维护切换微服务确定集群2为数据写入集群，维护切换微服务在集群2中写入更新后的全量的人群包，高可用读取微服务继续利用集群1对业务方设备提供数据处理服务。在T4时刻人群包写入完成，维护切换微服务切换集群1和集群2的状态，高可用读取微服务利用集群2对业务方设备提供数据处理服务。每次用户画像更新后，维护切换微服务均重复人群包写入和状态切换的动作，实现两个数据集群的往复运行。
综上，通过以上实施例，能够在大批量数据更新的情况下，通过不同集群实现数据写入过程和数据处理过程，避免数据写入操作对数据处理效率的影响，提高业务处理效率。并且，本实施例中还能够切换第一数据写入集群和第一数据处理集群的数据处理状态，从而利用数据写入完成的集群进行数据处理，使得数据处理具有合适的数据基础，满足数据处理的数据存储要求。
图5为本说明书一实施例提供的数据处理装置的结构示意图，如图5所示，该装置包括：
状态获取单元51，用于获取第一数据集群和第二数据集群的数据处理状态；所述第一数据集群和所述第二数据集群共同组成用于存储业务数据的业务数据存储集群；所述数据处理状态包括允许数据写入和允许数据处理；
第一处理单元52，用于根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，在所述第一数据写入集群中写入业务数据，以及，利用所述第一数据处理集群进行业务数据处理；
状态切换单元53，用于在业务数据写入完成后，切换所述第一数据写入集群和所述第一数据处理集群的数据处理状态，以使所述第一数据写入集群变更为第二数据处理集群，使所述第一数据处理集群变更为第二数据写入集群；
第二处理单元54，用于在所述第二数据写入集群中写入业务数据，以及，利用所述第二数据处理集群进行业务数据处理。
可选地，状态获取单元51具体用于：
从状态存储服务器中读取第一数据集群和第二数据集群的数据处理状态信息；
根据读取的数据处理状态信息，确定第一数据集群和第二数据集群的数据处理状态；
其中，所述状态存储服务器用于存储第一数据集群和第二数据集群的数据处理状态信息。
可选地，第一处理单元52具体用于：
在所述第一数据集群和所述第二数据集群中，将数据处理状态为允许数据写入的集群确定为第一数据写入集群，将数据处理状态为允许数据处理的集群确定为第一数据处理集群。
可选地，第一处理单元52具体用于：
在业务数据更新后，在所述第一数据写入集群中写入全量业务数据或者增量业务数据。
可选地，所述业务数据包括人群包；所述第一数据写入集群中预先存储有各个用户的用户标识；第一处理单元52还具体用于：
在人群包更新后，获取各个人群包的建立规则，所述建立规则用于表示所述人群包中所包含的用户的用户画像的共性特征；
根据所述建立规则，从所述第一数据写入集群中获取每个所述人群包中所包含的用户标识；
根据每个所述人群包中所包含的用户标识，建立每个所述人群包并写入所述第一数据写入集群。
可选地，所述第一数据处理集群在前次作为数据写入集群的过程中被写入有业务数据；第一处理单元52具体用于：
利用所述第一数据处理集群中存储的业务数据，进行业务数据查询和/或业务数据读取。
可选地，第二处理单元54具体用于：
在业务数据更新后，在所述第二数据写入集群中写入全量业务数据或者增量业务数据。
可选地，所述业务数据包括人群包；所述第二数据写入集群中预先存储有各个用户的用户标识；第二处理单元54还具体用于：
在人群包更新后，获取各个人群包的建立规则，所述建立规则用于表示所述人群包中所包含的用户的用户画像的共性特征；
根据所述建立规则，从所述第二数据写入集群中获取每个所述人群包中所包含的用户标识；
根据每个所述人群包中所包含的用户标识，建立每个所述人群包并写入所述第二数据写入集群。
可选地，所述第二数据处理集群在前次作为数据写入集群的过程中被写入有业务数据；第二处理单元54具体用于：
利用所述第二数据处理集群中存储的业务数据，进行业务数据查询和/或业务数据读取。
本实施例中的数据处理装置能够实现前述的数据处理方法实施例的各个过程，并达到相同的功能和效果，这里不再重复。
本说明书一个实施例还提供了一种数据处理设备，图6为本说明书一实施例提供的数据处理设备的结构示意图，如图6所示，该设备包括：存储器701、处理器702、总线703和通信接口704。存储器701、处理器702和通信接口704通过总线703进行通信，通信接口704可以包括输入输出接口，输入输出接口包括但不限于键盘、鼠标、显示器、麦克风、扩音器等。
在一个实施例中，数据处理设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现以下流程：
获取第一数据集群和第二数据集群的数据处理状态；所述第一数据集群和所述第二数据集群共同组成用于存储业务数据的业务数据存储集群；所述数据处理状态包括允许数据写入和允许数据处理；
根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，在所述第一数据写入集群中写入业务数据，以及，利用所述第一数据处理集群进行业务数据处理；
在业务数据写入完成后，切换所述第一数据写入集群和所述第一数据处理集群的数据处理状态，以使所述第一数据写入集群变更为第二数据处理集群，使所述第一数据处理集群变更为第二数据写入集群；
在所述第二数据写入集群中写入业务数据，以及，利用所述第二数据处理集群进行业务数据处理。
可选地，所述计算机可执行指令在被执行时，获取第一数据集群和第二数据集群的数据处理状态，包括：
从状态存储服务器中读取第一数据集群和第二数据集群的数据处理状态信息；
根据读取的数据处理状态信息，确定第一数据集群和第二数据集群的数据处理状态；
其中，所述状态存储服务器用于存储第一数据集群和第二数据集群的数据处理状态信息。
可选地，所述计算机可执行指令在被执行时，根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，包括：
在所述第一数据集群和所述第二数据集群中，将数据处理状态为允许数据写入的集群确定为第一数据写入集群，将数据处理状态为允许数据处理的集群确定为第一数据处理集群。
可选地，所述计算机可执行指令在被执行时，在所述第一数据写入集群中写入业务数据，包括：
在业务数据更新后，在所述第一数据写入集群中写入全量业务数据或者增量业务数据。
可选地，所述计算机可执行指令在被执行时，所述业务数据包括人群包；所述第一数据写入集群中预先存储有各个用户的用户标识；在业务数据更新后，在所述第一数据写入集群中写入全量业务数据，包括：
在人群包更新后，获取各个人群包的建立规则，所述建立规则用于表示所述人群包中所包含的用户的用户画像的共性特征；
根据所述建立规则，从所述第一数据写入集群中获取每个所述人群包中所包含的用户标识；
根据每个所述人群包中所包含的用户标识，建立每个所述人群包并写入所述第一数据写入集群。
可选地，所述计算机可执行指令在被执行时，所述第一数据处理集群在前次作为数据写入集群的过程中被写入有业务数据；利用所述第一数据处理集群进行业务数据处理，包括：
利用所述第一数据处理集群中存储的业务数据，进行业务数据查询和/或业务数据读取。
可选地，所述计算机可执行指令在被执行时，在所述第二数据写入集群中写入业务数据，包括：
在业务数据更新后，在所述第二数据写入集群中写入全量业务数据或者增量业务数据。
可选地，所述计算机可执行指令在被执行时，所述业务数据包括人群包；所述第二数据写入集群中预先存储有各个用户的用户标识；在业务数据更新后，在所述第二数据写入集群中写入全量业务数据，包括：
在人群包更新后，获取各个人群包的建立规则，所述建立规则用于表示所述人群包中所包含的用户的用户画像的共性特征；
根据所述建立规则，从所述第二数据写入集群中获取每个所述人群包中所包含的用户标识；
根据每个所述人群包中所包含的用户标识，建立每个所述人群包并写入所述第二数据写入集群。
可选地，所述计算机可执行指令在被执行时，所述第二数据处理集群在前次作为数据写入集群的过程中被写入有业务数据；利用所述第二数据处理集群进行业务数据处理，包括：
利用所述第二数据处理集群中存储的业务数据，进行业务数据查询和/或业务数据读取。
本实施例中的数据处理设备能够实现前述的数据处理方法实施例的各个过程，并达到相同的功能和效果，这里不再重复。
本说明书另一个实施例还提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：
获取第一数据集群和第二数据集群的数据处理状态；所述第一数据集群和所述第二数据集群共同组成用于存储业务数据的业务数据存储集群；所述数据处理状态包括允许数据写入和允许数据处理；
根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，在所述第一数据写入集群中写入业务数据，以及，利用所述第一数据处理集群进行业务数据处理；
在业务数据写入完成后，切换所述第一数据写入集群和所述第一数据处理集群的数据处理状态，以使所述第一数据写入集群变更为第二数据处理集群，使所述第一数据处理集群变更为第二数据写入集群；
在所述第二数据写入集群中写入业务数据，以及，利用所述第二数据处理集群进行业务数据处理。
可选地，所述计算机可执行指令在被处理器执行时，获取第一数据集群和第二数据集群的数据处理状态，包括：
从状态存储服务器中读取第一数据集群和第二数据集群的数据处理状态信息；
根据读取的数据处理状态信息，确定第一数据集群和第二数据集群的数据处理状态；
其中，所述状态存储服务器用于存储第一数据集群和第二数据集群的数据处理状态信息。
可选地，所述计算机可执行指令在被处理器执行时，根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，包括：
在所述第一数据集群和所述第二数据集群中，将数据处理状态为允许数据写入的集群确定为第一数据写入集群，将数据处理状态为允许数据处理的集群确定为第一数据处理集群。
可选地，所述计算机可执行指令在被处理器执行时，在所述第一数据写入集群中写入业务数据，包括：
在业务数据更新后，在所述第一数据写入集群中写入全量业务数据或者增量业务数据。
可选地，所述计算机可执行指令在被处理器执行时，所述业务数据包括人群包；所述第一数据写入集群中预先存储有各个用户的用户标识；在业务数据更新后，在所述第一数据写入集群中写入全量业务数据，包括：
在人群包更新后，获取各个人群包的建立规则，所述建立规则用于表示所述人群包中所包含的用户的用户画像的共性特征；
根据所述建立规则，从所述第一数据写入集群中获取每个所述人群包中所包含的用户标识；
根据每个所述人群包中所包含的用户标识，建立每个所述人群包并写入所述第一数据写入集群。
可选地，所述计算机可执行指令在被处理器执行时，所述第一数据处理集群在前次作为数据写入集群的过程中被写入有业务数据；利用所述第一数据处理集群进行业务数据处理，包括：
利用所述第一数据处理集群中存储的业务数据，进行业务数据查询和/或业务数据读取。
可选地，所述计算机可执行指令在被处理器执行时，在所述第二数据写入集群中写入业务数据，包括：
在业务数据更新后，在所述第二数据写入集群中写入全量业务数据或者增量业务数据。
可选地，所述计算机可执行指令在被处理器执行时，所述业务数据包括人群包；所述第二数据写入集群中预先存储有各个用户的用户标识；在业务数据更新后，在所述第二数据写入集群中写入全量业务数据，包括：
在人群包更新后，获取各个人群包的建立规则，所述建立规则用于表示所述人群包中所包含的用户的用户画像的共性特征；
根据所述建立规则，从所述第二数据写入集群中获取每个所述人群包中所包含的用户标识；
根据每个所述人群包中所包含的用户标识，建立每个所述人群包并写入所述第二数据写入集群。
可选地，所述计算机可执行指令在被处理器执行时，所述第二数据处理集群在前次作为数据写入集群的过程中被写入有业务数据；利用所述第二数据处理集群进行业务数据处理，包括：
利用所述第二数据处理集群中存储的业务数据，进行业务数据查询和/或业务数据读取。
本实施例中的存储介质存储的计算机可执行指令在被处理器执行时能够实现前述的数据处理方法实施例的各个过程，并达到相同的功能和效果，这里不再重复。
其中，所述的存储介质包括只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本说明书的实施例可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
从状态存储服务器中读取第一数据集群和第二数据集群的数据处理状态信息；其中，所述状态存储服务器用于存储第一数据集群和第二数据集群的数据处理状态信息；所述第一数据集群和所述第二数据集群共同组成用于存储业务数据的业务数据存储集群；
根据读取的数据处理状态信息，确定第一数据集群和第二数据集群的数据处理状态；所述数据处理状态包括允许数据写入和允许数据处理；
根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，在业务数据更新后，在所述第一数据写入集群中写入全量业务数据或者增量业务数据，以及，利用所述第一数据处理集群进行业务数据处理；
在业务数据写入完成后，通过修改状态存储服务器中记录的第一数据集群和第二数据集群的数据处理状态信息，切换所述第一数据写入集群和所述第一数据处理集群的数据处理状态，以使所述第一数据写入集群变更为第二数据处理集群，使所述第一数据处理集群变更为第二数据写入集群；
在所述第二数据写入集群中写入业务数据，以及，利用所述第二数据处理集群进行业务数据处理。
2.根据权利要求1所述的方法，其特征在于，根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，包括：
在所述第一数据集群和所述第二数据集群中，将数据处理状态为允许数据写入的集群确定为第一数据写入集群，将数据处理状态为允许数据处理的集群确定为第一数据处理集群。
3.根据权利要求1所述的方法，其特征在于，所述业务数据包括人群包；所述第一数据写入集群中预先存储有各个用户的用户标识；在业务数据更新后，在所述第一数据写入集群中写入全量业务数据，包括：
在人群包更新后，获取各个人群包的建立规则，所述建立规则用于表示所述人群包中所包含的用户的用户画像的共性特征；
根据所述建立规则，从所述第一数据写入集群中获取每个所述人群包中所包含的用户标识；
根据每个所述人群包中所包含的用户标识，建立每个所述人群包并写入所述第一数据写入集群。
4.根据权利要求1所述的方法，其特征在于，所述第一数据处理集群在前次作为数据写入集群的过程中被写入有业务数据；利用所述第一数据处理集群进行业务数据处理，包括：
利用所述第一数据处理集群中存储的业务数据，进行业务数据查询和/或业务数据读取。
5.根据权利要求1所述的方法，其特征在于，在所述第二数据写入集群中写入业务数据，包括：
在业务数据更新后，在所述第二数据写入集群中写入全量业务数据或者增量业务数据。
6.根据权利要求5所述的方法，其特征在于，所述业务数据包括人群包；所述第二数据写入集群中预先存储有各个用户的用户标识；在业务数据更新后，在所述第二数据写入集群中写入全量业务数据，包括：
在人群包更新后，获取各个人群包的建立规则，所述建立规则用于表示所述人群包中所包含的用户的用户画像的共性特征；
根据所述建立规则，从所述第二数据写入集群中获取每个所述人群包中所包含的用户标识；
根据每个所述人群包中所包含的用户标识，建立每个所述人群包并写入所述第二数据写入集群。
7.根据权利要求1所述的方法，其特征在于，所述第二数据处理集群在前次作为数据写入集群的过程中被写入有业务数据；利用所述第二数据处理集群进行业务数据处理，包括：
利用所述第二数据处理集群中存储的业务数据，进行业务数据查询和/或业务数据读取。
8.一种数据处理装置，其特征在于，包括：
状态获取单元，用于从状态存储服务器中读取第一数据集群和第二数据集群的数据处理状态信息；其中，所述状态存储服务器用于存储第一数据集群和第二数据集群的数据处理状态信息；所述第一数据集群和所述第二数据集群共同组成用于存储业务数据的业务数据存储集群；根据读取的数据处理状态信息，确定第一数据集群和第二数据集群的数据处理状态；所述数据处理状态包括允许数据写入和允许数据处理；
第一处理单元，用于根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，在业务数据更新后，在所述第一数据写入集群中写入全量业务数据或者增量业务数据，以及，利用所述第一数据处理集群进行业务数据处理；
状态切换单元，用于在业务数据写入完成后，通过修改状态存储服务器中记录的第一数据集群和第二数据集群的数据处理状态信息，切换所述第一数据写入集群和所述第一数据处理集群的数据处理状态，以使所述第一数据写入集群变更为第二数据处理集群，使所述第一数据处理集群变更为第二数据写入集群；
第二处理单元，用于在所述第二数据写入集群中写入业务数据，以及，利用所述第二数据处理集群进行业务数据处理。
9.一种数据处理设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现以下流程：
从状态存储服务器中读取第一数据集群和第二数据集群的数据处理状态信息；其中，所述状态存储服务器用于存储第一数据集群和第二数据集群的数据处理状态信息；所述第一数据集群和所述第二数据集群共同组成用于存储业务数据的业务数据存储集群；根据读取的数据处理状态信息，确定第一数据集群和第二数据集群的数据处理状态；所述数据处理状态包括允许数据写入和允许数据处理；
根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，在业务数据更新后，在所述第一数据写入集群中写入全量业务数据或者增量业务数据，以及，利用所述第一数据处理集群进行业务数据处理；
在业务数据写入完成后，通过修改状态存储服务器中记录的第一数据集群和第二数据集群的数据处理状态信息，切换所述第一数据写入集群和所述第一数据处理集群的数据处理状态，以使所述第一数据写入集群变更为第二数据处理集群，使所述第一数据处理集群变更为第二数据写入集群；
在所述第二数据写入集群中写入业务数据，以及，利用所述第二数据处理集群进行业务数据处理。
10.一种存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：
从状态存储服务器中读取第一数据集群和第二数据集群的数据处理状态信息；其中，所述状态存储服务器用于存储第一数据集群和第二数据集群的数据处理状态信息；所述第一数据集群和所述第二数据集群共同组成用于存储业务数据的业务数据存储集群；根据读取的数据处理状态信息，确定第一数据集群和第二数据集群的数据处理状态；所述数据处理状态包括允许数据写入和允许数据处理；
根据所述数据处理状态，在所述第一数据集群和所述第二数据集群中确定第一数据写入集群和第一数据处理集群，在业务数据更新后，在所述第一数据写入集群中写入全量业务数据或者增量业务数据，以及，利用所述第一数据处理集群进行业务数据处理；
在业务数据写入完成后，通过修改状态存储服务器中记录的第一数据集群和第二数据集群的数据处理状态信息，切换所述第一数据写入集群和所述第一数据处理集群的数据处理状态，以使所述第一数据写入集群变更为第二数据处理集群，使所述第一数据处理集群变更为第二数据写入集群；
在所述第二数据写入集群中写入业务数据，以及，利用所述第二数据处理集群进行业务数据处理。
CN202110862607.0A 2021-07-29 2021-07-29 数据处理方法、装置、设备和存储介质 Active CN113590040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110862607.0A CN113590040B (zh) 2021-07-29 2021-07-29 数据处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110862607.0A CN113590040B (zh) 2021-07-29 2021-07-29 数据处理方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113590040A CN113590040A (zh) 2021-11-02
CN113590040B true CN113590040B (zh) 2024-03-19

Family

ID=78251611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110862607.0A Active CN113590040B (zh) 2021-07-29 2021-07-29 数据处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113590040B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446653A (zh) * 2014-08-27 2016-03-30 阿里巴巴集团控股有限公司 一种数据合并方法和设备
WO2017088664A1 (zh) * 2015-11-26 2017-06-01 深圳市中博科创信息技术有限公司 集群文件***的数据处理方法和装置
CN107769943A (zh) * 2016-08-17 2018-03-06 阿里巴巴集团控股有限公司 一种主备集群切换的方法和设备
CN108241656A (zh) * 2016-12-23 2018-07-03 深圳市优朋普乐传媒发展有限公司 一种数据读写方法及装置
CN110309215A (zh) * 2019-04-24 2019-10-08 厦门网宿有限公司 一种数据处理方法、***及元数据更新方法、***
CN112235332A (zh) * 2019-07-15 2021-01-15 北京京东尚科信息技术有限公司 一种集群的读写切换方法和装置
CN112270008A (zh) * 2020-11-16 2021-01-26 加和（北京）信息科技有限公司 一种精准计算群体特征的方法及***
CN112286904A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 集群迁移方法、装置及存储介质
CN112559857A (zh) * 2020-12-10 2021-03-26 上海明略人工智能(集团)有限公司 基于Redis的人群包应用方法、***、电子设备及存储介质
CN112612850A (zh) * 2020-12-18 2021-04-06 腾讯科技（深圳）有限公司 数据同步方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106357703B (zh) * 2015-07-13 2020-03-10 阿里巴巴集团控股有限公司 集群切换方法与设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446653A (zh) * 2014-08-27 2016-03-30 阿里巴巴集团控股有限公司 一种数据合并方法和设备
WO2017088664A1 (zh) * 2015-11-26 2017-06-01 深圳市中博科创信息技术有限公司 集群文件***的数据处理方法和装置
CN107769943A (zh) * 2016-08-17 2018-03-06 阿里巴巴集团控股有限公司 一种主备集群切换的方法和设备
CN108241656A (zh) * 2016-12-23 2018-07-03 深圳市优朋普乐传媒发展有限公司 一种数据读写方法及装置
CN110309215A (zh) * 2019-04-24 2019-10-08 厦门网宿有限公司 一种数据处理方法、***及元数据更新方法、***
CN112235332A (zh) * 2019-07-15 2021-01-15 北京京东尚科信息技术有限公司 一种集群的读写切换方法和装置
CN112286904A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 集群迁移方法、装置及存储介质
CN112270008A (zh) * 2020-11-16 2021-01-26 加和（北京）信息科技有限公司 一种精准计算群体特征的方法及***
CN112559857A (zh) * 2020-12-10 2021-03-26 上海明略人工智能(集团)有限公司 基于Redis的人群包应用方法、***、电子设备及存储介质
CN112612850A (zh) * 2020-12-18 2021-04-06 腾讯科技（深圳）有限公司 数据同步方法及装置

Also Published As

Publication number Publication date
CN113590040A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN108510389B (zh) 基于区块链的智能合约调用方法、设备及可读存储介质
CN110033244B (zh) 基于区块链的智能合约执行方法及装置和电子设备
CN107315761B (zh) 一种数据更新方法、数据查询方法及装置
CN112395300B (zh) 基于区块链的数据处理方法、装置、设备及可读存储介质
CN110474820B (zh) 流量回放方法、装置、电子设备
CN106649600B (zh) 一种迁移文件权限的方法、装置以及***
CN107402950A (zh) 基于分库分表的文件处理方法和装置
CN107580032B (zh) 数据处理方法、装置及设备
CN109145053B (zh) 数据处理方法和装置、客户端、服务器
CN112667270B (zh) 语音处理资源的更新方法、计算机设备及存储装置
CN112040015B (zh) 一种共识节点列表生成方法及相关装置
CN108600076A (zh) 一种社交关系建立方法及***
CN114003510A (zh) 基于Mock服务的脚本测试方法、装置、设备及介质
CN113590040B (zh) 数据处理方法、装置、设备和存储介质
JP2005228183A (ja) プログラム実行方法、および、プログラム実行のための計算機システム
CN109450977A (zh) 缓存数据的推送、更新方法及装置
CN112363980A (zh) 一种分布式***的数据处理方法及装置
CN113486025B (zh) 数据存储方法、数据查询方法及装置
CN108958838A (zh) 一种新型更新属性信息的方法及装置
US11782883B1 (en) Systems and methods for managing personalized life information
CN109376141B (zh) 一种数据迁移方法和装置
CN110580200A (zh) 数据同步方法和装置
WO2024109388A1 (zh) 特征同步方法、装置、计算机设备、存储介质和程序产品
CN110866036B (zh) 数据处理方法、***、装置、终端及可读存储介质
CN115454946A (zh) 数据复制方法、分布式存储***、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant