CN111198793A - 数据删除方法及***、介质及计算机*** - Google Patents

数据删除方法及***、介质及计算机*** Download PDF

Info

Publication number
CN111198793A
CN111198793A CN201811381811.5A CN201811381811A CN111198793A CN 111198793 A CN111198793 A CN 111198793A CN 201811381811 A CN201811381811 A CN 201811381811A CN 111198793 A CN111198793 A CN 111198793A
Authority
CN
China
Prior art keywords
task
information
cluster
deleted
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811381811.5A
Other languages
English (en)
Inventor
韩朋飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201811381811.5A priority Critical patent/CN111198793A/zh
Publication of CN111198793A publication Critical patent/CN111198793A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3051Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Stored Programmes (AREA)

Abstract

本公开提供了一种数据删除方法,包括:获取配置信息,其中,配置信息至少用于表征需要删除的数据;基于配置信息,生成至少一个删除任务;以及将至少一个删除任务分配给对应的客户端,其中,客户端能够执行删除任务,并删除配置信息所表征的需要删除的数据。本公开还提供了一种数据删除***,一种计算机***和一种计算机可读存储介质。

Description

数据删除方法及***、介质及计算机***
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种数据删除方法,一种数据删除***,一种计算机***和一种计算机可读存储介质。
背景技术
在大数据时代,数据存储相当重要。基于ElasticSearch(以下简称ES)的数据存储能够快速的响应查询,同时还支持高并发写入,但是,随着时间的推移,存储的数据越来越多,需要定期清理过期数据。ES 1.7版本支持TTL清理方式,但ES 2.0版本及以上版本不再支持这种清理方式,需要用户根据实际情况自己做处理。对此,目前大部分用户都是采取开发定时任务来定期删除过期数据。
在实现本公开构思的过程中,发明人发现相关技术中存在以下缺陷:开发定时任务,需要用户针对每个业务基于硬编码手动写入worker删除数据,不便于动态调整。
发明内容
有鉴于此,本公开提供了一种能够基于用户的配置信息自动生成数据删除任务的数据删除方法和***。
本公开的一个方面提供了一种数据删除方法,包括:获取配置信息,其中,上述配置信息至少用于表征需要删除的数据;基于上述配置信息,生成至少一个删除任务;以及将上述至少一个删除任务分配给对应的终端设备,其中,上述终端设备能够执行上述删除任务,并删除上述配置信息所表征的需要删除的数据。
根据本公开的实施例,上述基于上述配置信息,生成至少一个删除任务,包括:解析上述配置信息,确定需要删除的数据的以下信息:ES集群的名称以及上述ES集群中用于存储该需要删除的数据的节点的IP地址;以及基于确定的信息,生成能够删除与该信息对应的且当前已过期的数据的至少一个删除任务。
根据本公开的实施例,上述基于上述配置信息,生成至少一个删除任务,包括:解析上述配置信息,确定需要删除的数据的以下信息:ES集群的名称、上述ES集群中用于存储需要删除的数据的节点的IP地址、以及指定的时间参数;以及基于确定的信息,生成能够删除与该信息对应的且生存时间值小于上述指定的时间参数的数据的至少一个删除任务。
根据本公开的实施例,上述方法还包括:获取上述ES集群的状态信息;根据获取的状态信息,生成任务调整指令;以及通过上述任务调整指令,调整上述至少一个删除任务在上述对应的终端设备上的执行步调。
根据本公开的实施例,上述状态信息包括上述ES集群的以下信息中的一种或几种:负载状态、内存状态、CPU状态和磁盘状态。
根据本公开的实施例,上述将上述至少一个删除任务分配给对应的终端设备,包括:确定可用终端设备的数目和执行任务的速度,以及上述至少一个删除任务的数目;以及根据确定的数目和速度,将上述至少一个删除任务分配给上述可用终端设备。
本公开的另一个方面提供了一种数据删除***,包括:第一获取模块,用于获取配置信息,其中,上述配置信息至少用于表征需要删除的数据;第一生成模块,用于基于上述配置信息,生成至少一个删除任务;以及分配模块,用于将上述至少一个删除任务分配给对应的终端设备,其中,上述终端设备能够执行上述删除任务,并删除上述配置信息所表征的需要删除的数据。
根据本公开的实施例,上述第一生成模块包括:第一解析单元,用于解析上述配置信息,确定需要删除的数据的以下信息:ES集群的名称以及上述ES集群中用于存储该需要删除的数据的节点的IP地址;以及第一生成单元,用于基于确定的信息,生成能够删除与该信息对应的且当前已过期的数据的至少一个删除任务。
根据本公开的实施例,上述第一生成模块包括:第二解析单元,用于解析上述配置信息,确定需要删除的数据的以下信息:ES集群的名称、上述ES集群中用于存储需要删除的数据的节点的IP地址、以及指定的时间参数;以及第二生成单元,用于基于确定的信息,生成能够删除与该信息对应的且生存时间值小于上述指定的时间参数的数据的至少一个删除任务。
根据本公开的实施例,上述***还包括:第二获取模块,用于获取上述ES集群的状态信息;第二生成模块,用于根据获取的状态信息,生成任务调整指令;以及调整模块,用于通过上述任务调整指令,调整上述至少一个删除任务在上述对应的终端设备上的执行步调。
根据本公开的实施例,上述状态信息包括上述ES集群的以下信息中的一种或几种:负载状态、内存状态、CPU状态和磁盘状态。
根据本公开的实施例,上述分配模块包括:确定单元,用于确定可用终端设备的数目和执行任务的速度,以及上述至少一个删除任务的数目;以及分配单元,用于根据确定的数目和速度,将上述至少一个删除任务分配给上述可用终端设备。
本公开的另一方面提供了一种计算机***,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如上任一项所述的方法。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,上述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,上述计算机程序包括计算机可执行指令,上述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例,因为采用了设置Web UI界面,供用户输入配置信息,进而使得客户端能够基于用户输出的配置信息自动生成数据删除任务的技术手段,所以至少部分地克服了相关技术中在删除ES中存储的数据时,需要用户针对每个业务手动编写硬编码定时任务,导致不便于动态调整的技术问题,进而达到了针对每个业务都能够自动生成相应的删除任务,从而便于动态调整的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了可以应用本公开的数据删除方法及***的示例性***架构;
图2示意性示出了根据本公开实施例的数据删除方法的流程图;
图3A~图3B示意性示出了根据本公开实施例的配置信息的组成;
图4示意性示出了根据本公开实施例的ES集群的状态信息的组成;
图5示意性示出了根据本公开实施例的动态调整各任务的执行步调的示意图;
图6示意性示出了根据本公开实施例的数据删除***的框图;以及
图7示意性示出了根据本公开实施例的适于实现数据删除方法及***的计算机***的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
本公开的实施例提供了一种能够基于用户的配置信息自动生成数据删除任务的数据删除方法和***。该方法包括获取配置信息,其中,配置信息至少用于表征需要删除的数据;基于配置信息,生成至少一个删除任务;以及将至少一个删除任务分配给对应的客户端,其中,客户端能够执行删除任务,并删除配置信息所表征的需要删除的数据。
图1示意性示出了可以应用本公开的数据删除方法及***的示例性***架构。需要注意的是,图1所示仅为可以应用本公开实施例的***架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1所示,根据该实施例的***架构可以包括ES集群、WEB-UI配置中心、任务生成器、终端1和终端2、监控中心、协调器。
ES集群用于存储数据,它可以包括多个节点,每个节点都有自己的IP地址。WEB-UI配置中心,用于提供WEB-UI界面,用户可以通过WEB-UI界面输入配置信息。任务生成器可以是一个客户端或者是一个服务器或者是一个服务器集群,用于根据配置信息自动生成删除任务,并将删除任务分配给对应的终端设备如终端1和终端2执行。监控中心可以是一个客户端或者是一个服务器或者是一个服务器集群,用于监控ES集群的状态,并将监控到的状态信息发送给协调器。协调器可以是一个客户端或者是一个服务器或者是一个服务器集群,用于根据ES集群的状态信息协调删除任务的执行步调。
需要说明的是,WEB-UI配置中心、任务生成器、监控中心和协调器可以是一个设备,具体地,可以是一个同时具有信息配置功能、任务生成功能、监控功能和协调功能的设备。当然,WEB-UI配置中心、任务生成器、监控中心和协调器也可以是四个不同设备。
需要说明的是,本公开实施例所提供的数据删除方法一般可以由服务器/服务器集群执行。相应地,本公开实施例所提供的数据删除***一般可以设置于服务器/服务器集群中。或者,本公开实施例所提供的数据删除方法也可以由终端设备执行。相应地,本公开实施例所提供的数据删除***也可以设置于终端设备中。
应该理解,图1中的ES集群、WEB-UI配置中心、任务生成器、终端设备、监控中心、协调器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的ES集群、WEB-UI配置中心、任务生成器、终端设备、监控中心、协调器。
图2示意性示出了根据本公开实施例的数据删除方法的流程图。
如图2所示,该方法包括操作S210~S230,其中:
在操作S210,获取配置信息,其中,配置信息至少用于表征需要删除的数据。
具体地,用户可以通过如图1所示的WEB-UI配置中心在配置表中输入ES集群的名称以及其中任意一个节点的IP地址等配置信息,任务生成器通过定时任务定期扫描用户输入的配置表,并根据配置信息,读取ES集群的元信息(包括ES集群的名称、以及其中相关节点的IP地址)。
在操作S220,基于配置信息,生成至少一个删除任务。
具体地,如图1所示,假设用户在配置表中输入了如表1所示的配置信息,则任务生成器可以根据该信息自动生成两个删除任务,分别为task1和task2,其中,执行task1可以删除ES_name1集群中IP1地址对应的节点1上的相关数据,执行task2可以删除ES_name1集群中IP2地址对应的节点2上的相关数据。
表1
ES集群的名称 节点的IP 时间参数
ES_namel IP1
ES_namel IP2
需要说明的是,在本公开实施例中,任务生成器具体可以利用动态生成字节码技术(主要有javaassit、CGLIB等)自动生成删除任务。
在操作S230,将至少一个删除任务分配给对应的终端设备,其中,终端设备能够执行删除任务,并删除配置信息所表征的需要删除的数据。
具体地,如图1所示,任务生成器可以将删除任务随机分配给***架构中的任意一个或者多个终端设备处理。例如,可以将task1分配给终端1,将task2分配给终端2,或者将task1和task2都分配给终端1,或者将task1和task2都分配给终端2。
其中,终端设备执行task1时,能够对ES_name1集群中IP1地址对应的节点1进行操作,从而删除其中存储的相关数据;终端设备执行task2时,能够对ES_name2集群中IP2地址对应的节点2进行操作,从而删除其中存储的相关数据。
与现有技术中在删除ES集群中存储的数据时,需要用户针对每个业务手动编写硬编码定时删除任务,导致不便于动态调整任务相比,本公开实施例,提供可视化的WEB-UI,用户可以输入配置信息,使任务生成器自动生成定时删除任务,省去了用户手动编码的麻烦,并且便于动态调整任务。
下面参考图3A~图3B,以及图4~图5,结合具体实施例对图2所示的方法做进一步说明。
作为一种可选的实施例,基于配置信息,生成至少一个删除任务,包括:解析配置信息,确定需要删除的数据的以下信息:ES集群的名称以及ES集群中用于存储该需要删除的数据的节点的IP地址;以及基于确定的信息,生成能够删除与该信息对应的且当前已过期的数据的至少一个删除任务。
如图3A所示,配置信息可以只包括ES集群的名称,以及ES集群中相关节点的IP地址。换言之,用户可以不配置时间参数。这种情况下,任务生成器在生成删除任务时,会将时间参数设置为默认参数,即默认删除当前已经过期的数据。
通过本公开实施例,用户在配置信息时可以仅指定删除位置(即ES集群的名称以及其中的相关节点的IP地址),不指定具体删除哪些数据(即不指定时间参数),此时,可以按规则默认删除当前已经过期的数据。
作为一种可选的实施例,基于配置信息,生成至少一个删除任务,包括:解析配置信息,确定需要删除的数据的以下信息:ES集群的名称、ES集群中用于存储需要删除的数据的节点的IP地址、以及指定的时间参数;以及基于确定的信息,生成能够删除与该信息对应的且生存时间值小于指定的时间参数的数据的至少一个删除任务。
与如图3A所示的配置信息稍有不同,如图3B所示,配置信息除了包括ES集群的名称,以及ES集群中相关节点的IP地址之外,还可以包括用户指定的时间参数。换言之,用户可以配置时间参数。这种情况下,任务生成器在生成删除任务时,会将时间参数设置为用户指定的时间参数,即默认删除存活时间早于该时间参数的数据。
通过本公开实施例,用户在配置信息时可以指定删除位置(即ES集群的名称以及其中的相关节点的IP地址),以及指定具体删除哪些数据(即指定时间参数),此时,可以按规则默认删除存活时间早于该时间参数的数据。
作为一种可选的实施例,该方法还包括:获取ES集群的状态信息;根据获取的状态信息,生成任务调整指令;以及通过任务调整指令,调整至少一个删除任务在对应的终端设备上的执行步调。
具体地,如图1所示,监控中心可以实时抓取ES集群的状态,包括整个集群的负载(如负载的上限值)、内存(如内存的使用率)、CPU(如CPU的使用率)、磁盘(如磁盘的使用率)中的一个或几个的状态(即,如图4所示,状态信息可以包括ES集群的以下信息中的一种或几种:负载状态、内存状态、CPU状态和磁盘状态),为了便于用户观察,监控中心还可以实时可视化展示抓取到的状态信息。
如图5所示,协调器可以动态地读取监控中心的数据,从而能够根据ES集群的状态,动态地调整各删除任务的执行步调。
例如,如果如果监控发现ES集群的负载达到了上限值,则可以立刻终止执行删除任务,待ES集群稳定后再启动删除任务,从而降低集群负载的消耗。
再例如,如果监控发现ES集群的负载处于中上等水平但未超过上限值,则可以动态地调整删除任务的执行步调,以降低集群负载。
再例如,如果监控发现ES集群负载较低,则可以动态增大删除人任务的执行步调,以提高数据的删除效率。
与现有技术中删除任务执行时,没法监控ES集群的状态,不能根据ES集群的压力动态调整各删除任务的执行步调相比,本公开实施例,可以自动对ES集群的状态进行实时地可视化监控,并根据监控结果动态地调整各删除任务的执行步调。
作为一种可选的实施例,将至少一个删除任务分配给对应的终端设备,包括:确定可用终端设备的数目和执行任务的速度,以及至少一个删除任务的数目;以及根据确定的数目和速度,将至少一个删除任务分配给可用终端设备。
具体地,结合图1和图5,任务生成器可以能够根据执行删除任务的终端设备的数目,以及所启动的删除任务的数目,动态地分配任务。例如,假设有2个集群分别有2个索引需要删除,且有3台执行任务的终端设备,此时,任务生成器将启动4个删除任务,协调器负责将这4个任务分配到3台终端设备上执行,如一台终端设备可以执行2个任务,另两台终端设备可以各执行1个任务。如果某个任务执行得快,将在下轮自动平衡时将2个任务分配到另一台空闲的终端设备上执行。
通过本公开实施例,可以根据任务执行端的状态以及所启动的任务的数目,动态地调整分配删除任务。
图6示意性示出了根据本公开实施例的数据删除***的框图。
如图6所示,数据删除***600包括第一获取模块610、第一生成模块620和分配模块630。
第一获取模块610,用于获取配置信息,其中,配置信息至少用于表征需要删除的数据;
第一生成模块620,用于基于配置信息,生成至少一个删除任务;以及
分配模块630,用于将至少一个删除任务分配给对应的终端设备,其中,终端设备能够执行删除任务,并删除配置信息所表征的需要删除的数据。
与现有技术中在删除ES集群中存储的数据时,需要用户针对每个业务手动编写硬编码定时删除任务,导致不便于动态调整任务相比,本公开实施例,提供可视化的WEB-UI,用户可以输入配置信息,使任务生成器自动生成定时删除任务,省去了用户手动编码的麻烦,并且便于动态调整任务。
作为一种可选的实施例,上述第一生成模块包括:第一解析单元,用于解析上述配置信息,确定需要删除的数据的以下信息:ES集群的名称以及上述ES集群中用于存储该需要删除的数据的节点的IP地址;以及第一生成单元,用于基于确定的信息,生成能够删除与该信息对应的且当前已过期的数据的至少一个删除任务。
通过本公开实施例,用户在配置信息时可以仅指定删除位置(即ES集群的名称以及其中的相关节点的IP地址),不指定具体删除哪些数据(即不指定时间参数),此时,可以按规则默认删除当前已经过期的数据。
作为一种可选的实施例,上述第一生成模块包括:第二解析单元,用于解析上述配置信息,确定需要删除的数据的以下信息:ES集群的名称、上述ES集群中用于存储需要删除的数据的节点的IP地址、以及指定的时间参数;以及第二生成单元,用于基于确定的信息,生成能够删除与该信息对应的且生存时间值小于上述指定的时间参数的数据的至少一个删除任务。
通过本公开实施例,用户在配置信息时可以指定删除位置(即ES集群的名称以及其中的相关节点的IP地址),以及指定具体删除哪些数据(即指定时间参数),此时,可以按规则默认删除存活时间早于该时间参数的数据。
作为一种可选的实施例,上述***还包括:第二获取模块,用于获取上述ES集群的状态信息;第二生成模块,用于根据获取的状态信息,生成任务调整指令;以及调整模块,用于通过上述任务调整指令,调整上述至少一个删除任务在上述对应的终端设备上的执行步调。
作为一种可选的实施例,上述状态信息包括上述ES集群的以下信息中的一种或几种:负载状态、内存状态、CPU状态和磁盘状态。
与现有技术中删除任务执行时,没法监控ES集群的状态,不能根据ES集群的压力动态调整各删除任务的执行步调相比,本公开实施例,可以自动对ES集群的状态进行实时地可视化监控,并根据监控结果动态地调整各删除任务的执行步调。
作为一种可选的实施例,上述分配模块包括:确定单元,用于确定可用终端设备的数目和执行任务的速度,以及上述至少一个删除任务的数目;以及分配单元,用于根据确定的数目和速度,将上述至少一个删除任务分配给上述可用终端设备。
通过本公开实施例,可以根据任务执行端的状态以及所启动的任务的数目,动态地调整分配删除任务。
根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一获取模块610、第一生成模块620和分配模块630中的任意多个可以合并在一个模块/单元/子单元中实现,或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者,这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合,并在一个模块/单元/子单元中实现。根据本公开的实施例,第一获取模块610、第一生成模块620和分配模块630中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或同件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块610、第一生成模块620和分配模块630中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
需要说明的是,本公开的实施例中***部分与本公开的实施例中方法部分是相对应的,***部分的描述具体参考方法部分,在此不再赘述。
图7示意性示出了根据本公开实施例的适于实现数据删除方法及***的计算机***的框图。图7示出的计算机***仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,根据本公开实施例的计算机***700包括处理器701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中,存储有***700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,***700还可以包括输入/输出(I/O)接口705,输入/输出(I/O)接口705也连接至总线704。***700还可以包括连接至I/O接口705的以下部件中的一项或多项:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时,执行本公开实施例的***中限定的上述功能。根据本公开的实施例,上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的;也可以是单独存在,而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (14)

1.一种数据删除方法,包括:
获取配置信息,其中,所述配置信息至少用于表征需要删除的数据;
基于所述配置信息,生成至少一个删除任务;以及
将所述至少一个删除任务分配给对应的终端设备,其中,所述终端设备能够执行所述删除任务,并删除所述配置信息所表征的需要删除的数据。
2.根据权利要求1所述的方法,其中,所述基于所述配置信息,生成至少一个删除任务,包括:
解析所述配置信息,确定需要删除的数据的以下信息:ES集群的名称以及所述ES集群中用于存储该需要删除的数据的节点的IP地址;以及
基于确定的信息,生成能够删除与该信息对应的且当前已过期的数据的至少一个删除任务。
3.根据权利要求1所述的方法,其中,所述基于所述配置信息,生成至少一个删除任务,包括:
解析所述配置信息,确定需要删除的数据的以下信息:ES集群的名称、所述ES集群中用于存储需要删除的数据的节点的IP地址、以及指定的时间参数;以及
基于确定的信息,生成能够删除与该信息对应的且生存时间值小于所述指定的时间参数的数据的至少一个删除任务。
4.根据权利要求2或3所述的方法,其中,所述方法还包括:
获取所述ES集群的状态信息;
根据获取的状态信息,生成任务调整指令;以及
通过所述任务调整指令,调整所述至少一个删除任务在所述对应的终端设备上的执行步调。
5.根据权利要求4所述的方法,其中,所述状态信息包括所述ES集群的以下信息中的一种或几种:负载状态、内存状态、CPU状态和磁盘状态。
6.根据权利要求1所述的方法,其中,所述将所述至少一个删除任务分配给对应的终端设备,包括:
确定可用终端设备的数目和执行任务的速度,以及所述至少一个删除任务的数目;以及
根据确定的数目和速度,将所述至少一个删除任务分配给所述可用终端设备。
7.一种数据删除***,包括:
第一获取模块,用于获取配置信息,其中,所述配置信息至少用于表征需要删除的数据;
第一生成模块,用于基于所述配置信息,生成至少一个删除任务;以及
分配模块,用于将所述至少一个删除任务分配给对应的终端设备,其中,所述终端设备能够执行所述删除任务,并删除所述配置信息所表征的需要删除的数据。
8.根据权利要求7所述的***,其中,所述第一生成模块包括:
第一解析单元,用于解析所述配置信息,确定需要删除的数据的以下信息:ES集群的名称以及所述ES集群中用于存储该需要删除的数据的节点的IP地址;以及
第一生成单元,用于基于确定的信息,生成能够删除与该信息对应的且当前已过期的数据的至少一个删除任务。
9.根据权利要求7所述的***,其中,所述第一生成模块包括:
第二解析单元,用于解析所述配置信息,确定需要删除的数据的以下信息:ES集群的名称、所述ES集群中用于存储需要删除的数据的节点的IP地址、以及指定的时间参数;以及
第二生成单元,用于基于确定的信息,生成能够删除与该信息对应的且生存时间值小于所述指定的时间参数的数据的至少一个删除任务。
10.根据权利要求8或9所述的***,其中,所述***还包括:
第二获取模块,用于获取所述ES集群的状态信息;
第二生成模块,用于根据获取的状态信息,生成任务调整指令;以及
调整模块,用于通过所述任务调整指令,调整所述至少一个删除任务在所述对应的终端设备上的执行步调。
11.根据权利要求10所述的***,其中,所述状态信息包括所述ES集群的以下信息中的一种或几种:负载状态、内存状态、CPU状态和磁盘状态。
12.根据权利要求7所述的***,其中,所述分配模块包括:
确定单元,用于确定可用终端设备的数目和执行任务的速度,以及所述至少一个删除任务的数目;以及
分配单元,用于根据确定的数目和速度,将所述至少一个删除任务分配给所述可用终端设备。
13.一种计算机***,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至6中任一项所述的方法。
CN201811381811.5A 2018-11-19 2018-11-19 数据删除方法及***、介质及计算机*** Pending CN111198793A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811381811.5A CN111198793A (zh) 2018-11-19 2018-11-19 数据删除方法及***、介质及计算机***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811381811.5A CN111198793A (zh) 2018-11-19 2018-11-19 数据删除方法及***、介质及计算机***

Publications (1)

Publication Number Publication Date
CN111198793A true CN111198793A (zh) 2020-05-26

Family

ID=70746855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811381811.5A Pending CN111198793A (zh) 2018-11-19 2018-11-19 数据删除方法及***、介质及计算机***

Country Status (1)

Country Link
CN (1) CN111198793A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395369A (zh) * 2021-06-10 2021-09-14 北京天融信网络安全技术有限公司 一种缓存管理方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000614A (zh) * 2006-01-11 2007-07-18 富士通株式会社 文件删除方法和文件打开方法
CN103874051A (zh) * 2012-12-12 2014-06-18 中国联合网络通信集团有限公司 物联网预置资源处理方法及装置
CN106126708A (zh) * 2016-06-30 2016-11-16 乐视控股(北京)有限公司 一种删除终端存储的文件的方法和装置
US20170017671A1 (en) * 2012-04-25 2017-01-19 International Business Machines Corporation Deleting data in a dispersed storage network
CN106357811A (zh) * 2016-10-25 2017-01-25 广东欧珀移动通信有限公司 一种备份数据的删除方法、装置及***
CN106569851A (zh) * 2016-10-21 2017-04-19 青岛海信电器股份有限公司 应用程序处理方法及装置
CN107659929A (zh) * 2017-09-20 2018-02-02 北京佰才邦技术有限公司 一种配置删除方法、***、终端设备和服务基站
CN108073355A (zh) * 2016-11-15 2018-05-25 杭州海康威视数字技术股份有限公司 一种数据存储和删除方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000614A (zh) * 2006-01-11 2007-07-18 富士通株式会社 文件删除方法和文件打开方法
US20170017671A1 (en) * 2012-04-25 2017-01-19 International Business Machines Corporation Deleting data in a dispersed storage network
CN103874051A (zh) * 2012-12-12 2014-06-18 中国联合网络通信集团有限公司 物联网预置资源处理方法及装置
CN106126708A (zh) * 2016-06-30 2016-11-16 乐视控股(北京)有限公司 一种删除终端存储的文件的方法和装置
CN106569851A (zh) * 2016-10-21 2017-04-19 青岛海信电器股份有限公司 应用程序处理方法及装置
CN106357811A (zh) * 2016-10-25 2017-01-25 广东欧珀移动通信有限公司 一种备份数据的删除方法、装置及***
CN108073355A (zh) * 2016-11-15 2018-05-25 杭州海康威视数字技术股份有限公司 一种数据存储和删除方法及装置
CN107659929A (zh) * 2017-09-20 2018-02-02 北京佰才邦技术有限公司 一种配置删除方法、***、终端设备和服务基站

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395369A (zh) * 2021-06-10 2021-09-14 北京天融信网络安全技术有限公司 一种缓存管理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11231955B1 (en) Dynamically reallocating memory in an on-demand code execution system
Viswanathan et al. {CLARINET}:{WAN-Aware} Optimization for Analytics Queries
US7266823B2 (en) Apparatus and method of dynamically repartitioning a computer system in response to partition workloads
US20140047095A1 (en) System and method for tuning a cloud computing system
US20140047084A1 (en) System and method for modifying a hardware configuration of a cloud computing system
WO2017070900A1 (zh) 多核数字信号处理***中处理任务的方法和装置
US20140325521A1 (en) Method and System for Allocating Resources to Tasks in a Build Process
CN113535363A (zh) 任务调用方法、装置、电子设备及存储介质
EP2883140A1 (en) System and method for tuning a cloud computing system
CN109117252B (zh) 基于容器的任务处理的方法、***及容器集群管理***
CN105786603B (zh) 一种基于分布式的高并发业务处理***及方法
US10048987B1 (en) Methods and apparatus for a resource sharing platform having resource quality estimation
CN107251007B (zh) 集群计算服务确保装置和方法
CN112463375A (zh) 一种数据处理的方法和装置
CN115145695B (zh) 资源调度方法、装置、计算机设备和存储介质
CN111078516A (zh) 分布式性能测试方法、装置、电子设备
US9471387B2 (en) Scheduling in job execution
US9436406B2 (en) Migration decision window selection based on hotspot characteristics
US9672073B2 (en) Non-periodic check-pointing for fine granular retry of work in a distributed computing environment
CN111198793A (zh) 数据删除方法及***、介质及计算机***
CN104700255B (zh) 多进程处理方法、装置和***
Benini et al. Resource management policy handling multiple use-cases in mpsoc platforms using constraint programming
CN116107753A (zh) 一种任务节点分配方法、装置、电子设备及存储介质
CN108197005B (zh) Ios应用的底层运行性能监测方法、介质、设备及***
CN115080253A (zh) Gpu任务的分配方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination