CN111078418A - 操作同步方法、装置、电子设备及计算机可读存储介质 - Google Patents

操作同步方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111078418A
CN111078418A CN201911341196.XA CN201911341196A CN111078418A CN 111078418 A CN111078418 A CN 111078418A CN 201911341196 A CN201911341196 A CN 201911341196A CN 111078418 A CN111078418 A CN 111078418A
Authority
CN
China
Prior art keywords
progress
executed
task
server
executing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911341196.XA
Other languages
English (en)
Other versions
CN111078418B (zh
Inventor
俞晓婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911341196.XA priority Critical patent/CN111078418B/zh
Publication of CN111078418A publication Critical patent/CN111078418A/zh
Application granted granted Critical
Publication of CN111078418B publication Critical patent/CN111078418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/52Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明实施例提供了一种操作同步方法、装置、电子设备及计算机可读存储介质,属于计算机技术领域。该方法中,通过在待执行任务的操作量大于预设阈值的情况下,执行的待执行任务,并在执行待执行任务的过程中,将所产生的操作日志文件发送给从服务器,主服务器在每执行预设数量个操作之后,会判断主服务器的第一进度与从服务器的第二进度之间的进度差,在进度差大于预设进度差阈值时,减小主服务器的执行速度,这样,一定程度上可以避免主服务器执行完所有操作之后,从服务器在主服务器执行完所有操作后的较长内才执行完相同的操作,进而减少操作同步的延迟,提高操作同步的效率。

Description

操作同步方法、装置、电子设备及计算机可读存储介质
技术领域
本发明属于计算机技术领域,特别是涉及一种操作同步方法、装置、电子设备及计算机可读存储介质。
背景技术
为了给用户提高优质的网络使用体验,供应商往往会设置服务器集群为用户提供服务。
服务器集群中会有主服务器以及从服务器,在于用户使用的客户端进行交互时,往往是将客户端提交的待执行任务提交给主服务器,主服务器直接执行该待执行任务,并在执行完成之后,将执行该待执行任务产生的操作日志文件发送给从服务器,相应地,从服务器会根据该操作日志文件执行与主服务器相同的操作,进而确保两者的数据保持一致。
但是,这种同步方式,在待执行任务的操作量较大时,会导致从服务器在主服务器执行完任务的较长之间之后,才能完成该任务,两者的同步延时较大,同步效果较差。
发明内容
本发明提供一种操作同步方法、装置、电子设备及计算机可读存储介质,以便解决同步延时较大,同步效果较差的问题。
在本发明实施的第一方面,首先提供了一种操作同步方法,应用于主服务器,所述方法包括:
在待执行任务的操作量大于预设阈值的情况下,执行待执行任务,并在执行待执行任务的过程中,将所产生的操作日志文件发送给从服务器;所述待执行任务包括多个操作,所述操作日志文件用于指示所述从服务器执行与所述主服务器相同的操作;
在每执行预设数量个操作之后,确定第一进度与第二进度之间的进度差;所述第一进度为所述主服务器执行所述预设数量个操作的进度,所述第二进度为所述从服务器执行所述预设数量个操作的进度;
在所述进度差大于预设进度差阈值时,减小所述主服务器的执行速度。
在本发明实施的第二方面,还提供了一种操作同步装置,应用于主服务器,所述装置包括:
发送模块,用于在待执行任务的操作量大于预设阈值的情况下,执行待执行任务,并在执行待执行任务的过程中,将所产生的操作日志文件发送给从服务器;所述待执行任务包括多个操作,所述操作日志文件用于指示所述从服务器执行与所述主服务器相同的操作;
第一确定模块,用于在每执行预设数量个操作之后,确定第一进度与第二进度之间的进度差;所述第一进度为所述主服务器执行所述预设数量个操作的进度,所述第二进度为所述从服务器执行所述预设数量个操作的进度;
减小模块,用于在所述进度差大于预设进度差阈值时,减小所述主服务器的执行速度。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述的操作同步方法。
在本发明实施的又一方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的操作同步方法。
本发明实施例提供的操作同步方法,通过在待执行任务的操作量大于预设阈值的情况下,执行的待执行任务,并在执行待执行任务的过程中,将所产生的操作日志文件发送给从服务器,其中,该操作日志文件用于指示从服务器执行与主服务器相同的操作,这样,从服务器无需等到主服务器执行完待执行任务才开始进行操作同步,进而一定程度上可以减少操作同步的延迟程度,进一步地,主服务器在每执行预设数量个操作之后,会判断主服务器的第一进度与从服务器的第二进度之间的进度差,在进度差大于预设进度差阈值时,减小主服务器的执行速度,这样,通过减小主服务器的执行速度,一定程度上可以避免主服务器执行完所有操作之后,从服务器在主服务器执行完所有操作后的较长内才执行完相同的操作,进而减少操作同步的延迟,提高操作同步的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种操作同步方法的步骤流程图;
图2-1是本发明实施例提供的另一种操作同步方法的步骤流程图;
图2-2是本发明实施例提供的一种***示意图;
图3是本发明实施例提供的一种操作同步装置的框图;
图4是本发明实施例提供的一种电子设备的结构图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种操作同步方法的步骤流程图,应用于主服务器,如图1所示,该方法可以包括:
步骤101、在待执行任务的操作量大于预设阈值的情况下,执行待执行任务,并在执行待执行任务的过程中,将所产生的操作日志文件发送给从服务器。所述待执行任务包括多个操作。
本发明实施例中,待执行任务中包括的多个操作,可以是对主服务器中的存储的数据进行增加、删除、修改的操作。这多个操作可以是以基于结构化查询语言(StructuredQuery Language,SQL)定义的sql语句表示,其中,SQL是一种对服务器中的数据库进行操作的一种语言。sql语句可以是DDL/DML语言类型的。
进一步地,该待执行任务的操作量可以是该待执行任务包括的操作数量,即,sql语句的个数,也可以是待执行任务包括的操作对应的sql语句的的数据量大小,本发明实施例对此不作限定。该预设阈值可以是根据实际需求设置,具体的,该预设阈值可以是根据会造成主服务器及从服务器完成任务的时间点出现较大时间差的数据量设置的。例如,该预设阈值可以为1000个,本发明实施例对此不作限定。
进一步地,如果待执行任务的操作量大于预设阈值,则可以认为主从服务器对该待执行任务中的操作进行同步时,会产生较大延迟。因此,本步骤中,可以在执行该待执行任务的过程中,就将所产生的操作日志文件发送给从服务器,相应地,从服务器接收到该操作日志文件之后,可以根据该操作日志文件执行与主服务器执行的相同操作。这样,从服务器无需等到主服务器执行完该待执行任务之后,才开始进行操作同步,进而一定程度上可以减少操作同步的延迟程度。
步骤102、在每执行预设数量个操作之后,确定第一进度与第二进度之间的进度差;所述第一进度为所述主服务器执行所述预设数量个操作的进度,所述第二进度为所述从服务器执行所述预设数量个操作的进度。
本发明实施例中,该预设数量可以根据实际需求设置,例如,该预设数量可以为100,本发明实施例对此不作限定。具体的,主服务器可以设置一个计数器,在每执行一个操作之后,控制计算器记录的数值加一,在计算器记录的数值达到该预设数量之后,执行判断进度差的操作,并将计算器记录的数值置为0,以便于后续过程中,继续利用该计算器进行计数。
进一步地,受到外界影响,由于主服务器与从服务器之间的执行速度可能不同,因此,如果检测到执行了预设数量个操作,主服务器则可以判断主服务器的第一进度与从服务器的第二进度之间的进度差,以确定两者当前的操作延时。具体的,第一进度可以是主服务器已执行的操作数,第二进度可以是从服务器已执行的操作数,相应地,可以计算主服务器已执行的操作数与从服务器已执行的操作数的差值的绝对值,将该绝对值确定为进度差。
步骤103、在所述进度差大于预设进度差阈值时,减小所述主服务器的执行速度。
本发明实施例中,该预设进度差阈值可以是根据会造成主服务器及从服务器完成任务的时间点出现较大时间差的进度差值设置的,本发明实施例对此不作限定。如果进度差大于预设进度差阈值时,则可以认为如果继续按照目前的进度执行操作,从服务器会在主服务器执行完该待执行任务之后的较长时间,才能执行完该待执行任务。因此,主服务器可以在该情况下,减小主服务器的执行速度,进而减小两者的进度差,缩小主服务器完成任务的时间点与主服务器完成任务的时间点的时间差,减小操作同步的延迟。
综上所述,本发明实施例提供的操作同步方法,通过在待执行任务的操作量大于预设阈值的情况下,执行的待执行任务,并在执行待执行任务的过程中,将所产生的操作日志文件发送给从服务器,其中,该操作日志文件用于指示从服务器执行与主服务器相同的操作,这样,从服务器无需等到主服务器执行完待执行任务才开始进行操作同步,进而一定程度上可以减少操作同步的延迟程度,进一步地,主服务器在每执行预设数量个操作之后,会判断主服务器的第一进度与从服务器的第二进度之间的进度差,在进度差大于预设进度差阈值时,减小主服务器的执行速度,这样,通过减小主服务器的执行速度,一定程度上可以避免主服务器执行完所有操作之后,从服务器在主服务器执行完所有操作后的较长内才执行完相同的操作,进而减少操作同步的延迟,提高操作同步的效率。
图2是本发明实施例提供的另一种操作同步方法的步骤流程图,应用于主服务器,如图2所示,该方法可以包括:
步骤201、按照所述预设数量,将所述待执行任务划分为多个子任务;其中,每个子任务包括的操作数为所述预设数量。
本步骤中,可以将待执行任务中包括的多个操作,按照预设数量依次划分,进而得到多个子任务。示例的,假设待执行任务包括1000条操作,预设数量为100,那么可以将每100个操作划分为一个子任务,进而得到10个子任务。示例的,可以划分时,可以采用特定的划分工具进行划分,该特定的划分工具可以表示为“Oak-chunk-update”,其中,特定的划分工具可以是来自开源的MySQL工具集的特定组件(openark-kit),它通过对字段进行分割,可以实现子任务,其中,该字段可以是主键索引字段、唯一索引字段、或指定的字段。
步骤202、执行所述子任务,并在执行所述子任务的过程中,将所述子任务对应的操作日志文件发送给所述从服务器。
本步骤中,该操作日志文件可以是配置文件log-bin指定的文件,操作日志文件中的日志可以为二进制日志(binary log)。主服务器执行操作时,可以将对内部数据库中数据的改变记录到该二进制日志中,这些记录有数据改变的二进制日志属于二进制日志事件(binary log events)。相应地,主服务器通过将操作日志文件发送给从服务器,从服务器收到之后,通过I/O线程读取操作日志文件中的二进制日志事件,并将这些二进制日志事件写入到从服务器的中继日志(relay log),把中继日志中的事件信息一条一条的在本地执行一次,即,“数据重放”,实现执行与主服务器执行的相同操作,进而实现将记录的改变反映到从服务器自己的数据中。本发明实施例中,主服务器通过先执行操作,根据执行过程生成操作日志文件并发送给从服务器进行操作同步的方式,使得从服务器基于该操作日志文件进行数据重放即可实现操作同步,一定程度上提高操作同步的效率。
步骤203、在每执行一个子任务之后,确定第一进度与第二进度之间的进度差。
具体的,判断进度差的具体实现方式可以参照前述步骤102中的描述,本发明实施例在此不作赘述。本发明实施例中,通过先按照预设数量,将待执行任务划分为子任务,在一个子任务执行完之后,即可直接确认已经执行了预设数量个操作,进而可以执行进度差判断操作。这样,无需统计当前执行完的操作数量,一定程度上可以节省所需的处理资源。同时,通过将数据量较大的待执行任务划分为多个子任务,主服务器通过执行多个子任务实现执行待执行任务的方式,可以减小主服务器的操作执行压力,进而减小执行待执行任务时,对主服务器中部署的数据库的影响。
步骤204、在所述进度差大于预设进度差阈值时,减小所述主服务器的执行速度。
具体的,主服务器可以将执行速度减小为0,即,停止执行待执行任务。这样通过将执行速度减小为0,可以最大效率的缩小进度差,进而加快操作执行的整体进度。
步骤205、每间隔预设时长,确定一次所述第一进度与所述第二进度之间的进度差。
本步骤中,该预设时长可以是预先设置的,示例的,该预设时长可以为5秒,本发明实施例对此不作限定,由于主服务器减小了执行速度,主服务器与从服务器之间的进度差会缩小,因此,可以每间隔预设时长,确定一次两者之间的进度差,以便于后续步骤中可以在两者进度差缩小至不大于预设进度差阈值的情况下,及时恢复主服务器的进度。同时,相较于实时检测两者之间的进度差,由于实时检测两者之间的进度差会耗费大量处理资源,本发明实施例中,每间隔预设时长检测一次的方式,可以在实现及时恢复主服务器的进度的同时,减少检测的次数,进而节省主服务器的处理资源。
步骤206、在所述进度差不大于所述预设进度差阈值时,将所述执行速度恢复至目标速度,并执行下一子任务。
本步骤中,该目标速度可以是预先设置的默认执行速度,也可以是减小执行速度之前的速度。如果进度差不大于预设进度差阈值,则可以认为此时如果继续执行操作,主服务器与从服务器之间不会产生较大的延迟,相应地,可以将执行速度恢复至目标速度,并执行下一子任务。示例的,图2-2是本发明实施例提供的一种***示意图,如图2-2所示,CHUNK-1、CHUNK-2、CHUNK-3分别表示三个子任务,在每执行一个子任务之后,可以进行“检查进度差”的操作,在进度差不大于预设进度差阈值的情况下,继续执行下一个子任务。
需要说明的是,在执行任务之前,主服务器可以接收修改指令,其中,该修改指令可以是用户通过所使用的终端向该主服务器发送的。然后主服务器可以将修改指令中携带的进度差检测函数添加至主服务器中。其中,该进度差检测函数是用于对检测第一进度及第二进度,并计算第一进度与所述第二进度之间的进度差的函数。主服务器中可以部署有默认的预设执行工具,上述操作同步方法可以以该工具作为实现基础。具体的,该修改指令可以是对工具进行修改的指令,主服务器可以将修改指令中携带的进度差检测函数添加至该工具,以实现在该工具中添加检测逻辑。本发明实施例中,通过在工具中增加进度差检测函数,即可实现本方案中在每执行一部分任务之后,检测进度差功能,方案实现成本较低。实现难度较低。
进一步地,主服务器可以在接收到参数更新指令的情况下,提取参数更新指令中的更新值以及更新值对应的待更新参数。其中,该待更新参数为预设进度差阈值、预设数量及预设时长中的一种或多种,这些参数可以是预先定义在预设任务执行工具中的。该参数更新指令可以是用户通过所使用的终端向该主服务器发送的。示例的,可以显示一个参数更新界面,用户可以根据需求为预设进度差阈值、预设数量和/或预设时长中的一种或多种输入对应的更新值,然后点击发送按钮实现发送参数修改指令。接着,主服务器可以将更新值对应的待更新参数的值设置为更新值。示例的,假设参数更新指令中包括更新值:110,更新值对应的待更新参数:预设数量,那么主服务器可以将预设数量的值修改为110。本发明实施例中,可以根据参数更新指令来更新参数,这样,使得用户可以根据实际的执行情况,便捷灵活的对参数进行调整。
进一步地,主服务器中可以定义有进度差检测控制接口,相应地,主服务器可以在接收到启动指令的情况下,执行在待执行任务的操作量大于预设阈值的情况下,执行待执行任务的操作。其中,该启动指令是通过该进度差检测控制接口发送的。本步骤中,通过为用户预留一个控制接口,使得用户可以根据需求灵活的控制是否使用本发明实施例中的操作同步方法进行操作同步。
进一步的,主服务器在执行完待执行任务且从服务器未执行完待执行任务的情况下,即,主服务器执行完最后一个子任务,但是从服务器还未执行完最后一个子任务的情况下,主服务器可以先关闭该从服务器的访问权限。具体的,可以向该从服务器发送访问权限关闭指令,从服务器收到该关闭指令之后,可以关闭访问权限,以暂停与其他设备进行交互。由于实际应用场景中,主服务器与从服务器可能会进行读写分离,例如,主服务器用于提供写服务,从服务器用于提供读服务,即,存储设备将新的数据写入主服务器,线上设备在需要读取这些新的数据时,从服务器中读取这些新的数据。如果,在主服务器与从服务器存在延迟的情况下,就会导致线上设备无法从从服务器中正常读取到数据,进而导致线上故障。因此,本发明实施例中,主服务器通过在执行完待执行任务且从服务器未执行完待执行任务的情况下,关闭从服务器的访问权限,以避免两者存在延迟,导致线上故障的问题。
示例的,以待执行任务是用于删除3亿的数据为例,在通过主服务器先执行删除3亿的数据的操作,然后将产生的操作日志文件发送给从服务器,从服务器通过这些操作日志文件进行相同操作的情况下,主服务器进行删除需要消耗一天的时间,从服务器在主服务器完成删除的8小时之后,才能完成整个删除操作。而采用本发明实施例提供的操作同步方法,主服务器进行删除需要消耗8天的时间,但是从服务器在主服务器完成删除的1秒之内,即可完成整个删除操作,可见,本发明实施例提供的操作同步方法中,可以降低操作同步的延时。
综上所述,本发明实施例提供的操作同步方法,通过按照预设数量,将所述待执行任务划分为多个子任务,这样,通过先按照预设数量,将待执行任务划分为子任务,在一个子任务执行完之后,即可直接确认已经执行了预设数量个操作,进而可以一定程度上可以节省所需的处理资源。接着,可以执行子任务,并在执行子任务的过程中,将子任务对应的操作日志文件发送给从服务器。其中,该操作日志文件用于指示从服务器执行与主服务器相同的操作,这样,从服务器无需等到主服务器执行完待执行任务才开始进行操作同步,进而一定程度上可以减少操作同步的延迟程度,进一步地,主服务器在每执行一个子任务之后,会判断第一进度与第二进度之间的进度差。在进度差大于预设进度差阈值时,减小主服务器的执行速度,这样,通过减小主服务器的执行速度,一定程度上可以避免主服务器执行完所有操作之后,从服务器在主服务器执行完所有操作后的较长内才执行完相同的操作,进而减少操作同步的延迟,提高操作同步的效率。
图3是本发明实施例提供的一种操作同步装置的框图,应用于主服务器,如图3所示,该装置30可以包括:
发送模块301,用于在待执行任务的操作量大于预设阈值的情况下,执行待执行任务,并在执行待执行任务的过程中,将所产生的操作日志文件发送给从服务器;所述待执行任务包括多个操作,所述操作日志文件用于指示所述从服务器执行与所述主服务器相同的操作。
第一确定模块302,用于在每执行预设数量个操作之后,确定第一进度与第二进度之间的进度差;所述第一进度为所述主服务器执行所述预设数量个操作的进度,所述第二进度为所述从服务器执行所述预设数量个操作的进度。
减小模块303,用于在所述进度差大于预设进度差阈值时,减小所述主服务器的执行速度。
可选的,所述发送模块301,具体用于:
按照所述预设数量,将所述待执行任务划分为多个子任务;其中,每个子任务包括的操作数为所述预设数量。
执行所述子任务,并在执行所述子任务的过程中,将所述子任务对应的操作日志文件发送给所述从服务器。
所述第一确定模块,具体用于:
在每执行一个子任务之后,判断第一进度与第二进度之间的进度差。
可选的,所述减小模块303,具体用于:
将所述执行速度设置为0。
相应地,所述装置30,还包括:
第二确定模块,用于每间隔预设时长,确定一次所述第一进度与所述第二进度之间的进度差。
回复模块,用于在所述进度差不大于所述预设进度差阈值时,将所述执行速度恢复至目标速度,并执行下一子任务。
可选的,所述装置30还包括:
接收模块,用于接收修改指令。
添加模块,用于将所述修改指令中携带的进度差检测函数添加至所述主服务器中;所述进度差检测函数用于检测所述第一进度及所述第二进度,并计算所述第一进度与所述第二进度之间的进度差。
可选的,所述装置30还包括:
提取模块,用于在接收到参数更新指令的情况下,提取所述参数更新指令中的更新值以及所述更新值对应的待更新参数;所述待更新参数为所述预设进度差阈值、所述预设数量及所述预设时长中的一种或多种。
设置模块,用于将所述更新值对应的待更新参数的值设置为所述更新值。
可选的,所述装置30还包括:
关闭模块,用于在执行完所述待执行任务且所述从服务器未执行完所述待执行任务的情况下,关闭所述从服务器的访问权限。
综上所述,本发明实施例提供的操作同步装置,通过在待执行任务的操作量大于预设阈值的情况下,执行的待执行任务,并在执行待执行任务的过程中,将所产生的操作日志文件发送给从服务器,其中,该操作日志文件用于指示从服务器执行与主服务器相同的操作,这样,从服务器无需等到主服务器执行完待执行任务才开始进行操作同步,进而一定程度上可以减少操作同步的延迟程度,进一步地,主服务器在每执行预设数量个操作之后,会判断主服务器的第一进度与从服务器的第二进度之间的进度差,在进度差大于预设进度差阈值时,减小主服务器的执行速度,这样,通过减小主服务器的执行速度,一定程度上可以避免主服务器执行完所有操作之后,从服务器在主服务器执行完所有操作后的较长内才执行完相同的操作,进而减少操作同步的延迟,提高操作同步的效率。
对于上述装置实施例而言,由于其与前述的方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备,如图4所示,包括处理器401、通信接口402、存储器403和通信总线404,其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信,
存储器403,用于存放计算机程序;
处理器401,用于执行存储器403上所存放的程序时,实现如下步骤:
在待执行任务的操作量大于预设阈值的情况下,执行待执行任务,并在执行待执行任务的过程中,将所产生的操作日志文件发送给从服务器;所述待执行任务包括多个操作,所述操作日志文件用于指示所述从服务器执行与所述主服务器相同的操作;
在每执行预设数量个操作之后,确定第一进度与第二进度之间的进度差;所述第一进度为所述主服务器执行所述预设数量个操作的进度,所述第二进度为所述从服务器执行所述预设数量个操作的进度;
在所述进度差大于预设进度差阈值时,减小所述主服务器的执行速度。上电子设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
进一步地,存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
进一步地,上述的处理器可以是通用处理器,包括中央处理器(CentralProcessing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
进一步地,在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的操作同步方法中的步骤。
进一步地,在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的操作同步方法中的步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。进一步地,所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。可选的,所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种操作同步方法,其特征在于,应用于主服务器,所述方法包括:
在待执行任务的操作量大于预设阈值的情况下,执行待执行任务,并在执行待执行任务的过程中,将所产生的操作日志文件发送给从服务器;所述待执行任务包括多个操作,所述操作日志文件用于指示所述从服务器执行与所述主服务器相同的操作;
在每执行预设数量个操作之后,确定第一进度与第二进度之间的进度差;所述第一进度为所述主服务器执行所述预设数量个操作的进度,所述第二进度为所述从服务器执行所述预设数量个操作的进度;
在所述进度差大于预设进度差阈值时,减小所述主服务器的执行速度。
2.根据权利要求1所述的方法,其特征在于,所述在待执行任务的操作量大于预设阈值的情况下,执行待执行任务,并在执行待执行任务的过程中,将所产生的操作日志文件发送给从服务器,包括:
按照所述预设数量,将所述待执行任务划分为多个子任务;其中,每个子任务包括的操作数为所述预设数量;
执行所述子任务,并在执行所述子任务的过程中,将所述子任务对应的操作日志文件发送给所述从服务器;
所述在每执行预设数量个操作之后,确定第一进度与第二进度之间的进度差,包括:
在每执行一个子任务之后,判断第一进度与第二进度之间的进度差。
3.根据权利要求2所述的方法,其特征在于,所述减小所述主服务器的执行速度,包括:
将所述执行速度设置为0;
相应地,所述减小所述主服务器的执行速度之后,所述方法还包括:
每间隔预设时长,确定一次所述第一进度与所述第二进度之间的进度差;
在所述进度差不大于所述预设进度差阈值时,将所述执行速度恢复至目标速度,并执行下一子任务。
4.根据权利要求1所述的方法,其特征在于,所述在待执行任务的操作量大于预设阈值的情况下,执行待执行任务之前,所述方法还包括:
接收修改指令;
将所述修改指令中携带的进度差检测函数添加至所述主服务器中;所述进度差检测函数用于检测所述第一进度及所述第二进度,并计算所述第一进度与所述第二进度之间的进度差。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在接收到参数更新指令的情况下,提取所述参数更新指令中的更新值以及所述更新值对应的待更新参数;所述待更新参数为所述预设进度差阈值、所述预设数量及所述预设时长中的一种或多种;
将所述更新值对应的待更新参数的值设置为所述更新值。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在执行完所述待执行任务且所述从服务器未执行完所述待执行任务的情况下,关闭所述从服务器的访问权限。
7.一种操作同步装置,其特征在于,应用于主服务器,所述装置包括:
发送模块,用于在待执行任务的操作量大于预设阈值的情况下,执行待执行任务,并在执行待执行任务的过程中,将所产生的操作日志文件发送给从服务器;所述待执行任务包括多个操作,所述操作日志文件用于指示所述从服务器执行与所述主服务器相同的操作;
第一确定模块,用于在每执行预设数量个操作之后,确定第一进度与第二进度之间的进度差;所述第一进度为所述主服务器执行所述预设数量个操作的进度,所述第二进度为所述从服务器执行所述预设数量个操作的进度;
减小模块,用于在所述进度差大于预设进度差阈值时,减小所述主服务器的执行速度。
8.根据权利要求7所述的装置,其特征在于,所述发送模块,具体用于:
按照所述预设数量,将所述待执行任务划分为多个子任务;其中,每个子任务包括的操作数为所述预设数量;
执行所述子任务,并在执行所述子任务的过程中,将所述子任务对应的操作日志文件发送给所述从服务器;
所述第一确定模块,具体用于:
在每执行一个子任务之后,判断第一进度与第二进度之间的进度差。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201911341196.XA 2019-12-23 2019-12-23 操作同步方法、装置、电子设备及计算机可读存储介质 Active CN111078418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911341196.XA CN111078418B (zh) 2019-12-23 2019-12-23 操作同步方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911341196.XA CN111078418B (zh) 2019-12-23 2019-12-23 操作同步方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111078418A true CN111078418A (zh) 2020-04-28
CN111078418B CN111078418B (zh) 2024-04-16

Family

ID=70316975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911341196.XA Active CN111078418B (zh) 2019-12-23 2019-12-23 操作同步方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111078418B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328529A (zh) * 2020-11-03 2021-02-05 北京奇艺世纪科技有限公司 电子书籍阅读进度的确定方法、装置、终端及存储介质
CN114553895A (zh) * 2022-04-24 2022-05-27 浙江中控技术股份有限公司 一种数据同步方法、***、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235326A1 (en) * 2009-03-11 2010-09-16 International Business Machines Corporation Method for mirroring a log file by threshold driven synchronization
US20180329630A1 (en) * 2016-09-13 2018-11-15 Tencent Technology (Shenzhen) Company Limited Data synchronization method and system, and synchronization obtaining method and apparatus
CN108958922A (zh) * 2017-05-17 2018-12-07 北京京东尚科信息技术有限公司 用于执行任务的方法和装置
CN109905457A (zh) * 2019-01-09 2019-06-18 广州视源电子科技股份有限公司 主从服务器数据同步方法、装置、计算机设备和存储介质
CN110019502A (zh) * 2017-08-29 2019-07-16 阿里巴巴集团控股有限公司 在主数据库和备数据库之间的同步方法、数据库***和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235326A1 (en) * 2009-03-11 2010-09-16 International Business Machines Corporation Method for mirroring a log file by threshold driven synchronization
US20180329630A1 (en) * 2016-09-13 2018-11-15 Tencent Technology (Shenzhen) Company Limited Data synchronization method and system, and synchronization obtaining method and apparatus
CN108958922A (zh) * 2017-05-17 2018-12-07 北京京东尚科信息技术有限公司 用于执行任务的方法和装置
CN110019502A (zh) * 2017-08-29 2019-07-16 阿里巴巴集团控股有限公司 在主数据库和备数据库之间的同步方法、数据库***和设备
CN109905457A (zh) * 2019-01-09 2019-06-18 广州视源电子科技股份有限公司 主从服务器数据同步方法、装置、计算机设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328529A (zh) * 2020-11-03 2021-02-05 北京奇艺世纪科技有限公司 电子书籍阅读进度的确定方法、装置、终端及存储介质
CN112328529B (zh) * 2020-11-03 2023-09-05 北京奇艺世纪科技有限公司 电子书籍阅读进度的确定方法、装置、终端及存储介质
CN114553895A (zh) * 2022-04-24 2022-05-27 浙江中控技术股份有限公司 一种数据同步方法、***、存储介质及电子设备

Also Published As

Publication number Publication date
CN111078418B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
WO2021180025A1 (zh) 一种消息处理方法、装置、电子设备及介质
CN108255620B (zh) 一种业务逻辑处理方法、装置、业务服务器及***
US9684534B2 (en) Monitoring and modifying allocated computing resources
WO2022063284A1 (zh) 数据同步方法、装置、设备及计算机可读介质
CN111177165B (zh) 数据一致性检测的方法、装置及设备
CN112434043B (zh) 一种数据同步方法、装置、电子设备及介质
US20140365833A1 (en) Capturing trace information using annotated trace output
CN110659256A (zh) 多机房同步方法、计算设备及计算机存储介质
CN110515795A (zh) 一种大数据组件的监控方法、装置、电子设备
CN109359092B (zh) 文件管理方法、桌面显示方法、装置、终端及介质
CN111078418B (zh) 操作同步方法、装置、电子设备及计算机可读存储介质
CN110990365A (zh) 一种数据同步方法、装置、服务器及存储介质
CN111046007B (zh) 管理存储***的方法、装置和计算机程序产品
CN111159160A (zh) 一种版本回滚方法、装置、电子设备及存储介质
CN114218193A (zh) 数据迁移方法、装置、计算机设备和可读存储介质
CN113010376A (zh) 一种对存储训练数据的云存储***的监测方法及装置
CN110569157B (zh) 存储测试方法、装置、服务器及存储介质
JP2012089049A (ja) 計算機システム及びサーバ
CN107958414B (zh) 一种清除cics***长交易的方法及***
EP4160421A1 (en) Method and apparatus for obtaining browser running data, and storage medium
CN115640280A (zh) 数据迁移方法及装置
WO2018200167A1 (en) Managing asynchronous analytics operation based on communication exchange
WO2019062087A1 (zh) 考勤数据测试方法、终端、设备以及计算机可读存储介质
CN112699129A (zh) 一种数据处理***、方法及装置
CN109542598B (zh) 定时任务管理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant