CN107145397B - 一种基于账号的跨***数据同步方法及*** - Google Patents

一种基于账号的跨***数据同步方法及*** Download PDF

Info

Publication number
CN107145397B
CN107145397B CN201710325013.XA CN201710325013A CN107145397B CN 107145397 B CN107145397 B CN 107145397B CN 201710325013 A CN201710325013 A CN 201710325013A CN 107145397 B CN107145397 B CN 107145397B
Authority
CN
China
Prior art keywords
task
synchronous
planning
execution
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710325013.XA
Other languages
English (en)
Other versions
CN107145397A (zh
Inventor
王炜
梁彪
顾子成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Focus Technology Co Ltd
Original Assignee
Focus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Focus Technology Co Ltd filed Critical Focus Technology Co Ltd
Priority to CN201710325013.XA priority Critical patent/CN107145397B/zh
Publication of CN107145397A publication Critical patent/CN107145397A/zh
Application granted granted Critical
Publication of CN107145397B publication Critical patent/CN107145397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于账号的跨***数据同步方法，形成基于账号的业务数据同步任务，按照不同业务的同步需求配置同步执行时间，使不同账号在不同业务场景内定时执行业务数据的同步，1)建立跨***的用户账号与有数据同步需求的业务之间的关联；2)当达到同步规划任务需进行执行的时间点时，即过一个业务数据同步规划周期，同步规划任务***触发数据同步执行任务的创建；3)由同步规划任务***发布及分配同步执行任务：当时间达到同步执行任务的期望时间点，同步规划任务***中规划任务发布子***从执行任务库中；4)同步执行***获取到规划***发送的同步执行任务，按照任务的具体内容，在指定时刻完成数据同步。

Description

一种基于账号的跨***数据同步方法及***
技术领域
本发明涉及数据同步处理技术领域，主要应用于***间的数据同步，具体涉及一种基于账号的跨***的数据同步方法及***。
背景技术
随着互联网业务在各行各业的逐步开展与实施，行业间的交互从线下走到了线上，线上不同组织***间的数据同步及时性与可靠性越来越被***设计人员看重。
目前不同的互联网企业之间如果开展业务合作，首先要做的便是彼此间账号信息的关联。由于涉及不同企业间的数据同步，常用的数据同步方式有：
其一是基于实时数据接口之间的数据传递，这种方式传递的实时性高，效果比较好，但需要***间提供可靠的网络及***资源；
其二是基于第一种方案的补充机制，***间通过轮询的方式对变更数据进行接口拉取，以保障不同***之间的数据不丢失，但针对业务规模比较庞大的***，轮询每个业务的增量数据在***性能和效率上，无疑要付出高额的代价。例如，现今，基于电商资源整合的运营平台，他们需要为商家提供在不同电商平台上的对接服务，如国内的淘宝、京东，国外的ebay、amazon等，这些电商平台均提供商家合作API，运营平台可以对接不同电商平台的API来帮助商家提供资源一体化管理，运营平台需要不间断地通过API拉取各电商平台的相关数据，如订单、财务、库存等。伴随着用户量的增加，如何提升数据同步效率、控制数据拉取丢失率、保障同步***可靠性的解决方案十分重要。
发明内容
为解决现有技术的局限性和不足，本发明目的是，提供一种基于账号的跨***数据同步方法及***，通过绑定跨***的账号与有同步需求的业务，形成基于账号的业务数据同步任务，按照不同业务的同步需求配置同步执行时间，使不同账号在不同业务场景内定时执行业务数据的同步，实现不同账号的数据同步个性化定制，支持***间业务数据同步的差异化；通过将同步任务的规划、执行及监控划分，形成独立的同步规划***、同步执行***及同步监控***，形成以处理同步任务为核心的***，有效抵抗用户量增长带来的***压力。
通过定时任务将全量账号进行数据同步而导致的效率降低、数据通过可靠性降低、***扩展性弱的问题；其中，所述全量账号是指所管理的全部第三方***的账号；
本发明的技术方案如下：一种基于账号的跨***数据同步***，包括两个***：同步规划***和同步执行***；
所述同步规划***包括账号规划同步子***、业务规划同步子***(同步任务的创建)、规划任务发布子***(同步任务的发布及分配)、规划检查子***(识别处理分配异常及执行异常)：
所述执行***主要负责执行同步规划***分配出的任务，保证***整体执行的高效性，同步执行***采用分布式的多点部署方式，对于规划***中防止异常丢失的情况。
所述账号规划同步子***用于检测平台内状态变更的账号，并将这些发生变更的账号数据发送给业务规划同步子***，业务规划同步子***根据账户绑定的业务情况进行具体业务规划的开启和中止；
所述业务规划同布子***是根据账号开通的业务服务数据，为相应的业务创建以时间为维度的规划任务，创建完毕后再根据账号的数据动态设定下一次需要规划的时间；
所述规划任务发布子***是将规划出的任务分配到执行***进行任务执行操作，期间由于异常丢失的任务由规划检查子***检测并重新发布。
所述同步执行***主要负责执行同步规划***分配出的任务，保证***整体执行的高效性，执行***采用分布式的多点部署方式，对于规划***中防止异常丢失的情况。
在所述同步规划***和同步执行***的基础上，还包括同步规划任务库、同步执行任务库、同步监控***；同步规划***按照规划周期，定期地从同步规划任务库中提取需要做执行规划的同步任务，经规划完毕的同步执行任务存储在执行任务库中，待到达执行时间时，同步规划***从同步执行任务库中抓取同步执行任务，并发送至同步规划执行***完成同步执行任务的实施；每一次的同步执行任务规划过程和同步执行任务实施过程中的运行数据，均上传至同步监控***；
所述同步规划任务库，用于存放与跨***账号相关联的、有业务数据同步需求、待规划执行的任务；
所述同步执行任务库，用于存放已完成执行规划的同步任务；
所述同步监控***，用于定期收集所有规划***和规划执行***的运行情况，对规划和执行同步数据过程中的异常做预警操作，实时控制规划***与执行***，包括***起停、任务状态实时调整、任务分配。
在所述同步规划***和同步执行***的基础上，还包括规划任务库、执行任务库、同步监控***；规划***按照规划周期，定期地从规划任务库中提取需要做执行规划的同步任务，经规划完毕的同步执行任务存储在执行任务库中，待到达执行时间时，规划***从执行任务库中抓取同步执行任务，并发送至规划执行***完成同步执行任务的实施；每一次的执行任务规划过程和执行任务实施过程中的运行数据，均上传至监控***；
所述规划任务库，用于存放与跨***账号相关联的、有业务数据同步需求、待规划执行的任务；
所述执行任务库，用于存放已完成执行规划的同步任务；
所述同步监控***，用于定期收集所有规划***和规划执行***的运行情况，对规划和执行同步数据过程中的异常做预警操作，实时控制规划***与执行***，包括***起停、任务状态实时调整、任务分配；
一种基于账号的跨***数据同步方法，其特征在于通过绑定跨***的账号与有同步需求的业务，形成基于账号的业务数据同步任务，按照不同业务的同步需求配置同步执行时间，使不同账号在不同业务场景内定时执行业务数据的同步，实现不同账号的数据同步个性化定制，支持***间业务数据同步的差异化，具体步骤包括：
步骤1：建立跨***的用户账号与有数据同步需求的业务之间的关联：在数据同步覆盖的业务场景中，为每一个账号创建与业务相关的同步规划任务，形成与账号绑定的业务同步规划任务，并将同步规划任务放入同步规划任务库中；
所述同步规划任务指明需要定期同步更新数据的任务类型，存储在规划任务库中；
步骤2：当达到同步规划任务需进行执行的时间点时，即过一个业务数据同步规划周期，同步规划任务***触发数据同步执行任务的创建；
当达到同步执行任务需进行规划的时间点时，即过一个业务数据同步规划周期，同步规划***触发数据同步执行任务的创建，具体为：业务规划同步子***从规划任务库中提取“未执行”的规划任务，并按照规划任务，对规划任务的即将执行进行初始化，包括具体任务内容及期望执行时间的初始化，经规划后的同步执行任务放入执行任务库中；
其中，所述具体任务内容指明任务编号、同步执行任务类型、任务信息、任务执行状态；
所述期望执行时间是指某一项同步任务的即将执行的时间；
特别地，针对规划***实施的任务规划过程及本次规划时间段内出现的相关异常，将定期同步录入监控***中，统一进行数据归档；
特别地，数据同步执行任务的创建按照具体需求，创建一个或多个；
步骤3：由同步规划任务***发布及分配同步执行任务：当时间达到同步执行任务的期望时间点，同步规划任务***中规划任务发布子***从执行任务库中，提取所有“期望执行时间在当前时间点”且“任务执行状态为待执行”的同步执行任务，并向同步规划任务***中同步执行***发布任务，通知进行数据同步任务执行；
步骤4：同步执行***获取到规划***发送的同步执行任务，按照任务的具体内容，在指定时刻完成数据同步；同步执行***在执行任务的过程中，将同步任务的执行情况定期同步至同步规划任务***中监控***进行数据归档；
特别地，在数据同步任务执行过程中，若遇到异常导致同步需要暂时停止，更新同步执行任务的期望时间，待到更新后的期望时间点后，再次执行数据同步；
特别地，如若在分布式环境中，同步执行***分布在多个节点上，每个节点上的同步执行***将当前节点正在执行的任务编号发送给规划检查子***，由规划检查子***对执行***中的任务状态和规划***维护的任务状态核对，如果节点存在任务丢失情况则将对应任务重新发布到执行***。
特别地，在数据同步任务执行过程中，若遇到异常导致同步需要暂时停止，更新同步执行任务的期望时间，待到更新后的期望时间点后，再次执行数据同步；
特别地，规划***和规划执行***的所有运行情况均由监控***实时采集；同时，监控***不仅对规划和执行同步数据过程中的异常做预警操作；也实时控制规划***与执行***，包括***起停、任务状态实时调整、任务分配；
步骤5：当步骤四的数据同步任务执行完毕，同步规划任务***记录本次数据同步任务的结束时间；
步骤6：按照业务数据同步周期，当进入在下一个规划期时，同步规划任务***继续按照步骤2的方法，规划同步任务的执行。
进一步，在步骤1所述为每一个账号创建与业务相关的同步规划任务过程中，涉及到的信息包括对接***的关联账号信息、数据同步的业务类型、业务数据同步规划周期、同步规划任务的启停状态；
其中，所述业务数据同步规划周期，用于指明从规划任务库中提取规划任务，做执行时间和任务信息的规划周期；
所述规划任务的启停状态，包括未执行、暂停、已执行，用于标识同步规划任务在当前时刻的执行状态；当出现执行异常的情况，通过设置规划任务的启停状态，控制规划任务的暂停和重试。
进一步，步骤2的具体流程为：业务规划同步子***从规划任务库中提取“未执行”的规划任务，并按照规划任务，对规划任务的即将执行进行初始化，包括具体任务内容及期望执行时间的初始化，经规划后的同步执行任务放入执行任务库中；
数据同步执行任务的创建按照具体需求，创建一个或多个；针对规划***实施的任务规划过程及本次规划时间段内出现的相关异常，将定期同步录入监控***中，统一进行数据归档；
其中，所述具体任务内容指明任务编号、同步执行任务类型、任务信息、任务执行状态；所述期望执行时间是指某一项同步任务的即将执行的时间。
进一步，在所述步骤4中，如若是在分布式环境中，同步执行***分布在多个节点上，每个节点上的同步执行***将当前节点正在执行的任务编号发送给规划检查子***，由规划检查子***对同步执行***中的任务状态和规划***维护的任务状态核对，如节点存在任务丢失情况则将对应任务重新发布到同步执行***。
有益效果
(1)本发明以跨***的账号为基础，通过将账号与有同步需求的业务进行绑定，使业务数据的同步执行能按照业务当前同步执行的需求，实施规划、执行及监控，支持不同账号在不同业务场景内定时、自动地同步数据，实现多***间数据同步的定制化，并提高不同账号在执行数据同步过程中的完整性和灵活性；
(2)本发明通过将数据同步的规划、执行及监控过程独立划分，使数据同步任务不仅实现整体***结构的水平扩展性，也能抵抗用户量增长带来的***压力；
(3)本发明以***间账号为单位，在同步任务规划和同步任务执行过程中，通过实时收集、记录和监控每一个账号的每一次业务数据的同步情况，保证对异常及故障的发生过程、发源地的快捷及准确定位；
附图说明
图1为本发明实施例中一种基于账号的跨***的数据同步***结构图；
图2为本发明实施例中同步规划***的结构图；
图3为本发明实施例中基于账号的跨***的数据同步方法实施流程图；
图4为本发明实施例中基于规划和执行时间的数据同步执行过程展示图。
具体实施例
为了让本技术领域的人能够更好的理解本申请实例中的技术方案，下面结合附图对本申请实施中的本发明的技术方案做进一步的说明。
图1为本发明实施例中一种基于账号的跨***的数据同步***结构图，具体包括规划任务库101、执行任务库102、同步规划***103、同步执行***104、同步监控***105；其中规划***按照规划周期，定期地从规划任务库中提取需要做执行规划的同步任务，经规划完毕的同步执行任务存储在执行任务库中，待到达执行时间时，规划***从执行任务库中抓取同步执行任务，并发送至规划执行***完成同步执行任务的实施；每一次的执行任务规划过程和执行任务实施过程中的运行数据，均上传至监控***。
所述规划任务库101用于存放与跨***账号相关联的、有业务数据同步需求、待规划执行的任务；
所述执行任务库102用于存放已完成执行规划的同步任务；
所述同步规划***103，一方面通过检索账号，为有新业务同步需求的账号，创建与账号绑定的规划任务；另一方面按照规划周期，定期地根据规划任务库中的任务，创建相关规划任务的执行任务，并对执行任务在未来时刻的实施做规划；
具体包括账号规划同步子***103-1、业务规划同步子***103-2(同步任务的创建)、规划任务发布子***103-3(同步任务的发布及分配)、规划检查子***103-4(识别处理分配异常及执行异常)；
所述同步执行***104：对规划***规划出的同步执行任务进行实施，定时将自己正在执行的同步任务上报给规划***进行核对，防止有任务丢失；
所述同步监控***105：定期收集所有规划***和规划执行***的运行情况，对规划和执行同步数据过程中的异常做预警操作，保障***能够稳定高效的运行。
参见图2为本发明实施例中同步规划***的结构图，其中，所述账号规划同步子***103-1用于检测同步状态变更的账号(同步状态包括有新的业务同步需求、停止某几项业务同步、关闭所有的业务同步)，并将这些发生变更的账号数据发送给业务规划同步子***，业务规划同步子***根据账户绑定的业务情况进行具体业务规划的开启和中止；
所述业务规划同步子***103-2负责同步执行任务的创建；根据账号开通的业务服务数据，为相应的业务创建以时间为维度的规划任务，创建完毕后再根据账号的数据动态设定下一次需要规划的时间；
所述规划任务发布子***103-3负责将同步执行任务对外发布至同步执行***104；在发布过程中，因异常而丢失的任务由规划检查子***103-4检测并重新发布；
图3为本发明实施例中一种基于账号的跨***的数据同步方法实施流程图，通过绑定跨***的账号与有同步需求的业务，形成基于账号的业务数据同步任务，按照不同业务的同步需求配置同步执行时间，使不同账号在不同业务场景内定时执行业务数据的同步，实现不同账号的数据同步个性化定制，支持***间业务数据同步的差异化，具体包括：
步骤301：建立跨***的用户账号与有数据同步需求的业务之间的关联：在数据同步覆盖的业务场景中，为每一个账号创建与业务相关的同步规划任务，形成与账号绑定的业务同步规划任务，并将同步规划任务放入规划任务库中；
在创建过程中涉及到的信息具体包括：对接***的关联账号信息、数据同步的业务类型、业务数据同步规划周期、同步规划任务的启停状态；
所述同步规划任务指明了需要定期执行同步更新数据的任务类型，存储在规划任务库101中；
所述业务数据同步规划周期，用于指明从规划任务库中提取规划任务，做执行时间和任务信息的规划周期；
所述规划任务的启停状态，包括未执行、暂停、已执行，用于标识同步规划任务在当前时刻的执行状态；当出现执行异常的情况，通过设置规划任务的启停状态，控制任务的暂停和重试；
步骤302：当达到同步执行任务需进行规划的时间点时，即过一个业务数据同步规划周期，同步规划***103触发数据同步执行任务的创建，具体为：业务规划同步子***103-2从规划任务库中提取“未执行”的规划任务，并按照规划任务，对规划任务的即将执行进行初始化，包括具体任务内容及期望执行时间的初始化，经规划后的同步执行任务放入执行任务库102中；
其中，所述具体任务内容指明任务编号、同步执行任务类型、任务信息、任务执行状态；
所述期望执行时间是指某一项同步任务的即将执行的时间；
特别地，针对同步规划***103实施的任务规划过程及本次规划时间段内出现的相关异常，将定期同步录入监控***105中，统一进行数据归档；
特别地，数据同步执行任务的创建按照具体需求，创建一个或多个；
步骤303：由规划***103发布及分配同步执行任务：当时间达到同步执行任务的期望时间点，规划任务发布子***103-3从执行任务库中，提取所有“期望执行时间在当前时间点”且“任务执行状态为待执行”的同步执行任务，并向同步执行***104发布任务，通知进行数据同步任务执行；
步骤304：同步执行***104获取到规划***发送的同步执行任务，按照任务的具体内容，在指定时刻完成数据同步；执行***在执行同步任务的过程中，将任务的执行情况定期同步至监控***105进行数据归档；
特别地，采用分布式的方法，同步执行***分布在多个节点上，每个节点上的同步执行***将当前节点正在执行的任务编号发送给规划检查子***103-4，由规划检查子***103-4对执行***104中的任务状态和规划***103维护的任务状态核对，如节点存在任务丢失情况则将对应任务重新发布到执行***104。
特别地，在数据同步任务执行过程中，若遇到异常导致同步需要暂时停止，更新同步执行任务的期望时间，待到更新后的期望时间点后，再次执行数据同步；
步骤305：当步骤四的数据同步任务执行完毕，同步规划***记录本次数据同步任务的结束时间；
步骤306：按照业务数据同步周期，当进入在下一个规划期时，同步规划***继续按照步骤二的方法，规划同步任务的执行；
图4为本发明实施例中基于规划和执行时间的数据同步执行过程展示图；在本发明实施例的同步执行展示图中，将规划时间和执行时间分为两个时间维度，其中纵轴为规划时间，用于记录规划任务的规划频率，比如9:00,9:30,10:00；横轴为执行时间，用于记录某一个同步执行任务的期望执行时间，比如9:00,9:30,10:00,10:30。
在同步执行任务创建前，根据***数据同步覆盖的业务场景为每一个账号创建相应的同步规划任务，比如：商品、订单的数据需要进行跨***的数据同步，那么就为一个账号创建对应的商品同步规划任务和订单同步规划任务；***根据每个账户设定的业务数据同步间隔对规划任务的下一次规划时间进行刷新；在本发明实施例中，建立用户账号和“订单同步”规划任务的关联，并将“订单同步”规划任务存储在规划任务库中，当达到“订单同步”规划时刻，创建该任务的具体执行信息，比如“拉取9:00-9:30的Amazon订单，实现***间的订单同步”，期望执行时间是9:00；
当横轴“执行时间”达到“拉取9:00-9:30的Amazon订单”的期望执行时间，即9:00，执行任务“拉取9:00-9:30的Amazon订单”从执行任务库中提取，发送至执行***进行执行操作，如果任务执行中遇到异常情况需要暂停一段时间(如10分钟)后再执行，那么当前执行任务的期望时间将会更新到9:10，下一次当时间过了9:10，该执行任务将会被规划***提取出做二次执行。

Claims (2)

1.一种基于账号的跨***数据同步方法，其特征在于，通过绑定跨***的账号与有同步需求的业务，形成基于账号的业务数据同步任务，按照不同业务的同步需求配置同步执行时间，使不同账号在不同业务场景内定时执行业务数据的同步，实现不同账号的数据同步个性化定制，支持***间业务数据同步的差异化，具体步骤包括：
步骤1：建立跨***的用户账号与有数据同步需求的业务之间的关联：在数据同步覆盖的业务场景中，为每一个账号创建与业务相关的同步规划任务，形成与账号绑定的业务同步规划任务，并将同步规划任务放入同步规划任务库中；
所述同步规划任务指明需要定期同步更新数据的任务类型，存储在规划任务库中；
步骤2：当达到同步规划任务需进行执行的时间点时，即过一个业务数据同步规划周期，同步规划任务***触发数据同步执行任务的创建；
步骤3：由同步规划任务***发布及分配同步执行任务：当时间达到同步执行任务的期望时间点，同步规划任务***中规划任务发布子***从执行任务库中，提取所有“期望执行时间在当前时间点”且“任务执行状态为待执行”的同步执行任务，并向同步规划任务***中同步执行***发布任务，通知进行数据同步任务执行；
步骤4：同步执行***获取到规划***发送的同步执行任务，按照任务的具体内容，在指定时刻完成数据同步；同步执行***在执行任务的过程中，将同步任务的执行情况定期同步至同步规划任务***中监控***进行数据归档；
在数据同步任务执行过程中，若遇到异常导致同步需要暂时停止，更新同步执行任务的期望时间，待到更新后的期望时间点后，再次执行数据同步；
步骤5：当步骤4的数据同步任务执行完毕，同步规划任务***记录本次数据同步任务的结束时间；
步骤6：按照业务数据同步周期，当进入在下一个规划期时，同步规划任务***继续按照步骤2的方法，规划同步任务的执行；
步骤1所述为每一个账号创建与业务相关的同步规划任务过程中，涉及到的信息包括对接***的关联账号信息、数据同步的业务类型、业务数据同步规划周期、同步规划任务的启停状态；其中，所述业务数据同步规划周期，用于指明从规划任务库中提取规划任务，做执行时间和任务信息的规划周期；
所述规划任务的启停状态，包括未执行、暂停、已执行，用于标识同步规划任务在当前时刻的执行状态；当出现执行异常的情况，通过设置规划任务的启停状态，控制规划任务的暂停和重试；
步骤2的具体流程为：业务规划同步子***从规划任务库中提取“未执行”的规划任务，并按照规划任务，对规划任务的即将执行进行初始化，包括具体任务内容及期望执行时间的初始化，经规划后的同步执行任务放入执行任务库中；
数据同步执行任务的创建按照具体需求，创建一个或多个；针对规划***实施的任务规划过程及本次规划时间段内出现的相关异常，将定期同步录入监控***中，统一进行数据归档；其中，所述具体任务内容指明任务编号、同步执行任务类型、任务信息、任务执行状态；所述期望执行时间是指某一项同步任务的即将执行的时间；
在所述步骤4中，如若是在分布式环境中，同步执行***分布在多个节点上，每个节点上的同步执行***将当前节点正在执行的任务编号发送给规划检查子***，由规划检查子***对同步执行***中的任务状态和规划***维护的任务状态核对，当节点存在任务丢失情况则将对应任务重新发布到同步执行***。
2.根据权利要求1所述的基于账号的跨***数据同步方法进行同步的***，其特征在于，包括两个***：同步规划***和同步执行***；
所述同步规划***包括账号规划同步子***、业务规划同步子***即进行同步任务的创建、规划任务发布子***即进行同步任务的发布及分配、规划检查子***即进行识别处理分配异常及执行异常的程序：
所述执行***主要负责执行同步规划***分配出的任务，保证***整体执行的高效性，同步执行***采用分布式的多点部署方式，对于规划***中防止异常丢失的情况；
在所述同步规划***和同步执行***的基础上，还包括同步规划任务库、同步执行任务库、同步监控***；同步规划***按照规划周期，定期地从同步规划任务库中提取需要做执行规划的同步任务，经规划完毕的同步执行任务存储在执行任务库中，待到达执行时间时，同步规划***从同步执行任务库中抓取同步执行任务，并发送至同步规划执行***完成同步执行任务的实施；每一次的同步执行任务规划过程和同步执行任务实施过程中的运行数据，均上传至同步监控***；
所述同步规划任务库，用于存放与跨***账号相关联的、有业务数据同步需求、待规划执行的任务；
所述同步执行任务库，用于存放已完成执行规划的同步任务；
所述同步监控***，用于定期收集所有规划***和规划执行***的运行情况，对规划和执行同步数据过程中的异常做预警操作，实时控制规划***与执行***，包括***起停、任务状态实时调整、任务分配；
所述账号规划同步子***用于检测平台内状态变更的账号，并将这些发生变更的账号数据发送给业务规划同步子***，业务规划同步子***根据账户绑定的业务情况进行具体业务规划的开启和中止；其中，同步状态包括有新的业务同步需求、停止某几项业务同步、关闭所有的业务同步；
所述业务规划同布子***是根据账号开通的业务服务数据，为相应的业务创建以时间为维度的规划任务，创建完毕后再根据账号的数据动态设定下一次需要规划的时间；
所述规划任务发布子***是将规划出的任务分配到执行***进行任务执行操作，期间由于异常丢失的任务由规划检查子***检测并重新发布；
所述同步执行***主要负责执行同步规划***分配出的任务，保证***整体执行的高效性，执行***采用分布式的多点部署方式，对于规划***中防止异常丢失的情况。
CN201710325013.XA 2017-05-10 2017-05-10 一种基于账号的跨***数据同步方法及*** Active CN107145397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710325013.XA CN107145397B (zh) 2017-05-10 2017-05-10 一种基于账号的跨***数据同步方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710325013.XA CN107145397B (zh) 2017-05-10 2017-05-10 一种基于账号的跨***数据同步方法及***

Publications (2)

Publication Number Publication Date
CN107145397A CN107145397A (zh) 2017-09-08
CN107145397B true CN107145397B (zh) 2018-11-23

Family

ID=59777371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710325013.XA Active CN107145397B (zh) 2017-05-10 2017-05-10 一种基于账号的跨***数据同步方法及***

Country Status (1)

Country Link
CN (1) CN107145397B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614239A (zh) * 2018-12-12 2019-04-12 浪潮(北京)电子信息产业有限公司 ***集群负载均衡方法、装置及相关设备
CN111600862B (zh) * 2020-05-09 2022-06-14 青岛海信智慧生活科技股份有限公司 一种用户账户管理方法及设备
CN113760628B (zh) * 2020-06-05 2024-06-18 北京沃东天骏信息技术有限公司 用于监控数据处理的方法和装置
CN111881390A (zh) * 2020-06-08 2020-11-03 长沙市到家悠享网络科技有限公司 信息处理方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156920A (zh) * 2011-04-20 2011-08-17 铁道部运输局 基于多维规律定制的任务管理调度***及方法
CN103051646A (zh) * 2011-10-12 2013-04-17 腾讯数码（天津）有限公司 信息同步方法和设备
CN104021444A (zh) * 2014-06-13 2014-09-03 中国民航信息网络股份有限公司 跨平台作业调度***
CN104580291A (zh) * 2013-10-17 2015-04-29 陈冰 平台数据共享***
CN106021494A (zh) * 2016-05-19 2016-10-12 ***股份有限公司 一种主数据同步方法及装置
CN106325984A (zh) * 2015-06-30 2017-01-11 上海证大喜马拉雅网络科技有限公司 一种大数据任务调度装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156920A (zh) * 2011-04-20 2011-08-17 铁道部运输局 基于多维规律定制的任务管理调度***及方法
CN103051646A (zh) * 2011-10-12 2013-04-17 腾讯数码（天津）有限公司 信息同步方法和设备
CN104580291A (zh) * 2013-10-17 2015-04-29 陈冰 平台数据共享***
CN104021444A (zh) * 2014-06-13 2014-09-03 中国民航信息网络股份有限公司 跨平台作业调度***
CN106325984A (zh) * 2015-06-30 2017-01-11 上海证大喜马拉雅网络科技有限公司 一种大数据任务调度装置
CN106021494A (zh) * 2016-05-19 2016-10-12 ***股份有限公司 一种主数据同步方法及装置

Also Published As

Publication number Publication date
CN107145397A (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
CN107145397B (zh) 一种基于账号的跨***数据同步方法及***
CN110768833B (zh) 基于kubernetes的应用编排部署方法及装置
CN108337303A (zh) 一种数据同步方法和分布式***
CN102098342B (zh) 一种基于事务级的数据同步方法、装置及***
US10229181B2 (en) System and method for synchronizing data between communication devices in a networked environment without a central server
CN105701159B (zh) 一种数据同步装置和方法
CN108280239A (zh) 同步机器人***节点的***和方法
CN106126332A (zh) 分布式定时任务调度***及方法
US11641312B2 (en) Consolidating manufacturing intelligence event queue items
CN108255592A (zh) 一种Quartz集群定时任务处理***及方法
CN105635311A (zh) 一种云管理平台中资源池信息同步的方法
CN108228397A (zh) 一种集群间跨机房同步的方法和装置
CN110019200A (zh) 一种索引的建立、使用方法及装置
CN110532021A (zh) 分布式控制***的组态文件的处理方法及装置
CN105306273B (zh) 流程配置方法及装置
CN109976942A (zh) 一种数据备份和恢复方法、备份服务器和源服务器
CN110489494A (zh) 分布式数据库在线扩容方法及装置
CN109885612A (zh) 区块链智能合约的同步生效方法及装置
CN110347749A (zh) 一种基于crdt的分布式类json数据自动合并的方法及***
CN111435329A (zh) 一种自动化测试方法和装置
CN111475537B (zh) 基于pulsar的全球数据同步***
CN113076186A (zh) 任务处理的方法、装置、电子设备和存储介质
CN103679403A (zh) 一种分布式项目管理***自动并行同步数据的方法
CN106874150A (zh) 一种虚拟机高可用容灾方法及其***
CN109828977A (zh) 同步表单数据的方法、装置和存储介质及客户端、服务端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant