CN113672579B - 一种基于webservice的档案同步方法 - Google Patents
一种基于webservice的档案同步方法 Download PDFInfo
- Publication number
- CN113672579B CN113672579B CN202110999690.6A CN202110999690A CN113672579B CN 113672579 B CN113672579 B CN 113672579B CN 202110999690 A CN202110999690 A CN 202110999690A CN 113672579 B CN113672579 B CN 113672579B
- Authority
- CN
- China
- Prior art keywords
- data
- synchronized
- client
- file
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000001360 synchronised effect Effects 0.000 claims abstract description 88
- 238000009826 distribution Methods 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 230000008447 perception Effects 0.000 claims abstract description 8
- 238000010276 construction Methods 0.000 claims abstract description 3
- 238000004891 communication Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 15
- 230000000977 initiatory effect Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 6
- 239000002245 particle Substances 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 102100029768 Histone-lysine N-methyltransferase SETD1A Human genes 0.000 claims description 4
- 101000865038 Homo sapiens Histone-lysine N-methyltransferase SETD1A Proteins 0.000 claims description 4
- 101150117538 Set2 gene Proteins 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 238000011282 treatment Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 101150055297 SET1 gene Proteins 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000006798 recombination Effects 0.000 abstract description 2
- 238000005215 recombination Methods 0.000 abstract description 2
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000422846 Sequoiadendron giganteum Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/44—Program or device authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明请求保护的一种基于webservice的档案同步方法，基于分布式服务组合引擎构建，通过客户端发起同步备份请求，把待同步档案按基于数据感知的服务组合执行调度算法进行调度分配，根据获取到的调度分配结果把旧数据文件进行调度分配，比较完所有数据块后把需要传输的差异块信息保存到缓存中，根据收到的缓存中把响应的差异数据块发送给服务端，服务端进行重组，完成增量同步。本发明实现了面向大数据应用的分布式服务组合引擎，通过将服务组合技术应用到大数据应用的构建中，在进行数据同步时，无需同步具体的更新数据，而是仅同步更新前后的数据之间的差异即可，大大减少了同步数据的数据量，节省了同步资源，提高了同步效率。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种基于webservice的档案同步方法。
背景技术
在经济高速发达的社会中，企业通讯档案是企业身份识别和对外通信信息的载体，因此人与人之间需要频繁的相互交换通信档案。当前企业通信档案普遍采用的是纸质档案，一定时期内简捷实用，随着信息技术的高速发展，纸质档案载体就显得落后和不合时宜。
首先纸质档案包含的信息相当有限，主要是数量有限的文本信息，不能支持个性化的图片形象、语言及视频声明信息，很难完整描述个体的通信和身份信息；
其次，纸质档案对信息更改和个性化定制的适应性很差，每次变更都需要重新印制，同时当身份信息和通讯方式发生变化时不能及时主动通知档案持有人；
第三，纸质档案无法实现快速的检索和查找，当纸质档案保存超过100张后，查找就变得非常困难，相当耗时；
第四，纸质档案本身不具备和其他通信设备相互同步的能力，如果要同步一般采用手工对照输入方法，虽然也有扫描输入法，但毕竟在准确率上无法保证，还需要后期手工修正，同时又多出一套扫描设备，治标不治本；
第五，也是最关键的一点，纸质档案非常不环保，据有关专家计算，生产1吨纸张需要用17棵树木。我国1年造纸消耗20年以上的生树木近2亿棵，每生产1吨纸张所消耗的能源相当于生产1吨钢铁的能耗，以中等城市青岛为例，每月全青岛仅制作档案所需要的纸就要有30吨，而制作这些纸则至少需要粉碎600棵大树。在通讯信息变更重新印制后前期档案就会大量纸张浪费，同时相互交换的档案80％长期处于闲置无用状态，也是大量的纸张浪费，手递手交换方式在卫生上也存在隐患。因此纸质档案方式既不经济又不方便。同时导致了大量纸张的浪费，不符合环保的理念。
目前市场上也存在一些电子档案产品和相关交换技术，但都没有能够广泛的推广和使用，除了市场的因素外，主要还是在技术上存在一些缺陷和不足：
(1)对多媒体信息支持不够。在信息高速发达的时代，简单的文字信息已经不能完整的表达个体的身份和通讯信息，同时随着交际面的扩大，通信档案中同名同姓的人也越来越多，单一文字信息也很难保证其唯一性。采用文本、图片、声音、视频及甚至其他独特信息来制作企业通讯档案和身份材料，是技术和需求发展的必然。
(2)对多通信协议和无缝交换支持不够。当前大多数电子档案交换技术都采用红外方式，由于红外接口方向性较差，导致实用性也相对很差；另外有些也采用了蓝牙技术，但没有解决远程交换问题。通过蓝牙和WIFI解决近距离交换，通过WIFI和Internet解决远程交换，形成多协议一体化的无缝交换、同步平台，是以往产品难以实现的。
(3)不能实现智能交换和主动升级服务。传统产品和技术在实现档案交换是都需要大量的人工繁琐操作，特别是在不同数据格式的档案之间交换时，需要大量对照工作及后期修正，易用性很差；同时当企业档案发生信息修改后，也不能主动的通知已经保存该档案的设备自动升级。
(4)安全性和防易失性不够。传统产品和技术没有实现严格的登录认证和交换认证，不能有效的防止通讯档案泄露；同时孤立设备不能实现分布式冗余存储，在设备损坏或丢失的情况下，会导致整个通讯档案丢失。
(5)外部可扩展服务少。已有的电子档案产品大多是单一的手持设备，其交换主要是在和同类设备之间发生，和异构的通信设备和***之间交换或同步就几乎不可能；同时也不提供后台网站服务支持，不能在WEB上实现电子档案的维护，输出及交换，可扩展的服务性功能支持少。
现有的企业信息化管理***无法将企业生产过程中的所有信息进行整合、处理与分析，从而做出精准的计划与决策，进而影响大规模定制家具企业生产过程管控的及时性、准确性与有效性。
发明内容
为解决当前档案信息管理中的同步效率低下问题，本发明公开一种基于webservice的档案同步方法，用于基于web服务架构下对档案的同步进行合理调度。
本发明请求保护一种基于webservice的档案同步方法，应用于客户端和服务器端之间，基于分布式服务组合引擎构建，其特征在于，所述方法包括步骤：
S1、客户端发起同步备份请求；
S2、客户端把待同步档案按基于数据感知的服务组合执行调度算法进行调度分配；
S3、客户端通过网络传输模块把调度分配结果发送到服务端；
S4、服务端根据获取到的调度分配结果把旧数据文件根据同样的方式进行调度分配，比较完所有数据块后把需要传输的差异块信息保存到缓存中，并传客户端；
S5、客户端根据收到的缓存中把响应的差异数据块发送给服务端，服务端把差异信息和旧数据信息进行重组，完成增量同步。
进一步地，如权利要求1所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述基于分布式服务组合引擎构建，还包括：
利用模型驱动的服务组合,通过对用户需求进行建模，建模得到的大数据服务组合模型，即一个有向无环图(DAG)流程文件，该服务组合文件通过分布式服务组合引擎解析执行来满足用户构建大数据应用需求；
通过已存在的服务组件重新构造出一个全新的符合业务需求新的“组合模型”，该模型通过服务组合引擎可以解析成为大数据服务组合流程实例，大数据服务组合流程实例是由待同步档案数据构成。每个待同步档案数据是通过服务组合引擎将流程文件中的大数据服务任务进行实例化产生的；
通过重新调度子服务的执行顺序，让数据流提交问题请求，获取中间结果，得到子服务的问题求解，最终反馈给用户需要的问题的求解；
每个待同步档案数据将被调度到其所要处理的服务代理节点执行，通过设置服务代理节点，服务提供方将与其最近的服务代理节点进行数据交互，并将处理之后的中间结果数据集保存到服务代理节点上，供其他待同步档案数据进行使用。
进一步地，所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S1、客户端发起同步备份请求，还包括：
S101、所述客户端对当前所在的客户端集群进行网络性能检测；
S102、基于网络性能检测的检测结果对当前客户端的待同步档案进行优先级划分；
S103、基于所述待同步档案进行优先级划分结果发起同步备份请求；
所述基于所述待同步档案进行优先级划分结果发起同步备份请求为设置时间间隔依优先级顺序发起同步备份请求。
进一步地，所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S2、客户端把待同步档案按基于数据感知的服务组合执行调度算法进行调度分配，还包括：
将待同步档案根据业务和档案数据特征划分为四组，分别为有业务约束且档案数据密集型、无业务约束且档案数据密集型、有业务约束且档案数据非密集型、无业务约束且档案数据非密集型，并基于改进粒子群算法实现对每组中的任务实例与分布的计算资源的动态匹配。
进一步地，所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S3、客户端通过网络传输模块把调度分配结果发送到服务端，还包括：
采用TCP/IP链路，使用多进程方式提高传输效率；
初始化开始首先读取配置文件信息，获取IP地址、网络端口信息；
通过createMainProcess()函数创建主进程，主要负责网络通信链接。执行主进程，监听获取到的网络端口，等待服务端响应消息；
服务端响应来自客户端的请求时，主进程响应请求创建子进程，主要负责两端的数据传输；
子进程完成通信传输后关闭，主进程仍保持监听端口，等待下一次链接。
进一步地，所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S4、服务端根据获取到的调度分配结果把旧数据文件根据同样的方式进行调度分配，比较完所有数据块后把需要传输的差异块信息保存到缓存中，并传客户端，还包括：
在针对场景对象创建的至少一个数据块中存在数据更新的情况下，确定存在数据更新的数据块中更新后的数据；
在满足预设同步条件的情况下，根据所述更新后的数据，生成对应的差异描述数据块；
将所述差异描述数据块同步给所述客户端。
进一步地，所述一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S5、客户端根据收到的缓存中把响应的差异数据块发送给服务端，服务端把差异信息和旧数据信息进行重组，完成增量同步，还包括：
实时监控客户端的指定目录或文件的变化情况，当被监控的文件发生变化时，会将文件变更以事件的形式生成队列，等待处理；
对同步过程进行异常处理；
初始化包括需要的参数和文件路径初始化；
接收到异常消息后，获取其异常类型和详细的异常描述，根据不同的异常类型进行不同的处理。
将不同的异常类型及内容按照上述的格式记录到***日志中，以便查看时可以更快地找到异常来源并修复；
如果判断异常非常严重，已有处理方法无法解决时，会通知管理人员进行检测维护。
本发明请求保护的一种基于webservice的档案同步方法，基于分布式服务组合引擎构建，通过客户端发起同步备份请求，把待同步档案按基于数据感知的服务组合执行调度算法进行调度分配，根据获取到的调度分配结果把旧数据文件进行调度分配，比较完所有数据块后把需要传输的差异块信息保存到缓存中，根据收到的缓存中把响应的差异数据块发送给服务端，服务端进行重组，完成增量同步。本发明实现了面向大数据应用的分布式服务组合引擎，通过将服务组合技术应用到大数据应用的构建中，在进行数据同步时，无需同步具体的更新数据，而是仅同步更新前后的数据之间的差异即可，大大减少了同步数据的数据量，节省了同步资源，提高了同步效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所涉及的一种基于webservice的档案同步方法的工作流程图；
图2为本发明所涉及的一种基于webservice的档案同步方法实施例一的工作流程图。
具体实施方式
本申请的说明性实施例包括但不限于一种基于工作流的档案调度方法。
可以理解，如本文所使用的，术语“模块”、“单元”可以指代或者包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或群组)和/或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件，或者可以作为这些硬件组件的一部分。
可以理解，在本申请各实施例中，处理器可以是微处理器、数字信号处理器、微控制器等，和/或其任何组合。根据另一个方面，所述处理器可以是单核处理器，多核处理器等，和/或其任何组合。
可以理解，本申请提供的一种基于工作流的档案调度方法可以在各种电子设备上实施，包括但不限于，服务器、多个服务器组成的分布式服务器集群、手机、平板电脑、膝上型计算机、台式计算机、可穿戴设备、头戴式显示器、移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备、个人数字助理、虚拟现实或者增强现实设备、其中嵌入或耦接有一个或多个处理器的电视机等电子设备等。
参照图1，本发明请求保护一种基于webservice的档案同步方法，应用于客户端和服务器端之间，基于分布式服务组合引擎构建，其特征在于，所述方法包括步骤：
S1、客户端发起同步备份请求；
S2、客户端把待同步档案按基于数据感知的服务组合执行调度算法进行调度分配；
S3、客户端通过网络传输模块把调度分配结果发送到服务端；
S4、服务端根据获取到的调度分配结果把旧数据文件根据同样的方式进行调度分配，比较完所有数据块后把需要传输的差异块信息保存到缓存中，并传客户端；
S5、客户端根据收到的缓存中把响应的差异数据块发送给服务端，服务端把差异信息和旧数据信息进行重组，完成增量同步。
进一步地，如权利要求1所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述基于分布式服务组合引擎构建，还包括：
利用模型驱动的服务组合,通过对用户需求进行建模，建模得到的大数据服务组合模型，即一个有向无环图(DAG)流程文件，该服务组合文件通过分布式服务组合引擎解析执行来满足用户构建大数据应用需求；
通过已存在的服务组件重新构造出一个全新的符合业务需求新的“组合模型”，该模型通过服务组合引擎可以解析成为大数据服务组合流程实例，大数据服务组合流程实例是由待同步档案数据构成。每个待同步档案数据是通过服务组合引擎将流程文件中的大数据服务任务进行实例化产生的；
通过重新调度子服务的执行顺序，让数据流提交问题请求，获取中间结果，得到子服务的问题求解，最终反馈给用户需要的问题的求解；
进一步地，参照附图2，本发明所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S1、客户端发起同步备份请求，还包括：
S101、所述客户端对当前所在的客户端集群进行网络性能检测；
S102、基于网络性能检测的检测结果对当前客户端的待同步档案进行优先级划分；
S103、基于所述待同步档案进行优先级划分结果发起同步备份请求；
所述基于所述待同步档案进行优先级划分结果发起同步备份请求为设置时间间隔依优先级顺序发起同步备份请求。
具体的，接收档案同步请求，所述档案同步请求中携带有与待同步数据对应的标识信息；
根据所述标识信息，从预置数据库中获取与所述待同步数据对应的数据量信息，所述预置数据库中保存有与各条数据分别对应的标识信息和数据量信息，所述数据量信息用于标识所述待同步数据的数据量，基于所述数据量标识所述待同步档案进行优先级划分；
按照所述数据量信息，分配与所述档案同步请求对应的数据处理集群，所述数据处理集群中包含有一个或多个能够执行数据同步操作的处理器；
按照预置时间间隔，对所述处理器对应的数据同步性能进行检测；
根据检测结果对所述数据处理集群进行更新。
通过检测数据处理集群中的处理器，当该处理器的处理能力不符合当前的集群时，再使用其处理数据同步任务将降低整个数据处理集群的任务处理效率。
进一步地，所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S2、客户端把待同步档案按基于数据感知的服务组合执行调度算法进行调度分配，还包括：
将待同步档案根据业务和档案数据特征划分为四组，分别为有业务约束且档案数据密集型、无业务约束且档案数据密集型、有业务约束且档案数据非密集型、无业务约束且档案数据非密集型，并基于改进粒子群算法实现对每组中的任务实例与分布的计算资源的动态匹配。
每个待同步档案数据将被调度到其所要处理的服务代理节点执行，通过设置服务代理节点，服务提供方将与其最近的服务代理节点进行数据交互，并将处理之后的中间结果数据集保存到服务代理节点上，供其他待同步档案数据进行使用。
根据业务约束原则将服务组合应用，将待同步档案数据切分成两个集合Set1(Set1：有业务约束的任务实例集合)，Set2(Set2：无业务约束的任务实例集合)，为集合Set1中的任务实例确定相关的计算节点的范围，以便于后续操作。
根据任务实例原则，将Set1，Set2两个待同步档案数据集合进一步根据每个待同步档案数据的数据密集型程度来进行划分，将数据密集型的待同步档案数据分为集合Set11，Set21。集合Set11，Set21中的待同步档案数据将被分配到中心计算节点资源，将数据非密集型任务实例分为集合Set12，Set22。集合Set12，Set22中的任务实例将被分配到边缘计算节点资源。
根据容量约束原则,将Set11，Set21，Set12，Set22集合中的任务根据数据依赖和时序依赖进行调度到相应的计算节点中去。每个计算节点上得到分配任务的数量是根据在满足服务组合应用实例截止时间约束的前提下，***整体资源利用率的高低，资源利用率高则分配的任务实例数量则相对比较多。
根据***约束原则，则是监控整体***的负载均衡，当计算节点上出现任务实例过多或者出现故障节点的时候，这个时候则将任务实例调度到其他计算节点上去。
重复遍历服务组合应用集合DSC中的每组应用实例，得到每个服务组合应用实例(从可视化角度可视为有向无环图DAG)得到合理的任务实例分配方案并部署到相应计算节点上。
待同步档案数据与资源的相互映射的问题将采用改进粒子群优化算法(PSO)来将待同步档案数据放置到合适的计算资源上。
进一步地，所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S3、客户端通过网络传输模块把调度分配结果发送到服务端，还包括：
采用TCP/IP链路，使用多进程方式提高传输效率；
初始化开始首先读取配置文件信息，获取IP地址、网络端口信息；
通过createMainProcess()函数创建主进程，主要负责网络通信链接。执行主进程，监听获取到的网络端口，等待服务端响应消息；
服务端响应来自客户端的请求时，主进程响应请求创建子进程，主要负责两端的数据传输；
子进程完成通信传输后关闭，主进程仍保持监听端口，等待下一次链接。
进一步地，所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S4、服务端根据获取到的调度分配结果把旧数据文件根据同样的方式进行调度分配，比较完所有数据块后把需要传输的差异块信息保存到缓存中，并传客户端，还包括：
在针对场景对象创建的至少一个数据块中存在数据更新的情况下，确定存在数据更新的数据块中更新后的数据；
在满足预设同步条件的情况下，根据所述更新后的数据，生成对应的差异描述数据块；
将所述差异描述数据块同步给所述客户端。
针对所述场景对象创建对应的至少一个数据块，接收针对所述至少一个数据块中目标数据块的修改指令，根据所述修改指令，对所述目标数据块中存储的数据进行修改。
服务器可以在针对场景对象创建的至少一个数据块中存在数据更新的情况下，确定存在数据更新的数据块中更新后的数据；在满足预设同步条件的情况下，根据所述更新后的数据，生成对应的差异描述数据块；将所述差异描述数据块同步给待同步客户端。这种情况下，在场景对象中的某个数据发生更新时，可以生成对应的差异描述数据块，该差异描述数据块可以表示更新后的数据和更新前的数据之间的差异，将该差异描述数据块发送给待同步客户端后，待同步客户端就可以获知更新后的数据和更新前的数据之间的差异，从而可以根据该差异对本地存储的更新前的数据进行修改，得到更新后的数据。如此，在进行数据同步时，无需同步具体的更新数据，而是仅同步更新前后的数据之间的差异即可，大大减少了同步数据的数据量，节省了同步资源，提高了同步效率。
进一步地，所述一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S5、客户端根据收到的缓存中把响应的差异数据块发送给服务端，服务端把差异信息和旧数据信息进行重组，完成增量同步，还包括：
实时监控客户端的指定目录或文件的变化情况，当被监控的文件发生变化时，会将文件变更以事件的形式生成队列，等待处理；
对同步过程进行异常处理；
初始化包括需要的参数和文件路径初始化；
接收到异常消息后，获取其异常类型和详细的异常描述，根据不同的异常类型进行不同的处理。
将不同的异常类型及内容按照上述的格式记录到***日志中，以便查看时可以更快地找到异常来源并修复；
如果判断异常非常严重，已有处理方法无法解决时，会通知管理人员进行检测维护。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (5)
1.一种基于webservice的档案同步方法，应用于客户端和服务器端之间，基于分布式服务组合引擎构建，其特征在于，所述方法包括步骤：
S1、客户端发起同步备份请求；
S2、客户端把待同步档案按基于数据感知的服务组合执行调度算法进行调度分配；
S3、客户端通过网络传输模块把调度分配结果发送到服务端；
S4、服务端根据获取到的调度分配结果把旧数据文件根据同样的方式进行调度分配，比较完所有数据块后把需要传输的差异块信息保存到缓存中，并传客户端；
S5、客户端根据收到的缓存，把响应的差异数据块发送给服务端，服务端把差异信息和旧数据信息进行重组，完成增量同步；
所述基于分布式服务组合引擎构建，还包括：
利用模型驱动的服务组合,通过对用户需求进行建模，建模得到的大数据服务组合模型，即一个有向无环图(DAG)流程文件，该服务组合文件通过分布式服务组合引擎解析执行来满足用户构建大数据应用需求；
通过已存在的服务组件重新构造出一个全新的符合业务需求新的“组合模型”，该模型通过服务组合引擎可以解析成为大数据服务组合流程实例，大数据服务组合流程实例是由待同步档案数据构成，每个待同步档案数据是通过服务组合引擎将流程文件中的大数据服务任务进行实例化产生的；
通过重新调度子服务的执行顺序，让数据流提交问题请求，获取中间结果，得到子服务的问题求解，最终反馈给用户需要的问题的求解；
每个待同步档案数据将被调度到其所要处理的服务代理节点执行，通过设置服务代理节点，服务提供方将与其最近的服务代理节点进行数据交互，并将处理之后的中间结果数据集保存到服务代理节点上，供其他待同步档案数据进行使用；所述客户端把待同步档案按基于数据感知的服务组合执行调度算法进行调度分配，还包括：
将待同步档案根据业务和档案数据特征划分为四组，分别为有业务约束且档案数据密集型、无业务约束且档案数据密集型、有业务约束且档案数据非密集型、无业务约束且档案数据非密集型，并基于改进粒子群算法实现对每组中的任务实例与分布的计算资源的动态匹配；
每个待同步档案数据将被调度到其所要处理的服务代理节点执行，通过设置服务代理节点，服务提供方将与其最近的服务代理节点进行数据交互，并将处理之后的中间结果数据集保存到服务代理节点上，供其他待同步档案数据进行使用；
根据业务约束原则将服务组合应用，将待同步档案数据切分成两个集合：Set1：有业务约束的任务实例集合，Set2：无业务约束的任务实例集合，为集合Set1中的任务实例确定相关的计算节点的范围；
根据任务实例原则，将Set1，Set2两个待同步档案数据集合进一步根据每个待同步档案数据的数据密集型程度来进行划分，将数据密集型的待同步档案数据分为集合Set11，Set21；
集合Set11，Set21中的待同步档案数据将被分配到中心计算节点资源，将数据非密集型任务实例分为集合Set12，Set22；
集合Set12，Set22中的任务实例将被分配到边缘计算节点资源；
根据容量约束原则,将Set11，Set21，Set12，Set22集合中的任务根据数据依赖和时序依赖进行调度到相应的计算节点中去；
根据***约束原则，则是监控整体***的负载均衡，当计算节点上出现任务实例过多或者出现故障节点的时候，这个时候则将任务实例调度到其他计算节点上去；重复遍历服务组合应用集合DSC中的每组应用实例，得到每个服务组合应用实例得到合理的任务实例分配方案并部署到相应计算节点上；
待同步档案数据与资源的相互映射的问题将采用改进粒子群优化算法来将待同步档案数据放置到合适的计算资源上。
2.如权利要求1所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S1、客户端发起同步备份请求，还包括：
S101、所述客户端对当前所在的客户端集群进行网络性能检测；
S102、基于网络性能检测的检测结果对当前客户端的待同步档案进行优先级划分；
S103、基于所述待同步档案进行优先级划分结果发起同步备份请求；
所述基于所述待同步档案进行优先级划分结果发起同步备份请求为设置时间间隔依优先级顺序发起同步备份请求。
3.如权利要求1所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S3、客户端通过网络传输模块把调度分配结果发送到服务端，还包括：
采用TCP/IP链路，使用多进程方式提高传输效率；
初始化开始首先读取配置文件信息，获取IP地址、网络端口信息；
通过createMainProcess()函数创建主进程，负责网络通信链接；
执行主进程，监听获取到的网络端口，等待服务端响应消息；
服务端响应来自客户端的请求时，主进程响应请求创建子进程，负责两端的数据传输；
子进程完成通信传输后关闭，主进程仍保持监听端口，等待下一次链接。
4.如权利要求1所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S4、服务端根据获取到的调度分配结果把旧数据文件根据同样的方式进行调度分配，比较完所有数据块后把需要传输的差异块信息保存到缓存中，并传客户端，还包括：
在针对场景对象创建的至少一个数据块中存在数据更新的情况下，确定存在数据更新的数据块中更新后的数据；
在满足预设同步条件的情况下，根据所述更新后的数据，生成对应的差异描述数据块；
将所述差异描述数据块同步给所述客户端。
5.如权利要求1所述的一种基于webservice的档案同步方法，应用于客户端和服务器端之间，其特征在于，所述S5、客户端根据收到的缓存，把响应的差异数据块发送给服务端，服务端把差异信息和旧数据信息进行重组，完成增量同步，还包括：
实时监控客户端的指定目录或文件的变化情况，当被监控的文件发生变化时，会将文件变更以事件的形式生成队列，等待处理；
对同步过程进行异常处理；
初始化包括需要的参数和文件路径初始化；
接收到异常消息后，获取其异常类型和详细的异常描述，根据不同的异常类型进行不同的处理；
将不同的异常类型及内容记录到***日志中，以便查看时可以更快地找到异常来源并修复；
如果判断异常非常严重，已有处理方法无法解决时，会通知管理人员进行检测维护。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110999690.6A CN113672579B (zh) | 2021-08-29 | 2021-08-29 | 一种基于webservice的档案同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110999690.6A CN113672579B (zh) | 2021-08-29 | 2021-08-29 | 一种基于webservice的档案同步方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113672579A CN113672579A (zh) | 2021-11-19 |
| CN113672579B true CN113672579B (zh) | 2023-11-14 |
Family
ID=78547372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110999690.6A Active CN113672579B (zh) | 2021-08-29 | 2021-08-29 | 一种基于webservice的档案同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113672579B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102624871A (zh) * | 2012-02-03 | 2012-08-01 | 杭州杰唐信息技术有限公司 | 一种基于分布式企业服务总线实现的远程文件同步方法 |
| CN109299056A (zh) * | 2018-09-19 | 2019-02-01 | 潍坊工程职业学院 | 一种基于分布式文件***的数据同步方法和装置 |
-
2021
- 2021-08-29 CN CN202110999690.6A patent/CN113672579B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102624871A (zh) * | 2012-02-03 | 2012-08-01 | 杭州杰唐信息技术有限公司 | 一种基于分布式企业服务总线实现的远程文件同步方法 |
| CN109299056A (zh) * | 2018-09-19 | 2019-02-01 | 潍坊工程职业学院 | 一种基于分布式文件***的数据同步方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| DAG 分割模型下的云工作流调度策略;薛 凡;《计算机应用研究》;第36卷(第12期);全文 * |
| 一种新的分布式云工作流调度算法;何中秋;《数字技术与应用》;第38卷(第10期);全文 * |
| 云计算环境下基于遗传蚁群算法的任务调度研究;张雨，李芳，周涛;《计算机工程与应用》;第50卷(第6期);全文 * |
| 面向服务架构中的服务分类及其应用;黄小庆;关维德;周宇;夏安邦;;计算机集成制造***(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113672579A (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Varia | Cloud architectures | |
| US10574588B2 (en) | System and method for reducing latency time with cloud services | |
| US9336288B2 (en) | Workflow controller compatibility | |
| Rao et al. | Performance issues of heterogeneous hadoop clusters in cloud computing | |
| US9852204B2 (en) | Read-only operations processing in a paxos replication system | |
| CN103226539B (zh) | 针对云托管应用的服务水平目标 | |
| US20140149354A1 (en) | High availability for cloud servers | |
| US10922303B1 (en) | Early detection of corrupt data partition exports | |
| US20120084414A1 (en) | Automatic replication of virtual machines | |
| US20120323848A1 (en) | Continuous and asynchronous replication of a consistent dataset | |
| Du et al. | Scientific workflows in IoT environments: a data placement strategy based on heterogeneous edge-cloud computing | |
| CN105187512A (zh) | 一种虚拟机集群负载均衡方法及*** | |
| US9143394B2 (en) | System and method for graph based K-redundant resiliency for IT cloud | |
| US10432703B2 (en) | On-demand session upgrade in a coordination service | |
| CN102521014A (zh) | 虚拟机的部署方法及装置 | |
| Xia | Resource scheduling for piano teaching system of internet of things based on mobile edge computing | |
| Zhao et al. | A taxonomy and survey of stream processing systems | |
| US8812578B2 (en) | Establishing future start times for jobs to be executed in a multi-cluster environment | |
| CN112948088B (zh) | 一种云计算平台中的云工作流智能管理与调度*** | |
| US10691653B1 (en) | Intelligent data backfill and migration operations utilizing event processing architecture | |
| Kathpal et al. | Survey on fault-tolerance-aware scheduling in cloud computing | |
| CN113672579B (zh) | 一种基于webservice的档案同步方法 | |
| Gong | Workflow scheduling based on mobile cloud computing machine learning | |
| CN114237858A (zh) | 一种基于多集群网络的任务调度方法及*** | |
| CN114090201A (zh) | 资源调度方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 769, building 2, East Ring Road, Yanqing Park, Zhongguancun, Yanqing District, Beijing 102101 Applicant after: ZHONGDUN innovative digital technology (Beijing) Co.,Ltd. Address before: Room 769, building 2, East Ring Road, Yanqing Park, Zhongguancun, Yanqing District, Beijing 102101 Applicant before: ZHONGDUN innovation archives management (Beijing) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |