CN104869056B - 一种基于关系-数据分离的机构-人员数据同步方法 - Google Patents

Abstract

本发明公开了一种基于关系‑数据分离的机构‑人员数据同步方法，属于信息数字化处理技术领域。首先数据发送方将需要发送的数据分别生成包括组织机构关系数据包、组织机构实体数据包和人员实体数据包在内的待发送数据包，并将待发送数据包发送到数据接收方，数据接收方接收并解析所述的待发送数据包，并将解析后的数据分别入库存储。该方法将需要进行同步的数据中的关系‑数据进行分离，可保证在数据发生剧烈变化时，仍能较好的进行数据同步，且能够有效减少需要处理的数据量，提高数据同步的效率。该方法尤其适用于需要同步大量组件机构‑人员数据的场合。

Description

一种基于关系-数据分离的机构-人员数据同步方法

技术领域

本发明涉及信息数字化处理技术领域，具体涉及一种基于关系-数据分离的机构-人员数据同步方法，特别适用于需要同步大量组件机构-人员数据的场合。

背景技术

在分布式***中，子***间的通讯是非常重要的环节。在最简单的企业级运用中，可以用共享数据库、在局域网内通过共享磁盘文件等方式进行数据交换。在规模更大、更复杂的互联网级分布式***中，子***间的通讯方式往往通过服务、消息的方式进行。在服务调用、消息传递的过程中，总是伴随数据的传递、同步，这些服务调用、消息及其中的数据传递从简单到复杂可粗略地分为3类：

1.每个子***暴露出WebService、原始的Http等服务，其他子***直接调用这些服务。在这种情况下，通常不区分服务调用与消息/数据的传输，所有的分布式调用、数据传输都通过这样的接口进行。该方案最大的优点是可避免购买商业化消息中间件带来的成本,且***设计简单，不依赖于第3方的通讯框架支撑，从而避免了第3方框架升级等造成的不兼容等问题。由于这些优点的存在，该方式在一些业务不复杂，小成本的简单分布式***中得到了广泛的使用。此方案的缺点是当需要进行数据通讯时，需要自己处理数据的封装等问题。当数据量大到一定程度时，需要在运用程序中，发送端自己处理数据的切分、打包、压缩、编号；接收端处理数据的组包、缓冲、解压、校验等操作。

2.使用ESB（企业服务总线）/消息中间件的思想，借助一些消息总线、中间件等，每个子***将自己的服务连接到总线或中间件上，由总线/中间件进行或简或繁的消息路由控制。在实际使用中，这些消息/中间件可能是软件开发商自己实现，更多地使用开源的，或商用的软件进行，如开源的ESB软件mule（一个以Java为核心的轻量级的消息框架和整合平台），商用的消息中间件BEA Tuxedo（消息中间件模块）、东方通Tong LINK/Q、中创InforBus/Q等等。由ESB软件进行服务接入、服务路由、消息转发，数据格式转换，数据处理流的配置等。由于ESB/消息中间件种类繁多，功能从简单到复杂差别巨大，这个类型的具体数据通讯方式也有区别很大。但从基本原理上来说，都是将类型1中对数据的压缩、断点续传、大数据切割、缓冲能力等的处理交给ESB/消息中间件软件。一般而言，成熟的、商业的消息中间件通常都有较好性能表现，例如可针对各种异常情况提供处理机制，在网络中断、异常关闭进程、操作***崩溃等情况下，可以确保消息不丢失，故障恢复后消息能继续完成传输，能解决复杂网络下，异常状况导致的***崩溃、数据丢失问题，提供内存消息池进行消息缓冲等，同时会提供较完善的日志功能。其缺点是：1）通常性能好的消息中间件都是需要收费的，对使用方而言，这是成本的增加；2）免费的ESB产品相对较多，但ESB的重点通常是解决服务的集成，顺带进行一些小数据的传输，在大数据的传输方面，通常不够理想。对很多中小型的互联网运用和软件开发商而言，选用免费的ESB产品，例如Mule、ApacheServiceMix、Open ESB等进行服务的集成，同时兼用做小规模的数据传输是一种常见而经济的方式。在这样的情况下，如果要进行大数据的传输，则类似于类型1，也需要自己进行数据的切割、组包、校验等操作。

3.在更复杂、大型的互联网运用中，可能需要将分布式服务与分布式消息管理分离，如有必要，还可考虑自己实现这样的通讯***，完成自己个性化的需求。如淘宝自己实现了高性能服务框架HSF及消息中间件Nofity等。

可以看到，无论哪种类型，在进行大数据通讯时，如果不借助于专门消息中间件，一般都需要自己处理数据的切割、压缩、校验、缓冲、组包等操作。具体到一般的信息管理***中，基本毫无例外，都会有组织机构-人员管理的模块，根据项目规模的不同，***中机构、人员，加上其属性、描述的数据总量，从几兆到上G都有可能。在分布式***中，有时***会设计为不同的子***间都有一份相同的机构、人员的情况，本质上是一种冗余数据，当机构或人员发生变动时，就需要在不同的子***间同步这种变化。现有技术中，一般采用的方式是在***初始化部署时，各平台都部署一套相同的组织架构-人员数据，后续在某平台的组织架构-人员发生了变化时，采用一些规则，同步变化部分的数据的方法。例如当有新员工加入时，加入新员工的子***需要发出一个调用去通知其他有组织机构-人员数据的模块，其核心数据的规则大致可用“操作动作（AddUser）、人员ID、人员属性描述”来描述；当有人员离职时，需要发出“操作动作（RemoveUser）、人员ID”的调用；类似地，可处理新增一个组织机构的业务。这样的方法在绝大多数实际场景下都是适用且高效的，但在遇到组织机构发生剧烈变化的场景，这样的方法要么造成同步的规则异常复杂，要么造成需要同步的数据量大，且很难切分。例如，当某已存在的机构被解散，与其上上级的某个机构进行合并，变成一个新的机构时，可以想象要描述这样的剧烈变动，其规则会很复杂。一般可以简化几个简单步骤的组合，例如1）发送方准备好最终的机构数据；2）目标子***接收数据；3）目标子***校验通过后，将旧的机构-人员都删除，将新数据***。这样，就可能存在需要一次同步较大数据量的情况。更极端的情况，可以将这种变化剧烈的同步简化为发送方发送所有的组织机构-人员数据，接收方删除自己所有的组织机构-人员数据，用新的数据覆盖。其优点是可最大程度简化数据同步的规则，缺点是需处理的数据量更大。

在对较大的组织机构-人员数据进行同步时，无论是上述类型1中的通过WebService、原始Http暴露的服务，还是类型2中使用ESB的方式，都需要对组织机构-人员进行数据的切分，但组织机构是一种树形结构，如何将树形的机构加上其附带的人员进行切分为一个个的数据包进行发送，在接收方再进行组装，是一个较为困难的事。现有技术中，一般有两种方法来处理：1）由于机构发生剧烈变化的场景不多，一旦遇到需要进行这样同步大数据的操作，许多***采用人工线下操作的方式，即将所有的新组织机构、人员一次拷贝到移动硬盘中，或上传到云盘，再目标子***拷入/下载这些数据，将本地数据删除，再导入新数据的方式。显然，这样的操作依赖人工，在需要同步的子***多，或机构常发生变动的情况下并不合适。2）不进行数据的切分，直接将所有的数据打成一个包，交给ESB等总线进行处理，这样容易造成***网络拥塞、内存溢出等问题。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于关系-数据分离的数据同步方法，通过该方法能够实现在复杂变化情况下的数据的高效同步。

为实现上述目的，本发明采用的技术方案如下：

一种基于关系-数据分离的机构-人员数据同步方法，包括以下步骤：

（1）数据发送方将需要发送的数据生成待发送数据包，并将待发送数据包发送到数据接收方；所述的待发送数据包包括组织机构关系数据包、组织机构实体数据包和人员实体数据包；

（2）数据接收方接收并解析所述的待发送数据包，并将解析后的数据入库存储；解析待发送数据包并将解析后的数据入库存储的方式包括：

1）解析所述的组织机构关系数据包，并将解析后的数据入库存储；

2）解析所述的组织机构实体数据包和人员实体数据包，并将解析后的数据入库存储。

进一步，如上所述的一种基于关系-数据分离的机构-人员数据同步方法，步骤（1）中，数据发送方生成组织机构关系数据包的方式包括：

数据发送方根据组织机构的机构ID、父ID和OrderID生成组织机构关系；所述的机构ID为当前组织机构的标识；所述的父ID为当前组织机构的父机构的标识；所述的OrderID为当前组织机构在同属于同一个父机构的组织机构中的顺序。

进一步，如上所述的一种基于关系-数据分离的机构-人员数据同步方法，步骤（1）中，根据设定的数据包大小将机构实体数据和人员实体数据分别进行数据切分，生成组织机构实体数据包和人员实体数据包。

进一步，如上所述的一种基于关系-数据分离的机构-人员数据同步方法，步骤（1）中，还包括：

按照组织机构关系数据包、组织机构实体数据包和人员实体数据包的顺序为每一个待发送数据包进行编号，并根据编号依次发送待发送数据包。

进一步，如上所述的一种基于关系-数据分离的机构-人员数据同步方法，步骤（1）中，还包括计算每一个待发送数据包的数据摘要，并在待发送数据包的包头中记录其对应的数字摘要。

进一步，如上所述的一种基于关系-数据分离的机构-人员数据同步方法，在组织机构关系数据包的包头中记录所有待发送数据包的数字摘要、以及组织机构实体数据包的个数和人员实体数据包的个数。

进一步，如上所述的一种基于关系-数据分离的机构-人员数据同步方法，步骤（2）中，数据接收方接收所述的待发送数据包后，首先读取每一个待发送数据包的包头，根据包头中的数字摘要检验每个待发送数据包的合法性及完整性。

再进一步，如上所述的一种基于关系-数据分离的机构-人员数据同步方法，步骤（2）中，数据接收方接收所述的待发送数据包后，读取组织机构关系数据包的包头，根据包头中的数据检验整个待发送数据包的合法性及完整性。

更进一步，如上所述的一种基于关系-数据分离的机构-人员数据同步方法，步骤（2）中，数据接收方接收所述的待发送数据包后，将本地数据库中的原有的数据清空，并将解析后的数据入库存储。

本发明的有益效果在于：本发明所述的方法，将需要进行同步的数据中的关系-数据进行分离，可保证在数据发生剧烈变化时，仍能较好的进行数据同步，且能够有效减少需要处理的数据量，提高数据同步的效率。该方法尤其适用于需要同步大量组件机构-人员数据的场合。

附图说明

图1为本发明基于关系-数据分离的机构-人员数据同步方法的流程图；

图2为具体实施方式中基于关系-数据分离的机构-人员数据同步方法的详细流程图；

图3为具体实施方式中组织机构关系数据的示意图；

图4为具体实施方式中组织机构实体数据的示意图。

具体实施方式

下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。

本发明的核心思想是：利用组织机构关系-数据分离的机构-人员数据同步方式，将组织机构间的（树形）关系、组织机构属性数据（组织机构实体数据）、人员属性（人员实体数据）分离。其核心思想是将欲传递的数据中，表示树状关系的部分与其它线性的数据部分分离开来，将表示树状关系的数据作为一个完整的包，由此线性的数据可任意切割为某大小的数据包。接收方接收数据包后，依靠ID恢复机构-机构、机构-人员间的对应关系。

图1和图2示出了本发明具体实施方式中一种基于关系-数据分离的机构-人员数据同步方法的流程图，该方法主要包括以下两个主要步骤：

步骤S1：数据发送方将需要发送的数据生成待发送数据包，并将待发送数据包发送到数据接收方；

步骤S2：数据接收方接收待发送数据包，并将待发送数据包解析后入库存储。

数据发送方将需要发送的组织机构数据（包括组织机构关系数据、组织机构实体数据、以及组织机构的人员实体数据）分别打包生成待发送数据包，并将打包好的数据发送到数据接收方。所述的待发送数据包包括组织机构关系数据包、组织机构实体数据包和人员实体数据包。具体的，本实施方式中的组织机构关系数据包括组织机构的机构ID、父ID及OrderID等；组织机构实体数据包括每个组织机构的除了父ID和OrderID外的完整描述，例如图4中显示的area_ids(所在区域的id列表）、area_naames(区域名称)、org_address(机构地址）、和org_type_name(机构类型名称）等等；组织机构的人员实体数据包括每个人员的的完整数据，包括人员名称、人员所属机构、人员入职时间等等。

本实施方式中将待发送数据中的组织机构关系数据与实体数据进行分离进行打包，将组织机构关系数据作为一个完整的包，打包生成组织机构关系数据包，将组织机构实体数据打包生成组织机构实体数据包，将人员实体数据打包生成人员实体数据包。其中，生成组织机构关系数据包的具体方式为：

数据发送方根据组织机构的机构ID、父ID和OrderID生成组织机构关系；所述的机构ID为当前组织机构的标识；所述的父ID为当前组织机构的父机构的标识；所述的OrderID为当前组织机构在同属于同一个父机构的组织机构中的顺序。如图3中所示，按照组织机构ID、机构父ID、OrderID生表示的机构关系导出，生成组织机构关系数据包，图中id即为组织机构的标识，parent_id即为组织机构的父机构（上一级机构）的标识，order_num即为组织机构在同属于同一个父机构的组织机构中的顺序，也就是组织机构在其同属于同一个父机构的兄弟子机构中的顺序，本实施方式中parent_id为“-1”表示表示该组织机构是顶级节点，其上无父节点，本实施方式中的组织机构共1000个，生成的组织机构关系数据包大小为400K。

在生成组织机构实体数据包和人员实体数据包时，可以根据设定的数据包大小将机构实体数据和人员实体数据分别进行数据切分，然后生成组织机构实体数据包和人员实体数据包。如图4中所示的机构实体数据，其中area_ids一列表示组织机构所在区域的id列表（例如id为1），area_naames一列表示组织机构所在的区域名称（例如“北京市”），org_address一列表示机构地址（例如“北京市海淀区“），contact_person一列表示机构联系人（例如“王冬”），org_type_name一列表示机构类型名称（例如“中心”），org_order一列表示该机构在父机构下的排列顺序，从0开始，例如某个父机构下一共有5个子机构，则0表示第1个子机构，1表示第2个子机构等等。

将这些数据导出后，以设定的数据包大小，如以500k大小为标准，进行数据切分，得到4个机构实体数据包。同样将人员数据导出后，以设定的数据包大小进行数据切分，得到31个人员实体数据包。

完成待发送数据包的生成后，对每个数据包进行编号，优选的，按照组织机构关系数据包、组织机构实体数据包和人员实体数据包的顺序为每一个待发送数据包进行编号，发送时依次发送数据包。如对于上述生成的1个组织机构关系数据包、4个机构实体数据包、31个人员实体数据包，将组织机构关系数据包编号为0，共一个；机构实体数据包编号从1开始，4结束，共4个；人员实体数据包编号从5开始35结束，共31个。

为了数据传输的安全性，在发送数据之前，分别计算每一个待发送数据包的数据摘要即MD5值，并在待发送数据包的包头中记录其对应的数字摘要；此外，在组织机构关系数据包的包头中除了记录其数字摘要MD5值外，还记录其它待发送数据包的数字摘要（即在组织机构关系数据包的包头中记录所有待发送数据包的数字摘要）、以及组织机构实体数据包的个数和人员实体数据包的个数。

之后，将处理完毕的待发送数据包依次发送到数据接收方，数据接收方依次接收数据包。接收方接收到待发送数据包后，首先读取每一个待发送数据包的包头，根据包头中的数字摘要检验每个待发送数据包的合法性及完整性，如果检验不通过，则通知数据发送方重复或者提示数据发送失败，如果检验通过，之后再读取组织机构关系数据包的包头，根据包头中的数据检验整个待发送数据包的合法性及完整性。通过数字摘要校验数据合法性及完整性的方式为现有技术。

完场上述检验后，数据接收方将本地数据库中的原有的数据清空，并将接收到的数据包解析后的数据入库存储。解析待发送数据包并将解析后的数据入库存储的方式包括：

1）接收方将本地数据库中描述组织关系的记录清空，解析所述的组织机构关系数据包，并将解析后的数据入库存储；

2）接收方将本地数据库中的机构实体数据和人员实体数据记录清空，解析所述的组织机构实体数据包和人员实体数据包，并将解析后的数据入库存储。

本发明所述的方法将表示组织机构关系的数据（多数为树状关系）与其它线性数据（机构实体数据以及人员实体数据等）分来开来，将表示树状关系的机构关系数据作为一个完整的数据包，其它线性的数据可任意切割为某大小的数据包，接收方接收到数据后，只需要根据机构ID回复机构与机构间以及机构与其对应的人员间的对应关系即可，有效提高数据同步的效率。例如对于机构关系数据，假设每个机构ID、其父ID加OrderID需要70Byte，则在形成一个描述20000个机构关系的数据包，只需要70×20000=1.4M的数据量。这样，剩下机构的实体属性及描述数据（统称为机构实体数据数据）、人员数据间不再有树状关系，变成一种线性的关系，可以自由地分割为合适大小的数据包。假设每个机构除ID、父ID、OrderID外的完整描述需要300Byte，一个人员的完整描述需要100Byte，则在一个有20000个机构，每个机构下20个人的***中，机构数据共300×20000=6M，人员数据共20000×20×100=40M，则可按一个数据包500k处理，将机构数据分割成12个包，人员数据分割成80个包进行处理。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于关系-数据分离的机构-人员数据同步方法，包括以下步骤：

(1)数据发送方将需要发送的数据生成待发送数据包，并将待发送数据包发送到数据接收方；所述的待发送数据包包括组织机构关系数据包、组织机构实体数据包和人员实体数据包；根据设定的数据包大小将机构实体数据和人员实体数据分别进行数据切分，生成组织机构实体数据包和人员实体数据包；将组织机构关系数据作为一个完整的包，打包生成组织机构关系数据包；

(2)数据接收方接收并解析所述的待发送数据包，并将解析后的数据入库存储；解析待发送数据包并将解析后的数据入库存储的方式包括：

1)解析所述的组织机构关系数据包，并将解析后的数据入库存储；

2)解析所述的组织机构实体数据包和人员实体数据包，并将解析后的数据入库存储。

2.如权利要求1所述的一种基于关系-数据分离的机构-人员数据同步方法，其特征在于，步骤(1)中，数据发送方生成组织机构关系数据包的方式包括：

数据发送方根据组织机构的机构ID、父ID和OrderID生成组织机构关系；所述的机构ID为当前组织机构的标识；所述的父ID为当前组织机构的父机构的标识；所述的OrderID为当前组织机构在同属于同一个父机构的组织机构中的顺序。

3.如权利要求1至2之一所述的一种基于关系-数据分离的机构-人员数据同步方法，其特征在于，步骤(1)中，还包括：

按照组织机构关系数据包、组织机构实体数据包和人员实体数据包的顺序为每一个待发送数据包进行编号，并根据编号依次发送待发送数据包。

4.如权利要求1至2之一所述的一种基于关系-数据分离的机构-人员数据同步方法，其特征在于，步骤(1)中，还包括计算每一个待发送数据包的数据摘要，并在待发送数据包的包头中记录其对应的数字摘要。

5.如权利要求4所述的一种基于关系-数据分离的机构-人员数据同步方法，其特征在于，在组织机构关系数据包的包头中记录所有待发送数据包的数字摘要、以及组织机构实体数据包的个数和人员实体数据包的个数。

6.如权利要求4所述的一种基于关系-数据分离的机构-人员数据同步方法，其特征在于，步骤(2)中，数据接收方接收所述的待发送数据包后，首先读取每一个待发送数据包的包头，根据包头中的数字摘要检验每个待发送数据包的合法性及完整性。

7.如权利要求5所述的一种基于关系-数据分离的机构-人员数据同步方法，其特征在于，步骤(2)中，数据接收方接收所述的待发送数据包后，读取组织机构关系数据包的包头，根据包头中的数据检验整个待发送数据包的合法性及完整性。

8.如权利要求1所述的一种基于关系-数据分离的机构-人员数据同步方法，其特征在于，步骤(2)中，数据接收方接收所述的待发送数据包后，将本地数据库中的原有的数据清空，并将解析后的数据入库存储。