CN110543512A - 一种信息同步方法，装置及*** - Google Patents

Abstract

本申请实施例示出一种数据同步方法，装置及***，本申请实施例示出的技术方案，在Go端建立主实例与备用实例，实时的监测所述主实例的运行状，若主实例出现任何运行异常状况，直接调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。可见本申请实施例示出的技术方案，通过实例间的切换，避免了由于Go端出现宕机时，导致查询数据库与Java端处于切断状态的问题的出现，时刻保证Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

Description

一种信息同步方法，装置及***

技术领域

本发明涉及计算机技术领域，特别涉及一种数据同步方法，装置及***。

背景技术

如今，汽车已经走进了千家万户，与汽车相关的行业也得到了蓬勃的发展。对于一些汽车行业，需要管理、处理庞大且复杂的车辆信息。例如，车辆信息管理平台，实时的向用户展示，车辆的最新数据，以保证用户获取到准确的车辆信息，但是一些车辆数据，处于实时更新的状态，例如：车辆的维保记录数据随着用户对车辆的使用，维保记录处于实时更新状态，这就使得车辆信息管理平台实时的对数据进行更新处理，才能保证，平台示出的出具的数据是准确的数据。

如图1为现有技术示出的车辆信息管理平台，通常包括：查询数据库，Go端，以及，Java端，查询数据库用于实时的获取车辆信息，并对车辆信息进行存储，Go端中设有实例，用于监听查询数据库，接收查询数据库的binlog日志，所述binlog日志包括，历史数据，以及，实时数据，通过历史数据与实时数据的比对，确定，更新项，发送更新项至Java端；Java端内置Elasticsearch搜索引擎完成车辆信息的统计，Java端通过接收更新项，遍历查询数据库，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

可见现有技术示出的车辆信息管理平台，Go端相当于一个连接查询数据库与Java端的媒介，通过Go端实现查询数据库与Java端的连通，进而保证Elasticsearch搜索引擎中的数据与查询数据库中数据的同步，在Go端出现宕机时，查询数据库与Java端，处于切断状态，不能实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

发明内容

本发明的发明目的在于提供一种数据同步方法，装置及***，以解现有技术示出的车辆信息管理平台在Go端出现宕机时，查询数据库与Java端，处于切断状态，不能实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步的技术问题。

本申请实施例第一方面示出一种数据同步方法，所述方法包括：

建立实例集与zookeeper联系，所述实例集包括：主实例，以及，备用实例；

监测所述主实例的运行状况，如果主实例不正常运行，调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

可选择的，所述监测主实例的运行状况，如果主实例不正常运行，调用备用实例作为查询数据库与Java端的连接媒介的步骤包括：

通过全局监听机制，判断所述主实例是否与zookeeper建立联系；

如果不成功建立联系，调用备用实例作为查询数据库与Java端的连接媒介；

如果成功建立联系，根据主实例的运行逻辑，在zookeeper上建立临时节点；

根据主实例的运行逻辑，依次遍历临时节点；

根据所述临时节点的运行状况，确定问题节点；

调用备用实例作为查询数据库与Java端的连接媒介，遍历备用实例中的备用节点，所述备用节点为与所述问题节点，在运行逻辑上对应的节点。

可选择的，所述监测所述主实例的运行状况，如果主实例不正常运行，调用备用实例作为查询数据库与Java端的连接媒介的步骤包括：

通过全局监听机制，判断所述主实例是否与zookeeper建立联系；

如果不成功建立联系，调用备用实例作为查询数据库与Java端的连接媒介；

如果成功建立联系，根据主实例的运行逻辑，在zookeeper上建立临时节点；

根据主实例的运行逻辑，依次遍历临时节点；

接收临时节点的监听事件；

判断所述监听事件记录的事件是否为节点改变事件；；

如果是，通知zookeeper获取备用实例的监听事件；

调用备用实例的监听事件对应序号最小的备用实例服务作为查询数据库与Java端的连接媒介。

可选择的，所述实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步的步骤包括：

确定更新项，所述更新项包括：更新列名，以及，更新数据，更新列名为更新数据对应的列名；

根据所述更新列名，以及，更新数据，确定目标索引；

基于所述目标索引，遍历查询数据库，搜索更新文档ID；

发送所述更新文档ID，至Java端，Java端基于更新文档ID，搜索出更新数据，用更新数据更新Elasticsearch搜索引擎对应的索引，以及，数据。

可选择的，所述基于目标索引，遍历查询数据库，搜索更新文档ID的步骤包括：

根据所述查询数据库中数据业务逻辑，确定所述目标索引的子目标索引；

根据目标索引，确定目标索引，根据子目标索引确定子目标节点文档；

根据所述目标节点文档，以及，所述子目标节点文档，生成更新文档ID。

可选择的，所述基于目标索引，遍历查询数据库，搜索更新文档ID的步骤包括：

根据所述目标索引，确定局部文档ID；

确定包含局部文档ID的文档ID为更新文档ID。

可选择的，所述确定更新项的步骤包括：

获取监测数据，所述监测数据包括：历史数据，以及，实时数据；

将所述历史数据与所述实时数据输入gorouine进行比对，确定更新项。

可选择的，所述将所述历史数据与所述实时数据输入gorouine进行比对，确定更新项的步骤包括：

将所述历史数据与所述实时数据输入gorouine进行比对，根据比对结果，确定待更新项；

判断所述待更新项是否触发Elasticsearch的更新操作；

如果触发，确定所述待更新项为更新项；

如果不触发，删除待更新项。

本申请实施例第二方面示出一种数据同步装置，所述装置包括：

建立单元，用于建立实例集与zookeeper联系，所述实例集包括：主实例，以及，备用实例；

监听单元，用于监测所述主实例的运行状况，如果主实例不正常运行，调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

可选择的，所述监听单元包括：

第一主实例判断单元，用于通过全局监听机制，判断所述主实例是否与zookeeper建立联系；

第一备用实例调用单元，用于如果不成功建立联系，调用备用实例作为查询数据库与Java端的连接媒介；

第一临时节点建立单元，用于如果成功建立联系，根据主实例的运行逻辑，在zookeeper上建立临时节点；

第一临时节点遍历单元，用于根据主实例的运行逻辑，依次遍历临时节点；

问题节点确定单元，用于根据所述临时节点的运行状况，确定问题节点；

第一备用实例调用单元，用于调用备用实例作为查询数据库与Java端的连接媒介，遍历备用实例中的备用节点，所述备用节点为与所述问题节点，在运行逻辑上对应的节点。

可选择的，所述监听单元包括：

第二主实例判断单元，用于通过全局监听机制，判断所述主实例是否与zookeeper建立联系；

第二备用实例调用单元，用于如果不成功建立联系，调用备用实例作为查询数据库与Java端的连接媒介；

第二临时节点建立单元，用于如果成功建立联系，根据主实例的运行逻辑，在zookeeper上建立临时节点；

第二临时节点遍历单元，根据主实例的运行逻辑，依次遍历临时节点；

监听事件接收单元，用于接收临时节点的监听事件；

监听事件判断单元，用于判断所述监听事件记录的事件是否为节点改变事件；；

通知单元，用于如果是，通知zookeeper获取备用实例的监听事件；

第二备用实例调用单元，用于调用备用实例的监听事件对应序号最小的备用实例服务作为查询数据库与Java端的连接媒介。

可选择的，所述监听单元包括：

更新项确定单元，用于确定更新项，所述更新项包括：更新列名，以及，更新数据，更新列名为更新数据对应的列名；

索引确定单元，用于根据所述更新列名，以及，更新数据，确定目标索引；

搜索单元，用于基于所述目标索引，遍历查询数据库，搜索更新文档ID；

更新单元，用于发送所述更新文档ID，至Java端，Java端基于更新文档ID，搜索出更新数据，用更新数据更新Elasticsearch搜索引擎对应的索引，以及，数据。

可选择的，所述搜索单元包括：

子目标索引确定单元，用于根据所述查询数据库中数据业务逻辑，确定所述目标索引的子目标索引；

目标文档确定单元，用于根据目标索引，确定目标索引，根据子目标索引确定子目标节点文档；

更新文档ID生成单元，用于根据所述目标节点文档，以及，所述子目标节点文档，生成更新文档ID。

可选择的，所述搜索单元包括：

局部文档ID确定单元，用于根据所述目标索引，确定局部文档ID；

更新文档ID确定单元，用于确定包含局部文档ID的文档ID为更新文档ID。

可选择的，所述更新项确定单元包括：

获取单元，用于获取监测数据，所述监测数据包括：历史数据，以及，实时数据；

第一更新项确定单元，用于将所述历史数据与所述实时数据输入gorouine进行比对，确定更新项。

可选择的，所述第一更新项确定单元包括：

比对单元，用于将所述历史数据与所述实时数据输入gorouine进行比对，根据比对结果，确定待更新项；

判断单元，用于判断所述待更新项是否触发Elasticsearch的更新操作；

第二更新项确定单元，用于如果触发，确定所述待更新项为更新项；

删除单元，用于如果不触发，删除待更新项。

本申请实施例第三方面示出一种数据同步***，所述***包括：应用平台服务器，与所述应用平台服务器相连接的查询数据库，所述查询数据库设置在所述应用平台服务器的内部或独立设置，所述应用平台服务器通过互联网与Java端相连接；

所述Java端，用于基于更新文档ID，搜索出更新数据，用更新数据更新Elasticsearch搜索引擎对应的索引，以及，数据。

所述应用平台服务器，用于实现本申请实施例示出的方法；

所述查询数据库，用于相关数据的存储。

本申请实施例第四方面示出一种服务器，所述服务器包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例实处的方法。

由以上技术方案可知，本申请实施例示出一种数据同步方法，装置及***，所述方法包括：建立实例集与zookeeper联系，所述实例集包括：主实例，以及，备用实例；监测所述主实例的运行状况，如果主实例不正常运行，调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。本申请实施例示出的技术方案，在Go端建立主实例与备用实例，实时的监测所述主实例的运行状，若主实例出现任何运行异常状况，直接调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。可见本申请实施例示出的技术方案，通过实例间的切换，避免了由于Go端出现宕机时，导致查询数据库与Java端处于切断状态的问题的出现，时刻保证Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术示出的车辆信息管理平台的结构框图；

图2根据一优选实施例示出的一种信息同步***的结构框图；

图3根据一优选实施例示出的一种信息同步方法的流程图；

图4为根据一优选实施例示出的步骤S102的详细流程图；

图5为根据一优选实施例示出的步骤S10215的详细流程图；

图6为根据又一优选实施例示出的步骤S102的详细流程图；

图7为根据一优选实施例示出的步骤S10223的详细流程图；

图8为根据又一优选实施例示出的步骤S10223的详细流程图；

图9为根据又一优选实施例示出的步骤S10221的详细流程图；

图10为根据又一优选实施例示出的步骤S102212的详细流程图；

图11根据一优选实施例示出的一种信息同步装置的结构框图；

图12根据一优选实施例示出的监听单元的结构框图；

图13根据一优选实施例示出的问题节点确定单元的结构框图；

图14根据又一优选实施例示出的监听单元的结构框图；

图15根据一优选实施例示出的搜索单元的结构框图；

图16根据又一优选实施例示出的搜索单元的结构框图；

图17根据一优选实施例示出的更新项确定单元的结构框图；

图18根据一优选实施例示出的第一更新项确定单元的结构框图；

图19为根据一优选实施例示出的一种服务器；

图20一个典型的树状图表的JSON数据结构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例中MQ：全称MessageQueue,中文名称消息队列，是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。

ElasticSearch:是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。

MySqlBinlog:MYSQL数据库二进制日志，也称为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存在磁盘中；

Zookeeper:是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致***的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等

实施例1：

请参阅图2，本申请实施例第一方面示出一种数据同步***，所述***包括：应用平台服务器31，与所述应用平台服务器31相连接的查询数据库32，所述查询数据库32设置在所述应用平台服务器31的内部或独立设置，所述应用平台服务器31通过互联网与Java端33相连接；

所述Java端33，用于基于更新文档ID，搜索出更新数据，用更新数据更新Elasticsearch搜索引擎对应的索引，以及，数据。

所述应用平台服务器31，用于实现本申请实施例示出的方法；

用于建立实例集与zookeeper联系，所述实例集包括：主实例，以及，备用实例；

首先将zookeeper与实例集建立联系，所述实例集包括：主实例，以及，备用实例；

主实例首先作为查询数据库与Java端的连接媒介，保证Elasticsearch搜索引擎中的数据与查询数据库中数据的同步；

监测所述主实例的运行状况，如果主实例不正常运行，调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

若所述主实例出现状况，例如，所述主实例与查询数据库断开连接，或所述主实例内部程序出现状况，均会到导致，Java端与查询数据库不能实现数据的同步，此时，本申请实施例示出应用平台服务器，通过zoopeeper，调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

其中，所述主实例或备用实例用于通过监听binlog日志，所述binlog日志包括历史数据，以及实时数据，当实时数据与历史数据存在差异时，生成更新项，确定更新项对应的目标索引，通过目标索引，确定全部更新文档的更新文档ID，将更新文档ID封装成消息发送到消息队列，发送至Java端，Java端收到消息，解析消息，根据更新文档ID，从查询数据库中搜索出最新的数据，将最新数据更新elasticsearch对应的索引和文档本申请实施例示出的技术方案该方案通过监听binlog日志，当数据库进行更新操作时会主动通知程序监听机制，根据变化的列判断哪些索引受到影响，进而判断是否需要更新索引中的文档，需要则更新对应的文档，进而实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

所述查询数据库，用于相关数据的存储。

本申请实施例示出***，在应用平台服务器(Go端)建立主实例与备用实例，实时的监测所述主实例的运行状，若主实例出现任何运行异常状况，直接调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。可见本申请实施例示出的技术方案，通过实例间的切换，避免了由于Go端出现宕机时，导致查询数据库与Java端处于切断状态的问题的出现，时刻保证Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

实施例2：

本申请实施例第二方面示出一种数据同步方法，请参阅图3，所述方法包括：

S101建立实例集与zookeeper联系，所述实例集包括：主实例，以及，备用实例；

主实例首先作为查询数据库与Java端的连接媒介，保证Elasticsearch搜索引擎中的数据与查询数据库中数据的同步；

其中，所述主实例与备用实例具有相同运行程序，用于监测查询数据库中的数据变化，并将变化的数据对应的更新文档ID发送至Java端，Java端根据更新文档ID实现，Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

S102监测所述主实例的运行状况，如果主实例不正常运行，调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

在实际运行过程，会出现运行状况例如，所述主实例与查询数据库断开连接，或所述主实例内部程序出现状况，均会到导致，Java端与查询数据库不能实现数据的同步，此时，本申请实施例示出应用平台服务器，通过zoopeeper，调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

本申请实施例示出方法，在Go端建立主实例与备用实例，实时的监测所述主实例的运行状，若主实例出现任何运行异常状况，直接调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。可见本申请实施例示出的技术方案，通过实例间的切换，避免了由于Go端出现宕机时，导致查询数据库与Java端处于切断状态的问题的出现，时刻保证Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

实施例3：

本申请实施例示出的方法，主实例和备用实例用于实时的监测查询数据库中的数据的变换，所述数据的变换，包括文档的删除，文档的查询，以及文档的更新，所述主实例内部建立一套监听程序，所述监听程序用于实时的监测查询数据库中的数据的变换。所述监听程序按照一定的运行流程运行。

通常在主实例监听的过程中，遇到一些运行状况，此时，若调用备用实例，在从开始监听，无疑是延长了监听的时间，延长了应用平台服务器的等待时间，降低了***的带宽，以及，资源的利用率。

为了解决上述问题，本申请实施例示出一种备用实例的调用方法，具体的，请参阅图4：

实施例3与实施例2具有相似的步骤，唯一的区别在于实施例2示出的技术方案中步骤S102包括以下步骤：

S10211通过全局监听机制，判断所述主实例是否与zookeeper建立联系；

首先判断所述主实例是否与zookeeper建立联系，值得注意的是，本申请实施例示出的方法中，所述主实例是否与zookeeper建立联系包括，所述zookeeper成功得检测主实例的运行状况，例如，主实例一个运行程序有10步，zookeeper可成功的监测到主程序运行到第几步。

还包括，主实例与查询数据库成功连接，以及，主实例与Java端成功连接。

S10212如果不成功建立联系，调用备用实例作为查询数据库与Java端的连接媒介；

首次建立连接不成功则进程启动不成功，用户重新启动，如果运行过程中连接断开才通知备用通过zookeeper)，调用(通知，备用监听通知，备用实例得到通知后自启动)

如果所述备用实例与所述zookeeper也不能成功建立联系，则继续调用下一个备用实例。

S10213如果成功建立联系，根据主实例的运行逻辑，在zookeeper上建立临时节点；

例如，主实例一个运行程序有12步，zookeeper实时监控主实例的运行状况，big建立临时节点，例如图20示出的json数据结构，以图20示出的json作为一运行程序的实例，说明一下临时节点的构建方法；

例如，zookeeper监测到主实例运行到步骤B，在zookeeper构建临时节点B,zookeeper监测到主实例运行到步骤C,在zookeeper构建临时节点C，依此类推直至主实例运行异常或主实例完成运行。

S10214根据主实例的运行逻辑，依次遍历临时节点；所述主实例的运行逻辑，便是临时节点的遍历逻辑。

S10215根据所述临时节点的运行状况，确定问题节点；

若主实例在运行到步骤C时出现，运行异常的状况，确定临时节点C为问题节点。

S10216调用备用实例作为查询数据库与Java端的连接媒介，遍历备用实例中的备用节点；所述备用节点为与所述问题节点，在运行逻辑上对应的节点。

通常所述备用实例与主实例具有相同的运行程序，在确定问题节点，便可以基于问题节点所处的步骤序列在备用实例中快速确定问题节点对应的程序步骤，然后以问题节点对应的步骤程序按照运行逻辑，顺次执行备用实例对应的步骤程序。直至备用实例运行异常或备用实例完成运行。

可见本申请实施例示出的方法，在主实例出现运行状况的情况下，按照运行逻辑，找到备用实例中的备用节点，然后从备用节点依次向下运行，直至备用实例完成运行。本申请实施例示出的技术方案缩短了实例(包括主实例和/或备用实例)监测查询数据的时间，缩短了应用平台服务器的等待时间，提高了***的带宽，以及资源的利用率。

实施例4：

请参阅图5，实施例4与实施例2具有相似的步骤，唯一的区别在于实施例2示出的技术方案中步骤S102包括以下步骤：

S10231通过全局监听机制，判断所述主实例是否与zookeeper建立联系；

首先判断所述主实例是否与zookeeper建立联系，值得注意的是，本申请实施例示出的方法中，所述主实例是否与zookeeper建立联系包括，所述zookeeper成功得检测主实例的运行状况，例如，主实例一个运行程序有10步，zookeeper可成功的监测到主程序运行到第几步。

还包括，主实例与查询数据库成功连接，以及，主实例与Java端成功连接。

S10232如果不成功建立联系，调用备用实例作为查询数据库与Java端的连接媒介；

首次建立连接不成功则进程启动不成功，用户重新启动，如果运行过程中连接断开才通知备用通过zookeeper)，调用(通知，备用监听通知，备用实例得到通知后自启动)

如果所述备用实例与所述zookeeper也不能成功建立联系，则继续调用下一个备用实例。

S10233如果成功建立联系，根据主实例的运行逻辑，在zookeeper上建立临时节点；

例如，主实例一个运行程序有12步，zookeeper实时监控主实例的运行状况，big建立临时节点，例如图20示出的json数据结构，以图20示出的json作为一运行程序的实例，说明一下临时节点的构建方法；

例如，zookeeper监测到主实例运行到步骤B，在zookeeper构建临时节点B,zookeeper监测到主实例运行到步骤C,在zookeeper构建临时节点C，依此类推直至主实例运行异常或主实例完成运行。

S10234根据主实例的运行逻辑，依次遍历临时节点；

S10235接收临时节点的监听事件；

每个临时节点对应一个监听事件，所述监听事件用于记录，所述临时节点是否正常运行。

S10236判断所述监听事件记录的事件是否为节点改变事件；

如果所述节点运行异常，则所述事件显示为节点改变事件，

S10237如果是，通知zookeeper获取备用实例的监听事件；

通知zookeeper获取备用实例的监听事件，所述监听事件还用于记录每个备用设备用实例对应的序号，例如备用实例1对应的序号为-002，备用实例2对应的序号为-003，备用实例3对应的序号为-004；

S10238调用备用实例的监听事件对应序号最小的备用实例服务作为查询数据库与Java端的连接媒介。

Zookeeper调用备用实例的监听事件对应序号最小的备用实例服务作为查询数据库与Java端的连接媒介，即调用上述备用实例1作为查询数据库与Java端的连接媒介。

可见本申请实施例示出的技术方案，通过监听事件记录每个临时节点的序号，当主节点出现问题时，调用序号最小的备用实例作为查询数据库与Java端的连接媒介。本申请实施例示出的技术放方案，在主实例出现问题是，通过序号指定备用实例，可保证，备用实例有序的被调用。

实施例5：

实施例5与实施例2-4示出的技术方案具有相似的步骤，唯一的区别在于实施例2-4示出的技术方案中步骤S102包括以下步骤，具体的，请参阅图6：

S10221确定更新项，所述更新项包括：更新列名，以及，更新数据，更新列名为更新数据对应的列名；

所述更新项为历史数据，与实时数据不一致的数据；

举例说明：

历史数据：

VIN码	颜色	车龄
			123	红色	1年
124	红色	2年
			125	红色	3年

实时数据：

VIN码	颜色	车龄
			123	红色	4年
124	红色	2年
			125	红色	3年

可见，对于VIN码123的车辆，实时数据与历史数据发生差异，此时定义更新项为：更新列名：车龄，更新数据：4年。

S10222根据所述更新列名，以及，更新数据，确定目标索引；

值得注意的是，本申请实施例示出的方案，对每一个文档均设置一个索引，以及，起到唯一标识作用的文档ID。

例如：VIN码123，颜色红色，车龄为4年对应的文档的索引为索引1；

VIN码124，颜色红色，车龄为2年对应的文档的索引为索引2；

VIN码125，颜色红色，车龄为3年对应的文档的索引为索引3；

其中，索引1为目标索引。

S10223基于所述目标索引，遍历查询数据库，搜索更新文档ID；

值得注意的是，本身申请实施例示出的方法，查询数据库中的数据以json结构存储；数据之间存在“父子”之间的联系，若一个数据发生改变，与之相关联的数据，以及数据的子数据均可能发生变化，因此本申请实施例示出的方法，通过目标索引，确定与所述目标索引相关联的所有数据的更新文档ID。

举例说明：

当车龄改变，对应更新文档ID，包括文档1的ID，文档2的ID，文档3的ID。

在实际应用中，可以根据目标索引对应文档与其余文档的关联，搜索出更新文档ID，或根据文档之间的“父子”关系，搜索出更新文档ID，在实际应用中，凡是可以根据一个索引，确定所有与该索引相关联的文档的方式均在本申请实施例示出的方法的保护范围内，再次由于篇幅有限，便不一一记载。

S10224发送所述更新文档ID，至Java端，Java端基于更新文档ID，搜索出更新数据，用更新数据更新Elasticsearch搜索引擎对应的索引，以及，数据。

本申请实施例示出的方法，该方案通过监听binlog日志，所述binlog日志包括历史数据，以及实时数据，当实时数据与历史数据存在差异时，生成更新项，确定更新项对应的目标索引，通过目标索引，确定全部更新文档的更新文档ID，将更新文档ID封装成消息发送到消息队列，发送至Java端，Java端收到消息，解析消息，根据更新文档ID，从查询数据库中搜索出最新的数据，将最新数据更新elasticsearch对应的索引和文档本申请实施例示出的技术方案该方案通过监听binlog日志，当数据库进行更新操作时会主动通知程序监听机制，根据变化的列判断哪些索引受到影响，进而判断是否需要更新索引中的文档，需要则更新对应的文档，有效地避免了现有技术示出的定时预定的时间间隔，轮询查询数据库来更新elasticsearch搜索引擎过程中，时间间隔不好把控，无法保证数据实时性的技术问题。

实施例6：

为了进一步保证Elasticsearch搜索引擎中的数据与查询数据库中数据的同步，本申请实施例示出一种更新文档ID的生成方法，具体的，请参阅图7；

实施例6示出的技术方案与实施例5示出的技术方案具有相似的步骤，唯一的区别在于实施例5示出的技术方案中步骤S10223包括以下步骤：

S1022311根据所述查询数据库中数据业务逻辑，确定所述目标索引的子目标索引；

所述查询数据库中的数据以语句的形式存在。

本身申请实施例示出的方法，查询数据库中的数据以json结构存储；数据之间存在“父子”之间的联系，若一个数据发生改变，与之相关联的数据，以及数据的子数据均可能发生变化，因此本申请实施例示出的方法，通过目标索引，确定与所述目标索引相关联的所有数据的更新文档ID。

例如：目标索引奥迪对应的文档为：文档1，文档2，文档3，以及，文档4；

红色，奥迪对应的文档为文档1-1以及文档2-1；文档1-1可以为与文档1相同的文档，也可以为在文档1的基础上增加一些内容的文档；文档2-1可以为与文档2相同的文档，也可以为在文档2的基础上增加一些内容的文档；

此时，根据查询数据库中数据业务逻辑，发现索引“红色奥迪”是目标索引“奥迪”的子目标索引。

S1022312根据目标索引，确定目标索引，根据子目标索引确定子目标节点文档；

那么，文档1，文档2，文档3，以及，文档4即为目标文档；

相应的文档1-1，文档2-1，为子目标文档。

S1022313根据所述目标节点文档，以及，所述子目标节点文档，生成更新文档ID。

可见本申请实施例示出的技术方案，通过查询数据库中数据业务逻辑，确定发生更新的文档，以及，发生更新文档对应的子文档，进而确定全部发生变更文档，然后确定全部发生变更文档的ID，本申请实施例示出的方法，保证一次遍历查询数据库，将搜索出全部发生变更文档的ID，避免多次遍历查询数据库，缩短了遍历时间，进一步，保证本申请实施例示出的Elasticsearch搜索引擎数据的实时性。

实施例7：

为了进一步保证Elasticsearch搜索引擎中的数据与查询数据库中数据的同步，本申请实施例示出一种更新文档ID的生成方法，具体的，请参阅图8；实施例7示出的技术方案与实施例5示出的技术方案具有相似的步骤，唯一的区别在于实施例5示出的技术方案中步骤S10223包括以下步骤：

S1022321根据所述目标索引，确定局部文档ID；

在索引的构建过程中，索引与文档的ID存在一些对应的关系：

例如对应一个索引：红色，奥迪。其中，红色对应的ID为235，奥迪对应的ID为456；

红色，奥迪对应的局部ID为：......235……456…..；或.....456……235…..；

S1022322确定包含局部文档ID的文档ID为更新文档ID。

本申请实施例示出的方法，根据局部文档ID确定出全部更新文档ID，将搜索出全部发生变更文档的ID，避免多次遍历查询数据库，缩短了遍历时间，进一步，保证本申请实施例示出的Elasticsearch搜索引擎数据的实时性。

实施例8：

为了进一步，缩短更新项获取的速率，保证本申请实施例示出的方法的实时性，本申请实施例示出一种历史数据与实时数据的比对方法，具体的，请参阅图9；

实施例8与实施例5示出的技术方案具有相似的步骤，唯一的区别在于实施例5示出的技术方案中步骤S10221包括以下步骤：

S102211获取监测数据，所述监测数据包括：历史数据，以及，实时数据；

本申请实施例示出的检测数据为row模式的binlog日志。

所述row模式的binlog日志通常是每个列对应一个值，有的值对应一篇或多篇文档。

S102212将所述历史数据与所述实时数据输入gorouine进行比对，确定更新项。

gorouine可以把它看做一个局部的调度器，多个gorouine同时等待着对历史数据与所述实时数据进行比较，历史数据1与所述实时数据1进行通过gorouine-1比较；当历史数据2与所述实时数据2，需要比较时，可直接利用gorouine-2比较，以此类推，在比对的过程中，无需等待前一个数据比对完成，提高了数据处理的效率，缩短更新项获取的速率，保证本申请实施例示出的Elasticsearch搜索引擎数据的实时性。

实施例9：

为了降低应用平台服务的数据处理量，本申请实施例示出一种更新项的过滤方法，具体的，请参阅图10；

实施例10与实施例9示出的技术方案具有相似的步骤，唯一的区别在于实施例9示出的技术方案中步骤S102212包括以下步骤：

S1022121将所述历史数据与所述实时数据输入gorouine进行比对，根据比对结果，确定待更新项；

并不是所有的待更新项均会对Elasticsearch搜索引擎对应的索引，以及，数据产生影响，

但是这些更新项对应的实时数据，以及，历史数据，在数据获取的过程中，同时被获取。

在对待更新项继续向下处理的过程前，本申请实施例示出方法，预先对待更新项进行判断，判断所述待更新项，否触发Elasticsearch的更新操作；

S1022122判断所述待更新项是否触发Elasticsearch的更新操作；

具体的，判断方法如下：

Elasticsearch搜索引擎，包括Elasticsearch索引，以及，文档；这些索引和/文档为否触发Elasticsearch的更新操作的更新项。

本申请实施例示出的方法，首先确定待更新项对应的待更新索引，然后，确定待更新索引的相关联的索引，以及，子索引，判断所述待更新索引的相关联的索引，以及，子索引是否为Elasticsearch索引，如果是Elasticsearch索引，则认为待更新项触发Elasticsearch的更新操作。

S1022123如果触发，确定所述待更新项为更新项；

如果待更新索引的相关联的索引，以及，子索引不是Elasticsearch索引，则认为待更新项不触发Elasticsearch的更新操作。

S1022124如果不触发，删除待更新项。

所述删除啊更新项包括：忽略，处理逻辑直接结束。

可见本申请实施例示出的技术方，预先过滤掉一些无用的待更新项，直接将这些无用的待更新项删除，降低了应用平台的数据的处理量，提高了***的带宽以及资源的利用率，保证本申请实施例示出的Elasticsearch搜索引擎数据的实时性。

实施例10：

本申请实施例第三方面示出一种数据同步装置，请参阅图11，所述装置包括：

建立单元21，用于建立实例集与zookeeper联系，所述实例集包括：主实例，以及，备用实例；

监听单元22，用于监测所述主实例的运行状况，如果主实例不正常运行，调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

实施例11：

请参阅图12，实施例10示出的技术方案中所述监听单22包括：

第一主实例判断单元2211，用于通过全局监听机制，判断所述主实例是否与zookeeper建立联系；

第一备用实例调用单元2212，用于如果不成功建立联系，调用备用实例作为查询数据库与Java端的连接媒介；

第一临时节点建立单元2213，用于如果成功建立联系，根据主实例的运行逻辑，在zookeeper上建立临时节点；

第一临时节点遍历单元2214，用于根据主实例的运行逻辑，依次遍历临时节点；

问题节点确定单元2215，用于根据所述临时节点的运行状况，确定问题节点；

第一备用实例调用单元2216，用于调用备用实例作为查询数据库与Java端的连接媒介，遍历备用实例中的备用节点，所述备用节点为与所述问题节点，在运行逻辑上对应的节点。

实施例12：

请参阅图13；

所述监听单元22包括：

第二主实例判断单元2231，用于通过全局监听机制，判断所述主实例是否与zookeeper建立联系；

第二备用实例调用单元2232，用于如果不成功建立联系，调用备用实例作为查询数据库与Java端的连接媒介；

第二临时节点建立单元2233，用于如果成功建立联系，根据主实例的运行逻辑，在zookeeper上建立临时节点；

第二临时节点遍历单元2234，根据主实例的运行逻辑，依次遍历临时节点；

监听事件接收单元2235，用于接收临时节点的监听事件；

监听事件判断单元2236，用于判断所述监听事件记录的事件是否为节点改变事件；；

通知单元2237，用于如果是，通知zookeeper获取备用实例的监听事件；

第二备用实例调用单元2238，用于调用备用实例的监听事件对应序号最小的备用实例服务作为查询数据库与Java端的连接媒介。实施例13：

请参阅图14，所述监听单元22包括：

更新项确定单元2221，用于确定更新项，所述更新项包括：更新列名，以及，更新数据，更新列名为更新数据对应的列名；

索引确定单元2222，用于根据所述更新列名，以及，更新数据，确定目标索引；

搜索单元2223，用于基于所述目标索引，遍历查询数据库，搜索更新文档ID；

更新单元2224，用于发送所述更新文档ID，至Java端，Java端基于更新文档ID，搜索出更新数据，用更新数据更新Elasticsearch搜索引擎对应的索引，以及，数据。

实施例14，请参阅图15，所述搜索单元2223包括：

子目标索引确定单元222311，用于根据所述查询数据库中数据业务逻辑，确定所述目标索引的子目标索引；

目标文档确定单元222312，用于根据目标索引，确定目标索引，根据子目标索引确定子目标节点文档；

更新文档ID生成单元222313，用于根据所述目标节点文档，以及，所述子目标节点文档，生成更新文档ID。

实施例15：

请参阅图16，所述搜索单元2223包括：

局部文档ID确定单元222321，用于根据所述目标索引，确定局部文档ID；

更新文档ID确定单元222322，用于确定包含局部文档ID的文档ID为更新文档ID。

实施例16：

请参阅图17，所述更新项确定单元2221包括：

获取单元22211，用于获取监测数据，所述监测数据包括：历史数据，以及，实时数据；

第一更新项确定单元22212，用于将所述历史数据与所述实时数据输入gorouine进行比对，确定更新项。

实施例17：

请参阅图18，所述第一更新项确定单元22212包括：

比对单元222121，用于将所述历史数据与所述实时数据输入gorouine进行比对，根据比对结果，确定待更新项；

判断单元222122，用于判断所述待更新项是否触发Elasticsearch的更新操作；

第二更新项确定单元22213，用于如果触发，确定所述待更新项为更新项；

删除单元222124，用于如果不触发，删除待更新项。

实施例18：

本申请实施例第四方面示出一种服务器，请参阅图19包括：

一个或多个处理器41；

存储器42，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现本申请实施例实处的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (17)

1.一种数据同步方法，其特征在于，所述方法包括：

建立实例集与zookeeper联系，所述实例集包括：主实例，以及，备用实例；

监测所述主实例的运行状况，如果主实例不正常运行，调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

2.根据权利要求1所述的方法，其特征在于，所述监测主实例的运行状况，如果主实例不正常运行，调用备用实例作为查询数据库与Java端的连接媒介的步骤包括：

通过全局监听机制，判断所述主实例是否与zookeeper建立联系；

如果不成功建立联系，调用备用实例作为查询数据库与Java端的连接媒介；

如果成功建立联系，根据主实例的运行逻辑，在zookeeper上建立临时节点；

根据主实例的运行逻辑，依次遍历临时节点；

根据所述临时节点的运行状况，确定问题节点；

调用备用实例作为查询数据库与Java端的连接媒介，遍历备用实例中的备用节点，所述备用节点为与所述问题节点，在运行逻辑上对应的节点。

3.根据权利要求1所述的方法，其特征在于，所述监测所述主实例的运行状况，如果主实例不正常运行，调用备用实例作为查询数据库与Java端的连接媒介的步骤包括：

通过全局监听机制，判断所述主实例是否与zookeeper建立联系；

如果不成功建立联系，调用备用实例作为查询数据库与Java端的连接媒介；

如果成功建立联系，根据主实例的运行逻辑，在zookeeper上建立临时节点；

根据主实例的运行逻辑，依次遍历临时节点；

接收临时节点的监听事件；

判断所述监听事件记录的事件是否为节点改变事件；；

如果是，通知zookeeper获取备用实例的监听事件；

调用备用实例的监听事件对应序号最小的备用实例服务作为查询数据库与Java端的连接媒介。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步的步骤包括：

确定更新项，所述更新项包括：更新列名，以及，更新数据，更新列名为更新数据对应的列名；

根据所述更新列名，以及，更新数据，确定目标索引；

基于所述目标索引，遍历查询数据库，搜索更新文档ID；

发送所述更新文档ID，至Java端，Java端基于更新文档ID，搜索出更新数据，用更新数据更新Elasticsearch搜索引擎对应的索引，以及，数据。

5.根据权利要求4所述的方法，其特征在于，所述基于目标索引，遍历查询数据库，搜索更新文档ID的步骤包括：

根据所述查询数据库中数据业务逻辑，确定所述目标索引的子目标索引；

根据目标索引确定目标索引，根据子目标索引确定子目标节点文档；

根据所述目标节点文档，以及，所述子目标节点文档，生成更新文档ID。

6.根据权利要求4所述的方法，其特征在于，所述基于目标索引，遍历查询数据库，搜索更新文档ID的步骤包括：

根据所述目标索引，确定局部文档ID；

确定包含局部文档ID的文档ID为更新文档ID。

7.根据权利要求4所述的方法，其特征在于，所述确定更新项的步骤包括：

获取监测数据，所述监测数据包括：历史数据，以及，实时数据；

将所述历史数据与所述实时数据输入gorouine进行比对，确定更新项。

8.根据权利要求7所述的方法，其特征在于，所述将所述历史数据与所述实时数据输入gorouine进行比对，确定更新项的步骤包括：

将所述历史数据与所述实时数据输入gorouine进行比对，根据比对结果，确定待更新项；

判断所述待更新项是否触发Elasticsearch的更新操作；

如果触发，确定所述待更新项为更新项；

如果不触发，删除待更新项。

9.一种数据同步装置，其特征在于，所述装置包括：

建立单元，用于建立实例集与zookeeper联系，所述实例集包括：主实例，以及，备用实例；

监听单元，用于监测所述主实例的运行状况，如果主实例不正常运行，调用备用实例作为查询数据库与Java端的连接媒介，实现Elasticsearch搜索引擎中的数据与查询数据库中数据的同步。

10.根据权利要求9所述的装置，其特征在于，所述监听单元包括：

第一主实例判断单元，用于通过全局监听机制，判断所述主实例是否与zookeeper建立联系；

第一备用实例调用单元，用于如果不成功建立联系，调用备用实例作为查询数据库与Java端的连接媒介；

第一临时节点建立单元，用于如果成功建立联系，根据主实例的运行逻辑，在zookeeper上建立临时节点；

第一临时节点遍历单元，用于根据主实例的运行逻辑，依次遍历临时节点；

问题节点确定单元，用于根据所述临时节点的运行状况，确定问题节点；

第一备用实例调用单元，用于调用备用实例作为查询数据库与Java端的连接媒介，遍历备用实例中的备用节点，所述备用节点为与所述问题节点，在运行逻辑上对应的节点。

11.根据权利要求10所述的装置，其特征在于，所述监听单元包括：

第二主实例判断单元，用于通过全局监听机制，判断所述主实例是否与zookeeper建立联系；

第二备用实例调用单元，用于如果不成功建立联系，调用备用实例作为查询数据库与Java端的连接媒介；

第二临时节点建立单元，用于如果成功建立联系，根据主实例的运行逻辑，在zookeeper上建立临时节点；

第二临时节点遍历单元，根据主实例的运行逻辑，依次遍历临时节点；

监听事件接收单元，用于接收临时节点的监听事件；

监听事件判断单元，用于判断所述监听事件记录的事件是否为节点改变事件；；

通知单元，用于如果是，通知zookeeper获取备用实例的监听事件；

第二备用实例调用单元，用于调用备用实例的监听事件对应序号最小的备用实例服务作为查询数据库与Java端的连接媒介。

12.根据权利要求8-10任一项所述的装置，其特征在于，所述监听单元包括：

更新项确定单元，用于确定更新项，所述更新项包括：更新列名，以及，更新数据，更新列名为更新数据对应的列名；

索引确定单元，用于根据所述更新列名，以及，更新数据，确定目标索引；

搜索单元，用于基于所述目标索引，遍历查询数据库，搜索更新文档ID；

更新单元，用于发送所述更新文档ID，至Java端，Java端基于更新文档ID，搜索出更新数据，用更新数据更新Elasticsearch搜索引擎对应的索引，以及，数据。

13.根据权利要求12所述的装置，其特征在于，所述搜索单元包括：

子目标索引确定单元，用于根据所述查询数据库中数据业务逻辑，确定所述目标索引的子目标索引；

目标文档确定单元，用于根据目标索引，确定目标索引，根据子目标索引确定子目标节点文档；

更新文档ID生成单元，用于根据所述目标节点文档，以及，所述子目标节点文档，生成更新文档ID。

14.根据权利要求12所述的装置，其特征在于，所述搜索单元包括：

局部文档ID确定单元，用于根据所述目标索引，确定局部文档ID；

更新文档ID确定单元，用于确定包含局部文档ID的文档ID为更新文档ID。

15.根据权利要求12所述的装置，其特征在于，所述更新项确定单元包括：

获取单元，用于获取监测数据，所述监测数据包括：历史数据，以及，实时数据；

第一更新项确定单元，用于将所述历史数据与所述实时数据输入gorouine进行比对，确定更新项。

16.根据权利要求15所述的装置，其特征在于，所述第一更新项确定单元包括：

比对单元，用于将所述历史数据与所述实时数据输入gorouine进行比对，根据比对结果，确定待更新项；

判断单元，用于判断所述待更新项是否触发Elasticsearch的更新操作；

第二更新项确定单元，用于如果触发，确定所述待更新项为更新项；

删除单元，用于如果不触发，删除待更新项。

17.一种数据同步***，其特征在于，所述***包括：应用平台服务器，与所述应用平台服务器相连接的查询数据库，所述查询数据库设置在所述应用平台服务器的内部或独立设置，所述应用平台服务器通过互联网与Java端相连接；

所述Java端，用于基于更新文档ID，搜索出更新数据，用更新数据更新Elasticsearch搜索引擎对应的索引，以及，数据；

所述应用平台服务器，用于实现如权利要求1-8任一项所述的方法；

所述查询数据库，用于相关数据的存储。