CN111367692A - 一种搜索引擎数据处理方法、装置、电子设备及介质 - Google Patents

Abstract

本申请提供一种搜索引擎数据处理方法，包括：接收到写指令，根据所述写指令进行业务处理，得到处理完成的目标数据；根据所述目标数据利用数据源代理对数据库进行数据写入，并将所述目标数据推送到消息队列中；监听所述消息队列，将所述消息队列中的所述目标数据异步刷到搜索引擎中。本申请不存在业务侵入性，操作简单，能够实时对搜索引擎中的所以数据进行更新。本申请同时还提供了一种搜索引擎数据处理装置、电子设备和计算机可读存储介质，均具有上述有益效果。

Description

一种搜索引擎数据处理方法、装置、电子设备及介质

技术领域

本申请涉及数据处理技术领域，特别涉及一种搜索引擎数据处理方法、搜索引擎数据处理装置、电子设备和计算机可读存储介质。

背景技术

当今互联网环境，搜索引擎被广泛地实用，而搜索引擎里面的数据只能作为查询搜索使用，不能当作落盘数据，所以数据库数据进行更新时，对于实时性要求比较高的场景来说，就需要频繁的更新索引数据。更新索引数据主要采用三种方式，监听binlog增量更新、针对业务硬编码更新、定期全量重刷。但是会存在复杂度高；存在业务入侵性，代码耦合严重，不具备实时性的缺点。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本申请的目的是提供一种搜索引擎数据处理方法、搜索引擎数据处理装置、电子设备和计算机可读存储介质，本申请不存在业务侵入性，操作简单，能够实时对搜索引擎中的所以数据进行更新。其具体方案如下：

本申请提供一种搜索引擎数据处理方法，包括：

接收到写指令，根据所述写指令进行业务处理，得到处理完成的目标数据；

根据所述目标数据利用数据源代理对数据库进行数据写入，并将所述目标数据推送到消息队列中；

监听所述消息队列，将所述消息队列中的所述目标数据异步刷到搜索引擎中。

可选的，所述监听所述消息队列，将所述消息队列中的所述目标数据异步刷到搜索引擎中之后，还包括：

每隔预设间隔时间读取预设时间段内所述消息队列中的变化数据；

将所述变化数据与所述搜索引擎中的对应的数据进行匹配；

若匹配成功，则确定校准成功；

若匹配失败，则将所述消息队列中对应的数据刷到所述搜索引擎中。

可选的，所述根据所述目标数据利用数据源代理对数据库进行数据写入之后，还包括：

控制所述数据库对所述目标数据的变更时间字段设置为当前时间；

对应的，所述每隔预设间隔时间读取预设时间段内所述消息队列中的变化数据，包括：

每隔所述预设间隔时间，根据所述消息队列中的所述当前时间确定所述预设时间段内的所述变化数据。

可选的，还包括：

接收到全量更新指令；

根据所述全量更新指令删除所述搜索引擎中的索引数据和索引结构，执行更新；

根据所述数据库中的所有数据刷新所述搜索引擎中的数据。

可选的，所述根据所述数据库中的所有数据刷新所述搜索引擎中的数据之前，还包括：

将所述数据库中的所有的数据的变更时间字段设置为所述当前时间。

可选的，所述数据库为关系型数据库。

可选的，所述搜索引擎是分布式弹性搜索引擎。

本申请提供一种搜索引擎数据处理装置，包括：

业务处理模块，用于接收到写指令，根据所述写指令进行业务处理，得到处理完成的目标数据；

数据源代理处理模块，用于根据所述目标数据利用数据源代理对数据库进行数据写入，并将所述目标数据推送到消息队列中；

数据写入模块，用于监听所述消息队列，将所述消息队列中的所述目标数据异步刷到搜索引擎中。

本申请提供一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述搜索引擎数据处理方法的步骤。

本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述搜索引擎数据处理方法的步骤。

本申请提供一种搜索引擎数据处理方法，包括：接收到写指令，根据写指令进行业务处理，得到处理完成的目标数据；根据目标数据利用数据源代理对数据库进行数据写入，并将目标数据推送到消息队列中；监听消息队列，将消息队列中的目标数据异步刷到搜索引擎中。

可见，本申请当数据库中数据的变化，将写入数据库中的目标数据推送到消息队列中，监听消息队列，将消息队列中的目标数据写入搜索引擎中，实现了每次数据库的变更，都会触发搜索引擎中的索引数据的实时更新，本申请不存在业务侵入性，操作简单，能够实时对搜索引擎中的所以数据进行更新。

本申请同时还提供了一种搜索引擎数据处理装置、一种电子设备和计算机可读存储介质，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种搜索引擎数据处理方法的流程图；

图2为本申请实施例所提供的一种数据下载的结构示意图；

图3为本申请实施例提供的一种搜索引擎数据处理装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

当今互联网环境，搜索引擎被广泛地实用，而搜索引擎里面的数据只能作为查询搜索使用，不能当作落盘数据，所以数据库数据进行更新时，对于实时性要求比较高的场景来说，就需要频繁的更新索引数据。更新索引数据主要采用三种方式，监听binlog增量更新、针对业务硬编码更新、定期全量重刷。但是会存在复杂度高；存在业务入侵性，代码耦合严重，不具备实时性的缺点。基于上述技术问题，本实施例提供一种搜索引擎数据处理方法，不存在业务侵入性，操作简单，能够实时对搜索引擎中的所以数据进行更新，具体请参考图1，图1为本申请实施例所提供的一种方法的流程图，具体包括：

S110、接收到写指令，根据写指令进行业务处理，得到处理完成的目标数据。

本实施例中执行主体为JVM，即Java虚拟机，用户Users下发了写指令至JVM，其中，写指令包括增、删、改，具体的可以根据用户的实际情况进行指令的下发。当JVM接收到写指令后，执行业务处理，得到处理完成的数据，将该数据记为目标数据。由于写指令的不同，因此，执行的业务处理不同，具体请参考相关技术，本实施例不再进行赘述。

S120、根据目标数据利用数据源代理对数据库进行数据写入，并将目标数据推送到消息队列中。

在整个执行过程中利用数据源代理即DB代理(DateBaseProxy)对数据源进行增强，以使每当启动时有数据表更即有写操作的下达，存在insert、update、delete操作时进行拦截，也就是说，数据源代理对数据库变更进行检测，每次数据库进行变更后，都会触发搜索引擎的索引数据的实时更新，也即将消息队列中的目标数据异步刷到搜索引擎中，具体写入到所有引擎的es文档内。

在根据目标数据利用数据源代理对数据库进行数据写入，并且将目标数据推送到消息队列中。消息队列中可以存在一个增量数据也可以是存在多个增量数据，其中，该增量数据是每次执行写操作后的目标数据。

本实施例不对数据库进行限定，优选的，数据库为关系型数据库。

S130、监听消息队列，将消息队列中的目标数据异步刷到搜索引擎中。

JVM实时监听消息队列的数据变更情况，当存在最新的目标数据时，将消息队列中的目标数据异步刷到搜索引擎中，实现了搜索引擎中的索引数据的实时更新，并且，本实施例操作简单，不存在业务入侵性，能够实现实时增量更新。

本实施例不对搜索引擎进行限定，优选的，搜索引擎是分布式弹性搜索引擎。

基于上述技术方案，本实施例当数据库中数据的变化，将写入数据库中的目标数据推送到消息队列中，监听消息队列，将消息队列中的目标数据写入搜索引擎中，实现了每次数据库的变更，都会触发搜索引擎中的索引数据的实时更新，本申请不存在业务侵入性，操作简单，能够实时对搜索引擎中的所以数据进行更新。

进一步的，监听消息队列，将消息队列中的目标数据异步刷到搜索引擎中之后，还包括：每隔预设间隔时间读取预设时间段内消息队列中的变化数据；将变化数据与搜索引擎中的对应的数据进行匹配；若匹配成功，则确定校准成功；若匹配失败，则将消息队列中对应的数据刷到搜索引擎中。

在一种可实现的实时方式中，消息队列中的数据每次利用数据源代理对数据库进行数据写入后，均将目标数据推送到消息队列中，且每一个目标数据均存在一个标识，可以是时间字段，时间字段表示当前的目标数据处理的一个时间点。每隔预设间隔时间读取在预设时间段内消息队列中的变化数据。

进一步的，根据目标数据利用数据源代理对数据库进行数据写入之后，还包括：控制数据库对目标数据的变更时间字段设置为当前时间；

对应的，每隔预设间隔时间读取预设时间段内消息队列中的变化数据，包括：每隔预设间隔时间，根据消息队列中的当前时间确定预设时间段内的变化数据。

本实施例中，任何对数据库记录的变更，都必须把变更时间字段置为当前。

本实施例提供的是对搜索引擎中的索引数据的定时校准更新。本实施例不对预设间隔时间和预设时间段进行限定，优选的，预设间隔时间小于预设时间段，此时，能够保证校验的准确性。具体的，在数据库中每个数据表都会增加一个变更时间字段ModifiedTime，当对数据库进行改写时，即将目标数据写入数据库中时将ModifiedTime设置为当前时间，每隔预设间隔时间轮询一次，根据ModifiedTime字段查询出最近的预设时间段内变更的数据，将该数据加入到消息队列中，等待被消费；此时该变更的数据记为变化数据，将变化数据与搜索引擎中的对应的数据进行匹配，如果匹配成功，则证明校准成功，搜索引擎中的数据是正确的，如果匹配失败，则将消息队列中的某一个或者多个匹配失败的数据刷到搜索引擎中，保证了搜索引擎中的数据的正确性完整性。

进一步的，还包括：接收到全量更新指令；根据全量更新指令删除搜索引擎中的索引数据和索引结构，执行更新；根据数据库中的所有数据刷新搜索引擎中的数据。

本实施例提供的是一种全量更新，发生模型变更或者其他重大情况需要重刷索引数据时，接收到全量更新指令；根据全量更新指令删除搜索引擎中的索引数据和索引结构，执行更新；根据数据库中的所有数据刷新搜索引擎中的数据，具体的，全量更新指令包括但是不限定于更新索引结构、更新***。具体的，先把索引数据和索引结构都删除，再把数据库里面所有的数据读取出来，进行全量dump(原意倾倒，在互联网语境中表示数据下载)，即数据下载。

进一步的，根据数据库中的所有数据刷新搜索引擎中的数据之前，还包括：将数据库中的所有的数据的变更时间字段设置为当前时间。通过变更时间字段的设置记录当前时间的数据的变化，以实现定时校准更新。

基于上述任一实施例，本实施提供一种针对搜索引擎数据下载的结构示意图，请参考图2，图2为本申请实施例所提供的一种数据下载的结构示意图，具体的执行过程包括：

针对数据库中的每张数据表需要加一个变更时间字段：ModifiedTime；

项目启动时生成数据源代理(DB代理)，对数据源进行增强；

JVM接收到用户users的写指令后，根据写指令执行业务处理，得到处理完成的目标数据；

当存在数据变更，将要有数据写入数据库时，即每当有insert、update、delete操作时，DB代理进行拦截；

DB代理控制对数据库sql进行数据改写，将改目标数据的变更时间字段ModifiedTime设置为当前时间；

当数据库完成目标数据的写入，即commit操作之后，将目标数据推送到消息队列中；

开启一个对消息队列的监听，消费里面的消息，将目标数据异步刷到搜索引擎的es文档上；

维护一个每预设间隔时间5min轮询一次的job，根据ModifiedTime字段查询出最近预设时间段15min变更的数据，加入到消息队列中，等待被消费，实现定时校准；

需要全量dump的时候，接收到全量更新指令，先删除集群中的索引数据和索引结构，再把所有数据的ModifiedTime改为当前时间，等待job的刷新；根据数据库中的所有数据刷新搜索引擎中的数据。

针对定时校准，本实施例进行进一步阐述，当在10:50、11:00、11:01、11:05、11:06均进行了数据库的数据改写，此时，当11:10轮询进行校准时，校验15min之内的数据，此时得到变化的数据对应的变更时间字段为11:00、11:01、11:05、11:06，则将四个时间对应的变化数据与搜索引擎中的数据进行匹配；下一个轮询时间是11:15，在11:10-11:15之间没有数据的写入，此时，校验15min之内的数据，此时得到变化的数据对应的变更时间字段为11:00、11:01、11:05、11:06；当在11:10-11:15之间11:12有数据的写入，此时，校验15min之内的数据，此时得到变化的数据对应的变更时间字段为11:00、11:01、11:05、11:06、11:12。通过上述方式可以保证每一个数据均可进行多次校准，保证了搜索引擎中的数据与数据库中数据的一致性。

下面对本申请实施例提供的一种搜索引擎数据处理装置进行介绍，下文描述的搜索引擎数据处理装置与上文描述的搜索引擎数据处理方法可相互对应参照，参考图3，图3为本申请实施例所提供的一种搜索引擎数据处理装置的结构示意图，包括：

业务处理模块310，用于接收到写指令，根据写指令进行业务处理，得到处理完成的目标数据；

数据源代理处理模块320，用于根据目标数据利用数据源代理对数据库进行数据写入，并将目标数据推送到消息队列中；

数据写入模块330，用于监听消息队列，将消息队列中的目标数据异步刷到搜索引擎中。

在一些具体的实施例中，还包括：

读取模块，用于每隔预设间隔时间读取预设时间段内消息队列中的变化数据；

匹配模块，用于将变化数据与搜索引擎中的对应的数据进行匹配；

确定模块，用于若匹配成功，则确定校准成功；

数据刷写模块，用于若匹配失败，则将消息队列中对应的数据刷到搜索引擎中。

在一些具体的实施例中，还包括：

设置模块，用于控制数据库对目标数据的变更时间字段设置为当前时间；

对应的，读取模块，包括：

读取单元，用于每隔预设间隔时间，根据消息队列中的当前时间确定预设时间段内的变化数据。

在一些具体的实施例中，还包括：

全量更新指令接收模块，用于接收到全量更新指令；

更新模块，用于根据全量更新指令删除搜索引擎中的索引数据和索引结构，执行更新；

数据刷新模块，用于根据数据库中的所有数据刷新搜索引擎中的数据。

在一些具体的实施例中，还包括：

时间设置模块，用于将数据库中的所有的数据的变更时间字段设置为当前时间。

在一些具体的实施例中，数据库为关系型数据库。

在一些具体的实施例中，搜索引擎是分布式弹性搜索引擎。

由于搜索引擎数据处理装置部分的实施例与搜索引擎数据处理方法部分的实施例相互对应，因此搜索引擎数据处理装置部分的实施例请参见搜索引擎数据处理方法部分的实施例的描述，这里暂不赘述。

下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的搜索引擎数据处理方法可相互对应参照。

本实施例提供一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上述搜索引擎数据处理方法的步骤。

由于电子设备部分的实施例与搜索引擎数据处理方法部分的实施例相互对应，因此电子设备部分的实施例请参见搜索引擎数据处理方法部分的实施例的描述，这里暂不赘述。

下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的方法可相互对应参照。

本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述搜索引擎数据处理方法的步骤。

由于计算机可读存储介质部分的实施例与方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种搜索引擎数据处理方法、搜索引擎数据处理装置、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种搜索引擎数据处理方法，其特征在于，包括：

接收到写指令，根据所述写指令进行业务处理，得到处理完成的目标数据；

根据所述目标数据利用数据源代理对数据库进行数据写入，并将所述目标数据推送到消息队列中；

监听所述消息队列，将所述消息队列中的所述目标数据异步刷到搜索引擎中。

2.根据权利要求1所述的搜索引擎数据处理方法，其特征在于，所述监听所述消息队列，将所述消息队列中的所述目标数据异步刷到搜索引擎中之后，还包括：

每隔预设间隔时间读取预设时间段内所述消息队列中的变化数据；

将所述变化数据与所述搜索引擎中的对应的数据进行匹配；

若匹配成功，则确定校准成功；

若匹配失败，则将所述消息队列中对应的数据刷到所述搜索引擎中。

3.根据权利要求2所述的搜索引擎数据处理方法，其特征在于，所述根据所述目标数据利用数据源代理对数据库进行数据写入之后，还包括：

控制所述数据库对所述目标数据的变更时间字段设置为当前时间；

对应的，所述每隔预设间隔时间读取预设时间段内所述消息队列中的变化数据，包括：

每隔所述预设间隔时间，根据所述消息队列中的所述当前时间确定所述预设时间段内的所述变化数据。

4.根据权利要求3所述的搜索引擎数据处理方法，其特征在于，还包括：

接收到全量更新指令；

根据所述全量更新指令删除所述搜索引擎中的索引数据和索引结构，执行更新；

根据所述数据库中的所有数据刷新所述搜索引擎中的数据。

5.根据权利要求4所述的搜索引擎数据处理方法，其特征在于，所述根据所述数据库中的所有数据刷新所述搜索引擎中的数据之前，还包括：

将所述数据库中的所有的数据的变更时间字段设置为所述当前时间。

6.根据权利要求1所述的搜索引擎数据处理方法，其特征在于，所述数据库为关系型数据库。

7.根据权利要求1所述的搜索引擎数据处理方法，其特征在于，所述搜索引擎是分布式弹性搜索引擎。

8.一种搜索引擎数据处理装置，其特征在于，包括：

业务处理模块，用于接收到写指令，根据所述写指令进行业务处理，得到处理完成的目标数据；

数据源代理处理模块，用于根据所述目标数据利用数据源代理对数据库进行数据写入，并将所述目标数据推送到消息队列中；

数据写入模块，用于监听所述消息队列，将所述消息队列中的所述目标数据异步刷到搜索引擎中。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述搜索引擎数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述搜索引擎数据处理方法的步骤。

Images