CN109815261A - 全局搜索功能实现及数据实时同步方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种全局搜索功能实现及数据实时同步方法、装置及电子设备。所述方法包括创建数据库表，构建所述数据库表与搜索引擎文档集合的映射关系，生成配置信息；将所述配置信息存储至内存；根据所述配置信息生成所述搜索引擎的索引库以及搜索接口；基于所述配置信息将即时更新的数据存储至所述索引库并提供给所述搜索接口调用。本发明所述方法、装置及电子设备，能够实现全局搜索功能并能满足数据时效性。

Description

全局搜索功能实现及数据实时同步方法、装置及电子设备

技术领域

本发明涉及，特别是指一种全局搜索功能实现及数据实时同步方法、装置及电子设备。

背景技术

搜索引擎(Search Engine)是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的***。“全局搜索”作为一个应用的快速入口，可以让用户通过关键词快速找到想要的功能或数据，然后基于搜索结果便捷的完成相关操作。用户对于全局搜索的依赖越来越强，因此全局搜索也成为企业应用中不可或缺的核心功能。怎样满足不断变化的全局搜索需求、快速开发和交付不断增加的全局搜索目标范围及数据时效性成为一个开发平台支持的重点。

发明内容

有鉴于此，本发明实施例的目的在于提出一种全局搜索功能实现及数据实时同步方法、装置及电子设备，实现全局搜索功能并能满足数据时效性。

基于上述目的本发明实施例提供的是一种全局搜索功能实现及数据实时同步方法，包括：

创建数据库表，构建所述数据库表与搜索引擎文档集合的映射关系，生成配置信息；

将所述配置信息存储至内存；

根据所述配置信息生成所述搜索引擎的索引库以及搜索接口；

调用所述配置信息并基于所述配置信息将即时更新的数据存储至所述索引库并提供给所述搜索接口调用。

可选的，所述构建所述数据库表与搜索引擎文档集合的映射关系包括：

解析所述数据库表的结构，获取所述数据库表中包含的数据库名称、表名称、字段名称、属性名称、属性类型；

将识别出的数据库名称、表名称、字段名称、属性名称、属性类型转换为与所述搜索引擎的文档集合匹配的字段。

可选的，所述配置信息为配置文件，所述映射关系包括所述数据库表与ES索引对象的映射关系、以及表字段与所述搜索引擎的索引对象的映射关系。

可选的，所述配置信息为数据库配置表，所述映射关系包括所述数据库表与ES索引结构的映射关系、以及表字段与所述搜索引擎的索引结构的映射关系。

可选的，所述将所述配置信息存储至内存包括：

获取***启动请求，调取配置更新任务；

根据所述配置更新任务读取所述配置信息；

将所述配置信息同步更新到内存数据库中存储。

可选的，还包括：根据所述配置更新任务读取全量或者部分的所述配置信息。

可选的，所述基于所述配置信息将更新数据存储至所述索引库包括：

对数据库的日志数据进行监控，判断是否有数据库表的更新操作；

若是，则获取所述数据库表中的所述更新数据，将所述更新数据同步到所述索引库中。

可选的，所述获取所述数据库表中的更新数据，将所述更新数据同步到所述索引库中包括：

将所述更新数据解析成与所述配置信息对应的表实体对象；

通过所述搜索引擎的调度程序将所述表实体对象分发到对应不同操作方式的消息队列中；

根据ID信息将所述表实体对象存储到所述索引库中。

本发明实施例还提供一种全局搜索功能实现及数据实时同步装置，包括：

构建模块，用于创建数据库表，构建所述数据库表与搜索引擎文档集合的映射关系，生成配置信息；

第一存储模块，用于将所述配置信息存储至内存；

生成模块，用于根据所述配置信息生成所述搜索引擎的索引库以及搜索接口；

第二存储模块，用于调用所述配置信息并基于所述配置信息将即时更新的数据存储至所述索引库并提供给所述搜索接口调用。

本发明实施例还提供一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任意一项所述的全局搜索功能实现及数据实时同步方法。

从上面所述可以看出，本发明实施例提供的全局搜索功能实现及数据实时同步方法、装置及电子设备，通过构建数据库表与搜索引擎文档集合的映射关系生成配置文件并将配置文件存储至内存，当使用时直接从内存中调用该配置信息对更新数据进行实时同步，从而快速实现了全局搜索功能以及数据的实时同步，保证了全局搜索的时效性。

附图说明

图1为本发明实施例所述全局搜索功能实现及数据实时同步方法流程图；

图2为本发明所述将配置信息存储至内存的一个具体实施例示意图；

图3为本发明数据实时同步的一个具体实施例示意图；

图4为本发明实施例所述全局搜索功能实现及数据实时同步装置结构图；

图5为本发明实施例所述电子设备结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

图1为本发明实施例所述全局搜索功能实现及数据实时同步方法流程图。

本发明实施例提供一种全局搜索功能实现及数据实时同步方法，包括：

步骤100，创建数据库表，构建所述数据库表与搜索引擎文档集合的映射关系，生成配置信息。

步骤200，将所述配置信息存储至内存。

步骤300，根据所述配置信息生成所述搜索引擎的索引库以及搜索接口。

步骤400，调用所述配置信息并基于所述配置信息将即时更新的数据存储至所述索引库并提供给所述搜索接口调用。

在上述实施例中，通过构建数据库表与搜索引擎文档集合的映射关系生成配置文件并将配置文件存储至内存，当使用时直接从内存中调用该配置信息对更新数据进行实时同步，从而快速实现了全局搜索功能以及数据的实时同步，保证了全局搜索的时效性。

在本实施例中，搜索引擎可选Elasticsearch(ES)。

在本发明的一些实施例中，所述构建所述数据库表与搜索引擎文档集合的映射关系包括：

步骤101，解析所述数据库表的结构，获取所述数据库表中包含的数据库名称、表名称、字段名称、属性名称、属性类型等。

步骤102，将识别出的数据库名称、表名称、字段名称、属性名称、属性类型转换为与所述搜索引擎的文档集合匹配的字段。

在本发明的一些实施例中，配置信息可以为配置文件或者数据库配置表。

其中，若所述配置信息为配置文件，则所述映射关系包括所述数据库表与ES索引对象的映射关系、以及表字段与所述搜索引擎的索引对象的映射关系。具体配置文件格式如下所示：

若所述配置信息为数据库配置表，则所述映射关系包括所述数据库表与ES索引结构的映射关系、以及表字段与所述搜索引擎的索引结构的映射关系。数据库配置表设计如下：

表名：rzl_config_table2es

描述：表与es索引结构的映射关系

表名：rzl_config_tablefield2es

描述：表字段与es索引结构的映射关系

在本发明的另一些实施例中，步骤200所述将所述配置信息存储至内存包括：

步骤201，获取***启动请求，调取配置更新任务。

步骤202，根据所述配置更新任务读取所述配置信息。具体的，根据入参和***配置加载配置信息。

步骤203，将所述配置信息同步更新到内存数据库中存储。具体的，将加载的表与es配置映射信息同步更新到内存数据库redis，供***其它程序调用。

可选的，还包括：根据所述配置更新任务读取全量或者部分的所述配置信息。

在一个具体的实施例中，使用redis存储配置信息。参照图2所示，当***启动时或手动触发时，配置加载中心接收到***参数发起变更通知之后，读取配置文件或者数据库配置表，构建配置对象，之后操作redis，新建或者更新redis。

在本发明的另一些实施例中，步骤400所述基于所述配置信息将更新数据存储至所述索引库包括：

步骤401，对数据库的日志数据进行监控，判断是否有数据库表的更新操作。可选的，所述日志数据为binlog日志。

步骤402，若是，则获取所述数据库表中的所述更新数据，将所述更新数据同步到所述索引库中。

可选的，步骤402所述获取所述数据库表中的更新数据，将所述更新数据同步到所述索引库中包括：

步骤4021，将所述更新数据解析成与所述配置信息对应的表实体对象。

步骤4022，通过所述搜索引擎的调度程序将所述表实体对象分发到对应不同操作方式的消息队列中。其中，操作方式包括新增、修改、删除等。一个数据如果与多个主题关联那么会被发送到多个对应的消息渠道。

步骤4023，根据ID信息将所述表实体对象存储到所述索引库中。具体的，监听消息的程序发现有新的数据库表操作对象后，就根据主题id和当前数据的id更新对应的索引对象中的数据(新增、修改或删除)，然后提供给搜索接口调用。

在一个具体的实施例中，参照图3所示，Canal对数据库进行监听，当Canal收到数据库更新的binlog日志后，全局搜索引擎会加载配置信息，并根据配置信息中的映射关系将更新的数据转化为Elasticsearch文档对象，之后基于ID信息操作Elasticsearch新建或者更新索引集合。

在一个可选的实施例中，全局搜索引擎restful api包括：

本发明实施例的另一方面还提供一种全局搜索功能实现及数据实时同步装置，参照图4所示，包括：

构建模块11，用于创建数据库表，构建所述数据库表与搜索引擎文档集合的映射关系，生成配置信息。

第一存储模块12，用于将所述配置信息存储至内存。

生成模块13，用于根据所述配置信息生成所述搜索引擎的索引库以及搜索接口；

第二存储模块14，用于调用所述配置信息并基于所述配置信息将即时更新的数据存储至所述索引库并提供给所述搜索接口调用。

本发明实施例的第三个方面，提出了一种执行所述全局搜索功能实现及数据实时同步方法的装置的一个实施例。如图5所示，为本发明提供的执行所述全局搜索功能实现及数据实时同步方法的装置的一个实施例的硬件结构示意图。

如图5所示，所述装置包括：

一个或多个处理器901以及存储器902，图5中以一个处理器901为例。

所述执行所述数据推荐方法的装置还可以包括：输入装置903和输出装置904。

处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器902作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述全局搜索功能实现及数据实时同步方法对应的程序指令/模块(例如，附图4所示的构建模块11、第一存储模块12、生成模块13和第二存储模块14)。处理器901通过运行存储在存储器1002中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的全局搜索功能实现及数据实时同步方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据全局搜索功能实现及数据实时同步装置的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置903可接收输入的数字或字符信息，以及产生与全局搜索功能实现及数据实时同步装置的用户设置以及功能控制有关的键信号输入。输出装置904可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器902中，当被所述一个或者多个处理器901执行时，执行上述任意方法实施例中的全局搜索功能实现及数据实时同步方法。所述执行所述全局搜索功能实现及数据实时同步方法的装置的实施例，其技术效果与前述任意方法实施例相同或者类似。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种全局搜索功能实现及数据实时同步方法，其特征在于，包括：

创建数据库表，构建所述数据库表与搜索引擎文档集合的映射关系，生成配置信息；

将所述配置信息存储至内存；

根据所述配置信息生成所述搜索引擎的索引库以及搜索接口；

调用所述配置信息并基于所述配置信息将即时更新的数据存储至所述索引库并提供给所述搜索接口调用。

2.根据权利要求1所述的方法，其特征在于，所述构建所述数据库表与搜索引擎文档集合的映射关系包括：

解析所述数据库表的结构，获取所述数据库表中包含的数据库名称、表名称、字段名称、属性名称、属性类型；

将识别出的数据库名称、表名称、字段名称、属性名称、属性类型转换为与所述搜索引擎的文档集合匹配的字段。

3.根据权利要求2所述的方法，其特征在于，所述配置信息为配置文件，所述映射关系包括所述数据库表与ES索引对象的映射关系、以及表字段与所述搜索引擎的索引对象的映射关系。

4.根据权利要求2所述的方法，其特征在于，所述配置信息为数据库配置表，所述映射关系包括所述数据库表与ES索引结构的映射关系、以及表字段与所述搜索引擎的索引结构的映射关系。

5.根据权利要求1所述的方法，其特征在于，所述将所述配置信息存储至内存包括：

获取***启动请求，调取配置更新任务；

根据所述配置更新任务读取所述配置信息；

将所述配置信息同步更新到内存数据库中存储。

6.根据权利要求5所述的方法，其特征在于，还包括：根据所述配置更新任务读取全量或者部分的所述配置信息。

7.根据权利要求1所述的方法，其特征在于，所述基于所述配置信息将更新数据存储至所述索引库包括：

对数据库的日志数据进行监控，判断是否有数据库表的更新操作；

若是，则获取所述数据库表中的所述更新数据，将所述更新数据同步到所述索引库中。

8.根据权利要求7所述的方法，其特征在于，所述获取所述数据库表中的更新数据，将所述更新数据同步到所述索引库中包括：

将所述更新数据解析成与所述配置信息对应的表实体对象；

通过所述搜索引擎的调度程序将所述表实体对象分发到对应不同操作方式的消息队列中；

根据ID信息将所述表实体对象存储到所述索引库中。

9.一种全局搜索功能实现及数据实时同步装置，其特征在于，包括：

构建模块，用于创建数据库表，构建所述数据库表与搜索引擎文档集合的映射关系，生成配置信息；

第一存储模块，用于将所述配置信息存储至内存；

生成模块，用于根据所述配置信息生成所述搜索引擎的索引库以及搜索接口；

第二存储模块，用于调用所述配置信息并基于所述配置信息将即时更新的数据存储至所述索引库并提供给所述搜索接口调用。

10.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-8任意一项所述的全局搜索功能实现及数据实时同步方法。