CN116431878A - 向量检索服务方法、装置、设备及其存储介质 - Google Patents

向量检索服务方法、装置、设备及其存储介质 Download PDF

Info

Publication number
CN116431878A
CN116431878A CN202310383382.XA CN202310383382A CN116431878A CN 116431878 A CN116431878 A CN 116431878A CN 202310383382 A CN202310383382 A CN 202310383382A CN 116431878 A CN116431878 A CN 116431878A
Authority
CN
China
Prior art keywords
data
vector
search
retrieval
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310383382.XA
Other languages
English (en)
Inventor
李志固
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202310383382.XA priority Critical patent/CN116431878A/zh
Publication of CN116431878A publication Critical patent/CN116431878A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2237—Vectors, bitmaps or matrices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例属于基架运维技术领域，应用于语义检索过程优化领域中，涉及一种向量检索服务方法、装置、设备及其存储介质，包括获取目标数据；对目标数据进行向量化处理，获取目标向量值；从第一向量检索库内获取目标向量值对应的唯一标识；从第二向量检索库内获取目标数据对应的相似问或标准问；将相似问或标准问作为检索替代字段，并通过搜索引擎和检索替代字段完成检索服务。通过ElasticSearch、Milvus(或消息队列+Faiss)共同构建了知识实时同步的向量检索服务模式，使得ElasticSearch仅维护向量和相似问、标准问的映射关系，Milvus或Faiss只需维护向量和唯一标识的映射关系，通过对消息队列进行监听，保证及时做到同步更新检索服务，避免给检索方造成较差的业务体验。

Description

向量检索服务方法、装置、设备及其存储介质
技术领域
本申请涉及语义检索过程优化技术领域，尤其涉及一种向量检索服务方法、装置、设备及其存储介质。
背景技术
向量检索是人工智能技术的常用落地方案，通过人工智能技术对文本、图片、语音、视频等非结构化数据转换成向量后，可以通过向量的计算和检索方法获取最相似向量，从而实现相似文本检索、商品搜索、以图搜图等应用的落地。
目前向量检索在工业界的落地上需要基于向量检索算法将向量检索服务化，对其进行封装和优化，以适应各自的使用场景。所以向量检索服务通常只针对非结构化数据转换后的向量做向量数据管理和应用，是一个独立的服务，在实现时则需要考虑向量和非结构化数据之间的关系和数据同步，现有方式，往往在底层依据数据变动时，需要先行暂停检索服务，对变动的数据进行定时更新，达到数据同步的目的，而后再开启检索服务，但是，这种方式无法及时做到同步更新检索服务，也给检索方造成较差的业务体验。因此，现有技术无法及时做到同步更新检索服务，易给检索方造成较差的业务体验的问题。
发明内容
本申请实施例的目的在于提出一种向量检索服务方法、装置、设备及其存储介质，以解决现有技术无法及时做到同步更新检索服务，易给检索方造成较差的业务体验的问题。
为了解决上述技术问题，本申请实施例提供一种向量检索服务方法，采用了如下所述的技术方案：
一种向量检索服务方法，包括下述步骤：
获取检索者在预设的搜索引擎内输入的目标数据，其中，所述目标数据为待进行相似问检索的数据或待进行标准问检索的数据；
根据预设的向量化模型对所述目标数据进行向量化处理，获取目标向量值；
将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识；
将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问；
将所述目标数据对应的相似问或标准问作为检索替代字段，并通过所述搜索引擎和所述检索替代字段完成检索服务。
进一步的，在执行所述获取检索者在预设的搜索引擎内输入的目标数据的步骤之前，所述方法还包括：
预先获取预设的问答知识库内的全量数据，其中，所述全量数据中包括所述目标数据对应的相似问或标准问，所述问答知识库为TiDB数据库；
根据预设的标识命名规则，为所述全量数据中各数据进行区别命名，将区别命名结果作为所述全量数据中各数据分别对应的唯一标识，其中，所述标识命名规则可以为以所述全量数据中各数据分别对应的区别ID进行区别命名。
进一步的，在执行所述根据预设的标识命名规则，为所述全量数据中各数据进行区别命名，将区别命名结果作为所述全量数据中各数据分别对应的唯一标识的步骤之后，所述方法还包括：
将所述全量数据和所述全量数据中各数据分别对应的唯一标识根据唯一关联关系逐对转存至所述第二向量检索库内，其中，所述第二向量检索库为ElasticSearch向量检索库。
进一步的，在执行所述将所述全量数据和所述全量数据中各数据分别对应的唯一标识根据唯一关联关系逐对转存至所述第二向量检索库内的步骤之后，所述方法还包括：
根据所述向量化模型获取所述全量数据中各数据分别对应的向量值；
将所述向量值和所述全量数据中各数据分别对应的唯一标识作为成对数据，同步缓存记录到所述第一向量检索库内，其中，所述第一向量检索库为Faiss向量检索库或Milvus向量检索库。
进一步的，所述将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识的步骤，具体包括：
根据余弦相似度算法，获取所述第一向量检索库内与所述第一检索字段最接近的向量值；
获取所述最接近的向量值对应的唯一标识作为所述目标向量值的唯一标识。
进一步的，在执行所述将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问的步骤之前，所述方法还包括：
根据预设的消息队列监听组件，判断所述问答知识库内的全量数据是否存在数据更新，其中，所述数据更新具体指对所述全量数据的增删改操作；
若所述问答知识库内的全量数据存在数据更新，则根据所述增删改操作对应的执行逻辑关系对所述第二向量检索库内的全量数据和唯一标识进行更新。
进一步的，在执行所述根据所述增删改操作对应的执行逻辑关系对所述第二向量检索库内的全量数据和唯一标识进行更新的步骤之后，所述方法还包括：
根据所述向量化模型获取进行更新后所述全量数据中各数据分别对应的向量值；
将所述向量值和进行更新后所述全量数据中各数据分别对应的唯一标识作为成对数据，更新所述第一向量检索库内的缓存记录。
为了解决上述技术问题，本申请实施例还提供一种向量检索服务装置，采用了如下所述的技术方案：
一种向量检索服务装置，包括：
目标数据获取模块，用于获取检索者在预设的搜索引擎内输入的目标数据，其中，所述目标数据为待进行相似问检索的数据或待进行标准问检索的数据；
向量化处理模块，用于根据预设的向量化模型对所述目标数据进行向量化处理，获取目标向量值；
第一检索模块，用于将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识；
第二检索模块，用于将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问；
第三检索模块，用于将所述目标数据对应的相似问或标准问作为检索替代字段，并通过所述搜索引擎和所述检索替代字段完成检索服务。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述所述的向量检索服务方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述的向量检索服务方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请实施例所述向量检索服务方法，通过获取检索者在预设的搜索引擎内输入的目标数据，其中，所述目标数据为待进行相似问检索的数据或待进行标准问检索的数据；根据预设的向量化模型对所述目标数据进行向量化处理，获取目标向量值；将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识；将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问；将所述目标数据对应的相似问或标准问作为检索替代字段，并通过所述搜索引擎和所述检索替代字段完成检索服务。通过ElasticSearch、Milvus(或消息队列+Faiss)共同构建了知识实时同步的向量检索服务模式，使得ElasticSearch仅维护向量和相似问、标准问的映射关系，Milvus或Faiss只需维护向量和唯一标识的映射关系，通过对消息队列进行监听，保证及时做到同步更新检索服务，避免给检索方造成较差的业务体验。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性***架构图；
图2根据本申请的向量检索服务方法的一个实施例的流程图；
图3根据本申请的向量检索服务装置的一个实施例的结构示意图；
图4根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的向量检索服务方法一般由服务器/终端设备执行，相应地，向量检索服务装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
为了便于理解，首先介绍本申请中使用到的检索服务支持库的架构方式，本实施采用的检索服务支持库的架构方式包括两种，其中一种架构方式为：TiDB数据库+ElasticSearch向量检索库+Faiss向量检索库+消息队列；另一种架构方式为：TiDB数据库+ElasticSearch向量检索库+Milvus向量检索库。
下面分别介绍TiDB数据库、ElasticSearch向量检索库、Faiss向量检索库和Milvus向量检索库。
TiDB数据库是一种开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库、兼容MySQL5.7协议和MySQL生态等重要特性，TiDB适合高可用、强一致要求较高、数据规模较大等各种应用场景，例如对数据一致性及高可靠、***高可用、可扩展性、容灾要求较高的金融行业场景，其内主要保存金融行业场景中数据，例如金融行业业务咨询时的标准问或/和相似问，本申请中的问答知识库采用TiDB数据库，其内预先缓存相似问和标准问，保证了检索服务适合高可用、强一致要求较高、数据规模较大的金融保险业务问答场景；
ElasticSearch是一个分布式、高扩展、高实时的搜索与数据分析引擎，能够为所有类型的数据提供近乎实时的搜索和分析，与ElasticSearch搜索引擎相配套的数据库为ElasticSearch向量检索库，为分布式搜索和分析提供数据支持，本申请中仅仅将ElasticSearch向量检索库作为一个缓存数据库，和TiDB数据库同步使用，其内缓存相似问、标准问和唯一标识，即仅仅使用ElasticSearch向量检索库维护相似问、标准问和唯一标识间的关系；
Faiss向量检索库，全称(Facebook AI Similarity Search)是FacebookAI团队开源的针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前较成熟的近似近邻搜索库，本申请中在Faiss库中仅仅缓存唯一标识和相似问、标准问对应的向量值，维护唯一标识与向量值之间的关系；
Milvus向量检索库是一款开源的特征向量相似度搜索引擎，使用方便、实用可靠、易于扩展、稳定高效和搜索迅速，涵盖如Faiss、Annoy和hnswlib等主流第三方索引库，性能高，支持对海量向量数据进行相似搜索，而且，Milvus向量检索库依照日志及数据的理念，使用如Pulsar、Kafka等消息队列的技术实现组件间的通信，本申请中可使用Milvus向量检索库替代Faiss库+消息队列的组合方式，首先，即能维护唯一标识与向量值之间的关系，也能通过内置的消息队列实现组件监测相似问和标准问数据的变更，对唯一标识和向量值进行及时更新。
继续参考图2，示出了根据本申请的向量检索服务方法的一个实施例的流程图。所述的向量检索服务方法，包括以下步骤：
步骤S1，获取检索者在预设的搜索引擎内输入的目标数据，其中，所述目标数据为待进行相似问检索的数据或待进行标准问检索的数据。
本实施例中，所述的搜索引擎可以为ElasticSearch搜索引擎。
本实施例中，在执行所述获取检索者在预设的搜索引擎内输入的目标数据的步骤之前，所述方法还包括：预先获取预设的问答知识库内的全量数据，其中，所述全量数据中包括所述目标数据对应的相似问或标准问，所述问答知识库为TiDB数据库；根据预设的标识命名规则，为所述全量数据中各数据进行区别命名，将区别命名结果作为所述全量数据中各数据分别对应的唯一标识，其中，所述标识命名规则可以为以所述全量数据中各数据分别对应的区别ID进行区别命名。
通过对所述全量数据中各数据进行区别命名，为各数据添加唯一标识，便于检索服务操作，节省检索时间，防止检索混淆。
本实施例中，在执行所述根据预设的标识命名规则，为所述全量数据中各数据进行区别命名，将区别命名结果作为所述全量数据中各数据分别对应的唯一标识的步骤之后，所述方法还包括：将所述全量数据和所述全量数据中各数据分别对应的唯一标识根据唯一关联关系逐对转存至所述第二向量检索库内，其中，所述第二向量检索库为ElasticSearch向量检索库。
通过将所述全量数据和所述全量数据中各数据分别对应的唯一标识根据唯一关联关系逐对转存至所述第二向量检索库内，使得ElasticSearch向量检索库仅仅只维护相似问、标准问和唯一标识，无需在ElasticSearch向量检索库内重复维护向量值。
本实施例中，在执行所述将所述全量数据和所述全量数据中各数据分别对应的唯一标识根据唯一关联关系逐对转存至所述第二向量检索库内的步骤之后，所述方法还包括：根据所述向量化模型获取所述全量数据中各数据分别对应的向量值；将所述向量值和所述全量数据中各数据分别对应的唯一标识作为成对数据，同步缓存记录到所述第一向量检索库内，其中，所述第一向量检索库为Faiss向量检索库或Milvus向量检索库。
通过将所述向量值和所述全量数据中各数据分别对应的唯一标识作为成对数据，同步缓存记录到所述第一向量检索库内，保证了第一向量检索库仅仅维护向量值和唯一标识的关系，无需在第一向量检索库内存入相似问和标准问。
步骤S2，根据预设的向量化模型对所述目标数据进行向量化处理，获取目标向量值。
本实施例中，所述向量化模型具体指将非数值化数据转换为数值化数据的模型。
步骤S3，将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识。
本实施例中，所述将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识的步骤，具体包括：根据余弦相似度算法，获取所述第一向量检索库内与所述第一检索字段最接近的向量值；获取所述最接近的向量值对应的唯一标识作为所述目标向量值的唯一标识。
通过Faiss向量检索库或Milvus向量检索库中内置的相似度算法，即可直接获得所述目标向量值的唯一标识，无需另外编写相似度计算程序，减少了逻辑代码量。
步骤S4，将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问。
本实施例中，在执行所述将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问的步骤之前，所述方法还包括：根据预设的消息队列监听组件，判断所述问答知识库内的全量数据是否存在数据更新，其中，所述数据更新具体指对所述全量数据的增删改操作；若所述问答知识库内的全量数据不存在数据更新，则执行步骤S4；若所述问答知识库内的全量数据存在数据更新，则根据所述增删改操作对应的执行逻辑关系对所述第二向量检索库内的全量数据和唯一标识进行更新。
采用消息队列和监听方式，判断所述问答知识库内的全量数据是否存在数据更新，做到对第二向量检索库内数据及时更新，保证检索服务的高准确性和及时可靠性。
本实施例中，在执行所述根据所述增删改操作对应的执行逻辑关系对所述第二向量检索库内的全量数据和唯一标识进行更新的步骤之后，所述方法还包括：根据所述向量化模型获取进行更新后所述全量数据中各数据分别对应的向量值；将所述向量值和进行更新后所述全量数据中各数据分别对应的唯一标识作为成对数据，更新所述第一向量检索库内的缓存记录。
采用消息队列和监听方式，判断所述问答知识库内的全量数据是否存在数据更新，做到对第一向量检索库内数据及时更新，保证检索服务的高准确性和及时可靠性。
步骤S5，将所述目标数据对应的相似问或标准问作为检索替代字段，并通过所述搜索引擎和所述检索替代字段完成检索服务。
通过将相似问或标准问作为检索替代字段，使得检索字段更加规范，由各个检索者的任意输入，一致转化为使用相似问或标准问作为检索替代字段进行检索，更加规范。
本申请通过获取检索者在预设的搜索引擎内输入的目标数据，其中，所述目标数据为待进行相似问检索的数据或待进行标准问检索的数据；根据预设的向量化模型对所述目标数据进行向量化处理，获取目标向量值；将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识；将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问；将所述目标数据对应的相似问或标准问作为检索替代字段，并通过所述搜索引擎和所述检索替代字段完成检索服务。通过ElasticSearch、Milvus(或消息队列+Faiss)共同构建了知识实时同步的向量检索服务模式，使得ElasticSearch仅维护向量和相似问、标准问的映射关系，Milvus或Faiss只需维护向量和唯一标识的映射关系，通过对消息队列进行监听，保证及时做到同步更新检索服务，避免给检索方造成较差的业务体验。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例中，在人工智能技术中向量检索服务过程中，通过ElasticSearch、Milvus(或消息队列+Faiss)共同构建了知识实时同步的向量检索服务模式，使得ElasticSearch仅维护向量和相似问、标准问的映射关系，Milvus或Faiss只需维护向量和唯一标识的映射关系，通过对消息队列进行监听，保证及时做到同步更新检索服务，避免给检索方造成较差的业务体验。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种向量检索服务装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的向量检索服务装置300包括：目标数据获取模块301、向量化处理模块302、第一检索模块303、第二检索模块304和第三检索模块305。其中：
目标数据获取模块301，用于获取检索者在预设的搜索引擎内输入的目标数据，其中，所述目标数据为待进行相似问检索的数据或待进行标准问检索的数据；
向量化处理模块302，用于根据预设的向量化模型对所述目标数据进行向量化处理，获取目标向量值；
第一检索模块303，用于将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识；
第二检索模块304，用于将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问；
第三检索模块305，用于将所述目标数据对应的相似问或标准问作为检索替代字段，并通过所述搜索引擎和所述检索替代字段完成检索服务。
在本申请的一些具体的实施方式中，所述的向量检索服务装置300还包括唯一标识添加模块，所述唯一标识添加模块用于根据预设的标识命名规则，为所述全量数据中各数据进行区别命名，将区别命名结果作为所述全量数据中各数据分别对应的唯一标识，其中，所述标识命名规则可以为以所述全量数据中各数据分别对应的区别ID进行区别命名。
在本申请的一些具体的实施方式中，所述的向量检索服务装置300还包括第一转存模块，所述第一转存模块用于将所述全量数据和所述全量数据中各数据分别对应的唯一标识根据唯一关联关系逐对转存至所述第二向量检索库内，其中，所述第二向量检索库为ElasticSearch向量检索库。
在本申请的一些具体的实施方式中，所述的向量检索服务装置300还包括第二转存模块，所述第二转存模块用于根据所述向量化模型获取所述全量数据中各数据分别对应的向量值；将所述向量值和所述全量数据中各数据分别对应的唯一标识作为成对数据，同步缓存记录到所述第一向量检索库内，其中，所述第一向量检索库为Faiss向量检索库或Milvus向量检索库。
在本申请的一些具体的实施方式中，所述的向量检索服务装置300还包括监听识别模块，所述监听识别模块用于根据预设的消息队列监听组件，判断所述问答知识库内的全量数据是否存在数据更新，其中，所述数据更新具体指对所述全量数据的增删改操作。
在本申请的一些具体的实施方式中，所述的向量检索服务装置300还包括同步更新模块，所述同步更新模块用于根据所述增删改操作对应的执行逻辑关系对所述第二向量检索库内的全量数据和唯一标识进行更新；还用于根据所述向量化模型获取进行更新后所述全量数据中各数据分别对应的向量值；还用于将所述向量值和进行更新后所述全量数据中各数据分别对应的唯一标识作为成对数据，更新所述第一向量检索库内的缓存记录。
本申请通过获取检索者在预设的搜索引擎内输入的目标数据，其中，所述目标数据为待进行相似问检索的数据或待进行标准问检索的数据；根据预设的向量化模型对所述目标数据进行向量化处理，获取目标向量值；将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识；将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问；将所述目标数据对应的相似问或标准问作为检索替代字段，并通过所述搜索引擎和所述检索替代字段完成检索服务。通过ElasticSearch、Milvus(或消息队列+Faiss)共同构建了知识实时同步的向量检索服务模式，使得ElasticSearch仅维护向量和相似问、标准问的映射关系，Milvus或Faiss只需维护向量和唯一标识的映射关系，通过对消息队列进行监听，保证及时做到同步更新检索服务，避免给检索方造成较差的业务体验。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过***总线相互通信连接存储器4a、处理器4b、网络接口4c。需要指出的是，图中仅示出了具有组件4a-4c的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器4a至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器4a可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器4a也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器4a还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器4a通常用于存储安装于所述计算机设备4的操作***和各类应用软件，例如向量检索服务方法的计算机可读指令等。此外，所述存储器4a还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器4b在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器4b通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器4b用于运行所述存储器4a中存储的计算机可读指令或者处理数据，例如运行所述向量检索服务方法的计算机可读指令。
所述网络接口4c可包括无线网络接口或有线网络接口，该网络接口4c通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本实施例提出的计算机设备，属于语义检索过程优化技术领域。本申请通过获取检索者在预设的搜索引擎内输入的目标数据，其中，所述目标数据为待进行相似问检索的数据或待进行标准问检索的数据；根据预设的向量化模型对所述目标数据进行向量化处理，获取目标向量值；将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识；将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问；将所述目标数据对应的相似问或标准问作为检索替代字段，并通过所述搜索引擎和所述检索替代字段完成检索服务。通过ElasticSearch、Milvus(或消息队列+Faiss)共同构建了知识实时同步的向量检索服务模式，使得ElasticSearch仅维护向量和相似问、标准问的映射关系，Milvus或Faiss只需维护向量和唯一标识的映射关系，通过对消息队列进行监听，保证及时做到同步更新检索服务，避免给检索方造成较差的业务体验。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被处理器执行，以使所述处理器执行如上述的向量检索服务方法的步骤。
本实施例提出的计算机可读存储介质，属于语义检索过程优化技术领域。本申请通过获取检索者在预设的搜索引擎内输入的目标数据，其中，所述目标数据为待进行相似问检索的数据或待进行标准问检索的数据；根据预设的向量化模型对所述目标数据进行向量化处理，获取目标向量值；将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识；将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问；将所述目标数据对应的相似问或标准问作为检索替代字段，并通过所述搜索引擎和所述检索替代字段完成检索服务。通过ElasticSearch、Milvus(或消息队列+Faiss)共同构建了知识实时同步的向量检索服务模式，使得ElasticSearch仅维护向量和相似问、标准问的映射关系，Milvus或Faiss只需维护向量和唯一标识的映射关系，通过对消息队列进行监听，保证及时做到同步更新检索服务，避免给检索方造成较差的业务体验。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种向量检索服务方法，其特征在于，包括下述步骤：
获取检索者在预设的搜索引擎内输入的目标数据，其中，所述目标数据为待进行相似问检索的数据或待进行标准问检索的数据；
根据预设的向量化模型对所述目标数据进行向量化处理，获取目标向量值；
将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识；
将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问；
将所述目标数据对应的相似问或标准问作为检索替代字段，并通过所述搜索引擎和所述检索替代字段完成检索服务。
2.根据权利要求1所述的向量检索服务方法，其特征在于，在执行所述获取检索者在预设的搜索引擎内输入的目标数据的步骤之前，所述方法还包括：
预先获取预设的问答知识库内的全量数据，其中，所述全量数据中包括所述目标数据对应的相似问或标准问，所述问答知识库为Ti DB数据库；
根据预设的标识命名规则，为所述全量数据中各数据进行区别命名，将区别命名结果作为所述全量数据中各数据分别对应的唯一标识，其中，所述标识命名规则可以为以所述全量数据中各数据分别对应的区别ID进行区别命名。
3.根据权利要求2所述的向量检索服务方法，其特征在于，在执行所述根据预设的标识命名规则，为所述全量数据中各数据进行区别命名，将区别命名结果作为所述全量数据中各数据分别对应的唯一标识的步骤之后，所述方法还包括：
将所述全量数据和所述全量数据中各数据分别对应的唯一标识根据唯一关联关系逐对转存至所述第二向量检索库内，其中，所述第二向量检索库为El ast icSearch向量检索库。
4.根据权利要求3所述的向量检索服务方法，其特征在于，在执行所述将所述全量数据和所述全量数据中各数据分别对应的唯一标识根据唯一关联关系逐对转存至所述第二向量检索库内的步骤之后，所述方法还包括：
根据所述向量化模型获取所述全量数据中各数据分别对应的向量值；
将所述向量值和所述全量数据中各数据分别对应的唯一标识作为成对数据，同步缓存记录到所述第一向量检索库内，其中，所述第一向量检索库为Faiss向量检索库或Mil vus向量检索库。
5.根据权利要求4所述的向量检索服务方法，其特征在于，所述将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识的步骤，具体包括：
根据余弦相似度算法，获取所述第一向量检索库内与所述第一检索字段最接近的向量值；
获取所述最接近的向量值对应的唯一标识作为所述目标向量值的唯一标识。
6.根据权利要求3所述的向量检索服务方法，其特征在于，在执行所述将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问的步骤之前，所述方法还包括：
根据预设的消息队列监听组件，判断所述问答知识库内的全量数据是否存在数据更新，其中，所述数据更新具体指对所述全量数据的增删改操作；
若所述问答知识库内的全量数据存在数据更新，则根据所述增删改操作对应的执行逻辑关系对所述第二向量检索库内的全量数据和唯一标识进行更新。
7.根据权利要求6所述的向量检索服务方法，其特征在于，在执行所述根据所述增删改操作对应的执行逻辑关系对所述第二向量检索库内的全量数据和唯一标识进行更新的步骤之后，所述方法还包括：
根据所述向量化模型获取进行更新后所述全量数据中各数据分别对应的向量值；
将所述向量值和进行更新后所述全量数据中各数据分别对应的唯一标识作为成对数据，更新所述第一向量检索库内的缓存记录。
8.一种向量检索服务装置，其特征在于，包括：
目标数据获取模块，用于获取检索者在预设的搜索引擎内输入的目标数据，其中，所述目标数据为待进行相似问检索的数据或待进行标准问检索的数据；
向量化处理模块，用于根据预设的向量化模型对所述目标数据进行向量化处理，获取目标向量值；
第一检索模块，用于将所述目标向量值作为第一检索字段，从预设的第一向量检索库内获取所述目标向量值对应的唯一标识；
第二检索模块，用于将所述唯一标识作为第二检索字段，从预设的第二向量检索库内获取所述目标数据对应的相似问或标准问；
第三检索模块，用于将所述目标数据对应的相似问或标准问作为检索替代字段，并通过所述搜索引擎和所述检索替代字段完成检索服务。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的向量检索服务方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的向量检索服务方法的步骤。
CN202310383382.XA 2023-04-06 2023-04-06 向量检索服务方法、装置、设备及其存储介质 Pending CN116431878A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310383382.XA CN116431878A (zh) 2023-04-06 2023-04-06 向量检索服务方法、装置、设备及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310383382.XA CN116431878A (zh) 2023-04-06 2023-04-06 向量检索服务方法、装置、设备及其存储介质

Publications (1)

Publication Number Publication Date
CN116431878A true CN116431878A (zh) 2023-07-14

Family

ID=87090312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310383382.XA Pending CN116431878A (zh) 2023-04-06 2023-04-06 向量检索服务方法、装置、设备及其存储介质

Country Status (1)

Country Link
CN (1) CN116431878A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117687867A (zh) * 2023-11-30 2024-03-12 广州三叠纪元智能科技有限公司 一种Elasticsearch日志记录方法、电子设备和存储介质和产品
CN117688163A (zh) * 2024-01-29 2024-03-12 杭州有赞科技有限公司 基于指令微调和检索增强生成的在线智能问答方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117687867A (zh) * 2023-11-30 2024-03-12 广州三叠纪元智能科技有限公司 一种Elasticsearch日志记录方法、电子设备和存储介质和产品
CN117688163A (zh) * 2024-01-29 2024-03-12 杭州有赞科技有限公司 基于指令微调和检索增强生成的在线智能问答方法及装置
CN117688163B (zh) * 2024-01-29 2024-04-23 杭州有赞科技有限公司 基于指令微调和检索增强生成的在线智能问答方法及装置

Similar Documents

Publication Publication Date Title
US9934260B2 (en) Streamlined analytic model training and scoring system
US20190392258A1 (en) Method and apparatus for generating information
CN116431878A (zh) 向量检索服务方法、装置、设备及其存储介质
US11030402B2 (en) Dictionary expansion using neural language models
CN112861662B (zh) 基于人脸和交互文本的目标对象行为预测方法及相关设备
CN112528040B (zh) 基于知识图谱的引导教唆语料的检测方法及其相关设备
CN117216114A (zh) 一种数据流关联方法、装置、设备及其存储介质
CN117275466A (zh) 一种业务意图识别方法、装置、设备及其存储介质
CN117034230A (zh) 一种数据校验方法、装置、设备及其存储介质
CN117094729A (zh) 请求处理方法、装置、计算机设备及存储介质
CN116703520A (zh) 基于改进K-means算法的产品推荐方法及其相关设备
CN110704650A (zh) Ota图片标签的识别方法、电子设备和介质
CN115185625A (zh) 基于可配置卡片的自推荐式界面更新方法及其相关设备
JP2022111020A (ja) 文書類似度学習に基づくディープラーニングモデルの転移学習方法およびコンピュータ装置
CN112650830B (zh) 关键词提取方法、装置、电子设备和存储介质
CN116737833A (zh) 基于分区模式的cdc数据资源同步方法及其相关设备
CN117332012A (zh) 一种数据关联方法、装置、设备及其存储介质
CN117874073A (zh) 一种搜索优化方法、装置、设备及其存储介质
CN116701512A (zh) 跨服务器间数据调用提速方法、装置、设备及其存储介质
CN115879465A (zh) 搜索引擎分词模型构建方法及其相关设备
CN116431607A (zh) 数据模型重构方法、装置、设备及其存储介质
CN118113710A (zh) 一种数据落库方法、装置、计算机设备及存储介质
CN116842011A (zh) 血缘关系分析方法、装置、计算机设备及存储介质
CN115168471A (zh) 数据报表生成方法、装置、计算机设备及存储介质
CN117391782A (zh) 一种广告投放方法、装置、设备及其存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination