CN111400607B - 搜索内容输出方法、装置、计算机设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种搜索内容输出方法、装置、计算机设备及可读存储介质，涉及互联网技术领域，获取待搜索信息的信息切词、实体标识以及语义向量，进而获取包括信息切词的第一候选内容，获取实体标识对应的和/或相似度大于第一相似度阈值的第二候选内容，并获取与语义向量的相似度大于第二相似度阈值的第三候选内容，以便输出搜索内容，使得利用多条搜索链路搜索，打破局限性，避免素材的浪费，提高了成功率和准确率。所述方法包括：对待搜索信息进行解析，得到待搜索信息的信息切词、实体标识以及语义向量；获取包括信息切词的第一候选内容；基于实体标识，获取第二候选内容；获取向量模型输出的第三候选内容；生成搜索内容，将搜索内容输出。

Description

搜索内容输出方法、装置、计算机设备及可读存储介质

技术领域

本发明涉及互联网技术领域，特别是涉及一种搜索内容输出方法、装置、计算机设备及可读存储介质。

背景技术

近年来，随着互联网技术的快速发展，各种互联网应用广泛深入各类领域，大数据呈现***式增长，海量的数据和信息分散于网络空间，当用户需要获取信息和数据时，可以通过搜索平台进行信息搜索，从而使搜索平台可以输出相关的搜索内容。搜索平台作为用户与信息之间的重要纽带，一般会提供多种多样的搜索方式，例如，文本搜索、语音搜索、图片搜索、视频搜索等，这客观上形成了多模的用户交互方式，满足用户的多样化需求。

相关技术中，搜索平台中会预置大量用于搜索的素材，当接收到用户请求进行内容搜索时，在这些预置的素材中搜索与用户请求进行内容搜索相关的素材，将这些相关素材作为搜索内容输出给用户，以供用户参考。

在实现本发明的过程中，发明人发现相关技术至少存在以下问题：

搜索平台中预置的用于搜索的素材是多种多样的，有诸如名称、类目、地址、评论等文本形式的素材，也有诸如环境图、物品图、地址图等图片形式的素材，还有视频相册、达人视频、实景视频等视频形式的素材，但是在进行内容搜索时，由于搜索能力有限，通常只能采用文本切词等方法针对文本形式的素材进行搜索，不仅搜索方法的局限性较高，而且浪费了大量其他形式的搜索素材，导致搜索的成功率和准确率较低。

发明内容

有鉴于此，本发明提供了一种搜索内容输出方法、装置、计算机设备及可读存储介质，主要目的在于解决目前搜索方法的局限性较高，而且浪费了大量其他形式的搜索素材，导致搜索的成功率和准确率较低的问题。

依据本发明第一方面，提供了一种搜索内容输出方法，该方法包括：

对待搜索信息进行解析，得到所述待搜索信息的信息切词、实体标识以及语义向量；

获取包括所述信息切词的第一候选内容；

基于所述实体标识，获取第二候选内容，所述第二候选内容至少为所述实体标识对应的和/或与所述实体标识的相似度大于第一相似度阈值的样本实体；

将所述语义向量输入至向量模型，获取所述向量模型输出的第三候选内容，所述向量模型是采用文本素材、语音素材以及视频素材建立的，所述第三候选内容与所述语义向量的相似度大于第二相似度阈值；

根据所述第一候选内容、所述第二候选内容和所述第三候选内容，生成搜索内容，将所述搜索内容输出。

在另一个实施例中，所述对待搜索信息进行解析，得到所述待搜索信息的信息切词、实体标识以及语义向量之前，所述方法还包括：

获取样本信息，对所述样本信息中的素材进行解析，得到样本特征向量，所述样本信息至少为历史操作信息和/或预置信息；

采用排序算法对所述样本特征向量进行学习，生成多个样本向量组，所述样本向量组至少是由所述样本特征向量中的搜索词向量、第一名称向量和第二名称向量组成的三元组，所述第一名称向量为所述样本特征向量中与所述搜索词向量匹配的名称向量，所述第二名称向量为所述样本特征向量中与所述搜索词向量匹配的名称向量；

分别将所述多个样本向量组输入至语义匹配模型，获取所述语义匹配模型的隐含层中最后一层的输出向量，得到所述多个样本向量组的多个输出向量；

将所述多个输出向量作为所述向量模型。

在另一个实施例中，所述对所述样本信息中的素材进行解析，得到样本特征向量，包括：

在所述样本信息的素材中提取所述语音素材，调用语音识别算法对所述语音素材进行识别，得到预备文本素材；

在所述样本信息的素材中提取所述视频素材，采用视频关键帧提取算法对所述视频素材进行提取，得到预备图片素材；

在所述样本信息的素材中提取原有文本素材，采用语义训练算法对所述原有文本素材和所述预备文本素材进行训练，得到文本特征向量；

在所述样本信息的素材中提取原有图片素材，运行图片特征提取器，将所述原有图片素材和所述预备图片素材所属的实体类目作为所述图片特征提取器的第一提取目标，按照所述第一提取目标对所述原有图片素材和所述预备图片素材进行学习，将所述图片特征提取器中最后一层的特征向量作为图片特征向量；

将所述文本特征向量和所述图片特征向量作为所述样本特征向量。

在另一个实施例中，所述对待搜索信息进行解析，得到所述待搜索信息的信息切词、实体标识以及语义向量，包括：

按照分词模板，对所述待搜索信息进行词语分割，得到所述信息切词；

建立实体识别任务，将所述待搜索信息的搜索类型作为所述实体识别任务的识别方向对所述待搜索信息进行识别，得到所述实体标识；

确定所述待搜索信息的信息类型，按照所述信息类型对所述待搜索信息进行识别，得到所述语义向量。

在另一个实施例中，所述按照所述信息类型对所述待搜索信息进行识别，得到所述语义向量，包括：

若所述信息类型为文本类型，则采用语义训练算法对所述待搜索信息进行识别，将识别得到的特征向量作为所述语义向量；

若所述信息类型为语音类型，则调用语音识别算法对所述待搜索信息进行识别，得到文本类型的所述待搜索信息，并采用所述语义训练算法对文本类型的所述待搜索信息进行识别，将识别得到的特征向量作为所述语义向量；

若所述信息类型为图片类型，则运行图片特征提取器，将所述待搜索信息所属的实体类目作为所述图片特征提取器的第二提取目标，按照所述第二提取目标对所述待搜索信息进行学习，将所述图片特征提取器中最后一层的特征向量作为所述语义向量；

若所述信息类型为视频类型，则采用视频关键帧提取算法对所述待搜索信息进行处理，得到图片类型的所述待搜索信息，并运行所述图片特征提取器，为所述图片特征提取器设置所述第二提取目标，按照所述第二提取目标对图片类型的所述待搜索信息进行学习，将所述图片特征提取器中最后一层的特征向量作为所述语义向量。

在另一个实施例中，所述基于所述实体标识，获取第二候选内容，包括：

查询所述实体标识对应的预置信息索引，将所述预置信息索引指示的第一样本实体作为所述第二候选内容；和/或，

获取实体知识图谱，将所述实体标识映射至所述实体知识图谱进行游走，获取所述实体知识图谱输出的与所述实体标识相似度大于所述第一相似度阈值的第二样本实体作为所述第二候选内容，所述实体知识图谱描述了多个样本实体之间的相似度以及相似关系。

在另一个实施例中，所述将所述实体标识映射至所述实体知识图谱进行游走，获取所述实体知识图谱输出的与所述实体标识相似度大于所述第一相似度阈值的第二样本实体作为所述第二候选内容，包括：

确定所述实体标识在所述实体知识图谱对应的指定样本实体，获取与所述指定样本实体存在相似关系且相似度大于所述第一相似度阈值的第二样本实体，并继续获取与所述第二样本实体存在相似关系且相似度大于所述第一相似度阈值的样本实体，直至未能获取到存在相似关系或相似度大于所述第一相似度阈值的实体，将获取到的全部第二样本实体作为所述第二候选内容；或，

确定所述实体标识在所述语义向量中对应的目标向量，将所述目标向量映射至所述实体知识图谱，计算所述目标向量与所述实体知识图谱中的样本实体的实体向量之间的第一余弦值，提取所述第一余弦值大于所述第一相似度阈值的第二样本实体作为所述第二候选内容。

在另一个实施例中，所述将语义向量输入至向量模型，获取所述向量模型输出的第三候选内容，包括：

将所述语义向量输入至所述向量模型，将所述语义向量与所述向量模型包括的多个输出向量进行比对；

在所述多个输出向量中提取至少一个候选输出向量，所述候选输出向量与所述语义向量在同一数值位上重合的数值个数大于个数阈值；

计算所述语义向量与所述至少一个候选输出向量的第二余弦值，提取所述第二余弦值大于所述第二相似度阈值的目标输出向量作为所述第三候选内容。

在另一个实施例中，所述根据所述第一候选内容、所述第二候选内容和所述第三候选内容，生成搜索内容，将所述搜索内容输出，包括：

统计所述第一候选内容、所述第二候选内容和所述第三候选内容的内容交集；

分别确定所述内容交集中每个子内容与所述待搜索信息的相似度，按照预设相似等级区间，将所述内容交集划分为多个内容组，所述预设相似等级区间规定了相似等级与相似度之间的对应关系；

在所述多个内容组中提取相似等级高于等级阈值的目标内容组作为所述搜索内容，将所述搜索内容输出。

在另一个实施例中，所述分别确定所述内容交集中每个子内容与所述待搜索信息的相似度，按照预设相似等级区间，将所述内容交集划分为多个内容组之后，所述方法还包括：

对于所述多个内容组中每个内容组，获取所述内容组中包括的全部子内容对应的内容评分，所述内容评分至少根据子内容的距离、质量分等因子设置；

按照所述内容评分从高到低的顺序，对所述内容组中包括的全部子内容进行整理。

依据本发明第二方面，提供了一种搜索内容输出装置，该装置包括：

第一解析模块，用于对待搜索信息进行解析，得到所述待搜索信息的信息切词、实体标识以及语义向量；

第一获取模块，用于获取包括所述信息切词的第一候选内容；

第二获取模块，用于基于所述实体标识，获取第二候选内容，所述第二候选内容至少为所述实体标识对应的和/或与所述实体标识的相似度大于第一相似度阈值的样本实体；

第三获取模块，用于将所述语义向量输入至向量模型，获取所述向量模型输出的第三候选内容，所述向量模型是采用文本素材、语音素材以及视频素材建立的，所述第三候选内容与所述语义向量的相似度大于第二相似度阈值；

输出模块，用于根据所述第一候选内容、所述第二候选内容和所述第三候选内容，生成搜索内容，将所述搜索内容输出。

在另一个实施例中，所述装置还包括：

第二解析模块，用于获取样本信息，对所述样本信息中的素材进行解析，得到样本特征向量，所述样本信息至少为历史操作信息和/或预置信息；

生成模块，用于采用排序算法对所述样本特征向量进行学习，生成多个样本向量组，所述样本向量组至少是由所述样本特征向量中的搜索词向量、第一名称向量和第二名称向量组成的三元组，所述第一名称向量为所述样本特征向量中与所述搜索词向量匹配的名称向量，所述第二名称向量为所述样本特征向量中与所述搜索词向量匹配的名称向量；

输入模块，用于分别将所述多个样本向量组输入至语义匹配模型，获取所述语义匹配模型的隐含层中最后一层的输出向量，得到所述多个样本向量组的多个输出向量；

确定模块，用于将所述多个输出向量作为所述向量模型。

在另一个实施例中，所述第二解析模块，包括：

识别单元，用于在所述样本信息的素材中提取所述语音素材，调用语音识别算法对所述语音素材进行识别，得到预备文本素材；

提取单元，用于在所述样本信息的素材中提取所述视频素材，采用视频关键帧提取算法对所述视频素材进行提取，得到预备图片素材；

训练单元，用于在所述样本信息的素材中提取原有文本素材，采用语义训练算法对所述原有文本素材和所述预备文本素材进行训练，得到文本特征向量；

学习单元，用于在所述样本信息的素材中提取原有图片素材，运行图片特征提取器，将所述原有图片素材和所述预备图片素材所属的实体类目作为所述图片特征提取器的第一提取目标，按照所述第一提取目标对所述原有图片素材和所述预备图片素材进行学习，将所述图片特征提取器中最后一层的特征向量作为图片特征向量；

生成单元，用于将所述文本特征向量和所述图片特征向量作为所述样本特征向量。

在另一个实施例中，所述第一解析模块，包括：

分割单元，用于按照分词模板，对所述待搜索信息进行词语分割，得到所述信息切词；

建立单元，用于建立实体识别任务，将所述待搜索信息的搜索类型作为所述实体识别任务的识别方向对所述待搜索信息进行识别，得到所述实体标识；

确定单元，用于确定所述待搜索信息的信息类型，按照所述信息类型对所述待搜索信息进行识别，得到所述语义向量。

在另一个实施例中，所述确定单元，用于若所述信息类型为文本类型，则采用语义训练算法对所述待搜索信息进行识别，将识别得到的特征向量作为所述语义向量；若所述信息类型为语音类型，则调用语音识别算法对所述待搜索信息进行识别，得到文本类型的所述待搜索信息，并采用所述语义训练算法对文本类型的所述待搜索信息进行识别，将识别得到的特征向量作为所述语义向量；若所述信息类型为图片类型，则运行图片特征提取器，将所述待搜索信息所属的实体类目作为所述图片特征提取器的第二提取目标，按照所述第二提取目标对所述待搜索信息进行学习，将所述图片特征提取器中最后一层的特征向量作为所述语义向量；若所述信息类型为视频类型，则采用视频关键帧提取算法对所述待搜索信息进行处理，得到图片类型的所述待搜索信息，并运行所述图片特征提取器，为所述图片特征提取器设置所述第二提取目标，按照所述第二提取目标对图片类型的所述待搜索信息进行学习，将所述图片特征提取器中最后一层的特征向量作为所述语义向量。

在另一个实施例中，所述第二获取模块，用于查询所述实体标识对应的预置信息索引，将所述预置信息索引指示的第一样本实体作为所述第二候选内容；和/或，获取实体知识图谱，将所述实体标识映射至所述实体知识图谱进行游走，获取所述实体知识图谱输出的与所述实体标识相似度大于所述第一相似度阈值的第二样本实体作为所述第二候选内容，所述实体知识图谱描述了多个样本实体之间的相似度以及相似关系。

在另一个实施例中，所述第二获取模块，用于确定所述实体标识在所述实体知识图谱对应的指定样本实体，获取与所述指定样本实体存在相似关系且相似度大于所述第一相似度阈值的第二样本实体，并继续获取与所述第二样本实体存在相似关系且相似度大于所述第一相似度阈值的样本实体，直至未能获取到存在相似关系或相似度大于所述第一相似度阈值的实体，将获取到的全部第二样本实体作为所述第二候选内容；或，确定所述实体标识在所述语义向量中对应的目标向量，将所述目标向量映射至所述实体知识图谱，计算所述目标向量与所述实体知识图谱中的样本实体的实体向量之间的第一余弦值，提取所述第一余弦值大于所述第一相似度阈值的第二样本实体作为所述第二候选内容。

在另一个实施例中，所述第三获取模块，包括：

比对单元，用于将所述语义向量输入至所述向量模型，将所述语义向量与所述向量模型包括的多个输出向量进行比对；

提取单元，用于在所述多个输出向量中提取至少一个候选输出向量，所述候选输出向量与所述语义向量在同一数值位上重合的数值个数大于个数阈值；

计算单元，用于计算所述语义向量与所述至少一个候选输出向量的第二余弦值，提取所述第二余弦值大于所述第二相似度阈值的目标输出向量作为所述第三候选内容。

在另一个实施例中，所述输出模块，包括：

统计单元，用于统计所述第一候选内容、所述第二候选内容和所述第三候选内容的内容交集；

划分单元，用于分别确定所述内容交集中每个子内容与所述待搜索信息的相似度，按照预设相似等级区间，将所述内容交集划分为多个内容组，所述预设相似等级区间规定了相似等级与相似度之间的对应关系；

输出单元，用于在所述多个内容组中提取相似等级高于等级阈值的目标内容组作为所述搜索内容，将所述搜索内容输出。

在另一个实施例中，所述输出模块，还包括：

评分单元，用于对于所述多个内容组中每个内容组，获取所述内容组中包括的全部子内容对应的内容评分，所述内容评分至少根据子内容的距离、质量分等因子设置；

整理单元，用于按照所述内容评分从高到低的顺序，对所述内容组中包括的全部子内容进行整理。

依据本发明第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。

依据本发明第四方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。

借由上述技术方案，本发明提供的一种搜索内容输出方法、装置、计算机设备及可读存储介质，本发明通过对待搜索信息进行解析，得到待搜索信息的信息切词、实体标识以及语义向量，进而获取包括信息切词的第一候选内容，基于实体标识，获取实体标识对应的和/或与实体标识的相似度大于第一相似度阈值的第二候选内容，并将语义向量输入至向量模型，获取向量模型输出的与语义向量的相似度大于第二相似度阈值的第三候选内容，以便生成以及输出搜索内容，使得采用多种不同的方法利用多条搜索链路对待搜索信息进行搜索，实现了信息的多模搜索，打破了搜索方法的局限性，避免搜索素材的浪费，提高了搜索的成功率和准确率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种搜索内容输出方法流程示意图；

图2A示出了本发明实施例提供的一种搜索内容输出方法流程示意图；

图2B示出了本发明实施例提供的一种搜索内容输出方法流程示意图；

图3A示出了本发明实施例提供的一种搜索内容输出装置的结构示意图；

图3B示出了本发明实施例提供的一种搜索内容输出装置的结构示意图；

图3C示出了本发明实施例提供的一种搜索内容输出装置的结构示意图；

图3D示出了本发明实施例提供的一种搜索内容输出装置的结构示意图；

图3E示出了本发明实施例提供的一种搜索内容输出装置的结构示意图；

图3F示出了本发明实施例提供的一种搜索内容输出装置的结构示意图；

图3G示出了本发明实施例提供的一种搜索内容输出装置的结构示意图；

图4示出了本发明实施例提供的一种计算机设备的装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种搜索内容输出方法，如图1所示，该方法包括：

101、对待搜索信息进行解析，得到待搜索信息的信息切词、实体标识以及语义向量。

102、获取包括信息切词的第一候选内容。

103、基于实体标识，获取第二候选内容，第二候选内容至少为实体标识对应的和/或与实体标识的相似度大于第一相似度阈值的样本实体。

104、将语义向量输入至向量模型，获取向量模型输出的第三候选内容，向量模型是采用文本素材、语音素材以及视频素材建立的，第三候选内容与语义向量的相似度大于第二相似度阈值。

105、根据第一候选内容、第二候选内容和第三候选内容，生成搜索内容，将搜索内容输出。

本发明实施例提供的方法，通过对待搜索信息进行解析，得到待搜索信息的信息切词、实体标识以及语义向量，进而获取包括信息切词的第一候选内容，基于实体标识，获取实体标识对应的和/或与实体标识的相似度大于第一相似度阈值的第二候选内容，并将语义向量输入至向量模型，获取向量模型输出的与语义向量的相似度大于第二相似度阈值的第三候选内容，以便生成以及输出搜索内容，使得采用多种不同的方法利用多条搜索链路对待搜索信息进行搜索，实现了信息的多模搜索，打破了搜索方法的局限性，避免搜索素材的浪费，提高了搜索的成功率和准确率。

本发明实施例提供了一种搜索内容输出方法，如图2A 所示，该方法包括：

201、对待搜索信息进行解析，得到待搜索信息的信息切词、实体标识以及语义向量。

发明人认识到，搜索平台可以为用户提供信息查找的最大入口，是连接用户和信息的重要纽带，搜索平台作为最常用的搜索工具已经成为人们生活中必不可少的一部分。一般来说，搜索平台会提供多种多样的搜索方式，有普通的文本搜索，有直接说话查询的语音搜索，还有拍照或者上传图片进行的图片搜索，这在客观上便形成了搜索平台与用户之间多模的交互方式。另外，有些搜索平台是具有场景化搜索特点的，比如一些本地生活类的搜索平台，检索目标通常是各个行业内的店铺，因此，这些本地生活类的搜索平台提供的用于执行搜索的素材是多种多样的，有文本素材（例如店铺名、类目、地址、商品、评价等），有图片素材（例如门头图、环境图、菜品图等），也有视频素材（例如视频相册、店铺探店、达人推荐视频等），这些材料都是异质的，但是目前进行的常用搜索中大多只使用了文本素材，没有利用到其他的搜索链路，大量的图片、视频等素材也没有在搜索的链路中直接使用，这不仅浪费了素材，也限制了搜索的召回能力，因此，本发明提出了一种搜索内容输出方法，通过彻底的对待搜索信息进行解析，实现各种不同类型搜索素材的完全利用，最大程度上保证为用户提供的搜索服务是最全面最完整的。在本发明中，以上述提及的本地生活类的搜索平台为例进行说明，而在实际应用的过程中，本发明所述的方法还可以应用于其他各种场景下的搜索平台。

为了实现整个发明中的搜索方法，首先就是需要全面对待搜索信息进行解析，从而在多条搜索链路中对待搜索信息进行搜索。本发明中提出用3条搜索链路实现对信息的搜索，因此，需要3种解析方式得到3种用于在搜索链路中进行搜索所使用到的数据，详细内容参见下述步骤一至步骤三。

步骤一、按照分词模板，对待搜索信息进行词语分割，得到信息切词。

步骤一所示的解析过程实质就是最普遍的文本搜索方法中将需要搜索的信息进行分割的过程。一般来说，可以设置包括一系列词语的分词模板，按照分词模板中规定的词语对该待搜索信息进行词语分割，从而得到信息切词。或者，在实际应用的过程中，也可以采用词语识别工具，按照词语的逻辑对待搜索信息进行词语的识别，从而得到待搜索信息的信息切词。需要说明的是，信息切词中包括的词语不只限于一个，还可以为多个，本发明对此不进行具体限定。

在实际应用的过程中，待搜索信息可能是多种类型的，比如文本类型、语音类型以及图片类型，如果待搜索信息为文本类型，则直接按照步骤一中的过程获取待搜索信息的信息切词即可。如果待搜索信息为语音类型，则可以调用语音识别算法，将语音类型的待搜索信息转化为文字类型的待搜索信息，然后再执行步骤一中的过程获取待搜索信息的信息切词。如果待搜索信息为图片类型，则可以在图片上提取文字，然后按照步骤一中的过程对文字进行信息切词，若图片上不存在文字，则可以将该步骤一省略。

步骤二、建立实体识别任务，将待搜索信息的搜索类型作为实体识别任务的识别方向对待搜索信息进行识别，得到实体标识。

考虑到待搜索信息中有些词语是具有实际的实体意义的，如果将词语按照字符划分开就不具有分析的价值，比如，对于词语“咖啡”来说，词语整体具有的实体意义是指“咖啡”这一饮品，而将词语拆开得到“咖”和“啡”就不能代表饮品，实体意义也就消失了，因此，为了保证可以将待搜索信息中具有的实体意义提取出来，在步骤二中通过建立实体识别任务，将待搜索信息的搜索类型作为实体识别任务的识别方向对待搜索信息进行识别，例如，对于“咖啡”设置的搜索类型即为“饮品”，防止识别到一些不具有意义的信息导致识别资源的浪费，从而得到实体标识。其中，该实体识别任务可为NLP（Neuro-LinguisticProgramming，神经语言顺序学） NER（Named Entity Recognition，命名实体识别）任务，这个实体识别任务可以采用LSTM（Long Short-Term Memory，长短期记忆网络）作为特征抽取器，再接一个CRF（Conditional Random Field，条件随机场）作为输出层来实现。

步骤三、确定待搜索信息的信息类型，按照信息类型对待搜索信息进行识别，得到语义向量。

发明人认识到，如果仅依靠信息切词或者实体标识进行信息搜索，很可能由于有些素材中包括的内容比较隐晦而无法被提取出来，在一定程度上会存在搜索空白的情况，因此，为了避免这种情况的发生，本发明还增加了一种语义向量的搜索方式，这样，便需要对待搜索信息进行语义向量的提取。其中，语义向量也就是按照待搜索信息的语义为其设置一个数学形式的向量，从而在候选通过精确的计算获取到相应的素材，使得整个搜索过程较其他常用的搜索过程来说更加的精确和严谨。

所以，在步骤三中就需要确定该待搜索信息的语义向量。考虑到待搜索信息是可以为文本类型、语音类型、图片类型或者视频类型的，因此，需要采取不同的方式对不同类型的待搜索信息进行语义向量的识别。具体地，若信息类型为文本类型，则可以直接采用语义训练算法对待搜索信息进行识别，将识别得到的特征向量作为语义向量。其中，该语义训练算法可为Bert（Bidirectional Encoder Representations from Transformers，语言表示模型）预训练算法。若信息类型为语音类型，则首先需要调用语音识别算法对待搜索信息进行识别，得到文本类型的待搜索信息。随后，采用语义训练算法对文本类型的待搜索信息进行识别，将识别得到的特征向量作为语义向量。若信息类型为图片类型，则首先需要运行图片特征提取器。其中，该图片特征提取器可以基于CNN（Convolutional NeuralNetworks，卷积神经网络）模型实现，或者还可以基于VGG NET（Visual Geometry GroupNet，深度卷积网络）模型实现，本发明对此不进行具体限定。随后，将待搜索信息所属的实体类目作为图片特征提取器的第二提取目标，按照第二提取目标对待搜索信息进行学习，将图片特征提取器中最后一层的特征向量作为语义向量。也就是需要设置该待搜索信息是属于哪个类别的，例如，假设待搜索信息为“咖啡”，则对应的实体类别便需要设置为饮品，只有在饮品范围内搜索到的有关“咖啡”的信息才是有效的，在其他的范围，比如搜索到关于“咖啡来源”等相关信息都是与本次的搜索不具备任何关系的，属于无意义的搜索，因此，需要设置实体类目作为图片特征提取器的第二提取目标，保证图片特征提取器可以在特定的范围进行语义向量的提取。在实际应用的过程中，可以在CNN模型的后面加上3层全连接网络，对待搜索信息进行有监督学习，保留该CNN模型的前几层（具体可为卷积层和池化层），将这几层的最后一层的输出作为该待搜索信息的最终特征，也就是语义向量。若信息类型为视频类型，则首先需要采用视频关键帧提取算法对待搜索信息进行处理，将视频类型的待搜索信息转化为图片类型，从而得到图片类型的待搜索信息。随后，再运行图片特征提取器，按照上述为图片类型的待搜索信息提取语义向量的方式，为图片特征提取器设置第二提取目标，按照第二提取目标对图片类型的待搜索信息进行学习，将图片特征提取器中最后一层的特征向量作为语义向量。

通过执行上述步骤一至步骤三中的过程，便实现了对待搜索信息的完全解析，获取到了待搜索信息的信息切词、实体标识以及语义向量。需要说明的是，在实际应用的过程中，上述三个步骤是不存在先后顺序的，可以同时执行，也可以次序执行，或者还可以不依照上述的次序执行，采用实际场景下的实际次序执行，本发明对此不进行具体限定。

202、获取包括信息切词的第一候选内容。

在本发明实施例中，当获取到待搜索信息的信息切词后，便可以先基于该信息切词进行一轮搜索，先获取到一组候选内容。其中，在基于信息切词进行信息的搜索时，实质上也就是搜索包括信息切词的内容作为第一候选内容。例如，假设信息切词为“咖啡”，则获取到的第一候选内容可为“摩卡咖啡”、“美式咖啡”等，只要包括信息切词，就可以作为第一候选内容。

203、基于实体标识，获取第二候选内容。

在本发明实施例中，当获取到待搜索信息的实体标识后，便可以基于该实体标识进行第二轮的搜索。其中，在基于实体标识进行信息的搜索之前，需要先设置一系列的样本实体，以便可以在样本实体中选取与实体标识存在一定关联的样本实体作为第二候选内容。

在设置样本实体时，可以采取两种方式，一种是采用上述步骤201中所示的，建立诸如NLP NER等的任务实体识别任务，基于该实体识别任务对搜索平台中预置的素材进行识别，从而获取到多个样本实体。另一种是，由人工针对文本、图片等素材进行实体的标注，从而获取到多个样本实体。需要说明的是，样本实体的数量一般控制在10万以上从而保证搜索的准确率可以在95%以上。在实际应用的过程中，上述设置的样本实体由于是搜索平台自身素材中提取到的，且一般都是针对本地生活中店铺的实体，因此，上述的样本实体也可以称为【店铺实体】。而在步骤201中提取到的实体标识是在用户提供的待搜索信息中获取到的，因此，该实体标识也可以称为【用户实体】，从而在来源和作用上实现对实体的区分。

其中，上述过程中识别得到的样本实体都是具有一定的标识的，比如，样本实体【咖啡】的标识为【1234sdf2】，这与在步骤201中识别到的实体标识都是一一对应的，也就是如果待搜索信息中包括【咖啡】这一实体，则可以获取到的实体标识即为【1234sdf2】，因此，在设置样本实体时，为了使后续可以直接基于实体标识查询到相关的样本实体，可以将样本实体的标识作为样本实体的预置信息索引，这样，通过搜索预置信息索引就可以获取到对应的样本信息实体。

在确定了样本实体后，考虑到样本实体直接提供的搜索只是一种模糊的匹配搜索，在一定程度上该搜索的准确度并不是很高，因此，可以通过对全部的样本实体进行知识图谱的学习，确定每个样本实体的关联样本实体，并计算每个样本实体与各个关联样本实体之间的相似度，采用树状图的方式将样本实体与关联样本实体之间的关联关系以及相似度表示出来，生成一个用于描述多个样本实体之间的相似度以及相似关系的实体知识图谱，也基于该实体知识图谱确定一些候选内容作为后续输出搜索内容的基础。

通过上述过程便确定了样本实体以及样本实体的实体知识图谱，这样，便可以继续开展对实体标识的搜索过程，获取实体标识对应的和/或与实体标识的相似度大于第一相似度阈值的样本实体作为第二候选内容。参考上面的样本实体，获取第二候选内容可以采用两种方式，一种是直接查询实体标识对应的预置信息索引，将预置信息索引指示的第一样本实体作为第二候选内容。另一种是获取实体知识图谱，将实体标识映射至实体知识图谱进行游走，获取实体知识图谱输出的与实体标识相似度大于第一相似度阈值的第二样本实体作为第二候选内容。需要说明的是，基于实体知识图谱获取第二候选内容时，可以先确定实体标识在实体知识图谱对应的指定样本实体，获取与指定样本实体存在相似关系且相似度大于第一相似度阈值的第二样本实体，并继续获取与第二样本实体存在相似关系且相似度大于第一相似度阈值的样本实体，直至未能获取到存在相似关系或相似度大于第一相似度阈值的实体，将获取到的全部第二样本实体作为第二候选内容。也就是说实体知识图谱每个样本实体之间的线段上都会有表示两个样本实体之间相似度的Score（分数），为该Score设置一个第一相似度阈值，当Score小于该第一相似度阈值时，便停止游走，将当前游走过的样本实体都作为第二候选内容。或者还可以确定实体标识在语义向量中对应的目标向量，将目标向量映射至实体知识图谱，计算目标向量与实体知识图谱中的样本实体的实体向量之间的第一余弦值，提取第一余弦值大于第一相似度阈值的第二样本实体作为第二候选内容。也就是说采用上述步骤201中提取的语义向量，计算该语义向量中实体标识对应的目标向量与实体知识图谱中的样本实体的实体向量之间的第一余弦值作为两个向量的相似度，只要相似度大于第一相似度阈值的样本实体都可以作为第二候选内容。

需要说明的是，为了保证获取到的样本实体与搜索平台所处的场景高度匹配，在训练的过程中，可以应用多种具有场景化特征的素材，这些场景化特征具体可为时间、时段、节假日、周末、城市、地点、POI（Point of interesting，兴趣点）、POI类型（写字楼、居民区等等）、人群画像（性别、年龄、购买力等等），这些是本地生活类的搜索平台的特色，可以大大提升模型的识别效率。

204、将语义向量输入至向量模型，获取向量模型输出的第三候选内容。

在本发明实施例中，当获取到待搜索信息的语义向量识后，便可以基于该语义向量进行第三轮的搜索。其中，在基于语义向量进行信息的搜索之前，需要先采用搜索平台中预置的文本素材、语音素材以及视频素材建立一个向量模型，通过该向量模型确定与语义向量最为相似的输出向量作为第三候选内容。其中，可以设置第二相似度阈值来规定第三候选内容与语义向量的相似度，也即第三候选内容与语义向量的相似度大于第二相似度阈值。

在训练向量模型时，首先就是需要获取样本信息，对样本信息中的素材进行解析，得到样本特征向量。其中，考虑到仅使用搜索平台中预置信息训练向量模型，很可能会使向量模型过于单一，与实际情况存在一定的差距，因此，实际应用中，进行向量模型训练采用的样本信息至少为用户的历史操作信息以及搜索平台的预置信息。样本信息中包括的素材的类型都是不同的，一般来说包括语音素材、视频素材、文本素材和图片素材，这些素材需要采用不同的方式进行处理从而得到样本特征向量。对于语音素材，需要在样本信息的素材中提取语音素材，调用语音识别算法对语音素材进行识别，得到预备文本素材。具体过程与上述步骤201中将语音类型的待搜索信息转化为文本类型的待搜索信息的过程一致，此处不再进行赘述。对于视频素材，需要在样本信息的素材中提取视频素材，采用视频关键帧提取算法对视频素材进行提取，得到预备图片素材。具体过程与上述步骤201中将视频类型的待搜索信息转化为图片类型的待搜索信息的过程一致，此处不再进行赘述。在完成了类型的转化后，在样本信息的素材中提取原有文本素材，采用语义训练算法对原有文本素材和预备文本素材进行训练，得到文本特征向量。其中，该训练过程与上述步骤201中所示的对待搜索信息进行语义向量提取的过程一致，也可以采用诸如Bert预训练算法的语义训练算法实现，此处不再进行赘述。之后，再在样本信息的素材中提取原有图片素材，运行图片特征提取器，将原有图片素材和预备图片素材所属的实体类目作为图片特征提取器的第一提取目标，按照第一提取目标对原有图片素材和预备图片素材进行学习，将图片特征提取器中最后一层的特征向量作为图片特征向量。其中，提取图片特征向量的过程与上述步骤201中提取图片类型的待搜索信息的语义向量的过程一致，使用的图片特征提取器也可为步骤201中所示的CNN模型或者VGG NET模型，此处不再进行赘述。当获取到文本特征向量和图片特征向量后，便可以将文本特征向量和图片特征向量作为样本特征向量，以便用于后续的模型训练过程中。

随后，采用排序算法对样本特征向量进行学习，生成多个样本向量组。其中，该排序算法可为Pairwise（成对）训练算法，将样本特征向量按照三元组的方式组合在一起，将生成的三元组都作为样本向量组。具体地，该样本向量组至少是由样本特征向量中的搜索词向量、第一名称向量和第二名称向量组成的三元组，第一名称向量为样本特征向量中与搜索词向量匹配的名称向量，第二名称向量为样本特征向量中与搜索词向量匹配的名称向量。也就是说，生成的样本向量组的形式可为<搜索词向量，第一名称向量，第二名称向量>。

最后，分别将多个样本向量组输入至语义匹配模型，获取语义匹配模型的隐含层中最后一层的输出向量，得到多个样本向量组的多个输出向量，将多个输出向量作为向量模型。其中，由于直接使用上述得到的样本特征向量进行相似度的计算的话，不能充分的反映向量之间的相关程度，因此，采用语义匹配模型对这些样本特征向量再次进行训练，从而增加向量模型的准确性。具体地，使用的语义匹配模型可为DSSM（Deep StructuredSemantic Models，深度结构化语义模型）模型，这样，将多个样本向量组输入至DSSM中，将DSSM隐含层的最后一层的输出向量作为本阶段的输出向量，从而将多个样本向量组的多个输出向量作为向量模型。

上述过程即为向量模型的生成过程，之后，便可以继续执行基于语义向量获取第三候选内容的过程。具体过程如下：首先，将语义向量输入至向量模型，将语义向量与向量模型包括的多个输出向量进行比对。随后，在多个输出向量中提取至少一个候选输出向量。其中，该候选输出向量与语义向量在同一数值位上重合的数值个数大于个数阈值。例如，假设个数阈值为2，语义向量为【0.2343，0.21，0.84，0.86】，输出向量A为【0.2343，1.35，0.9234，0.21】，输出向量B为【0.2343，0.21，0.84，-3.2】，则输出向量A与语义向量在同一数值位上重合的数值只有0.2343，也即1个，不满足个数阈值；输出向量B与语义向量在同一数值位上重合的数值为0.2343，0.21，0.84，也即3个，满足个数阈值，因此，输出向量B可以作为候选输出向量。需要说明的是，上述提取候选输出向量的过程可以采用ANN（ApproximateNearest Neighbor，近似最近邻）方法中的KD（K-Dimensional，分割K维数据空间的数据结构）树方案直接实现。最后，分别计算语义向量与至少一个候选输出向量的第二余弦值，提取第二余弦值大于第二相似度阈值的目标输出向量作为第三候选内容。

205、统计第一候选内容、第二候选内容和第三候选内容的内容交集，分别确定内容交集中每个子内容与待搜索信息的相似度，按照预设相似等级区间，将内容交集划分为多个内容组。

在获取到第一候选内容、第二候选内容和第三候选内容后，为了将第一候选内容、第二候选内容和第三候选内容结合起来，可以统计第一候选内容、第二候选内容和第三候选内容的内容交集，基于内容交集实现搜索内容的输出。考虑到搜索平台在进行搜索内容的输出时还可以考虑其他诸如距离、质量分、用户评价等因子，这些因子很可能会使一些与待搜索信息相似度很高的候选内容的排名靠后，而无法推送给用户，因此，当确定了内容交集后，可以先按照预设相似等级区间，将内容交集划分为多个内容组，每个内容组中包括的内容自行按照其他因子进行评分排序，从而避免相似度较高的内容无法显现出来。具体地，需要先设置一个规定了相似等级与相似度之间的对应关系的预设相似等级区间。例如，等级A对应的相似度区间为小于等于1且大于0.8，等级B对应的相似度区间为小于等于0.8且大于0.3，等级C对应的相似度区间为小于等于0.3且大于等于0，这样，就可以按照每个内容在上述过程中计算得到的相似度，将内容交集划分为多个内容组。

随后，对于多个内容组中每个内容组，获取内容组中包括的全部子内容对应的内容评分，该内容评分至少根据子内容的距离、质量分等因子设置。并按照内容评分从高到低的顺序，对内容组中包括的全部子内容进行整理。

206、在多个内容组中提取相似等级高于等级阈值的目标内容组作为搜索内容，将搜索内容输出。

在本发明实施例中，当完成了内容组的划分以及内容组中内容的排序后，便可以在多个内容组中提取相似等级高于等级阈值的目标内容组作为搜索内容，将搜索内容输出。或者，如果搜索平台具有展示条件，也可以将全部的内容组都展示给用户，并按照内容等级进行标注，以供用户参考。或者，还可以每个内容组中挑取排在前面的指定个数的内容作为搜索内容输出。搜索内容输出的规则可以根据场景的不同随意变化，本发明对此不进行具体限定。

综上所述，上述整个搜索内容的输出过程可以总结如下：

参见图2B，获取用户侧输入的待搜索信息，待搜索信息可为图片、文本、语音，准备好店铺侧提供的图片、文本、视频等预置素材。随后，对于预置素材来说，将预置素材中的文本素材按照Bert预训练进行训练，将预置素材中的图片素材按照CNN提取器进行训练，将训练得到的训练结果分别进行实体提取和语义提取，从而得到样本实体和向量模型。另一边，将待搜索信息中的文本类型的信息按照Bert预训练进行训练，将待搜索信息中的图片类型的西悉尼按照CNN提取器进行训练，将训练得到的训练结果分别进行实体提取和语义提取，从而得到实体标识和语义向量。最后，将得到的样本实体与实体标识进行匹配召回，将向量模型与语义向量进行匹配召回，根据相似度确定最后的搜索内容，并将搜索内容输出。

本发明实施例提供的方法，通过对待搜索信息进行解析，得到待搜索信息的信息切词、实体标识以及语义向量，进而获取包括信息切词的第一候选内容，基于实体标识，获取实体标识对应的和/或与实体标识的相似度大于第一相似度阈值的第二候选内容，并将语义向量输入至向量模型，获取向量模型输出的与语义向量的相似度大于第二相似度阈值的第三候选内容，以便生成以及输出搜索内容，使得采用多种不同的方法利用多条搜索链路对待搜索信息进行搜索，实现了信息的多模搜索，打破了搜索方法的局限性，避免搜索素材的浪费，提高了搜索的成功率和准确率。

进一步地，作为图1所述方法的具体实现，本发明实施例提供了一种搜索内容输出装置，如图3A所示，所述装置包括：第一解析模块301，第一获取模块302，第二获取模块303，第三获取模块304和输出模块305。

该第一解析模块301，用于对待搜索信息进行解析，得到所述待搜索信息的信息切词、实体标识以及语义向量；

该第一获取模块302，用于获取包括所述信息切词的第一候选内容；

该第二获取模块303实体标识对应的和/或与所述实体标识的相似度大于第一相似度阈值的样本实体；

该第三获取模块304，用于将所述语义向量输入至向量模型，获取所述向量模型输出的第三候选内容，所述向量模型是采用文本素材、语音素材以及视频素材建立的，所述第三候选内容与所述语义向量的相似度大于第二相似度阈值；

该输出模块305，用于根据所述第一候选内容、所述第二候选内容和所述第三候选内容，生成搜索内容，将所述搜索内容输出。

在具体的应用场景中，如图3B所示，该装置还包括：第二解析模块306，生成模块307，输入模块308和确定模块309。

该第二解析模块306，用于获取样本信息，对所述样本信息中的素材进行解析，得到样本特征向量，所述样本信息至少为历史操作信息和/或预置信息；

该生成模块307，用于采用排序算法对所述样本特征向量进行学习，生成多个样本向量组，所述样本向量组至少是由所述样本特征向量中的搜索词向量、第一名称向量和第二名称向量组成的三元组，所述第一名称向量为所述样本特征向量中与所述搜索词向量匹配的名称向量，所述第二名称向量为所述样本特征向量中与所述搜索词向量匹配的名称向量；

该输入模块308，用于分别将所述多个样本向量组输入至语义匹配模型，获取所述语义匹配模型的隐含层中最后一层的输出向量，得到所述多个样本向量组的多个输出向量；

该确定模块309，用于将所述多个输出向量作为所述向量模型。

在具体的应用场景中，如图3C所示，该第二解析模块306，包括：识别单元3061，提取单元3062，训练单元3063，学习单元3064和生成单元3065。

该识别单元3061，用于在所述样本信息的素材中提取所述语音素材，调用语音识别算法对所述语音素材进行识别，得到预备文本素材；

该提取单元3062，用于在所述样本信息的素材中提取所述视频素材，采用视频关键帧提取算法对所述视频素材进行提取，得到预备图片素材；

该训练单元3063，用于在所述样本信息的素材中提取原有文本素材，采用语义训练算法对所述原有文本素材和所述预备文本素材进行训练，得到文本特征向量；

该学习单元3064，用于在所述样本信息的素材中提取原有图片素材，运行图片特征提取器，将所述原有图片素材和所述预备图片素材所属的实体类目作为所述图片特征提取器的第一提取目标，按照所述第一提取目标对所述原有图片素材和所述预备图片素材进行学习，将所述图片特征提取器中最后一层的特征向量作为图片特征向量；

该生成单元3065，用于将所述文本特征向量和所述图片特征向量作为所述样本特征向量。

在具体的应用场景中，如图3D所示，该第一解析模块301，包括：分割单元3011，建立单元3012和确定单元3013。

该分割单元3011，用于按照分词模板，对所述待搜索信息进行词语分割，得到所述信息切词；

该建立单元3012，用于建立实体识别任务，将所述待搜索信息的搜索类型作为所述实体识别任务的识别方向对所述待搜索信息进行识别，得到所述实体标识；

该确定单元3013，用于确定所述待搜索信息的信息类型，按照所述信息类型对所述待搜索信息进行识别，得到所述语义向量。

在具体的应用场景中，该确定单元3013，用于若所述信息类型为文本类型，则采用语义训练算法对所述待搜索信息进行识别，将识别得到的特征向量作为所述语义向量；若所述信息类型为语音类型，则调用语音识别算法对所述待搜索信息进行识别，得到文本类型的所述待搜索信息，并采用所述语义训练算法对文本类型的所述待搜索信息进行识别，将识别得到的特征向量作为所述语义向量；若所述信息类型为图片类型，则运行图片特征提取器，将所述待搜索信息所属的实体类目作为所述图片特征提取器的第二提取目标，按照所述第二提取目标对所述待搜索信息进行学习，将所述图片特征提取器中最后一层的特征向量作为所述语义向量；若所述信息类型为视频类型，则采用视频关键帧提取算法对所述待搜索信息进行处理，得到图片类型的所述待搜索信息，并运行所述图片特征提取器，为所述图片特征提取器设置所述第二提取目标，按照所述第二提取目标对图片类型的所述待搜索信息进行学习，将所述图片特征提取器中最后一层的特征向量作为所述语义向量。

在具体的应用场景中，该第二获取模块303，用于查询所述实体标识对应的预置信息索引，将所述预置信息索引指示的第一样本实体作为所述第二候选内容；和/或，获取实体知识图谱，将所述实体标识映射至所述实体知识图谱进行游走，获取所述实体知识图谱输出的与所述实体标识相似度大于所述第一相似度阈值的第二样本实体作为所述第二候选内容，所述实体知识图谱描述了多个样本实体之间的相似度以及相似关系。

在具体的应用场景中，该第二获取模块303，用于确定所述实体标识在所述实体知识图谱对应的指定样本实体，获取与所述指定样本实体存在相似关系且相似度大于所述第一相似度阈值的第二样本实体，并继续获取与所述第二样本实体存在相似关系且相似度大于所述第一相似度阈值的样本实体，直至未能获取到存在相似关系或相似度大于所述第一相似度阈值的实体，将获取到的全部第二样本实体作为所述第二候选内容；或，确定所述实体标识在所述语义向量中对应的目标向量，将所述目标向量映射至所述实体知识图谱，计算所述目标向量与所述实体知识图谱中的样本实体的实体向量之间的第一余弦值，提取所述第一余弦值大于所述第一相似度阈值的第二样本实体作为所述第二候选内容。

在具体的应用场景中，如图3E所示，该第三获取模块304，包括：比对单元3041，提取单元3042和计算单元3043。

该比对单元3041，用于将所述语义向量输入至所述向量模型，将所述语义向量与所述向量模型包括的多个输出向量进行比对；

该提取单元3042，用于在所述多个输出向量中提取至少一个候选输出向量，所述候选输出向量与所述语义向量在同一数值位上重合的数值个数大于个数阈值；

该计算单元3043，用于计算所述语义向量与所述至少一个候选输出向量的第二余弦值，提取所述第二余弦值大于所述第二相似度阈值的目标输出向量作为所述第三候选内容。

在具体的应用场景中，如图3F所示，该输出模块305，包括：统计单元3051，划分单元3052和输出单元3053。

该统计单元3051，用于统计所述第一候选内容、所述第二候选内容和所述第三候选内容的内容交集；

该划分单元3052，用于分别确定所述内容交集中每个子内容与所述待搜索信息的相似度，按照预设相似等级区间，将所述内容交集划分为多个内容组，所述预设相似等级区间规定了相似等级与相似度之间的对应关系；

该输出单元3053，用于在所述多个内容组中提取相似等级高于等级阈值的目标内容组作为所述搜索内容，将所述搜索内容输出。

在具体的应用场景中，如图3G所示，该输出模块305，还包括：评分单元3054和整理单元3055。

评分单元，用于对于所述多个内容组中每个内容组，获取所述内容组中包括的全部子内容对应的内容评分，所述内容评分至少根据子内容的距离、质量分等因子设置；

整理单元，用于按照所述内容评分从高到低的顺序，对所述内容组中包括的全部子内容进行整理。

本发明实施例提供的装置，通过对待搜索信息进行解析，得到待搜索信息的信息切词、实体标识以及语义向量，进而获取包括信息切词的第一候选内容，基于实体标识，获取实体标识对应的和/或与实体标识的相似度大于第一相似度阈值的第二候选内容，并将语义向量输入至向量模型，获取向量模型输出的与语义向量的相似度大于第二相似度阈值的第三候选内容，以便生成以及输出搜索内容，使得采用多种不同的方法利用多条搜索链路对待搜索信息进行搜索，实现了信息的多模搜索，打破了搜索方法的局限性，避免搜索素材的浪费，提高了搜索的成功率和准确率。

需要说明的是，本发明实施例提供的一种搜索内容输出装置所涉及各功能单元的其他相应描述，可以参考图1和图2A至图2B中的对应描述，在此不再赘述。

在示例性实施例中，参见图4，还提供了一种设备，该设备400包括通信总线、处理器、存储器和通信接口，还可以包括、输入输出接口和显示设备，其中，各个功能单元之间可以通过总线完成相互间的通信。该存储器存储有计算机程序，处理器，用于执行存储器上所存放的程序，执行上述实施例中的搜索内容输出方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的搜索内容输出方法的步骤。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (9)

1.一种搜索内容输出方法，其特征在于，包括：

对待搜索信息进行解析，得到所述待搜索信息的信息切词、实体标识以及语义向量，所述实体标识是将所述待搜索信息的搜索类型作为识别方向对所述待搜索信息进行识别得到的，所述语义向量是按照所述待搜索信息的信息类型对所述待搜索信息进行识别得到的；

获取包括所述信息切词的第一候选内容；

基于所述实体标识，获取第二候选内容，所述第二候选内容至少为所述实体标识对应的和/或与所述实体标识的相似度大于第一相似度阈值的样本实体；

将所述语义向量输入至向量模型，获取所述向量模型输出的第三候选内容，所述向量模型是采用文本素材、语音素材以及视频素材建立的，所述第三候选内容与所述语义向量的相似度大于第二相似度阈值；

根据所述第一候选内容、所述第二候选内容和所述第三候选内容，生成搜索内容，将所述搜索内容输出。

2.根据权利要求1所述的方法，其特征在于，所述对待搜索信息进行解析，得到所述待搜索信息的信息切词、实体标识以及语义向量之前，所述方法还包括：

获取样本信息，对所述样本信息中的素材进行解析，得到样本特征向量，所述样本信息至少为历史操作信息和/或预置信息；

采用排序算法对所述样本特征向量进行学习，生成多个样本向量组，所述样本向量组至少是由所述样本特征向量中的搜索词向量、第一名称向量和第二名称向量组成的三元组，所述第一名称向量为所述样本特征向量中与所述搜索词向量匹配的名称向量，所述第二名称向量为所述样本特征向量中与所述搜索词向量匹配的名称向量；

分别将所述多个样本向量组输入至语义匹配模型，获取所述语义匹配模型的隐含层中最后一层的输出向量，得到所述多个样本向量组的多个输出向量；

将所述多个输出向量作为所述向量模型。

3.根据权利要求2所述的方法，其特征在于，所述对所述样本信息中的素材进行解析，得到样本特征向量，包括：

在所述样本信息的素材中提取所述语音素材，调用语音识别算法对所述语音素材进行识别，得到预备文本素材；

在所述样本信息的素材中提取所述视频素材，采用视频关键帧提取算法对所述视频素材进行提取，得到预备图片素材；

在所述样本信息的素材中提取原有文本素材，采用语义训练算法对所述原有文本素材和所述预备文本素材进行训练，得到文本特征向量；

在所述样本信息的素材中提取原有图片素材，运行图片特征提取器，将所述原有图片素材和所述预备图片素材所属的实体类目作为所述图片特征提取器的第一提取目标，按照所述第一提取目标对所述原有图片素材和所述预备图片素材进行学习，将所述图片特征提取器中最后一层的特征向量作为图片特征向量；

将所述文本特征向量和所述图片特征向量作为所述样本特征向量。

4.根据权利要求1所述的方法，其特征在于，所述对待搜索信息进行解析，包括：

若所述信息类型为文本类型，则采用语义训练算法对所述待搜索信息进行识别，将识别得到的特征向量作为所述语义向量；

若所述信息类型为语音类型，则调用语音识别算法对所述待搜索信息进行识别，得到文本类型的所述待搜索信息，并采用所述语义训练算法对文本类型的所述待搜索信息进行识别，将识别得到的特征向量作为所述语义向量；

若所述信息类型为图片类型，则运行图片特征提取器，将所述待搜索信息所属的实体类目作为所述图片特征提取器的第二提取目标，按照所述第二提取目标对所述待搜索信息进行学习，将所述图片特征提取器中最后一层的特征向量作为所述语义向量；

若所述信息类型为视频类型，则采用视频关键帧提取算法对所述待搜索信息进行处理，得到图片类型的所述待搜索信息，并运行所述图片特征提取器，为所述图片特征提取器设置所述第二提取目标，按照所述第二提取目标对图片类型的所述待搜索信息进行学习，将所述图片特征提取器中最后一层的特征向量作为所述语义向量。

5.根据权利要求1所述的方法，其特征在于，所述基于所述实体标识，获取第二候选内容，包括：

查询所述实体标识对应的预置信息索引，将所述预置信息索引指示的第一样本实体作为所述第二候选内容；和/或，

获取实体知识图谱，将所述实体标识映射至所述实体知识图谱进行游走，获取所述实体知识图谱输出的与所述实体标识相似度大于所述第一相似度阈值的第二样本实体作为所述第二候选内容，所述实体知识图谱描述了多个样本实体之间的相似度以及相似关系。

6.根据权利要求5所述的方法，其特征在于，所述将所述实体标识映射至所述实体知识图谱进行游走，获取所述实体知识图谱输出的与所述实体标识相似度大于所述第一相似度阈值的第二样本实体作为所述第二候选内容，包括：

确定所述实体标识在所述实体知识图谱对应的指定样本实体，获取与所述指定样本实体存在相似关系且相似度大于所述第一相似度阈值的第二样本实体，并继续获取与所述第二样本实体存在相似关系且相似度大于所述第一相似度阈值的样本实体，直至未能获取到存在相似关系或相似度大于所述第一相似度阈值的实体，将获取到的全部第二样本实体作为所述第二候选内容；或，

确定所述实体标识在所述语义向量中对应的目标向量，将所述目标向量映射至所述实体知识图谱，计算所述目标向量与所述实体知识图谱中的样本实体的实体向量之间的第一余弦值，提取所述第一余弦值大于所述第一相似度阈值的第二样本实体作为所述第二候选内容。

7.根据权利要求1所述的方法，其特征在于，所述将语义向量输入至向量模型，获取所述向量模型输出的第三候选内容，包括：

将所述语义向量输入至所述向量模型，将所述语义向量与所述向量模型包括的多个输出向量进行比对；

在所述多个输出向量中提取至少一个候选输出向量，所述候选输出向量与所述语义向量在同一数值位上重合的数值个数大于个数阈值；

计算所述语义向量与所述至少一个候选输出向量的第二余弦值，提取所述第二余弦值大于所述第二相似度阈值的目标输出向量作为所述第三候选内容。

8.根据权利要求1所述的方法，其特征在于，所述根据所述第一候选内容、所述第二候选内容和所述第三候选内容，生成搜索内容，将所述搜索内容输出，包括：

统计所述第一候选内容、所述第二候选内容和所述第三候选内容的内容交集；

分别确定所述内容交集中每个子内容与所述待搜索信息的相似度，按照预设相似等级区间，将所述内容交集划分为多个内容组，所述预设相似等级区间规定了相似等级与相似度之间的对应关系；

在所述多个内容组中提取相似等级高于等级阈值的目标内容组作为所述搜索内容，将所述搜索内容输出。

9.一种搜索内容输出装置，其特征在于，包括：

第一解析模块，用于对待搜索信息进行解析，得到所述待搜索信息的信息切词、实体标识以及语义向量，所述实体标识是将所述待搜索信息的搜索类型作为识别方向对所述待搜索信息进行识别得到的，所述语义向量是按照所述待搜索信息的信息类型对所述待搜索信息进行识别得到的；

第一获取模块，用于获取包括所述信息切词的第一候选内容；

第二获取模块，用于基于所述实体标识，获取第二候选内容，所述第二候选内容至少为所述实体标识对应的和/或与所述实体标识的相似度大于第一相似度阈值的样本实体；

第三获取模块，用于将所述语义向量输入至向量模型，获取所述向量模型输出的第三候选内容，所述向量模型是采用文本素材、语音素材以及视频素材建立的，所述第三候选内容与所述语义向量的相似度大于第二相似度阈值；

输出模块，用于根据所述第一候选内容、所述第二候选内容和所述第三候选内容，生成搜索内容，将所述搜索内容输出。

Images