CN112434134A - 搜索模型训练方法、装置、终端设备及存储介质 - Google Patents
搜索模型训练方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN112434134A CN112434134A CN202011403845.7A CN202011403845A CN112434134A CN 112434134 A CN112434134 A CN 112434134A CN 202011403845 A CN202011403845 A CN 202011403845A CN 112434134 A CN112434134 A CN 112434134A
- Authority
- CN
- China
- Prior art keywords
- search
- learner
- matrix
- keyword
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 178
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 19
- 238000000354 decomposition reaction Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000000844 transformation Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明适用于信息检索技术领域，提供一种搜索模型训练方法、装置、终端设备及存储介质，该搜索模型训练方法包括：通过将文献数据预处理得到文献‑关键词矩阵，根据搜索关键词对文献‑关键词矩阵执行两次矩阵转化处理，以得到学者‑关键词矩阵，将学者‑关键词矩阵输入到待训练搜索模型中进行训练，并输出训练平均损失，若训练平均损失未达到预设损失阈值，则采用贝叶斯优化网络更新待训练搜索模型的参数，并重新训练更新后的待训练搜索模型，直到训练平均损失达到预设损失阈值时停止训练，并将此时的待训练搜索模型作为学者搜索模型，使得成学者的文献搜索质量高效，且搜索结果更加准确。
Description
技术领域
本发明属于信息检索技术领域，尤其涉及一种搜索模型训练方法、装置、终端设备及存储介质。
背景技术
信息检索技术随着现今大数据的快速发展变得愈发重要，其需要能够从海量的数据信息中根据用户的需求检索出相关的信息。信息检索***可以对多样的实体进行检索，如对文本、音频、游戏、视频等进行检索，以对文本的搜索为例，检索***会根据搜索的关键词来判断各个文本是否与关键词相关并对相关性进行排序，从而产生令人满意的搜索结果。然而，在普通的文本检索当中，每个文本都会被独立地被考量其与搜索关键词的相关性，但与对文本等实体的搜索不同，针对学者的搜索往往需要对一个学者所著的所有文献进行集中全面的考量，而不是对每一篇文献单独进行考量。
与此同时，随着数据量的日渐增多，手工标注搜索***训练所需的包括搜索关键词及其正确排序的数据集变得愈发困难，这使得算法在监督信息有限的条件下进行训练、学习的能力更难，导致现有的搜索方法不适用于搜索模型训练，搜索质量低，准确率不高的问题。
发明内容
有鉴于此，本发明实施例提供了搜索模型训练方法、装置、终端设备及存储介质，以解决现有技术中对搜索模型训练存在的搜索质量低、准确率不高的问题。
本发明实施例的第一方面提供了一种搜索模型训练方法，包括：
获取数据集，其中，数据集包括文献数据和搜索关键数据，文献数据包括学者和文献，每一学者包括至少两篇文献，搜索关键数据包括搜索关键词；
将文献数据预处理得到文献-关键词矩阵；
根据搜索关键词，对文献-关键词矩阵执行两次矩阵转化处理，以得到学者-关键词矩阵；
将学者-关键词矩阵输入到待训练搜索模型中进行训练，并输出训练平均损失；
若训练平均损失未达到预设损失阈值，则采用贝叶斯优化网络更新待训练搜索模型的参数；
重新训练更新后的待训练搜索模型，直到训练平均损失达到预设损失阈值时停止训练，并将此时的待训练搜索模型作为学者搜索模型。
本发明实施例的第二方面提供了一种搜索模型训练装置，包括：
获取模块，用于获取数据集，其中，数据集包括文献数据和搜索关键数据，文献数据包括学者和文献，每一学者包括至少两篇文献，搜索关键数据包括搜索关键词；
预处理模块，用于将文献数据预处理得到文献-关键词矩阵；
矩阵转化模块，用于对文献-关键词矩阵执行两次矩阵转化处理，以得到学者-关键词矩阵；
训练模块，用于将学者-关键词矩阵输入到待训练搜索模型中进行训练，并输出训练平均损失；
调参模块，用于若训练平均损失未达到预设损失阈值，则采用贝叶斯优化网络更新待训练搜索模型的参数；
训练完成模块，用于重新训练更新后的待训练搜索模型，直到训练平均损失达到预设损失阈值时停止训练，并将此时的待训练搜索模型作为学者搜索模型。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述搜索模型训练方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述搜索模型训练方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：
在本发明中，通过将文献数据预处理得到文献-关键词矩阵，根据搜索关键词对文献-关键词矩阵执行两次矩阵转化处理，以得到学者-关键词矩阵，将学者-关键词矩阵输入到待训练搜索模型中进行训练，并输出训练平均损失，若训练平均损失未达到预设损失阈值，则采用贝叶斯优化网络更新待训练搜索模型的参数，并重新训练更新后的待训练搜索模型，直到训练平均损失达到预设损失阈值时停止训练，并将此时的待训练搜索模型作为学者搜索模型，也就是将文献-关键词中各个文献的信息通过矩阵转化的方式以学者为单位整合到学者-关键词矩阵中，从而在进行学者搜索时，会对学者所著的所有文献进行全面、综合性的考量，即能够准确地反映学者与搜索关键词之间的相关性，从而更好地完成针对学者的搜索任务，使得搜索结果更加准确、搜索质量高效，同时，由于本发明仅依靠少量的已标记的搜索关键词和无标记的文献数据进行训练，减少了对大量排序标记监督信息的依赖，使得可以在监督信息有限的条件下进行训练与学习。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的搜索模型训练方法的流程及优化框架示意图；
图2是本发明实施例的搜索模型训练方法的流程示意图；
图3是本发明实施例的搜索模型训练方法的流程及优化框架的又一实施例示意图；
图4是本发明实施例的文献-关键词矩阵、学者-关键词矩阵及LSA矩阵分解示意图；
图5是本发明实施例提供的搜索模型训练装置的示意图；
图6是本发明实施例提供的终端设备的硬件结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
在本发明实施例中，流程的执行主体为终端设备，该终端设备包括但不限于笔记本电脑、计算机、服务器、平板电脑以及智能手机等具有软件开发功能的终端设备。特别地，该终端设备执行本发明实施中的流程时能够用于为原生应用提供桌面应用的承载功能或前端界面的展示，为桌面应用提供界面组装框架。
进一步地，与传统的文本搜索对文本独立进行考虑的做法不同，针对学者的搜索需要对该学者所著的所有文献进行统一全面的考虑，这使得一种将文献-关键词矩阵转化为学者-关键词矩阵的转化方式变得十分重要，图1为本发明实施例的搜索模型训练方法的流程及优化框架示意图，具体包括：将文献文本经过预处理去除掉标点符合后得到文本，对文本进行词条抽取，以获取文献文本的文献词条，利用知识树对文献词条做词条拓展，将拓展后的拓展词条和文献词条转化生成文献-词条矩阵。
进一步地，将文献-词条矩阵经过第一轮矩阵转化生成学者-词条矩阵，并根据学者-词条矩阵计算伪相关性反馈，通过伪相关性反馈指导第二轮矩阵转化，使得经过第二轮转化后的学者-词条矩阵作为训练XGBoost模型(一种梯度提升树模型)的训练数据，计算XGBoost模型的平均损失值，当平均损失值未达到收敛条件时，通过贝叶斯优化网络搜索来更新XGBoost模型的参数，直至所训练的平均损失收敛时，停止训练，并将此时更新过的XGBoost模型作为最早的搜索模型。由于本发明通过两次矩阵转化方式可以将文献-词条矩阵中各篇文献的信息以学者为单位聚合至学者-词条矩阵中，从而使得算法可以达到在进行学者搜索的过程中对该学者所著的所有文献进行统一全面考量的目的，即本发明在转化过程中，巧妙借助了伪相关性反馈来辅助矩阵的转化，使得搜索更加准确高效。
继续参考图2，图2为本发明实施例的搜索模型训练方法的流程示意图，详述如下：
S201，获取数据集，其中，数据集包括文献数据和搜索关键数据，文献数据包括学者和文献，每一学者包括至少两篇文献，搜索关键数据包括搜索关键词。
在本发明实施例中，文献数据包括各个学者及其所著学术文献的数据集。在文献数据中，每篇文献包括文献题目、文献摘要、文献正文以及文献所发表在的学术会议/期刊的名称。
进一步地，搜索关键数据还包括搜索关键词对应的结果信息，即结果信息为被搜索关键词标记过的文献，搜索关键数据可用于搜索模型的训练，便于对照训练结果的好坏。
S202，将文献数据预处理得到文献-关键词矩阵。
具体地，文献数据为文本格式，通过预处理方式将所述文本数据从文本格式转化成相应的矩阵，具体包括：
将文献数据清洗得到文本；
将文本进行词条抽取得到初始词条；
对初始词条拓展，以得到拓展词条；
将初始词条和拓展词条转化成文献-关键词矩阵。
在本发明实施例中，对文献数据进行清洗包括对文本数据小写化、删除多余空格及标点、分句，以得到纯文字的文本；通过预设的分词算法对文本进行词条抽取，其中分词算法可以是基于词典的方法，例如正向最大匹配思想MM、逆向最大匹配算法RMM以及双向最大匹配法(Bi-directction Matching method,BM)等；将词条与预设的词表中的词语进行匹配，将符合匹配程度的词语作为该词条的拓展词条。
由于学术文献具有严谨的逻辑性，且文献所包括的上述四部分(即文献题目、文献摘要、文献正文以及文献所发表在的学术会议/期刊的名称)在重要性以及精炼性上存在差异，所以，在进行搜索时，对文献的不同部分赋以不同分数是较为常见的做法，本文采取了BM25F这一常用指标作为衡量关键词在文献中的分数的指标。
其中，BM25F是典型BM25的改进算法。BM25在计算相关性时把文档当做总体来考虑，每个文档都会被切分成多个独立的域，尤其是垂直化的搜索。比如网页有可能被切分成标题，内容，主题词等域，这些域对文章主题的贡献不能同等对待，所以权重就要有所偏重。BM25没有考虑这点，所以BM25F在此基础上做了一些改进，就是不再单单的将单词作为个体考虑，并且将文档也依照field(区域)划分为个体考虑，所以BM25F分数是每一个关键词在各个field(区域)中分值的加权求和。
进一步地，对初始词条和拓展词条构建文献-关键词矩阵，其中，文献-关键词矩阵的行数为所有文献的总篇数，矩阵的列数为所有文献中的关键词总数，即初始词条和拓展词的总数，在第i行j列存储的值为整个数据集中第j个关键词在第i篇文献中的BM25F分数，文献-关键词矩阵如图3所示。
S203，根据搜索关键词，对文献-关键词矩阵执行两次矩阵转化处理，以得到学者-关键词矩阵。
在本发明实施例中，为了能够得到伪相关性反馈信息，本发明需要对文献-关键词矩阵进行两轮矩阵转化。第一轮矩阵转化之后，转化所得到的学者-关键词矩阵将用于检索与搜索关键词最相关的学者及其所著的最相关的文献，并生成伪相关性反馈信息。第二轮转过程中，将利用所得到的伪相关性反馈信息指导第二轮矩阵转化，使得转化更加合理，具体如图3所示的本发明的搜索模型训练方法的流程及优化框架的又一实施例示意图中所述的第一矩阵转化和第二矩阵转化的过程。
进一步地，根据搜索关键词，对文献-关键词矩阵执行两次矩阵转化处理，以得到学者-关键词矩阵包括：
将文献-关键词矩阵转化成初始学者-关键词矩阵；
根据初始学者-关键词矩阵和搜索关键词，确定伪相关反馈信息；
根据伪相关反馈信息将初始学者-关键词矩阵转换成学者-关键词矩阵。
其中，伪相关反馈，也称为盲相关反馈，它将相关反馈的人工操作部分自动化，因此，用户不再需要进行额外的交互，即首先进行正常的检索过程，返回最相关的文档构成初始集，然后假设排名靠前的k篇文档是相关的，最后在此假设上像以往一样进行相关反馈。如果对伪相关性反馈信息加以利用，转化过程就可以为比相关性反馈相关性更高的学者赋以更高分数，为比相关性反馈相关性低且差距大的学者赋以更低的分数，这种基于伪相关性反馈的矩阵转化使得矩阵中的每个关键词得分更加合理。
进一步地，根据公式(1)构建初始学者-关键词矩阵，即每一个文献-关键词对于一个学者的分数为等于该文献-关键词在该学者所著所有文献中的分数总和(分子第一项)，乘以该学者所著文献中出现该关键词的文献篇数的对数(分子第二项)，除以该学者所著文献的总篇数的对数(分母项)。同时，在公式(1)中为上述三项分别赋以一个参数ω1、ω2以及ω3以平衡项与项的重要性。
其中，
为初始学者-关键词矩阵中每个元素的分数，
为文献-关键词在该学者所著所有文献中的分数，
为学者所著的文献中出现该文献-关键词的文献篇数，
为该学者所著文献的总篇数，i表示学者个数，J表示所有文献-关键词矩阵中文献关键词的总数。通过计算每个
以构成初始学者-关键词矩阵中的每个元素的分数，即初始学者-关键词矩阵的行数为所有学者的个数，矩阵的列数为所有文献中的关键词总数，即初始词条和拓展词的总数。
进一步地，根据初始学者-关键词矩阵和搜索关键词，确定伪相关反馈信息包括：
将初始学者-关键词矩阵进行矩阵分解，得到学者向量；
计算搜索关键词与学者向量的第一余弦相似度；
根据第一余弦相似度从学者中筛选出搜索学者，其中，搜索学者为与搜索关键词相关性最高的前n位学者；
将文献-关键词矩阵进行矩阵分解，得到文献向量；
计算搜索关键词与文献向量的第二余弦相似度；
根据第二余弦相似度从文献中筛选出与搜索关键词相关性最高的每位搜索学者的前n篇文献；
分别计算每位搜索学者的前n篇文献与搜索关键词的第三余弦相似度；
将第三余弦相似度进行均值计算，并将得到的第一均值作为伪相关反馈信息。
在本发明实施例中，通过LSA(Latent Semantic Analysis，潜在语义分析)模型将初始学者-关键词矩阵进行矩阵分解，得到学者向量，其中，LSA模型为现有的算法模型，此处不再解释。矩阵分解过程如图4所示，图4为文献-关键词矩阵、学者-关键词矩阵及LSA矩阵分解示意图。通过LSA模型将初始学者-关键词矩阵(即图4中的学者-关键词矩阵)分解为三个矩阵的积，三个矩阵包括关键词隐空间矩阵、隐空间矩阵(不确定变量矩阵)以及学者矩阵，学者矩阵由学者向量组成。
其中，n为正整数，本发明实施例取n为5。
在本发明实施例中，将初始学者-关键词矩阵利用LSA进行矩阵分解操作，并在矩阵分解之后，采用余弦公式计算搜索关键词(以向量的形式)与学者向量之间的第一余弦相似度，并根据第一余弦相似度由大到小的顺序对学者进行排序，选取出与搜索关键词最相关的前5位学者。
进一步地，将文献-关键词矩阵进行矩阵分解，得到文献向量的方式同样采用用LSA进行矩阵分解操作，并在矩阵分解之后，采用余弦公式计算搜索关键词(以向量的形式)与文献向量的第二余弦相似度，并根据第二余弦相似度从大到小的排序顺序，筛选出与搜索关键词相关性最高的每位搜索学者的前n篇文献，由于上述设置n为5，此处同样可以设置为5，即n的设置保持一致。
进一步地，由于文献-关键词在该学者所著所有文献中的分数总和越高，在学者-关键词矩阵中的分数也会越高；如果该学者包含该文献-关键词的文献篇数越多，在学者-关键词矩阵中的分数也会越高；如果该学者所著的文献总篇数很多，则该关键词出现的概率自然会高，故将该学者所著的文献总篇数作为分母以反映这一事实。通过这一转化方式，文献-关键词矩阵中各个文献的信息会被以学者为单位被聚合到学者-关键词矩阵中，从而使得在进行学者搜索时，可以对该学者所著的所有文献进行全面的考量。
因此，通过计算每位搜索学者的前n篇文献与搜索关键词的第三余弦相似度，将第三余弦相似度进行均值计算所得到的第一均值代表了与搜索关键词高度相关的文献应有的相似程度，即该第一均值可作为伪相关反馈信息，伪相关反馈信息用于指导第二次矩阵转化，例如，当伪相关反馈信息为某一学者的前5相关的文献与搜索关键词的平均相似度高于所反馈的第一均值，则对初始学者-关键词矩阵赋以更高的分数。因此，上述伪相关性反馈的矩阵转化方式可以更有效地进行矩阵的转化，并使得转化之后的矩阵用于学者搜索时能提高搜索质量。
进一步地，根据伪相关反馈信息将初始学者-关键词矩阵转换成学者-关键词矩阵包括：
获取与搜索关键词相关性最高的出每位学者的前n篇文献；
计算每位学者的前n篇文献与搜索关键词的第四余弦相似度；
将第四余弦相似度进行均值计算，得到第二均值；
根据第一均值和第二均值，将初始学者-关键词矩阵转换成学者-关键词矩阵。
具体地，采用公式(2)计算学者-关键词矩阵的每个元素的分数。其中，与公式(1)相比，公式(2)中的分母部分新增了将该作者的较相关文献的平均相关度(即第二均值)与所得到的伪相关性反馈信息(即上述的第一均值)进行对比的项。
其中，
表示计算学者-关键词矩阵的每个元素的分数，AVGτ表示第二均值，avgτ表示第一均值，其余各项表示与公式(1)一样，此处不再赘述。
进一步地，获取与搜索关键词相关性最高的出每位学者的前n篇文献的方式与上述根据第一余弦相似度从学者中筛选出搜索学者的计算方式相同，即通过计算搜索关键词与每位学者的前n篇文献中的文献-关键词的余弦相似度，根据余弦相似度由大到小排序，以筛选出排名前n篇的文献；同样通过余弦相似度计算每位学者的前n篇文献与搜索关键词的第四余弦相似度，并将每个学者对应的第四余弦相似度进行累加求平均，以得到第二均值。
通过公式(2)可知，若该学者的较相关文献的平均相关度大于等于伪相关性反馈信息(即AVGτ＞avgτ,0)，则该项
会有个较小的值。反之，如果该学者的较相关文献的平均相关度小于伪相关性反馈，则如果差距越大，该项的值就会越大，公式(2)整体式子的值就会越小，即为该学者赋以一个更小的分数。所以，所得到的伪相关性反馈信息会被作为一个标杆，若该学者与标杆差距越大，分数就会越差，使得这一转化方式得到的学者-关键词矩阵中的分数更加合理。
S204，将学者-关键词矩阵输入到待训练搜索模型中进行训练，并输出训练平均损失。
本发明实施例中，待训练搜索模型为XGBoost模型(eXtreme Gradient Boosting，极端梯度提升)，XGBoost模型将学者搜索这一搜索排序问题转化为结果先后顺序的判断二分类问题，即结果A与结果B，结果A是否应排在结果B前面这一判断是否正确的二分类判断问题，从而减少了对数据的需求量，即使在监督排序数据信息有限时，依旧可以进行训练学***均损失。
S205，若训练平均损失未达到预设损失阈值，则采用贝叶斯优化网络更新待训练搜索模型的参数。
其中，预设损失阈值可以根据实际训练情况进行设置，例如预设损失阈值为0.1。当训练平均损失大于该预设损失阈值时，采用贝叶斯优化网络((Bayesian Optimization)对当前的待训练搜索模型的参数进行优化选取，从而最小化待训练搜索模型的损失值。
其中，贝叶斯优化网络是一种黑盒优化算法，用于求解表达式未知的函数的极值问题，贝叶斯优化网络的搜索原理是首先生成一个初始候选解集合，然后根据这些点寻找下一个最有可能是极值的点，将该点加入集合中，重复这一步骤，直至迭代终止，最后从这些点中找出函数值最大的点作为极值问题的解。由于求解过程中利用之前已搜索点的信息，因此比其他网格搜索和随机搜索更为有效。由于贝叶斯优化网络在做出新的参数选择决策前会对上一次参数选择的效果进行考量，以优化下一次参数的选取，从而更高效地对待训练搜索模型的参数进行选取优化以实现更高质量的学者搜索。
S206，重新训练更新后的待训练搜索模型，直到训练平均损失达到预设损失阈值时停止训练，并将此时的待训练搜索模型作为学者搜索模型。
将上述步骤S205更新参数后的待训练搜索模型作为当前的训练模型，并重复执行训练，将每次训练输出的训练平均损失与预设损失阈值进行比较，直到训练平均损失达到预设损失阈值时停止训练，并将当前的参数作为待训练搜索模型的最终参数，进而形成学者搜索模型
需要说明的是，本发明的训练所使用的数据集为中文的文献数据、词库及搜索排序数据集，即训练后的学者搜索模型可以用于中文表达的关键词进行中文学者的搜索。同样地，如果所用数据集为法语，本学者搜索模型同样可以进行运作，且训练、优化框架均不变，具有对语言的一般性，减小了搜索模型的局限性。
在本发明实施例中，通过将文献数据预处理得到文献-关键词矩阵，根据搜索关键词对文献-关键词矩阵执行两次矩阵转化处理，以得到学者-关键词矩阵，将学者-关键词矩阵输入到待训练搜索模型中进行训练，并输出训练平均损失，若训练平均损失未达到预设损失阈值，则采用贝叶斯优化网络更新待训练搜索模型的参数，并重新训练更新后的待训练搜索模型，直到训练平均损失达到预设损失阈值时停止训练，并将此时的待训练搜索模型作为学者搜索模型，也就是将文献-关键词中各个文献的信息通过矩阵转化的方式以学者为单位整合到学者-关键词矩阵中，从而在进行学者搜索时，会对学者所著的所有文献进行全面、综合性的考量，即能够准确地反映学者与搜索关键词之间的相关性，从而更好地完成针对学者的搜索任务，使得搜索结果更加准确、搜索质量高效，同时，由于本发明仅依靠少量的已标记的搜索关键词和无标记的文献数据进行训练，减少了对大量排序标记监督信息的依赖，使得可以在监督信息有限的条件下进行训练与学习。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本发明实施例中，还提供了一种搜索模型训练装置，搜索模型训练装置包括的各模块用于执行图2对应的实施例中的各步骤。具体请参阅图2对应的实施例中的相关描述。图5示出了本发明的搜索模型训练装置的第一实施例的结构示意图，包括获取模块51、差分模块52、轨迹提取模块53以及目标获取模块53：
获取模块51，用于获取数据集，其中，数据集包括文献数据和搜索关键数据，文献数据包括学者和文献，每一学者包括至少两篇文献，搜索关键数据包括搜索关键词；
预处理模块52，用于将文献数据预处理得到文献-关键词矩阵；
矩阵转化模块53，用于根据搜索关键词，对文献-关键词矩阵执行两次矩阵转化处理，以得到学者-关键词矩阵；
训练模块54，用于将学者-关键词矩阵输入到待训练搜索模型中进行训练，并输出训练平均损失；
调参模块55，用于若训练平均损失未达到预设损失阈值，则采用贝叶斯优化网络更新待训练搜索模型的参数；
训练完成模块56，用于重新训练更新后的待训练搜索模型，直到训练平均损失达到预设损失阈值时停止训练，并将此时的待训练搜索模型作为学者搜索模型。
进一步地，预处理模块52包括：
清洗单元，用于将文献数据清洗得到文本；
抽取单元，用于将文本进行词条抽取得到初始词条；
拓展单元，用于对初始词条拓展，以得到拓展词条；
转化单元，用于将初始词条和拓展词条转化成文献-关键词矩阵。
进一步地，矩阵转化模块53包括：
第一转化单元，用于将文献-关键词矩阵转化成初始学者-关键词矩阵；
伪相关单元，用于根据初始学者-关键词矩阵和搜索关键词，确定伪相关反馈信息；
第二转化单元，用于根据伪相关反馈信息将初始学者-关键词矩阵转换成学者-关键词矩阵。
进一步地，伪相关单元包括：
第一分解子单元，用于将初始学者-关键词矩阵进行矩阵分解，得到学者向量；
第一计算子单元，用于计算搜索关键词与学者向量的第一余弦相似度；
第一筛选子单元，用于根据第一余弦相似度从学者中筛选出搜索学者，其中，搜索学者为与搜索关键词相关性最高的前n位学者；
第二分解子单元，用于将文献-关键词矩阵进行矩阵分解，得到文献向量；
第二计算子单元，用于计算搜索关键词与文献向量的第二余弦相似度；
第二筛选子单元，用于根据第二余弦相似度从文献中筛选出与搜索关键词相关性最高的每位搜索学者的前n篇文献；
第三计算子单元，用于分别计算每位搜索学者的前n篇文献与搜索关键词的第三余弦相似度；
第一均值子单元，用于将第三余弦相似度进行均值计算，并将得到的第一均值作为伪相关反馈信息。
进一步地，第二转化单元包括：
获取子单元，用于获取与搜索关键词相关性最高的出每位学者的前n篇文献；
第四计算子单元，用于计算每位学者的前n篇文献与搜索关键词的第四余弦相似度；
第二均值子单元，用于将第四余弦相似度进行均值计算，得到第二均值；
转换子单元，用于根据第一均值和第二均值，将初始学者-关键词矩阵转换成学者-关键词矩阵。
其中，上述搜索模型训练装置中各个模块/单元的功能实现与上述搜索模型训练方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
图6是本发明一实施例提供的终端设备的示意图。如图6所示，该实施例/终端设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如软件开发程序。所述处理器60执行所述计算机程序62时实现上述各个软件开发方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，所述处理器60执行所述计算机程序62时实现上述各***实施例中各模块/单元的功能，例如图5所示模块51至56的功能。
示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述搜索模型训练装置/终端设备6中的执行过程。例如，所述计算机程序62可以被分割成获取模块、执行模块、生成模块(虚拟装置中的模块)，各模块具体功能如上所述，此处不再赘述。
所述终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端6设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备6还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述***的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的***/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的***/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种搜索模型训练方法，其特征在于，包括：
获取数据集，其中，所述数据集包括文献数据和搜索关键数据，所述文献数据包括学者和文献，每一学者包括至少两篇文献，所述搜索关键数据包括搜索关键词；
将所述文献数据预处理得到文献-关键词矩阵；
根据所述搜索关键词，对所述文献-关键词矩阵执行两次矩阵转化处理，以得到学者-关键词矩阵；
将所述学者-关键词矩阵输入到待训练搜索模型中进行训练，并输出训练平均损失；
若所述训练平均损失未达到预设损失阈值，则采用贝叶斯优化网络更新所述待训练搜索模型的参数；
重新训练更新后的所述待训练搜索模型，直到所述训练平均损失达到所述预设损失阈值时停止训练，并将此时的待训练搜索模型作为学者搜索模型。
2.如权利要求1所述的搜索模型训练方法，其特征在于，所述将所述文献数据预处理得到文献-关键词矩阵包括：
将所述文献数据清洗得到文本；
将所述文本进行词条抽取得到初始词条；
对所述初始词条拓展，以得到拓展词条；
将所述初始词条和所述拓展词条转化成文献-关键词矩阵。
3.如权利要求1所述的搜索模型训练方法，其特征在于，所述根据所述搜索关键词，对所述文献-关键词矩阵执行两次矩阵转化处理，以得到学者-关键词矩阵包括：
将所述文献-关键词矩阵转化成初始学者-关键词矩阵；
根据所述初始学者-关键词矩阵和所述搜索关键词，确定伪相关反馈信息；
根据所述伪相关反馈信息将所述初始学者-关键词矩阵转换成学者-关键词矩阵。
4.如权利要求3所述的搜索模型训练方法，其特征在于，所述根据所述初始学者-关键词矩阵和所述搜索关键词，确定伪相关反馈信息包括：
将所述初始学者-关键词矩阵进行矩阵分解，得到学者向量；
计算所述搜索关键词与所述学者向量的第一余弦相似度；
根据所述第一余弦相似度从所述学者中筛选出搜索学者，其中，所述搜索学者为与所述搜索关键词相关性最高的前n位学者；
将所述文献-关键词矩阵进行矩阵分解，得到文献向量；
计算所述搜索关键词与所述文献向量的第二余弦相似度；
根据所述第二余弦相似度从所述文献中筛选出与所述搜索关键词相关性最高的每位所述搜索学者的前n篇文献；
分别计算每位搜索学者的所述前n篇文献与所述搜索关键词的第三余弦相似度；
将所述第三余弦相似度进行均值计算，并将得到的第一均值作为伪相关反馈信息。
5.如权利要求4所述的搜索模型训练方法，其特征在于，所述根据所述伪相关反馈信息将所述初始学者-关键词矩阵转换成学者-关键词矩阵包括：
获取与所述搜索关键词相关性最高的出每位学者的前n篇文献；
计算每位学者的前n篇文献与所述搜索关键词的第四余弦相似度；
将所述第四余弦相似度进行均值计算，得到第二均值；
根据所述第一均值和所述第二均值，将所述初始学者-关键词矩阵转换成学者-关键词矩阵。
6.一种搜索模型训练装置，其特征在于，包括：
获取模块，用于获取数据集，其中，所述数据集包括文献数据和搜索关键数据，所述文献数据包括学者和文献，每一学者包括至少两篇文献，所述搜索关键数据包括搜索关键词；
预处理模块，用于将所述文献数据预处理得到文献-关键词矩阵；
矩阵转化模块，用于根据所述搜索关键词，对所述文献-关键词矩阵执行两次矩阵转化处理，以得到学者-关键词矩阵；
训练模块，用于将所述学者-关键词矩阵输入到待训练搜索模型中进行训练，并输出训练平均损失；
调参模块，用于若所述训练平均损失未达到预设损失阈值，则采用贝叶斯优化网络更新所述待训练搜索模型的参数；
训练完成模块，用于重新训练更新后的所述待训练搜索模型，直到所述训练平均损失达到所述预设损失阈值时停止训练，并将此时的待训练搜索模型作为学者搜索模型。
7.如权利要求6所述的搜索模型训练装置，其特征在于，所述预处理模块包括：
清洗单元，用于将所述文献数据清洗得到文本；
抽取单元，用于将所述文本进行词条抽取得到初始词条；
拓展单元，用于对所述初始词条拓展，以得到拓展词条；
转化单元，用于将所述初始词条和所述拓展词条转化成文献-关键词矩阵。
8.如权利要求7所述的搜索模型训练装置，其特征在于，所述矩阵转化模块包括：
第一转化单元，用于将所述文献-关键词矩阵转化成初始学者-关键词矩阵；
伪相关单元，用于根据所述初始学者-关键词矩阵和所述搜索关键词，确定伪相关反馈信息；
第二转化单元，用于根据所述伪相关反馈信息将所述初始学者-关键词矩阵转换成学者-关键词矩阵。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述搜索模型训练方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述搜索模型训练方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403845.7A CN112434134B (zh) | 2020-12-04 | 2020-12-04 | 搜索模型训练方法、装置、终端设备及存储介质 |
| PCT/CN2020/140016 WO2022116324A1 (zh) | 2020-12-04 | 2020-12-28 | 搜索模型训练方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403845.7A CN112434134B (zh) | 2020-12-04 | 2020-12-04 | 搜索模型训练方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112434134A true CN112434134A (zh) | 2021-03-02 |
| CN112434134B CN112434134B (zh) | 2023-10-20 |
Family
ID=74691140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011403845.7A Active CN112434134B (zh) | 2020-12-04 | 2020-12-04 | 搜索模型训练方法、装置、终端设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112434134B (zh) |
| WO (1) | WO2022116324A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113934872A (zh) * | 2021-10-29 | 2022-01-14 | 北京达佳互联信息技术有限公司 | 一种搜索结果的排序方法、装置、设备以及存储介质 |
| CN117909491A (zh) * | 2024-03-18 | 2024-04-19 | 中国标准化研究院 | 一种基于贝叶斯网络的文献元数据解析方法及*** |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117891959B (zh) * | 2024-03-15 | 2024-05-10 | 中国标准化研究院 | 一种基于贝叶斯网络的文献元数据储存方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447169A (zh) * | 2015-12-07 | 2016-03-30 | 百度在线网络技术（北京）有限公司 | 文献归一方法、文献搜索方法及对应装置 |
| CN108763354A (zh) * | 2018-05-16 | 2018-11-06 | 浙江工业大学 | 一种个性化的学术文献推荐方法 |
| CN110807101A (zh) * | 2019-10-15 | 2020-02-18 | 中国科学技术信息研究所 | 一种科技文献大数据分类方法 |
| CN111581949A (zh) * | 2020-05-12 | 2020-08-25 | 上海市研发公共服务平台管理中心 | 学者人名的消歧方法、装置、存储介质及终端 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105550216A (zh) * | 2015-12-03 | 2016-05-04 | 百度在线网络技术（北京）有限公司 | 学术研究信息的搜索方法、挖掘方法及装置 |
| CN106951420A (zh) * | 2016-01-06 | 2017-07-14 | 富士通株式会社 | 文献搜索方法及设备、作者搜索方法及设备 |
-
2020
- 2020-12-04 CN CN202011403845.7A patent/CN112434134B/zh active Active
- 2020-12-28 WO PCT/CN2020/140016 patent/WO2022116324A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447169A (zh) * | 2015-12-07 | 2016-03-30 | 百度在线网络技术（北京）有限公司 | 文献归一方法、文献搜索方法及对应装置 |
| WO2017096777A1 (zh) * | 2015-12-07 | 2017-06-15 | 百度在线网络技术（北京）有限公司 | 文献归一方法、文献搜索方法及对应装置、设备和存储介质 |
| CN108763354A (zh) * | 2018-05-16 | 2018-11-06 | 浙江工业大学 | 一种个性化的学术文献推荐方法 |
| CN110807101A (zh) * | 2019-10-15 | 2020-02-18 | 中国科学技术信息研究所 | 一种科技文献大数据分类方法 |
| CN111581949A (zh) * | 2020-05-12 | 2020-08-25 | 上海市研发公共服务平台管理中心 | 学者人名的消歧方法、装置、存储介质及终端 |
Non-Patent Citations (1)
| Title |
|---|
| 倪娜;刘凯;李耀东;: "科技文献关键词自动标注算法研究", 计算机科学, no. 09 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113934872A (zh) * | 2021-10-29 | 2022-01-14 | 北京达佳互联信息技术有限公司 | 一种搜索结果的排序方法、装置、设备以及存储介质 |
| CN117909491A (zh) * | 2024-03-18 | 2024-04-19 | 中国标准化研究院 | 一种基于贝叶斯网络的文献元数据解析方法及*** |
| CN117909491B (zh) * | 2024-03-18 | 2024-05-14 | 中国标准化研究院 | 一种基于贝叶斯网络的文献元数据解析方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022116324A1 (zh) | 2022-06-09 |
| CN112434134B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108363790B (zh) | 用于对评论进行评估的方法、装置、设备和存储介质 | |
| KR102577514B1 (ko) | 텍스트 창작 방법, 텍스트 창작 장치, 전자 기기 및 저장 매체 | |
| CN109829104B (zh) | 基于语义相似度的伪相关反馈模型信息检索方法及*** | |
| CN111444320B (zh) | 文本检索方法、装置、计算机设备和存储介质 | |
| Alami et al. | Unsupervised neural networks for automatic Arabic text summarization using document clustering and topic modeling | |
| CN110019732B (zh) | 一种智能问答方法以及相关装置 | |
| CN112434134B (zh) | 搜索模型训练方法、装置、终端设备及存储介质 | |
| US10482146B2 (en) | Systems and methods for automatic customization of content filtering | |
| CN110162771B (zh) | 事件触发词的识别方法、装置、电子设备 | |
| CN110598078B (zh) | 数据检索方法及装置、计算机可读存储介质、电子设备 | |
| CN110737756B (zh) | 确定针对用户输入数据的应答的方法、装置、设备和介质 | |
| CN106708929B (zh) | 视频节目的搜索方法和装置 | |
| US20210103622A1 (en) | Information search method, device, apparatus and computer-readable medium | |
| Banik et al. | Gru based named entity recognition system for bangla online newspapers | |
| CN106570196B (zh) | 视频节目的搜索方法和装置 | |
| CN112667797B (zh) | 自适应迁移学习的问答匹配方法、***及存储介质 | |
| CN113590811A (zh) | 文本摘要生成方法、装置、电子设备及存储介质 | |
| CN112559711A (zh) | 一种同义文本提示方法、装置及电子设备 | |
| Perdana et al. | Instance-based deep transfer learning on cross-domain image captioning | |
| CN116775846A (zh) | 领域知识问答方法、***、设备及介质 | |
| CN117076636A (zh) | 一种智能客服的信息查询方法、***和设备 | |
| CN113468311B (zh) | 一种基于知识图谱的复杂问句问答方法、装置及存储介质 | |
| CN115455152A (zh) | 写作素材的推荐方法、装置、电子设备及存储介质 | |
| CN110633363B (zh) | 一种基于nlp和模糊多准则决策的文本实体推荐方法 | |
| CN112926340A (zh) | 一种用于知识点定位的语义匹配模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |