CN113139383A - 一种文档排序方法、***、电子设备及存储介质 - Google Patents

一种文档排序方法、***、电子设备及存储介质 Download PDF

Info

Publication number
CN113139383A
CN113139383A CN202110423451.6A CN202110423451A CN113139383A CN 113139383 A CN113139383 A CN 113139383A CN 202110423451 A CN202110423451 A CN 202110423451A CN 113139383 A CN113139383 A CN 113139383A
Authority
CN
China
Prior art keywords
document
entity
similarity
query statement
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110423451.6A
Other languages
English (en)
Inventor
曹梦娣
尤旸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Minglue Zhaohui Technology Co Ltd
Original Assignee
Beijing Minglue Zhaohui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Minglue Zhaohui Technology Co Ltd filed Critical Beijing Minglue Zhaohui Technology Co Ltd
Priority to CN202110423451.6A priority Critical patent/CN113139383A/zh
Publication of CN113139383A publication Critical patent/CN113139383A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种文档排序方法、***、电子设备及存储介质，其方法技术方案包括实体识别抽取步骤，对一查询语句和待排序的多个文档的实体进行识别，并抽取所述查询语句的查询语句实体和所述文档的文档实体；文档关系识别步骤，对所述文档实体进行关系识别，并基于所述关系获取所述文档的知识子图；相似度计算步骤，根据所述查询语句实体和所述知识子图，计算所述文档和所述查询语句的相似度；文档排序计算步骤，根据所述文档和所述查询语句的相似度，对所述文档进行相似度排序。本发明解决了现有文档排序方法只能从浅层特征入手、不能从深层语义角度计算的问题。

Description

一种文档排序方法、***、电子设备及存储介质
技术领域
本发明属于信息检索技术领域，尤其涉及一种文档排序方法、***、电子设备及存储介质。
背景技术
现有的文档排序方法，首先提取一些固有的特征，如文本相关性、内容质量分类、内容时新性、点击类、用户画像类等特征，然后将这些特征输入到机器学习模型中采用不同的方式进行特征组合和权重学习得到学习器，最后利用学习器进行query和文档的相关度预测，从而可以根据相关度进行文档排序。
但现有方法只是利用了简单、固有的特征，并没有找到很好的方式表征文档，没有挖掘文档的深层语义信息，导致在进行query和文档的相关度计算时，只能从浅层特征入手，不能从深层语义角度计算，从而返回的文档排序可能不是最优的，无法使用户方便快速的查询到最相关的文档结果。
排序学习是搜索算法中的重要一环。文档搜索的本质是首先召回与用户输入的关键词查询(query)相关度高的一组文档，然后利用排序算法根据query和各个文档的相关程度进行精确排序。知识图谱是一种基于图的数据结构，由节点和边组成，每个节点表示一个实体，比如员工、产品、公司等，每条边为是实体与实体之间的关系，本质上是一种揭示实体之间关系的语义网络，能够把所有信息连接在一起。
发明内容
本申请实施例提供了一种文档排序方法、***、电子设备及存储介质，以至少解决现有文档排序方法只能从浅层特征入手、不能从深层语义角度计算的问题。
第一方面，本申请实施例提供了一种文档排序方法，包括：实体识别抽取步骤，对一查询语句和待排序的多个文档的实体进行识别，并抽取所述查询语句的查询语句实体和所述文档的文档实体；文档关系识别步骤，对所述文档实体进行关系识别，并基于所述关系获取所述文档的知识子图；相似度计算步骤，根据所述查询语句实体和所述知识子图，计算所述文档和所述查询语句的相似度；文档排序计算步骤，根据所述文档和所述查询语句的相似度，对所述文档进行相似度排序。
优选的，所述相似度计算步骤进一步包括：第一相似计算步骤，分别计算所述查询语句和每个所述文档中每个所述知识子图的相似度；第二相似计算步骤，根据所述查询语句和每个所述文档中每个所述知识子图的相似度，分别计算所述查询语句和每个所述文档的整体相似度。
优选的，所述第一相似计算步骤进一步包括：实体间计算步骤，分别计算每个所述查询语句实体和每个所述文档实体的相似度；实体子图计算步骤，根据每个所述查询语句实体和每个所述文档实体的相似度，分别计算每个所述查询语句实体和所述知识子图的相似度；查询语句子图计算步骤，根据每个所述查询语句实体和所述知识子图的相似度，分别计算所述查询语句和所述文档中每个所述知识子图的相似度。
优选的，所述实体间计算步骤进一步包括：计算所述文档实体的TF-IDF值，将所述查询语句实体和所述文档实体分别映射为查询语句实体向量和文档实体向量，并根据所述TF-IDF值、所述查询语句实体向量和所述文档实体向量计算所述查询语句实体和所述文档实体的余弦相似度。
第二方面，本申请实施例提供了一种文档排序***，适用于上述一种文档排序方法，包括：实体识别抽取模块，对一查询语句和待排序的多个文档的实体进行识别，并抽取所述查询语句的查询语句实体和所述文档的文档实体；文档关系识别模块，对所述文档实体进行关系识别，并基于所述关系获取所述文档的知识子图；相似度计算模块，根据所述查询语句实体和所述知识子图，计算所述文档和所述查询语句的相似度；文档排序计算模块，根据所述文档和所述查询语句的相似度，对所述文档进行相似度排序。
在具体实施中，所述相似度计算模块进一步包括：第一相似计算模块，分别计算所述查询语句和每个所述文档中每个所述知识子图的相似度；第二相似计算模块，根据所述查询语句和每个所述文档中每个所述知识子图的相似度，分别计算所述查询语句和每个所述文档的整体相似度。
在具体实施中，所述第一相似计算模块进一步包括：实体间计算单元，分别计算每个所述查询语句实体和每个所述文档实体的相似度；实体子图计算单元，根据每个所述查询语句实体和每个所述文档实体的相似度，分别计算每个所述查询语句实体和所述知识子图的相似度；查询语句子图计算单元，根据每个所述查询语句实体和所述知识子图的相似度，分别计算所述查询语句和所述文档中每个所述知识子图的相似度。
在具体实施中，所述实体间计算单元进一步包括：计算所述文档实体的TF-IDF值，将所述查询语句实体和所述文档实体分别映射为查询语句实体向量和文档实体向量，并根据所述TF-IDF值、所述查询语句实体向量和所述文档实体向量计算所述查询语句实体和所述文档实体的余弦相似度。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的一种文档排序方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的一种文档排序方法。
本发明可应用于信息检索技术领域。相比于相关技术，本申请实施例提供的一种文档排序方法利用实体和关系抽取得到一系列子图形成知识图谱，用知识图谱从深层语义角度表征文档信息，最后利用tf-idf计算query和知识图谱表征的相似度，该相似度可以直接作为排序依据，也可以作为其中一个特征训练模型，从而提高文档排序的质量，使用户更加方便快速的查询到想要的文档结果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明的文档排序方法流程图；
图2为图1中步骤S3的分步骤流程图；
图3为图2中步骤S31的分步骤流程图；
图4为本发明的文档排序***的框架图；
图5为本发明的第一相似计算模块的框架图；
图6为本发明的电子设备的框架图；
以上图中：
1、实体识别抽取模块；2、文档关系识别模块；3、相似度计算模块；4、文档排序计算模块；31、第一相似计算模块；32、第二相似计算模块；311、实体间计算单元；312、实体子图计算单元；313、查询语句子图计算单元；60、总线；61、处理器；62、存储器；63、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下，结合附图详细介绍本发明的实施例：
图1为本发明的文档排序方法流程图，请参见图1，本发明文档排序方法包括如下步骤：
S1：对一查询语句和待排序的多个文档的实体进行识别，并抽取所述查询语句的查询语句实体和所述文档的文档实体。
在具体实施中，抽取查询语句和多个待排序的文档中的实体，如产品、部门、员工、项目等，可选的，采用的实体识别方法包括但不限于基于词典的方法以及基于深度学习神经网络的方法。
在具体实施中，如果没有大量的标注数据，则使用基于词典的方法，对想要提取的各种类型的实体进行整理归纳，形成词典，利用词典匹配对文档进行实体抽取；如果有可用的标注数据集，则使用CRF、LSTM+CRF、Bert+CRF等序列标注模型进行实体识别、抽取。
S2：对所述文档实体进行关系识别，并基于所述关系获取所述文档的知识子图。
在具体实施中，将步骤S1中识别出的文档实体，两两一组进行关系识别，可选的，采用的关系识别方法可以是查询预先定义的实体关系表，也可以是基于深度学习神经网络的方法。
在具体实施中，如果没有大量的标注数据且实体类型较少，可以预先定义两种实体类型之间的关系类别，构建“实体-实体-关系”表，直接查询该表得到两个实体之间的关系即可；如果有可用的标注数据集，可以训练关系分类模型，将两个实体类型作为输入，关系类型作为输出进行训练。
文档中的实体两两一组进行关系识别完成后，可以得到多个知识子图(子图指任意两个实体之间通过关系是相通的，即无向连通图)，所有的知识子图构成了整个知识图谱，可以用来表征文档的深层语义信息。
S3：根据所述查询语句实体和所述知识子图，计算所述文档和所述查询语句的相似度。
可选的，图2为图1中步骤S3的分步骤流程图，请进一步参见图2：
S31：分别计算所述查询语句和每个所述文档中每个所述知识子图的相似度。
在具体实施中，计算查询语句和每个文档中每个子图的相似性，从查询语句中识别多个实体，则对查询语句中的每个实体，分别与文档子图计算相似度。
可选的，图3为图2中步骤S31的分步骤流程图，请进一步参见图3：
S311：分别计算每个所述查询语句实体和每个所述文档实体的相似度；可选的，计算所述文档实体的TF-IDF值，将所述查询语句实体和所述文档实体分别映射为查询语句实体向量和文档实体向量，并根据所述TF-IDF值、所述查询语句实体向量和所述文档实体向量计算所述查询语句实体和所述文档实体的余弦相似度。
在具体实施中，文档能使用实体识别-关系识别的方法得到知识图谱表征，将实体当作普通的词看待，可以计算文档中所有实体的tf-idf值，具体计算公式如下：
Figure BDA0003028733900000061
Figure BDA0003028733900000071
TF-IDF＝TF*IDF
由上述公式计算可得文档中实体的TF-IDF值，再利用embedding计算查询语句实体和文档实体的相似度，用当前文档库语料将预训练的词向量进行微调可以得到一个适用于当前语料的词向量表，然后根据查询语句实体和文档实体查询词向量表，将实体映射为向量(如果实体词较长，比如“知识图谱”，但词向量表中只有“知识”“图谱”，则分别映射为词向量之后求平均作为整个实体词的词向量即可)。然后再计算查询语句实体和文档实体的词向量之间的余弦相似度，最后利用下述公式可以得到最终查询语句实体和文档实体的相似度。
sim(查询语句实体，文档实体)
＝TFIDF*(1+cos(emb(查询语句实体),emb(文档实体)))
根据上述步骤可以计算求得查询语句中每个实体和文档中每个实体的相似度。
可选的，还可以使用杰卡德相似度算法进行相似度的计算；在具体实施中，本申请实施例还可使用其他任意一能够实现上述相似度计算的相似度算法。
S312：根据每个所述查询语句实体和每个所述文档实体的相似度，分别计算每个所述查询语句实体和所述知识子图的相似度。
在具体实施中，计算求得查询语句中每个实体和文档中每个实体的相似度后，针对查询语句中单个实体和文档中所有实体的相似度，采用取平均或取最大值的方法可以求得查询语句中每个实体和文档子图的相似度。
S313：根据每个所述查询语句实体和所述知识子图的相似度，分别计算所述查询语句和所述文档中每个所述知识子图的相似度。
在具体实施中，计算求得查询语句中每个实体和文档子图的相似度后，再针对查询语句中所有实体和文档子图的相似度，采用取平均或取最大值的方法可以求得查询语句和文档子图的相似度。
请继续参见图2：
S32：根据所述查询语句和每个所述文档中每个所述知识子图的相似度，分别计算所述查询语句和每个所述文档的整体相似度。
在具体实施中，得到查询语句和文档每个子图的相似度后，最后针对查询语句和文档所有子图的相似度，采用取平均或取最大值的方法，可以得到查询语句和文档的相似度值。
请继续参见图1：
S4：根据所述文档和所述查询语句的相似度，对所述文档进行相似度排序。
在具体实施中，相似度值可以直接作为排序依据，也可以结合文本相关性、内容质量分类、内容时新性、点击类、用户画像类等常见的固有特征训练排序模型。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供了一种文档排序***，适用于上述的一种文档排序方法。如以下所使用的，术语“单元”、“模块”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件、或者软件和硬件的组合的实现也是可能并被构想的。
图4为根据本发明的文档排序***的框架图，请参见图4，包括：
实体识别抽取模块1：对一查询语句和待排序的一文档的实体进行识别，并抽取所述查询语句的查询语句实体和所述文档的文档实体。
在具体实施中，抽取查询语句和文档中的实体，如产品、部门、员工、项目等，可选的，采用的实体识别方法包括但不限于基于词典的方法以及基于深度学习神经网络的方法。
在具体实施中，如果没有大量的标注数据，则使用基于词典的方法，对想要提取的各种类型的实体进行整理归纳，形成词典，利用词典匹配对文档进行实体抽取；如果有可用的标注数据集，则使用CRF、LSTM+CRF、Bert+CRF等序列标注模型进行实体识别、抽取。
文档关系识别模块2：对所述文档实体进行关系识别，并基于所述关系获取所述文档的知识子图。
在具体实施中，将实体识别抽取模块1中识别出的文档实体，两两一组进行关系识别，可选的，采用的关系识别方法可以是查询预先定义的实体关系表，也可以是基于深度学习神经网络的方法。
在具体实施中，如果没有大量的标注数据且实体类型较少，可以预先定义两种实体类型之间的关系类别，构建“实体-实体-关系”表，直接查询该表得到两个实体之间的关系即可；如果有可用的标注数据集，可以训练关系分类模型，将两个实体类型作为输入，关系类型作为输出进行训练。
文档中的实体两两一组进行关系识别完成后，可以得到多个知识子图(子图指任意两个实体之间通过关系是相通的，即无向连通图)，所有的知识子图构成了整个知识图谱，可以用来表征文档的深层语义信息。
相似度计算模块3：根据所述查询语句实体和所述知识子图，计算所述文档和所述查询语句的相似度。
可选的，相似度计算模块3进一步包括：
第一相似计算模块31：分别计算所述查询语句和每个所述文档中每个所述知识子图的相似度。
在具体实施中，计算查询语句和每个文档中每个子图的相似性，从查询语句中识别多个实体，则对查询语句中的每个实体，分别与文档子图计算相似度。
可选的，图5为本发明的第一相似计算模块的框架图，请进一步参见图5：
实体间计算单元311：分别计算每个所述查询语句实体和每个所述文档实体的相似度；可选的，计算所述文档实体的TF-IDF值，将所述查询语句实体和所述文档实体分别映射为查询语句实体向量和文档实体向量，并根据所述TF-IDF值、所述查询语句实体向量和所述文档实体向量计算所述查询语句实体和所述文档实体的余弦相似度。
在具体实施中，文档能使用实体识别-关系识别的方法得到知识图谱表征，将实体当作普通的词看待，可以计算文档中所有实体的tf-idf值，具体计算公式如下：
Figure BDA0003028733900000101
Figure BDA0003028733900000102
TF-IDF＝TF*IDF
由上述公式计算可得文档中实体的TF-IDF值，再利用embedding计算查询语句实体和文档实体的相似度，用当前文档库语料将预训练的词向量进行微调可以得到一个适用于当前语料的词向量表，然后根据查询语句实体和文档实体查询词向量表，将实体映射为向量(如果实体词较长，比如“知识图谱”，但词向量表中只有“知识”“图谱”，则分别映射为词向量之后求平均作为整个实体词的词向量即可)。然后再计算查询语句实体和文档实体的词向量之间的余弦相似度，最后利用下述公式可以得到最终查询语句实体和文档实体的相似度。
sim(查询语句实体，文档实体)
＝TFIDF*(1+cos(emb(查询语句实体),emb(文档实体)))
根据上述步骤可以计算求得查询语句中每个实体和文档中每个实体的相似度。
可选的，还可以使用杰卡德相似度算法进行相似度的计算；在具体实施中，本申请实施例还可使用其他任意一能够实现上述相似度计算的相似度算法。
实体子图计算单元312：根据每个所述查询语句实体和每个所述文档实体的相似度，分别计算每个所述查询语句实体和所述知识子图的相似度。
在具体实施中，计算求得查询语句中每个实体和文档中每个实体的相似度后，针对查询语句中单个实体和文档中所有实体的相似度，采用取平均或取最大值的方法可以求得查询语句中每个实体和文档子图的相似度。
查询语句子图计算单元313：根据每个所述查询语句实体和所述知识子图的相似度，分别计算所述查询语句和所述文档中每个所述知识子图的相似度。
在具体实施中，计算求得查询语句中每个实体和文档子图的相似度后，再针对查询语句中所有实体和文档子图的相似度，采用取平均或取最大值的方法可以求得查询语句和文档子图的相似度。
相似度计算模块3还包括第二相似计算模块32：根据所述查询语句和每个所述文档中每个所述知识子图的相似度，分别计算所述查询语句和每个所述文档的整体相似度。
在具体实施中，得到查询语句和文档每个子图的相似度后，最后针对查询语句和文档所有子图的相似度，采用取平均或取最大值的方法，可以得到查询语句和文档的相似度值。
请继续参见图4：
文档排序计算模块4：根据所述文档和所述查询语句的相似度，对所述文档进行相似度排序。
在具体实施中，相似度值可以直接作为排序依据，也可以结合文本相关性、内容质量分类、内容时新性、点击类、用户画像类等常见的固有特征训练排序模型。
另外，结合图1、图2、图3描述的一种文档排序方法可以由电子设备来实现。图6为本发明的电子设备的框架图。
电子设备可以包括处理器61以及存储有计算机程序指令的存储器62。
具体地，上述处理器61可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器62可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器62可在数据处理装置的内部或外部。在特定实施例中，存储器62是非易失性(Non-Volatile)存储器。在特定实施例中，存储器62包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器61所执行的可能的计算机程序指令。
处理器61通过读取并执行存储器62中存储的计算机程序指令，以实现上述实施例中的任意一种文档排序方法。
在其中一些实施例中，电子设备还可包括通信接口63和总线60。其中，如图6所示，处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。
通信端口63可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线60包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线60可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、***组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的一种文档排序方法。
另外，结合上述实施例中的一种文档排序方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种文档排序方法。
而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种文档排序方法，其特征在于，包括：
实体识别抽取步骤，对一查询语句和待排序的多个文档的实体进行识别，并抽取所述查询语句的查询语句实体和所述文档的文档实体；
文档关系识别步骤，对所述文档实体进行关系识别，并基于所述关系获取所述文档的知识子图；
相似度计算步骤，根据所述查询语句实体和所述知识子图，计算所述文档和所述查询语句的相似度；
文档排序计算步骤，根据所述文档和所述查询语句的相似度，对所述文档进行相似度排序。
2.如权利要求1所述的文档排序方法，其特征在于，所述相似度计算步骤进一步包括：
第一相似计算步骤，分别计算所述查询语句和每个所述文档中每个所述知识子图的相似度；
第二相似计算步骤，根据所述查询语句和每个所述文档中每个所述知识子图的相似度，分别计算所述查询语句和每个所述文档的整体相似度。
3.如权利要求2所述的文档排序方法，其特征在于，所述第一相似计算步骤进一步包括：
实体间计算步骤，分别计算每个所述查询语句实体和每个所述文档实体的相似度；
实体子图计算步骤，根据每个所述查询语句实体和每个所述文档实体的相似度，分别计算每个所述查询语句实体和所述知识子图的相似度；
查询语句子图计算步骤，根据每个所述查询语句实体和所述知识子图的相似度，分别计算所述查询语句和所述文档中每个所述知识子图的相似度。
4.如权利要求3所述的文档排序方法，其特征在于，所述实体间计算步骤进一步包括：计算所述文档实体的TF-IDF值，将所述查询语句实体和所述文档实体分别映射为查询语句实体向量和文档实体向量，并根据所述TF-IDF值、所述查询语句实体向量和所述文档实体向量计算所述查询语句实体和所述文档实体的余弦相似度。
5.一种文档排序***，其特征在于，包括：
实体识别抽取模块，对一查询语句和待排序的多个文档的实体进行识别，并抽取所述查询语句的查询语句实体和所述文档的文档实体；
文档关系识别模块，对所述文档实体进行关系识别，并基于所述关系获取所述文档的知识子图；
相似度计算模块，根据所述查询语句实体和所述知识子图，计算所述文档和所述查询语句的相似度；
文档排序计算模块，根据所述文档和所述查询语句的相似度，对所述文档进行相似度排序。
6.如权利要求5所述的文档排序***，其特征在于，所述相似度计算模块进一步包括：
第一相似计算模块，分别计算所述查询语句和每个所述文档中每个所述知识子图的相似度；
第二相似计算模块，根据所述查询语句和每个所述文档中每个所述知识子图的相似度，分别计算所述查询语句和每个所述文档的整体相似度。
7.如权利要求6所述的文档排序***，其特征在于，所述第一相似计算模块进一步包括：
实体间计算单元，分别计算每个所述查询语句实体和每个所述文档实体的相似度；
实体子图计算单元，根据每个所述查询语句实体和每个所述文档实体的相似度，分别计算每个所述查询语句实体和所述知识子图的相似度；
查询语句子图计算单元，根据每个所述查询语句实体和所述知识子图的相似度，分别计算所述查询语句和所述文档中每个所述知识子图的相似度。
8.如权利要求7所述的文档排序***，其特征在于，所述实体间计算单元进一步包括：计算所述文档实体的TF-IDF值，将所述查询语句实体和所述文档实体分别映射为查询语句实体向量和文档实体向量，并根据所述TF-IDF值、所述查询语句实体向量和所述文档实体向量计算所述查询语句实体和所述文档实体的余弦相似度。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的文档排序方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的文档排序方法。
CN202110423451.6A 2021-04-20 2021-04-20 一种文档排序方法、***、电子设备及存储介质 Pending CN113139383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110423451.6A CN113139383A (zh) 2021-04-20 2021-04-20 一种文档排序方法、***、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110423451.6A CN113139383A (zh) 2021-04-20 2021-04-20 一种文档排序方法、***、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113139383A true CN113139383A (zh) 2021-07-20

Family

ID=76813164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110423451.6A Pending CN113139383A (zh) 2021-04-20 2021-04-20 一种文档排序方法、***、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113139383A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590795A (zh) * 2021-08-03 2021-11-02 中国银行股份有限公司 知识点处理方法、装置、服务器、介质及产品
CN116881471A (zh) * 2023-07-07 2023-10-13 深圳智现未来工业软件有限公司 一种基于知识图谱的大语言模型微调方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347223A (zh) * 2020-11-03 2021-02-09 平安科技（深圳）有限公司 文档检索方法、设备及计算机可读存储介质
CN112417175A (zh) * 2020-12-07 2021-02-26 北京明略软件***有限公司 面向维修工单的文档检索方法、***、计算机及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347223A (zh) * 2020-11-03 2021-02-09 平安科技（深圳）有限公司 文档检索方法、设备及计算机可读存储介质
CN112417175A (zh) * 2020-12-07 2021-02-26 北京明略软件***有限公司 面向维修工单的文档检索方法、***、计算机及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590795A (zh) * 2021-08-03 2021-11-02 中国银行股份有限公司 知识点处理方法、装置、服务器、介质及产品
CN113590795B (zh) * 2021-08-03 2024-02-20 中国银行股份有限公司 知识点处理方法、装置、服务器、介质及产品
CN116881471A (zh) * 2023-07-07 2023-10-13 深圳智现未来工业软件有限公司 一种基于知识图谱的大语言模型微调方法及装置
CN116881471B (zh) * 2023-07-07 2024-06-04 深圳智现未来工业软件有限公司 一种基于知识图谱的大语言模型微调方法及装置

Similar Documents

Publication Publication Date Title
CN111104794B (zh) 一种基于主题词的文本相似度匹配方法
CN108509474B (zh) 搜索信息的同义词扩展方法及装置
CN106599278B (zh) 应用搜索意图的识别方法及装置
Trstenjak et al. KNN with TF-IDF based framework for text categorization
CN107463605B (zh) 低质新闻资源的识别方法及装置、计算机设备及可读介质
WO2017097231A1 (zh) 话题处理方法及装置
US10346494B2 (en) Search engine system communicating with a full text search engine to retrieve most similar documents
CN104750798B (zh) 一种应用程序的推荐方法和装置
US20160034514A1 (en) Providing search results based on an identified user interest and relevance matching
CN112329460B (zh) 文本的主题聚类方法、装置、设备及存储介质
CN110909160A (zh) 正则表达式生成方法、服务器及计算机可读存储介质
CN110019669B (zh) 一种文本检索方法及装置
CN109885813A (zh) 一种基于词语覆盖度的文本相似度的运算方法、***、服务器及存储介质
CN111291177A (zh) 一种信息处理方法、装置和计算机存储介质
CN112633000B (zh) 一种文本中实体的关联方法、装置、电子设备及存储介质
CN110210038B (zh) 核心实体确定方法及其***、服务器和计算机可读介质
CN108228612B (zh) 一种提取网络事件关键词以及情绪倾向的方法及装置
CN113139383A (zh) 一种文档排序方法、***、电子设备及存储介质
Lan Research on Text Similarity Measurement Hybrid Algorithm with Term Semantic Information and TF‐IDF Method
CN112883165A (zh) 一种基于语义理解的智能全文检索方法及***
CN112417175A (zh) 面向维修工单的文档检索方法、***、计算机及存储介质
CN110728135B (zh) 文本主题标引方法、装置、电子设备及计算机存储介质
CN108287850A (zh) 文本分类模型的优化方法及装置
CN117435685A (zh) 文档检索方法、装置、计算机设备、存储介质和产品
Xu et al. Measuring semantic relatedness between flickr images: from a social tag based view

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination