CN110795565B - 基于语义识别的别名挖掘方法、装置、介质及电子设备 - Google Patents
基于语义识别的别名挖掘方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN110795565B CN110795565B CN201910844468.1A CN201910844468A CN110795565B CN 110795565 B CN110795565 B CN 110795565B CN 201910844468 A CN201910844468 A CN 201910844468A CN 110795565 B CN110795565 B CN 110795565B
- Authority
- CN
- China
- Prior art keywords
- alias
- entity
- search
- semantic
- aliases
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000005065 mining Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 56
- 238000012216 screening Methods 0.000 claims abstract description 31
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000001914 filtration Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 12
- 238000003058 natural language processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 241001075517 Abelmoschus Species 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 241000082442 Crinula Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 235000019658 bitter taste Nutrition 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种基于语义识别的别名挖掘方法、基于语义识别的别名挖掘装置、计算机可读介质以及电子设备。该方法包括：确定待挖掘别名的实体以及与所述实体相关联的多个候选别名；分别将所述实体和所述候选别名输入预先训练的语义识别模型以得到所述实体的实体语义向量以及所述候选别名的别名语义向量；根据所述实体语义向量和所述别名语义向量确定所述实体与各个所述候选别名的语义相似度；根据所述语义相似度从所述多个候选别名中筛选得到所述实体的目标别名。该方法通过利用语义识别模型获取实体与候选别名的语义向量，同时对相关语义向量进行语义相似度衡量，可以从候选别名中挖掘得到与实体语义关系紧密的具有高置信度的目标别名。
Description
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种基于语义识别的别名挖掘方法、基于语义识别的别名挖掘装置、计算机可读介质以及电子设备。
背景技术
实体是指表示一个概念的基本单位，在聊天机器人、智能语音助手等各种涉及自然语言处理的应用领域，一般会为实体关联一种或者多种别名。别名是除法定名称或者规范名称以外的其他名称，其作用基本等同于实体本身。一个实体可能具有多个别名，例如“玄烨”的别名有：“康熙帝”、“蒙古汗号恩赫阿木古朗汗”、“西藏尊称文殊皇帝”等等。同理，有的别名也会同时属于多个实体，例如“四爷”这个别名就可以同时被映射至“胤禛”、歌手艺名、“汉文帝”等多个实体。
由于实体与别名之间的关联关系存在交叉多样性，在设计聊天机器人、智能语音助手等相关工具时，需要进行大量的自然语言加工计算以便提高工具的可用性。而且由于实体与别名的关系复杂性，大量的关于实体和别名的计算结果虽然在某些领域或场景下是准确无误的，但是并不符合用户的日常使用习惯，也难以满足真实的用户意图，因此导致相关自然语言辅助工具的使用效果大打折扣。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于语义识别的别名挖掘方法、基于语义识别的别名挖掘装置、计算机可读介质以及电子设备，进而至少在一定程度上克服相关技术中存在的实体与别名关联关系复杂、难以满足真实用户意图等技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面，提供一种基于语义识别的别名挖掘方法，该方法包括：
确定待挖掘别名的实体以及与所述实体相关联的多个候选别名；
分别将所述实体和所述候选别名输入预先训练的语义识别模型以得到所述实体的实体语义向量以及所述候选别名的别名语义向量；
根据所述实体语义向量和所述别名语义向量确定所述实体与各个所述候选别名的语义相似度；
根据所述语义相似度从所述多个候选别名中筛选得到所述实体的目标别名。
根据本公开实施例的一个方面，提供一种基于语义识别的别名挖掘装置，该装置包括：
候选别名确定模块，被配置为确定待挖掘别名的实体以及与所述实体相关联的多个候选别名；
语义向量获取模块，被配置为分别将所述实体和所述候选别名输入预先训练的语义识别模型以得到所述实体的实体语义向量以及所述候选别名的别名语义向量；
语义相似度确定模块，被配置为根据所述实体语义向量和所述别名语义向量确定所述实体与各个所述候选别名的语义相似度；
目标别名筛选模块，被配置为根据所述语义相似度从所述多个候选别名中筛选得到所述实体的目标别名。
在本公开的一些实施例中，基于以上技术方案，所述目标别名筛选模块包括：
高置信度别名筛选模块，被配置为将所述语义相似度大于或者等于预设相似度的候选别名确定为高置信度别名；
高频搜索别名筛选模块，被配置为根据搜索频率信息从所述高置信度别名中筛选得到高频搜索别名，并将所述高频搜索别名作为所述实体的目标别名。
在本公开的一些实施例中，基于以上技术方案，所述高频搜索别名筛选模块包括：
搜索引擎确定模块，被配置为确定用于提供搜索频率信息的目标搜索引擎，并获取所述目标搜索引擎的搜索建议接口；
搜索建议筛选模块，被配置为利用所述搜索建议接口从所述高置信度别名中筛选得到高频搜索别名。
在本公开的一些实施例中，基于以上技术方案，所述搜索建议筛选模块包括：
实体搜索建议获取模块，被配置为将所述实体输入所述搜索建议接口，以得到由所述目标搜索引擎返回的实体搜索建议；
实体搜索建议筛选模块，被配置为若所述高置信度别名包含在所述实体搜索建议中，则将所述高置信度别名确定为高频搜索别名。
在本公开的一些实施例中，基于以上技术方案，所述搜索建议筛选模块包括：
别名搜索建议获取模块，被配置为将所述高置信度别名输入所述搜索建议接口，以得到由所述目标搜索引擎返回的别名搜索建议；
别名搜索建议筛选模块，被配置为若所述实体包含在所述别名搜索建议中，则将所述高置信度别名确定为高频搜索别名。
在本公开的一些实施例中，基于以上技术方案，所述搜索建议筛选模块包括：
组合搜索建议获取模块，被配置为将所述实体和所述高置信度别名同时输入所述搜索建议接口，以得到由所述目标搜索引擎返回的组合搜索建议；
组合搜索建议筛选模块，被配置为若所述组合搜索建议中同时包含所述实体和所述高置信度别名，则将所述高置信度别名确定为高频搜索别名。
在本公开的一些实施例中，基于以上技术方案，所述语义识别模型是利用多源数据训练得到的全词遮蔽语言模型。
根据本公开实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的基于语义识别的别名挖掘方法。
根据本公开实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的基于语义识别的别名挖掘方法。
在本公开实施例提供的技术方案中，通过利用语义识别模型获取实体与候选别名的语义向量，同时对相关语义向量进行语义相似度衡量，可以从候选别名中挖掘得到与实体语义关系紧密的具有高置信度的目标别名。应用于涉及自然语言处理的人工智能领域中，可以极大地提高相关智能工具对用户意图的识别能力，为用户提供符合日常使用习惯的别名扩展结果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性地示出了一种利用多个机器学习模型与用户进行自然语言交互的整体流程。
图2示出了应用本公开技术方案的示例性***架构示意图。
图3示意性地示出了本公开一些实施例中基于语义识别的别名挖掘方法的步骤流程图。
图4示意性地示出了本公开一些实施例中筛选目标别名的步骤流程图。
图5示意性地示出了本公开一些实施例中筛选高频搜索别名的步骤流程图。
图6示意性地示出了本公开一些实施例中基于正向搜索筛选高频搜索别名的步骤流程图。
图7示意性地示出了本公开一些实施例中基于反向搜索筛选高频搜索别名的步骤流程图。
图8示意性地示出了本公开一些实施例中基于组合搜索筛选高频搜索别名的步骤流程图。
图9示意性地示出了本公开一些实施例中的基于语义识别的别名挖掘装置的结构框图。
图10示意性地示出了适于用来实现本公开实施例的电子设备的计算机***的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
人工智能（Artificial Intelligence, AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
自然语言处理(Nature Language processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习（Machine Learning, ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
在本公开的相关技术中，利用机器学习模型进行自然语言处理可以模拟人类的自然语言使用习惯，图1示意性地示出了一种利用多个机器学习模型与用户进行自然语言交互的整体流程。如图1所示，针对用户需求做出回应的流程主要包括以下步骤：
步骤S110. 获取用户输入的查询语句query。
步骤S120. 将获取到的query输入至任务模型，由任务模型进行计算以得到涉及音乐、视频、电影、导航、天气等多种任务领域的任务型计算结果。如果任务模型能够准确匹配用户意图，则跳转至步骤S160，向用户返回相关计算结果。如果任务模型不能准确匹配用户意图，则继续执行步骤S130。
步骤S130. 将获取到的query输入至问答模型，由问答模型进行计算以得到关于知识问答（KBQA）或者相关性问答（IRQA）的问答型计算结果。如果问答模型能够准确匹配用户意图，则跳转至步骤S160，向用户返回相关计算结果。如果问答模型不能准确匹配用户意图，则继续执行步骤S140。
步骤S140. 将获取到的query输入至百科服务模型，由百科服务模型进行计算以得到基于百科词条形式的词条型计算结果。在百科服务模型的处理逻辑中，可以对各种实体和相关别名进行召回。如果用户输入的query能够命中百科服务模型中的某一实体或者别名，则跳转至步骤S160，向用户返回相关计算结果。如果用户输入的query没有命中百科服务模型中的某一实体或者别名，则继续执行步骤S150。
步骤S150. 将获取到的query输入至闲聊服务模型，由闲聊服务模型进行计算以得到与用户需求具有一定相关性的基于闲聊形式的闲聊型计算结果，然后直接执行步骤S160。
步骤S160. 向用户返回相关模型的计算结果。
为了实现步骤S140中使用的百科服务模型，需要建立实体与别名之间的关联关系，亦即对实体的别名进行挖掘和扩展。另外，为了提高百科服务模型的可用性，应当为实体关联具有高置信度和低歧义性的别名。针对已有实体进行别名挖掘的方法可以采用两种途径：一种是由检索人员通过人工搜索进行添加补全，搜索补全之后再由审核人员对搜索添加的数据进行审核；另一种是通过网络爬取，例如利用网络爬虫技术自动获取互联网上的资源，将涉及词条解释类的网络内容尽量全部爬取下来，然后进行结构化地数据清洗和融合对齐，将别名映射至对应的实体上，最后才能数据上线。
以上两种别名挖掘途径存在如下问题：
1. 人力及物力资源消耗大。
一般而言，一个检索人员在一天时间内可以处理2000~3000条左右的别名新增，对于数据库中几百万甚至上千万的实体来说，大约需要10000/人/天。因此需要投入大量的人力和物力资源进行人工检索。
2. 周期长。
如前面的计算所示，针对一些需要进行别名扩展的实体数据库而言，大约需要10000/人/天，由10个检索人员组成的团队进行处理都需要处理1000个工作日，即3年左右的时间。这对于具有高度时效性的人工智能产品和互联网产品而言是无法接受的。
3. 审核负担重。
由人工检索得到的用于别名补充的数据通常还需要经过审核人员的审核后才能最终上线，为了提高别名数据的准确性和高可用性，也无疑加重了审核人员的任务负担。
4. 网页爬取资源不稳定，时间周期长。
为了提高网络资源安全性，大多数资源网站会设置一定的反爬虫策略，因此在利用网络爬虫获取网络资源存在极大的不确定性，难以稳定持续的运行。另外，即使能够获取数据，现有的爬虫技术在一天时间内一般也只能获取到10万数量级的数据，而对于千万量级的实体数量来说，时间成本依然很高。
5. 网络资源可用性差。
由网络资源中一般会获取到的一部分十分偏僻的别名数据，不符合人们日常在AI产品上的使用习惯。例如，实体“玄烨”的别名中包括有：“蒙古汗号恩赫阿木古朗汗”、“西藏尊称文殊皇帝”等等。这类别名属于小众化的偏门历史知识，会对产品可用性产生干扰。
基于以上方案存在的问题，本公开提供了一种基于语义识别的别名挖掘方法、基于语义识别的别名挖掘装置、计算机可读介质以及电子设备。图2示出了应用本公开技术方案的示例性***架构示意图。
如图2所示，***架构200可以包括客户端210、网络220和服务端230。客户端210可以包括智能手机、平板电脑、笔记本电脑、台式电脑等各种终端设备。服务端230可以包括网络服务器、应用服务器、数据库服务器等各种服务器设备。网络220可以是能够在客户端210和服务端230之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路、无线通信链路或者光纤电缆等等。
根据实现需要，本公开实施例中的***架构可以具有任意数目的客户端、网络和服务端。例如，服务端230可以是由多个服务器设备组成的服务器群组。另外，本公开实施例中的基于语义识别的别名挖掘方法可以应用于客户端210，也可以应用于服务端230，本公开对此不做特殊限定。
下面结合具体实施方式对本公开提供的基于语义识别的别名挖掘方法、基于语义识别的别名挖掘装置、计算机可读介质以及电子设备做出详细说明。
图3示意性地示出了本公开一些实施例中基于语义识别的别名挖掘方法的步骤流程图。如图3所示，该方法主要可以包括以下步骤：
步骤S310. 确定待挖掘别名的实体以及与实体相关联的多个候选别名。
本步骤首先确定一个需要进行别名扩展的待挖掘别名的实体，并确定与该实体相关联的多个候选别名。待挖掘别名的实体以及相关的候选别名可以从预先获取的知识图谱中提取得到，另外也可以通过网络爬虫技术从网络资源中获取。例如，针对一个待挖掘别名的实体“刘德华”，与其相关联的候选别名可以包括：“Andy Lau”、“Andy”、“刘德华 AndyLau”、“华神”、“华哥”、“andy lau”、“刘***”、“Lau Tak Wah”、“刘福荣”、“华Dee”、“华仔”、“andy”等等。
步骤S320. 分别将实体和候选别名输入预先训练的语义识别模型以得到实体的实体语义向量以及候选别名的别名语义向量。
预先训练的语义识别模型通过建模海量数据中的词、实体及实体关系，学习真实世界的语义知识，使得语义相近的字词或者句子在高维度的向量空间上具有相近的特征向量。将实体输入该语义识别模型可以得到相应的实体语义向量，将各个候选别名分别输入该语义识别模型可以得到与各个候选别名一一对应的别名语义向量。
步骤S330. 根据实体语义向量和别名语义向量确定实体与各个候选别名的语义相似度。
由步骤S320得到实体语义向量和多个别名语义向量后，本步骤可以通过计算语义相似度衡量各个别名语义向量与实体语义向量的相似性和关联紧密程度。举例而言，本步骤可以利用如下公式计算实体语义向量和别名语义向量的余弦相似度cosθ：
其中，A为实体的实体语义向量，A i为组成实体语义向量A的各个元素，B为候选别名的别名语义向量，B i为组成别名语义向量B的各个元素。
步骤S340. 根据语义相似度从多个候选别名中筛选得到实体的目标别名。
由步骤S330可以确定每个候选别名与实体之间的语义相似度，本步骤根据这些语义相似度从与实体相关联的多个候选别名中筛选出一个或者多个符合预设条件的候选别名作为实体的目标别名。在一些可选的实施方式中，本步骤可以将语义相似度大于某一预设阈值的候选别名作为目标别名，另外本步骤也可以按照语义相似度对各个候选别名进行排序，将排序位置高于某一预设位置的候选别名作为目标别名。
举例而言，在步骤S330中以特征向量的余弦相似度作为实体和别名的语义相似度，如果某一个别名语义向量与实体语义向量的余弦相似度大于0.5，那么可以认为对应的候选别名和实体具有语义相似的紧密关系，该候选别名即作为实体的目标别名。如果某一个别名语义向量与实体语义向量的余弦相似度小于或者等于0.5，那么可以认为对应的候选别名和实体之间的语义相似程度较低，该候选别名即被排除在目标别名之外。
在本公开实施例提供的基于语义识别的别名挖掘方法中，通过利用语义识别模型获取实体与候选别名的语义向量，同时对相关语义向量进行语义相似度衡量，可以从候选别名中挖掘得到与实体语义关系紧密的具有高置信度的目标别名。应用于涉及自然语言处理的人工智能领域中，可以极大地提高相关智能工具对用户意图的识别能力，为用户提供符合日常使用习惯的别名扩展结果。
举例而言，当本公开实施例提供的基于语义识别的别名挖掘方法应用于如图1所示的自然语言交互流程中时，可以获得更加合理的对用户需求的应答结果。例如，当用户输入的查询语句为“你的”时，在传统的应答方式中，会向用户直接返回对该词语进行解释的百科词条类型的答复语句；而使用本公开实施例提供的基于语义识别的别名挖掘方法可以将“你的”这一词语从百科服务模型的实体和别名中剔除，使得该查询语句可以被传送至闲聊服务模型，由闲聊服务模型向用户返回如“这锅不是我的，我不背”等具有趣味性的应答语句，为用户提供更好的使用体验。又如，当用户输入的查询语句为“12”时，在传统的应答方式中，会将“12”视作一部电视剧的名称，从而尝试向用户返回与该查询语句相关的电视剧；而使用本公开实施例提供的基于语义识别的别名挖掘方法可以判定“12”这一词语不属于某一电视剧实体的别名，并将其确定为数字实体的别名，从而可以向用户返回关于该数字实体的百科词条介绍。又如，当用户输入的查询语句为“四爷”时，在传统的应答方式中，同样会将“四爷”视作一部电视剧或者电影的名称，从而尝试向用户返回与该查询语句相关的电视剧或者电影；而使用本公开实施例提供的基于语义识别的别名挖掘方法可以判定“四爷”这一词语不属于某一电视剧实体或者电影实体的别名，并将其确定为实体“雍正”的别名，从而可以向用户返回关于雍正皇帝的百科词条介绍。
由此可见，应用本公开实施例提供的基于语义识别的别名挖掘方法可以获得更加符合用户日常使用习惯同时也更加具有趣味性或者合理性的自然语言处理结果。
图4示意性地示出了本公开一些实施例中筛选目标别名的步骤流程图。如图4所示，在以上实施例的基础上，步骤S340. 根据语义相似度从多个候选别名中筛选得到实体的目标别名，可以包括以下步骤：
步骤S410. 将语义相似度大于或者等于预设相似度的候选别名确定为高置信度别名。
如以上实施例所述的，当一个候选别名与一个实体的语义相似度越大时，说明二者之间语义相近的紧密程度越大，以该候选别名作为实体目标别名的置信度也越高。本步骤在确定各个候选别名与实体之间的语义相似度的基础上，将语义相似度大于或者等于预设相似度的候选别名确定为高置信度别名。
步骤S420. 根据搜索频率信息从高置信度别名中筛选得到高频搜索别名，并将高频搜索别名作为实体的目标别名。
针对由步骤S410确定的每一个高置信度别名，本步骤可以获取与之相对应的搜索频率信息，然后利用搜索频率信息对高置信度别名进行筛选处理以得到高频搜索别名，这些经过置信度和搜索频率两个维度筛选得到的高频搜索别名即作为实体的目标别名。在一些可选的实施方式中，搜索频率信息可以是对与各个高置信度别名相关的搜索数据进行量化处理得到的信息，例如可以是在预设时长内用户对某一高置信度别名的搜索频次，如果该高置信度别名的搜索频次大于某一预设频次，则可以将其确定为高频搜索别名，否则便将其确定为低频搜索别名。
在筛选高置信度别名的基础上，继续对高频搜索别名进行筛选，可以进一步提高目标别名的可用性，使得最终筛选得到的目标别名更加符合用户的日常使用习惯。
图5示意性地示出了本公开一些实施例中筛选高频搜索别名的步骤流程图。如图5所示，在以上各实施例的基础上，步骤S420中的根据搜索频率信息从高置信度别名中筛选得到高频搜索别名，可以包括以下步骤：
步骤S510. 确定用于提供搜索频率信息的目标搜索引擎，并获取目标搜索引擎的搜索建议接口。
为了从搜索频率的角度对候选别名进行筛选，本步骤首先可以确定一个用于提供搜索频率信息的目标搜索引擎，同时获取该目标搜索引擎的搜索建议接口。搜索建议接口可以是由搜索引擎提供的用于对用户的搜索输入信息进行智能补全以提供搜索建议的应用程序编程接口（Application Programming Interface，简称API）。通过调用搜索建议接口，目标搜索引擎可以将搜索频率较高的字词或者语句作为搜索建议返回给用户。
步骤S520. 利用搜索建议接口从高置信度别名中筛选得到高频搜索别名。
当用户向目标搜索引擎输入搜索内容时，目标搜索引擎可以根据用户输入的搜索内容实时地调用搜索建议接口，以便向用户提供搜索建议。例如，当用户向目标搜索引擎输入“为什么秋葵”时，目标搜索引擎调用搜索建议接口以向用户同步返回“为什么秋葵有粘液”、“为什么秋葵壮阳”、“为什么秋葵那么难吃”、“为什么秋葵有点苦”、“为啥秋葵的籽是苦的”、“为啥秋葵是植物伟哥”、“为啥秋葵开过花就落了”等多种搜索建议。搜索建议一般是与用户输入内容相关的具有较高搜索频率的一些字词或者语句。基于这一原理，本步骤可以利用搜索建议接口对高置信度别名的搜索频率高低做出判断，从而能够从高置信度别名中筛选得到高频搜索别名。
本公开实施例通过确定一个目标搜索引擎，并借助目标搜索引擎自身的搜索频率判断逻辑，利用搜索建议接口提供的搜索建议结果衡量高置信度别名的搜索频率，具有判断逻辑简单，计算成本低、计算效率高等优点。
在其他一些可选的实施方式中，为了从高置信度别名中筛选高频搜索别名，也可以直接将高置信度别名输入至目标搜索引擎中，根据目标搜索引擎返回的搜索结果的条目数量作为确定搜索频率信息的依据。例如，如果某一高置信度别名的搜索结果中条目数量较多（大于或者等于某一预设数量），则将其确定为高频搜索别名；如果某一高置信度别名的搜索结果中条目数量较少（小于某一预设数量），则将其确定为低频搜索别名。
图6示意性地示出了本公开一些实施例中基于正向搜索筛选高频搜索别名的步骤流程图，正向搜索即直接通过搜索建议接口搜索实体以判断得到的搜索建议与高置信度别名的关系。如图6所示，在以上各实施例的基础上，步骤S520. 利用搜索建议接口从高置信度别名中筛选得到高频搜索别名，可以包括以下步骤：
步骤S610. 将实体输入搜索建议接口，以得到由目标搜索引擎返回的实体搜索建议。
将待扩展别名的实体直接输入至搜索建议接口，可以得到由目标搜索引擎返回的实体搜索建议。实体搜索建议由与实体相关的多个建议条目组成，每个建议条目可以是一个单独的字词，也可以是一条由多个字词组成的语句。
步骤S620. 若高置信度别名包含在实体搜索建议中，则将高置信度别名确定为高频搜索别名。
根据步骤S610得到的实体搜索建议，本步骤分别将各个高置信度别名与实体搜索建议中的各个建议条目进行逐一比对，如果某一个高置信度别名包含在组成实体搜索建议的任意一个建议条目中，例如某一建议条目是与该高置信度别名相同的字词或者是由该高置信度别名组成的语句，那么该高置信度别名便可以被确定为高频搜索别名。
图7示意性地示出了本公开一些实施例中基于反向搜索筛选高频搜索别名的步骤流程图，反向搜索即通过搜索建议接口搜索高置信度别名以判断得到的搜索建议与实体的关系。如图7所示，在以上各实施例的基础上，步骤S520. 利用搜索建议接口从高置信度别名中筛选得到高频搜索别名，可以包括以下步骤：
步骤S710. 将高置信度别名输入搜索建议接口，以得到由目标搜索引擎返回的别名搜索建议。
将每一个高置信度别名分别输入至搜索建议接口，得到由目标搜索引擎返回的分别与各个高置信度别名相对应的别名搜索建议。别名搜索建议由与高置信度别名相关的多个建议条目组成，每个建议条目可以是一个单独的字词，也可以是一条由多个字词组成的语句。
步骤S720. 若实体包含在别名搜索建议中，则将高置信度别名确定为高频搜索别名。
根据步骤S710得到的分别与各个高置信度别名相对应的别名搜索建议，本步骤将待扩展别名的实体分别与各个别名搜索建议中的各个建议条目进行逐一比对，如果该实体包含在组成某一个别名搜索建议的任意一个建议条目中，例如某一建议条目是与该实体相同的字词或者是由该实体组成的语句，那么该别名搜索建议相对应的高置信度别名便可以被确定为高频搜索别名。
图8示意性地示出了本公开一些实施例中基于组合搜索筛选高频搜索别名的步骤流程图，组合搜索即通过搜索建议接口搜索实体与高置信度别名组成的词语组合以判断得到的搜索建议与该词语组合的关系。如图8所示，在以上各实施例的基础上，步骤S520. 利用搜索建议接口从高置信度别名中筛选得到高频搜索别名，可以包括以下步骤：
步骤S810. 将实体和高置信度别名同时输入搜索建议接口，以得到由目标搜索引擎返回的组合搜索建议。
将待扩展别名的实体与一个高置信度别名组合在一起形成一个词语组合，然后将该词语组合共同输入至搜索建议接口，得到由目标搜索引擎返回的与该词语组合相对应的组合搜索建议。组合搜索建议由与该词语组合相关的多个建议条目组成，每个建议条目可以是一个单独的字词，也可以是一条由多个字词组成的语句。
步骤S820. 若组合搜索建议中同时包含实体和高置信度别名，则将高置信度别名确定为高频搜索别名。
根据步骤S810得到的与词语组合相对应的组合搜索建议，本步骤将该词语组合分别与组合搜索建议中的各个建议条目进行逐一比对，如果该词语组合包含在组成组合搜索建议的任意一个建议条目中，例如某一建议条目是与该词语组合相同的字词或者是由该词语组合组成的语句，那么与该组合搜索建议相对应的高置信度别名便可以被确定为高频搜索别名。
以上各实施例分别提供了利用正向搜索、反向搜索和组合搜索三种搜索方式筛选高频搜索别名的方法，在一些可选的实施方式中，可以同时使用以上三种搜索方式，通过这种搜索方式中的任意一种筛选得到的高频搜索别名都可以作为实体的目标别名。
举例而言，与实体“玄烨”相关联的候选别名包括有“康熙”、“蒙古汗号恩赫阿木古朗汗”、“西藏尊称文殊皇帝”等等。通过以上实施例提供的技术方案，可以从这些候选别名中筛选得到一个高置信度别名“康熙”。
利用正向搜索，将实体“玄烨”输入至搜索建议接口，由目标搜索引擎返回的实体搜索建议包括有“玄烨是哪个皇上”、“玄烨是谁生的”、“玄烨和弘历什么关系”、“玄烨的皇后”、“玄烨小说”、“玄烨是顺治的第几子”、“爱新觉罗玄烨”、“玄夜”、“玄烨读音”、“玄烨是谁”等多个建议条目，将高置信度别名“康熙”与实体搜索建议中的各个建议条目逐一进行比对可知，高置信度别名“康熙”并未包含在实体搜索建议中。
利用反向搜索，将高置信度别名“康熙”输入至搜索建议接口，由目标搜索引擎返回的别名搜索建议包括有“康熙王朝”、“康熙字典”、“康熙通宝”、“康熙微服私访记3”、“康熙王朝电视剧”、“康熙皇帝”、“康熙字典在线查字”、“康熙秘史”、“康熙皇后”等多个建议条目，将实体“玄烨”与别名搜索建议中的各个建议条目逐一进行比对可知，实体“玄烨”并未包含在别名搜索建议中。
利用组合搜索，将实体“玄烨”与高置信度别名“康熙”组成的词语组合“玄烨康熙”输入至搜索建议接口，由目标搜索引擎返回的组合搜索建议包括有建议条目“玄烨康熙有几个儿子”，通过比对可知，该建议条目中包含了词语组合“玄烨康熙”。
经过以上三个搜索和比对过程，词语组合“玄烨康熙”包含在组合搜索建议中，因此可以判定高置信度别名“康熙”是实体“玄烨”的一个高频搜索别名，进而可以将“康熙”作为实体“玄烨”的目标别名。
在本公开的一些实施例中，用于对实体和候选别名进行语义识别的语义识别模型可以是利用多源数据训练得到的全词遮蔽语言模型。例如，该语义识别模型可以是以百科类语料、资讯类语料、对话类语料等来自多种数据源的语料作为训练数据，利用全词屏蔽（Whole Word Masking）的训练模式训练得到的深度学习模型。
在一些可选的实施方式中，语义识别模型可以是在基于Transformer 的双向编码器表征模型（Bidirectional Encoder Representations from Transformer，简称BERT模型）的基础上升级得到的知识增强语义表示模型（Enhanced Representation fromkNowledge IntEgration，简称ERNIE）。相较于 BERT模型学习原始语言信号，ERNIE模型直接对先验语义知识单元进行建模，增强了模型的语义表示能力。
相比于BERT模型，ERNIE模型主要更改了原预训练阶段的训练样本生成策略。简而言之，原有基于WordPiece的分词方式会把一个完整的词切分成若干个词缀，在生成训练样本时，这些被分开的词缀会随机被[mask]替换。在全词屏蔽的训练模式下，如果一个完整的词的部分WordPiece被[mask]替换，则同属该词的其他部分也会被[mask]替换，即实现全词屏蔽。
举例而言，BERT模型使用的一个训练样本为“哈 [mask] 滨是 [mask]龙江的省会，[mask] 际冰 [mask]文化名城”，在训练过程中，BERT模型通过“哈”与“滨”的局部共现，即可判断出“尔”字，模型没有学习与“哈尔滨”相关的任何知识。而ERNIE模型使用的一个相似的训练样本为“[mask] [mask][mask] 是黑龙江的省会，国际 [mask][mask] 文化名城”，在训练过程中，ERNIE 通过学习词与实体的表达，使模型能够建模出“哈尔滨”与“黑龙江”的关系，学到“哈尔滨”是 “黑龙江”的省会以及“哈尔滨”是个冰雪城市。
另外，在训练数据方面，除百科类、资讯类中文语料外，ERNIE 还引入了论坛对话类数据，利用对话语言模型（Dialogue Language Model，简称DLM）建模由问题语句Query和应答语句Response 组成的对话结构，将Query- Response语句对作为输入，利用对话应答误差（Dialogue Response Loss）学习对话的隐式关系，进一步提升模型的语义表示能力。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本公开的装置实施例，可以用于执行本公开上述实施例中的基于语义识别的别名挖掘方法。对于本公开装置实施例中未披露的细节，请参照本公开上述的基于语义识别的别名挖掘方法的实施例。
图9示意性地示出了本公开一些实施例中的基于语义识别的别名挖掘装置的结构框图。如图9所示，别名挖掘装置900主要可以包括：
候选别名确定模块910，被配置为确定待挖掘别名的实体以及与实体相关联的多个候选别名；
语义向量获取模块920，被配置为分别将实体和候选别名输入预先训练的语义识别模型以得到实体的实体语义向量以及候选别名的别名语义向量；
语义相似度确定模块930，被配置为根据实体语义向量和别名语义向量确定实体与各个候选别名的语义相似度；
目标别名筛选模块940，被配置为根据语义相似度从多个候选别名中筛选得到实体的目标别名。
在本公开的一些实施例中，基于以上实施例，目标别名筛选模块940包括：
高置信度别名筛选模块，被配置为将语义相似度大于或者等于预设相似度的候选别名确定为高置信度别名；
高频搜索别名筛选模块，被配置为根据搜索频率信息从高置信度别名中筛选得到高频搜索别名，并将高频搜索别名作为实体的目标别名。
在本公开的一些实施例中，基于以上各实施例，高频搜索别名筛选模块包括：
搜索引擎确定模块，被配置为确定用于提供搜索频率信息的目标搜索引擎，并获取目标搜索引擎的搜索建议接口；
搜索建议筛选模块，被配置为利用搜索建议接口从高置信度别名中筛选得到高频搜索别名。
在本公开的一些实施例中，基于以上各实施例，搜索建议筛选模块包括：
实体搜索建议获取模块，被配置为将实体输入搜索建议接口，以得到由目标搜索引擎返回的实体搜索建议；
实体搜索建议筛选模块，被配置为若高置信度别名包含在实体搜索建议中，则将高置信度别名确定为高频搜索别名。
在本公开的一些实施例中，基于以上各实施例，搜索建议筛选模块包括：
别名搜索建议获取模块，被配置为将高置信度别名输入搜索建议接口，以得到由目标搜索引擎返回的别名搜索建议；
别名搜索建议筛选模块，被配置为若实体包含在别名搜索建议中，则将高置信度别名确定为高频搜索别名。
在本公开的一些实施例中，基于以上各实施例，搜索建议筛选模块包括：
组合搜索建议获取模块，被配置为将实体和高置信度别名同时输入搜索建议接口，以得到由目标搜索引擎返回的组合搜索建议；
组合搜索建议筛选模块，被配置为若组合搜索建议中同时包含实体和高置信度别名，则将高置信度别名确定为高频搜索别名。
在本公开的一些实施例中，基于以上各实施例，语义识别模型是利用多源数据训练得到的全词遮蔽语言模型。
本公开各实施例中提供的基于语义识别的别名挖掘装置的具体细节已经在对应的方法实施例中进行了详细的描述，因此此处不再赘述。
图10示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图。
需要说明的是，图10示出的电子设备的计算机***1000仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，计算机***1000包括中央处理单元（Central Processing Unit，CPU）1001，其可以根据存储在只读存储器（Read-Only Memory，ROM）1002中的程序或者从存储部分1008加载到随机访问存储器（Random Access Memory，RAM）1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有***操作所需的各种程序和数据。CPU1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出（Input /Output，I/O）接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN（Local AreaNetwork，局域网）卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本公开的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元（CPU）1001执行时，执行本申请的***中限定的各种功能。
需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、触控终端、或者网络设备等）执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (8)
1.一种基于语义识别的别名挖掘方法，其特征在于，包括：
确定待挖掘别名的实体以及与所述实体相关联的多个候选别名；
分别将所述实体和所述候选别名输入预先训练的语义识别模型以得到所述实体的实体语义向量以及所述候选别名的别名语义向量；
根据所述实体语义向量和所述别名语义向量确定所述实体与各个所述候选别名的语义相似度；
将所述语义相似度大于或者等于预设相似度的候选别名确定为高置信度别名；
确定用于提供搜索频率信息的目标搜索引擎，并获取所述目标搜索引擎的搜索建议接口，所述搜索建议接口是由所述目标搜索引擎提供的用于对用户的搜索输入信息进行智能补全以提供搜索建议的应用程序编程接口；
将所述实体和所述高置信度别名中的一个或者组合输入所述搜索建议接口，得到由所述目标搜索引擎返回的搜索建议；
若所述实体和所述高置信度别名中的另一个包含在所述搜索建议中，或者所述实体和所述高置信度别名同时包含在所述搜索建议中，则将所述高置信度别名作为所述实体的目标别名。
2.根据权利要求1所述的基于语义识别的别名挖掘方法，其特征在于，将所述实体和所述高置信度别名中的一个或者组合输入所述搜索建议接口，得到由所述目标搜索引擎返回的搜索建议，包括：
将所述实体输入所述搜索建议接口，以得到由所述目标搜索引擎返回的实体搜索建议；
若所述高置信度别名包含在所述实体搜索建议中，则将所述高置信度别名作为所述实体的目标别名。
3.根据权利要求1所述的基于语义识别的别名挖掘方法，其特征在于，将所述实体和所述高置信度别名中的一个或者组合输入所述搜索建议接口，得到由所述目标搜索引擎返回的搜索建议，包括：
将所述高置信度别名输入所述搜索建议接口，以得到由所述目标搜索引擎返回的别名搜索建议；
若所述实体包含在所述别名搜索建议中，则将所述高置信度别名作为所述实体的目标别名。
4.根据权利要求1所述的基于语义识别的别名挖掘方法，其特征在于，将所述实体和所述高置信度别名中的一个或者组合输入所述搜索建议接口，得到由所述目标搜索引擎返回的搜索建议，包括：
将所述实体和所述高置信度别名同时输入所述搜索建议接口，以得到由所述目标搜索引擎返回的组合搜索建议；
若所述组合搜索建议中同时包含所述实体和所述高置信度别名，则将所述高置信度别名作为所述实体的目标别名。
5.根据权利要求1所述的基于语义识别的别名挖掘方法，其特征在于，所述语义识别模型是利用多源数据训练得到的全词遮蔽语言模型。
6.一种基于语义识别的别名挖掘装置，其特征在于，包括：
候选别名确定模块，被配置为确定待挖掘别名的实体以及与所述实体相关联的多个候选别名；
语义向量获取模块，被配置为分别将所述实体和所述候选别名输入预先训练的语义识别模型以得到所述实体的实体语义向量以及所述候选别名的别名语义向量；
语义相似度确定模块，被配置为根据所述实体语义向量和所述别名语义向量确定所述实体与各个所述候选别名的语义相似度；
目标别名筛选模块，被配置为将所述语义相似度大于或者等于预设相似度的候选别名确定为高置信度别名；确定用于提供搜索频率信息的目标搜索引擎，并获取所述目标搜索引擎的搜索建议接口，所述搜索建议接口是由所述目标搜索引擎提供的用于对用户的搜索输入信息进行智能补全以提供搜索建议的应用程序编程接口；将所述实体和所述高置信度别名中的一个或者组合输入所述搜索建议接口，得到由所述目标搜索引擎返回的搜索建议；若所述实体和所述高置信度别名中的另一个包含在所述搜索建议中，或者所述实体和所述高置信度别名同时包含在所述搜索建议中，则将所述高置信度别名作为所述实体的目标别名。
7.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的基于语义识别的别名挖掘方法。
8.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至5中任一项所述的基于语义识别的别名挖掘方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910844468.1A CN110795565B (zh) | 2019-09-06 | 2019-09-06 | 基于语义识别的别名挖掘方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910844468.1A CN110795565B (zh) | 2019-09-06 | 2019-09-06 | 基于语义识别的别名挖掘方法、装置、介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110795565A CN110795565A (zh) | 2020-02-14 |
| CN110795565B true CN110795565B (zh) | 2023-10-27 |
Family
ID=69427225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910844468.1A Active CN110795565B (zh) | 2019-09-06 | 2019-09-06 | 基于语义识别的别名挖掘方法、装置、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110795565B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360751B (zh) * | 2020-03-06 | 2024-07-09 | 百度在线网络技术（北京）有限公司 | 意图识别方法、装置、设备和介质 |
| CN111708893A (zh) * | 2020-05-15 | 2020-09-25 | 北京邮电大学 | 基于知识图谱的科技资源整合方法及*** |
| CN111709249B (zh) * | 2020-05-29 | 2023-02-24 | 北京百度网讯科技有限公司 | 多语种模型的训练方法、装置、电子设备和存储介质 |
| CN111898014B (zh) * | 2020-08-12 | 2021-07-13 | 哈尔滨工业大学 | 一种面向认知服务的用户意图识别方法及*** |
| CN113239697B (zh) * | 2021-06-01 | 2023-03-24 | 平安科技（深圳）有限公司 | 实体识别模型训练方法、装置、计算机设备及存储介质 |
| CN114201973B (zh) * | 2022-02-15 | 2022-06-07 | 深圳博士创新技术转移有限公司 | 基于人工智能的资源池对象数据挖掘方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909655A (zh) * | 2017-02-27 | 2017-06-30 | 中国科学院电子学研究所 | 基于产生式别名挖掘的知识图谱实体发现和链接方法 |
| CN107506486A (zh) * | 2017-09-21 | 2017-12-22 | 北京航空航天大学 | 一种基于实体链接的关系扩充方法 |
| CN109918661A (zh) * | 2019-03-04 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 同义词获取方法及装置 |
| CN110008300A (zh) * | 2019-04-11 | 2019-07-12 | 北京百度网讯科技有限公司 | Poi别名的确定方法、装置、计算机设备和存储介质 |
-
2019
- 2019-09-06 CN CN201910844468.1A patent/CN110795565B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909655A (zh) * | 2017-02-27 | 2017-06-30 | 中国科学院电子学研究所 | 基于产生式别名挖掘的知识图谱实体发现和链接方法 |
| CN107506486A (zh) * | 2017-09-21 | 2017-12-22 | 北京航空航天大学 | 一种基于实体链接的关系扩充方法 |
| CN109918661A (zh) * | 2019-03-04 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 同义词获取方法及装置 |
| CN110008300A (zh) * | 2019-04-11 | 2019-07-12 | 北京百度网讯科技有限公司 | Poi别名的确定方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110795565A (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110795565B (zh) | 基于语义识别的别名挖掘方法、装置、介质及电子设备 | |
| CN112131366B (zh) | 训练文本分类模型及文本分类的方法、装置及存储介质 | |
| JP7122365B2 (ja) | テキスト認識処理方法、装置、電子機器及び記憶媒体 | |
| CN110717017B (zh) | 一种处理语料的方法 | |
| KR20210075825A (ko) | 시맨틱 표현 모델의 처리 방법, 장치, 전자 기기 및 저장 매체 | |
| CN108628935B (zh) | 一种基于端到端记忆网络的问答方法 | |
| KR102565673B1 (ko) | 시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체 | |
| CN110727806A (zh) | 基于自然语言和知识图谱的文本处理方法及装置 | |
| CN109960786A (zh) | 基于融合策略的中文词语相似度计算方法 | |
| CN103491205A (zh) | 一种基于视频搜索的关联资源地址的推送方法和装置 | |
| CN106874441A (zh) | 智能问答方法和装置 | |
| JP2022050379A (ja) | 意味検索方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
| CN112100332A (zh) | 词嵌入表示学习方法及装置、文本召回方法及装置 | |
| CN111274407B (zh) | 知识图谱中三元组置信度计算方法和装置 | |
| CN112541362B (zh) | 一种泛化处理的方法、装置、设备和计算机存储介质 | |
| Agarwal et al. | EDUQA: Educational domain question answering system using conceptual network mapping | |
| Zhang et al. | Hierarchical scene parsing by weakly supervised learning with image descriptions | |
| Dethlefs | Domain transfer for deep natural language generation from abstract meaning representations | |
| CN103488787A (zh) | 一种基于视频搜索的在线播放入口对象的推送方法和装置 | |
| CN118035945B (zh) | 一种标签识别模型的处理方法和相关装置 | |
| CN115248855B (zh) | 文本处理方法及装置、电子设备、计算机可读存储介质 | |
| CN112417170B (zh) | 面向不完备知识图谱的关系链接方法 | |
| Zhang et al. | Local-global graph pooling via mutual information maximization for video-paragraph retrieval | |
| CN116955558A (zh) | 基于知识图谱推理的地学数据集问答方法及*** | |
| CN116089587B (zh) | 答案生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022069 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |