CN112395391A - 概念图谱构建方法、装置、计算机设备及存储介质 - Google Patents
概念图谱构建方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112395391A CN112395391A CN202011288931.8A CN202011288931A CN112395391A CN 112395391 A CN112395391 A CN 112395391A CN 202011288931 A CN202011288931 A CN 202011288931A CN 112395391 A CN112395391 A CN 112395391A
- Authority
- CN
- China
- Prior art keywords
- data
- candidate
- concept
- preset
- concept data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 48
- 230000002776 aggregation Effects 0.000 claims description 23
- 238000004220 aggregation Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 description 7
- 230000001149 cognitive effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Machine Translation (AREA)
Abstract
本申请实施例属于大数据技术领域，涉及一种概念图谱构建方法及相关设备，可应用于智慧教育领域，包括：采集文本数据，对所述文本数据进行短语抽取，得到第一候选概念数据、第二候选概念数据以及第三候选概念数据；组合第一候选概念数据、第二候选概念数据和第三候选概念数据为候选数据集，通过预设评分模型对候选数据集中的候选概念数据进行评分，确定评分大于等于预设阈值的候选概念数据为优选概念数据；将优选概念数据与存储的预设知识进行匹配，确定与优选概念数据匹配成功的预设知识为优选知识，将优选概念数据与优选知识进行关联存储。此外，本申请还涉及区块链技术，优选概念数据可存储于区块链中。本申请实现了概念图谱的自适应构建。
Description
技术领域
本申请涉及大数据技术领域，尤其涉及一种概念图谱构建方法、装置、计算机设备及存储介质。
背景技术
当前，无论是在对话交谈中，还是对文章进行阅读和对事件进行描述时，人们往往以概念的方式对事物进行认知。理想的概念应该能准确描述一类事件，但同时又不缺乏泛化性，能够提供除事件本身以外，更多且更泛化的信息量。对于不同的应用和不同的场景，概念的体系是不同的。例如，对于搜索类的应用，电商***中的搜索和医学文献的搜索，概念体系可能是完全不一样的。
现有的概念图谱，往往存在太过通用，或者太过正式而无法针对不同的场景进行不同的概念关联的问题。例如，有的概念图谱是在非常正式的内容上挖掘构建而成的，如***的页面内容。这些内容与不同应用实际面对的场景是不一样的。如在智能对话***中，用户的语言更加口语化；而在保险垂类搜索中，用户的输入则与保险行业高度相关。因此，现有的概念图谱无法为不同的应用提供适合、定制化的知识供给，从而限制了应用的智能化认知水平，无法为用户提供最优质的体验。
发明内容
本申请实施例的目的在于提出一种概念图谱构建方法、装置、计算机设备及存储介质，旨在解决现有的概念图谱无法进行定制化地知识供给的技术问题。
为了解决上述技术问题，本申请实施例提供一种概念图谱构建方法，采用了如下所述的技术方案：
一种概念图谱构建方法，包括以下步骤：
采集文本数据，基于预设模版库的基础模版对所述文本数据进行短语抽取，得到第一候选概念数据，基于预设短语抽取算法对所述文本数据进行短语抽取，得到第二候选概念数据，基于预设语言模型对所述文本数据进行短语抽取，得到第三候选概念数据；
组合所述第一候选概念数据、第二候选概念数据和第三候选概念数据为候选数据集，通过预设评分模型对所述候选数据集中的候选概念数据进行评分，确定评分大于等于预设阈值的候选概念数据为优选概念数据；
将所述优选概念数据与存储的预设知识一一进行匹配，确定与所述优选概念数据匹配成功的预设知识为优选知识，将所述优选概念数据与所述优选知识进行关联存储。
进一步的，在所述基于预设语言模型对所述文本数据进行短语抽取，得到第三候选概念数据的步骤之前，包括：
获取预设训练数据，基于所述预设训练数据对基础语言模型进行训练，其中，所述基础语言模型包括预训练模型和条件随机场模型；
获取所述基础语言模型的学习率，确定在所述学习率下所述基础语言模型中的预训练模型和条件随机场模型的收敛值是否均为对应的最佳值；
在所述预训练模型和所述条件随机场模型任意一个的收敛值非对应的最佳值时，调整所述学习率，直至所述预训练模型和所述条件随机场模型的收敛值均达到对应的所述最佳值，确定所述基础语言模型为预设语言模型。
进一步的，所述通过预设评分模型对所述候选数据集中的候选概念数据进行评分的步骤包括：
获取所述候选数据集中候选概念数据的语义凝聚度、长度、词性标注结果以及语言模型特征；
将所述长度、所述词性标注结果、所述语义凝聚度以及所述语言模型特征，输入至预设评分模型，计算得到所述候选概念数据对应的评分。
进一步的，所述获取所述候选数据集中候选概念数据的语义凝聚度的步骤包括：
获取大规模语料数据，基于所述大规模语料数据确定包括所述候选概念数据的文章；
获取所有所述文章对应的类别，计算所述候选概念数据分别在不同类别下出现的子次数以及在所有类别下的总次数，将所述子次数与所述总次数的最大占比作为所述候选概念数据的语义凝聚度。
进一步的，所述将所述优选概念数据与存储的预设知识一一进行匹配的步骤包括：
计算所述优选概念数据与预设知识的字形相似度，将所述字形相似度大于等于第一匹配度的优选概念数据作为一级概念数据，确定所述一级概念数据对应的预设知识为优选知识；
将所述优选概念数据中除所述一级概念数据以外的优选概念数据作为二级概念数据，计算所述二级概念数据与所述预设知识的语义相似度，确定所述语义相似度大于等于第二匹配度的预设知识为优选知识。
进一步的，在所述基于预设模版库的基础模版对所述文本数据进行短语抽取，得到第一候选概念数据的步骤之后，包括：
检测所述第一候选概念数据在预设的概念库中是否存在，在所述第一候选概念数据在所述概念库中不存在时，确定所述第一候选概念数据为新概念数据；
基于预设模版生成***和所述文本数据，生成所述新概念数据对应的候选模板；
对所述候选模版进行质量检测，在所述候选模版质量检测通过时，保存所述候选模版为预设模版库中的基础模版。
进一步的，所述对所述候选模版进行质量检测的步骤包括：
基于所述候选模版对验证数据进行概念抽取，获取抽取得到的新概念数据的第一数量，以及旧概念数据的第二数量；
计算所述第一数量与所述第二数量的比值，在所述比值大于等于第一预设阈值，并且所述第二数量大于等于第二预设阈值时，确定所述候选模版的质量检测通过。
为了解决上述技术问题，本申请实施例还提供一种概念图谱构建装置，采用了如下所述的技术方案：
采集模块，用于采集文本数据，基于预设模版库的基础模版对所述文本数据进行短语抽取，得到第一候选概念数据，基于预设短语抽取算法对所述文本数据进行短语抽取，得到第二候选概念数据，基于预设语言模型对所述文本数据进行短语抽取，得到第三候选概念数据；
组合模块，用于组合所述第一候选概念数据、第二候选概念数据和所述第三候选概念数据为候选数据集，通过预设评分模型对所述候选数据集中的候选概念数据进行评分，确定评分大于等于预设阈值的候选概念数据为优选概念数据；
匹配模块，用于将所述优选概念数据与存储的预设知识一一进行匹配，确定与所述优选概念数据匹配成功的预设知识为优选知识，将所述优选概念数据与所述优选知识进行关联存储。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述概念图谱构建方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述概念图谱构建方法的步骤。
上述概念图谱构建方法，通过采集文本数据，基于预设模版库的基础模版对文本数据进行短语抽取，得到第一候选概念数据，基于预设短语抽取算法对文本数据进行短语抽取，得到第二候选概念数据，基于预设语言模型对文本数据进行短语抽取，得到第三候选概念数据；实现了从不同角度对文本数据的抽取，之后组合第一候选概念数据、第二候选概念数据和第三候选概念数据为候选数据集，使得通过该候选数据集能够对候选概念数进行大范围的覆盖，提高了筛选的广度，避免了候选概念数据的遗漏；而后通过预设评分模型对候选数据集中的候选概念数据进行评分，确定评分大于等于预设阈值的候选概念数据为优选概念数据；将优选概念数据与存储的预设知识一一进行匹配，确定与优选概念数据匹配成功的预设知识为优选知识，再将优选概念数据与优选知识进行关联存储，由此，实现了对概念图谱的自适应构建，使得能够针对不同的应用，构建适用的概念图谱，并提供最合适粒度的概念体系和知识，赋予应用更智能化的认知服务，进一步提高了针对不同的应用场景知识内容提供的准确性。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性***架构图；
图2是概念图谱构建方法的一个实施例的流程示意图；
图3是根据本申请的概念图谱构建装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
附图标记：概念图谱构建装置500，采集模块501，组合模块502，匹配模块503。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的概念图谱构建方法一般由服务端/终端执行，相应地，概念图谱构建装置一般设置于服务端/终端设备中。
应该理解，图1中的终端、网络和服务端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的概念图谱构建方法的一个实施例的流程图。所述概念图谱构建方法，包括以下步骤：
步骤S201，采集文本数据，基于预设模版库的基础模版对所述文本数据进行短语抽取，得到第一候选概念数据，基于预设短语抽取算法对所述文本数据进行短语抽取，得到第二候选概念数据，基于预设语言模型对所述文本数据进行短语抽取，得到第三候选概念数据；
在本实施例中，采集文本数据，该文本数据为当前应用场景对应的文本类的数据；在采集得到该文本数据时，基于预设模版库中的基础模版抽取该文本数据，得到对应的第一概念数据。具体地，预设模版库为模版存储库，其中存储有多个基础模版，根据该基础模版可以对文本数据中的概念进行抽取，从而得到对应的第一概念数据。其中，基础模版则为预先设定的关系模版，基础模版中定义了每种不同关系的触发词，在检测到文本数据中存在该触发词时，则基于该基础模版确定该触发词对应的关系，而后再通过命名实体识别确定关系的参与方。由此，即可抽取得到当前文本数据对应的第一概念数据。
在基于预设短语抽取算法对文本数据进行短语抽取时，预设短语抽取算法为相比于模版抽取的更高质量的短语抽取方式，如AutoPhrase，AutoPhrase是一种高质量短语抽取算法，通过知识图谱和分词指导可以对文本数据进行短语自动切割提取，得到多个短语数据。将提取得到的短语组合通过随机或者预设组合方式进行组合，即得到当前文本数据对应的第二概念数据。
在基于预设语言模型对文本数据进行短语抽取时，预设语言模型采用Bert(Bidirectional Encoder Representation from Transformers，双向解析编码)，通过BERT算法和CRF结合，可以对文本数据进行自动短语抽取，抽取得到的数据即为第三概念数据。
步骤S202，组合所述第一候选概念数据、第二候选概念数据和第三候选概念数据为候选数据集，通过预设评分模型对所述候选数据集中的候选概念数据进行评分，确定评分大于等于预设阈值的候选概念数据为优选概念数据；
在本实施例中，在得到第一候选概念数据、第二候选概念数据和第三候选概念数据时，组合该第一候选概念数据、第二候选概念数据和第三候选概念数据为候选数据集。基于预设评分模型对该候选数据集中的候选概念数据进行评分筛选。其中，预设评分模型为预先设定的概念评分模型，通过将候选概念集中的每个候选概念数据输入至该预设评分模型中，即可得到对应的评分结果。根据该评分结果即可确定当前的候选概念数据是否为最优概念数据，若候选概念数据的评分大于等于预设阈值，则确定该候选概念数据为优选概念数据；若候选概念数据的评分小于预设阈值，则确定该候选概念数据非优选概念数据。
步骤S203，将所述优选概念数据与存储的预设知识一一进行匹配，确定与所述优选概念数据匹配成功的预设知识为优选知识，将所述优选概念数据与所述优选知识进行关联存储。
在本实施例中，在得到优选概念数据之后，将得到的所有优选概念数据与存储的所有预设知识一一进行匹配，其中，该匹配包括精确匹配和模糊匹配。通过精确匹配确定与优选概念数据中与存储的预设知识完全匹配的优选概念数据，筛选与预设知识完全匹配的优选概念数据，对将剩余的优选概念数据进行模糊匹配。根据模糊匹配计算剩余的优选概念数据与预设知识的匹配度，若该匹配度大于等于预设匹配度时，则确定该剩余的优选概念数据与该预设知识匹配成功。将完全匹配的优选概念数据和对应的预设知识进行关联存储，将匹配成功的优选概念数据和对应的预设知识进行关联存储。由此，使得在通过该优选概念数据进行语义召回时，能准确获取到匹配的优选知识。
需要强调的是，为进一步保证上述优选概念数据的私密和安全性，上述优选概念数据还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本实施例实现了对概念图谱的自适应构建，使得能够针对不同的应用，构建适用的概念图谱，并提供最合适粒度的概念体系和知识，赋予应用更智能化的认知服务，进一步提高了针对不同的应用场景知识内容提供的准确性。
在本申请的一些实施例中，在上述基于预设语言模型对所述文本数据进行短语抽取，得到第三候选概念数据之前，包括：
获取预设训练数据，基于所述预设训练数据对基础语言模型进行训练，其中，所述基础语言模型包括预训练模型和条件随机场模型；
获取所述基础语言模型的学习率，确定在所述学习率下所述基础语言模型中的预训练模型和条件随机场模型的收敛值是否均为对应的最佳值；
在所述预训练模型和所述条件随机场模型任意一个的收敛值非对应的最佳值时，调整所述学习率，直至所述预训练模型和所述条件随机场模型的收敛值均达到对应的所述最佳值，确定所述基础语言模型为预设语言模型。
在本实施例中，学习率(Learning rate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值，合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。在基础语言模型进行训练时，其中的预训练模型，即BERT(Bidirectional Encoder Representation from Transformers)，由于利用最大规模语料进行了预训练，因此在针对特定应用的语料进行微调时，合理的学习率一般都很小，在1e-5到1e-4之间，此时，BERT相关的参数很快就能拟合收敛。然而，在该学习率下，该基础语言模型中的条件随机场模型(CRF，Conditional Random Fields)并未得到充分的训练。因此，在基于预设训练数据对基础语言模型进行训练时，获取该预设语言模型的学习率，确定当前在该学习率下基础语言模型中预设训练模型和CRF的收敛值是否均为对应的最佳值；其中，预设训练数据为若干文本数据。在其中预训练模型和CRF任意一个的收敛值非对应的最佳值时，调整该学习率，直到预训练模型和CRF的收敛值均达到对应的最佳值，即确定此时基础语言模型为预设语言模型。例如，在预训练模型的收敛值达到最佳值时，CRF并未得到充分的训练，此时则根据条件随机场模型动态地增大该学习率，使得BERT和CRF均能充分训练，并拟合收敛至最佳参数，通过实验，条件随机场模型的学习率一般为BERT的100倍。在预训练模型和CRF的收敛值均达到对应的最佳值时，此时的基础语言模型即为预设语言模型。
本实施例通过对学习率进行调整，使得得到的预设语言模型更加完善，进一步使得在通过该预设语言模型对文本数据进行短语抽取时，抽取得到的结果更加精确。
在本申请的一些实施例中，上述通过预设评分模型对所述候选数据集中的候选概念数据进行评分包括：
获取所述候选数据集中候选概念数据的语义凝聚度、长度、词性标注结果以及语言模型特征；
将所述长度、所述词性标注结果、所述语义凝聚度以及所述语言模型特征，输入至预设评分模型，计算得到所述候选概念数据对应的评分。
在本实施例中，在通过预设评分模型对候选数据集中的候选概念数据进行评分时，可从候选概念数据的长度、词性标注结果、语义凝聚度以及语言模型特征，四个衡量维度对该候选概念数据进行评分。其中，长度为候选概念数据的文本长度；词性标注结果为根据上下文信息对每个词确定的词性标记，如动词、副词和名词等；语义凝聚度为候选组合的具像表达能力，用以衡量短语表达的内容是宽泛还是聚焦；语言模型特征则为候选概念数据的语言合理度表示。将得到候选概念数据的长度、词性标注结果、语义凝聚度以及语言模型特征输入至预设评分模型中，通过该预设评分模型即可得到对应的总的评分。其中，该预设评分模型为预先训练好的评分模型。具体地，在对评分模型训练时，预先采集多组评分训练数据，并获取该评分训练数据的长度、词性标注结果、语义凝聚度以及语言模型特征，以及该评分训练数据对应的质量等级；根据该评分训练数据的长度、词性标注结果、语义凝聚度以及语言模型特征，对评分模型进行训练，计算得到对应的评分，根据该评分训练数据对应的质量等级对该评分进行划分。由此，根据预设评分模型计算得到评分时，即可根据该评分进一步确定候选概念数据对应的质量等级。
本实施例通过对候选概念数据的评分进行计算，使得通过该评分能够对候选概念数据进行准确地衡量，进一步筛选出更符合要求的概念数据。
在本申请的一些实施例中，上述获取所述候选数据集中候选概念数据的语义凝聚度包括：
获取大规模语料数据，基于所述大规模语料数据确定包括所述候选概念数据的文章；
获取所有所述文章对应的类别，计算所述候选概念数据分别在不同类别下出现的子次数以及在所有类别下的总次数，将所述子次数与所述总次数的最大占比作为所述候选概念数据的语义凝聚度。
在本实施例中，语义凝聚度为候选组合的具像表达能力。对于同一个词可能可以在多个场景下进行应用，而有的词则可能在某些特定的场景下的使用率明显高于其他的场景，因此，对于使用场景类别比较集中的词，其对应的语义凝聚度则高于其他使用场景类别比较分散的词。在获取候选概念数据对应的语义凝聚度时，首先获取大规模语料数据，从该大规模语料数据中找到包括该候选概念数据的文章，确定获取到的所有文章的类别，如体育、政治和娱乐等多种类别。计算该候选概念数据分部在不同类别下出现的子次数，以及在所有类别下出现的总次数。计算每个类别对应的子次数与总次数的占比，若在某一类别下的占比较高则表示该候选概念数据在该类别的语义凝聚度较高，将该候选概念数据在某一类别下的子次数与总次数的最大占比，作为该候选概念数据的语义凝聚度。
本实施例通过计算语义凝聚度，进一步使得根据该语音凝聚度计算得到的评分更加精确，提高了通过评分对候选概念数据进行筛选的准确性。
在本申请的一些实施例中，上述将所述优选概念数据与存储的预设知识一一进行匹配包括：
计算所述优选概念数据与预设知识的字形相似度，将所述字形相似度大于等于第一匹配度的优选概念数据作为一级概念数据，确定所述一级概念数据对应的预设知识为优选知识；
将所述优选概念数据中除所述一级概念数据以外的优选概念数据作为二级概念数据，计算所述二级概念数据与所述预设知识的语义相似度，确定所述语义相似度大于等于第二匹配度的预设知识为优选知识。
在本实施例中，在优选概念数据与存储的预设知识进行匹配时，计算该优选概念数据和预设知识的字形相似度，该字形相似度即为该优选概念数据与预设知识的精确相似度。将所有优选概念数据中，与预设知识的字形相似度大于等于第一匹配度的优选概念数据作为一级概念数据，与该一级概念数据匹配的预设知识即为优选知识。将所有优选概念数据中除该一级概念数据以外的优选概念数据作为二级概念数据，计算该二级概念数据与预设知识的语义相似度。若该语义相似度大于等于第二匹配度，则确定该二级概念数据对应的预设知识为优选知识。
本实施例通过字形相似度和语义相似度对概念数据和预设知识进行匹配，提高了匹配时的匹配精度，实现了对优选知识的精确获取。
在本申请的一些实施例中，在上述基于预设模版库的基础模版对所述文本数据进行短语抽取，得到第一候选概念数据之后，包括：
检测所述第一候选概念数据在预设的概念库中是否存在，在所述第一候选概念数据在所述概念库中不存在时，确定所述第一候选概念数据为新概念数据；
基于预设模版生成***和所述文本数据，生成所述新概念数据对应的候选模板；
对所述候选模版进行质量检测，在所述候选模版质量检测通过时，保存所述候选模版为预设模版库中的基础模版。
在本实施例中，在得到概念数据之后，还可以通过预设模版生成***，对当前的预设模版库进行更新。具体地，在获取到第一候选概念数据时，检测该第一候选概念数据在预设的概念库中是否存在，若不存在则确定当前第一候选概念数据为新概念数据。基于预设模版生成***和该新概念数据对应的文本数据，生成该新概念数据对应的候选模版。在得到候选模版时，对该候选模版进行质量检测。具体地，该质量检测可控制该候选模版对验证数据进行概念抽取，确定抽取得到的新概念数据(即当前概念库中不存在的概念数据)的数量，若该数量大于预设数量，则确定该候选模版质量检测通过。在该候选模版质量检测通过时，则保留该候选模版为预设模版库中的基础模版。
本实施例通过对候选模版进行质量检测，实现了对预设模版库中基础模版的新建与获取，提高了在通过基础模版对文本数据进行短语抽取时的准确率。
在本申请的一些实施例中，上述对所述候选模版进行质量检测包括：
基于所述候选模版对验证数据进行概念抽取，获取抽取得到的新概念数据的第一数量，以及旧概念数据的第二数量；
计算所述第一数量与所述第二数量的比值，在所述比值大于等于第一预设阈值，并且所述第二数量大于等于第二预设阈值时，确定所述候选模版的质量检测通过。
在本实施例中，在对候选模版的质量进行检测时，还可通过候选模版对验证数据进行概念抽取，根据抽取得到的新概念数据的数量与旧概念数据的数量的比值，确定候选模版的质量是否检测通过。其中，验证数据为预先设定的用于验证的文本数据，新概念数据为与当前概念库中不存在的概念数据，旧概念数据为与当前概念库中已存的概念数据一致的数据。具体地，基于该候选模版对验证数据进行概念抽取，得到该候选模版对应的概念数据集，获取该概念数据集中新概念数据的数量和旧概念数据的数量，分别作为第一数量和第二数量。计算该第一数量和该第二数量的比值，根据该比值确定当前候选模版的质量，若该比值大于等于第一预设阈值，且该第二数量大于等于第二预设阈值，则确定当前候选模版质量检测通过，保留该候选模版为预设模版库中的基础模版；若该比值小于第一预设阈值，即表示当前该候选模板跟已有的基础模板重复，则丢弃该候选模版。
本实施例通过新概念数据与旧概念数据的比值，实现了对候选模版的精确检测与筛选，并提高了候选模版的检测效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种概念图谱构建装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的概念图谱构建装置500包括：采集模块501、组合模块502和匹配模块503。其中，
采集模块501，用于采集文本数据，基于预设模版库的基础模版对所述文本数据进行短语抽取，得到第一候选概念数据，基于预设短语抽取算法对所述文本数据进行短语抽取，得到第二候选概念数据，基于预设语言模型对所述文本数据进行短语抽取，得到第三候选概念数据；
在本实施例中，采集文本数据，该文本数据为当前应用场景对应的文本类的数据；在采集得到该文本数据时，基于预设模版库中的基础模版抽取该文本数据，得到对应的第一概念数据。具体地，预设模版库为模版存储库，其中存储有多个基础模版，根据该基础模版可以对文本数据中的概念进行抽取，从而得到对应的第一概念数据。其中，基础模版则为预先设定的关系模版，基础模版中定义了每种不同关系的触发词，在检测到文本数据中存在该触发词时，则基于该基础模版确定该触发词对应的关系，而后再通过命名实体识别确定关系的参与方。由此，即可抽取得到当前文本数据对应的第一概念数据。
在基于预设短语抽取算法对文本数据进行短语抽取时，预设短语抽取算法为相比于模版抽取的更高质量的短语抽取方式，如AutoPhrase。AutoPhrase是一种高质量短语抽取算法，通过知识图谱和分词指导可以对文本数据进行短语自动切割提取，得到多个短语数据。将提取得到的短语组合通过随机或者预设组合方式进行组合，即得到当前文本数据对应的第二概念数据。
在基于预设语言模型对文本数据进行短语抽取时，预设语言模型采用Bert(Bidirectional Encoder Representation from Transformers，双向解析编码)，通过BERT算法和CRF结合，可以对文本数据进行自动短语抽取，抽取得到的数据即为第三概念数据。
组合模块502，用于组合所述第一候选概念数据、第二候选概念数据和第三候选概念数据为候选数据集，通过预设评分模型对所述候选数据集中的候选概念数据进行评分，确定评分大于等于预设阈值的候选概念数据为优选概念数据；
其中，所述组合模块包括：
获取单元，用于获取所述候选数据集中候选概念数据的语义凝聚度、长度、词性标注结果以及语言模型特征；
第一计算单元，用于将所述长度、所述词性标注结果、所述语义凝聚度以及所述语言模型特征，输入至预设评分模型，计算得到所述候选概念数据对应的评分。
其中，所述获取单元包括：
确认子单元，用于获取大规模语料数据，基于所述大规模语料数据确定包括所述候选概念数据的文章；
计算子单元，用于获取所有所述文章对应的类别，计算所述候选概念数据分别在不同类别下出现的子次数以及在所有类别下的总次数，将所述子次数与所述总次数的最大占比作为所述候选概念数据的语义凝聚度。
在本实施例中，在得到第一候选概念数据、第二候选概念数据和第三候选概念数据时，组合该第一候选概念数据、第二候选概念数据和第三候选概念数据为候选数据集。基于预设评分模型对该候选数据集中的候选概念数据进行评分筛选。其中，预设评分模型为预先设定的概念评分模型，通过将候选概念集中的每个候选概念数据输入至该预设评分模型中，即可得到对应的评分结果。根据该评分结果即可确定当前的候选概念数据是否为最优概念数据，若候选概念数据的评分大于等于预设阈值，则确定该候选概念数据为优选概念数据；若候选概念数据的评分小于预设阈值，则确定该候选概念数据非优选概念数据。
匹配模块503，用于将所述优选概念数据与存储的预设知识一一进行匹配，确定与所述优选概念数据匹配成功的预设知识为优选知识，将所述优选概念数据与所述优选知识进行关联存储。
其中，所述匹配模块包括：
第二计算单元，用于计算所述优选概念数据与预设知识的字形相似度，将所述字形相似度大于等于第一匹配度的优选概念数据作为一级概念数据，确定所述一级概念数据对应的预设知识为优选知识；
第三计算单元，用于将所述优选概念数据中除所述一级概念数据以外的优选概念数据作为二级概念数据，计算所述二级概念数据与所述预设知识的语义相似度，确定所述语义相似度大于等于第二匹配度的预设知识为优选知识。
在本实施例中，在得到优选概念数据之后，将得到的所有优选概念数据与存储的所有预设知识一一进行匹配，其中，该匹配包括精确匹配和模糊匹配。通过精确匹配确定与优选概念数据中与存储的预设知识完全匹配的优选概念数据，筛选与预设知识完全匹配的优选概念数据，对将剩余的优选概念数据进行模糊匹配。根据模糊匹配计算剩余的优选概念数据与预设知识的匹配度，若该匹配度大于等于预设匹配度时，则确定该剩余的优选概念数据与该预设知识匹配成功。将完全匹配的优选概念数据和对应的预设知识进行关联存储，将匹配成功的优选概念数据和对应的预设知识进行关联存储。由此，使得在通过该优选概念数据进行语义召回时，能准确获取到匹配的优选知识。
需要强调的是，为进一步保证上述优选概念数据的私密和安全性，上述优选概念数据还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本实施例提出的概念图谱构建装置还包括：
第一训练模块，用于获取预设训练数据，基于所述预设训练数据对基础语言模型进行训练，其中，所述基础语言模型包括预训练模型和条件随机场模型；
第二训练模块，用于获取所述基础语言模型的学习率，确定在所述学习率下所述基础语言模型中的预训练模型和条件随机场模型的收敛值是否均为对应的最佳值；
确认模块，用于在所述预训练模型和所述条件随机场模型任意一个的收敛值非对应的最佳值时，调整所述学习率，直至所述预训练模型和所述条件随机场模型的收敛值均达到对应的所述最佳值，确定所述基础语言模型为预设语言模型。
在本实施例中，学习率(Learning rate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值，合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。在基础语言模型进行训练时，其中的预训练模型，即BERT(Bidirectional Encoder Representation from Transformers)，由于利用最大规模语料进行了预训练，因此在针对特定应用的语料进行微调时，合理的学习率一般都很小，在1e-5到1e-4之间，此时，BERT相关的参数很快就能拟合收敛。然而，在该学习率下，该基础语言模型中的条件随机场模型(CRF，Conditional Random Fields)并未得到充分的训练。因此，在基于预设训练数据对基础语言模型进行训练时，获取该预设语言模型的学习率，确定当前在该学习率下基础语言模型中预设训练模型和CRF的收敛值是否均为对应的最佳值；其中，预设训练数据为若干文本数据。在其中预训练模型和CRF任意一个的收敛值非对应的最佳值时，调整该学习率，直到预训练模型和CRF的收敛值均达到对应的最佳值，即确定此时基础语言模型为预设语言模型。例如，在预训练模型的收敛值达到最佳值时，CRF并未得到充分的训练，此时则根据条件随机场模型动态地增大该学习率，使得BERT和CRF均能充分训练，并拟合收敛至最佳参数，通过实验，条件随机场模型的学习率一般为BERT的100倍。在预训练模型和CRF的收敛值均达到对应的最佳值时，此时的基础语言模型即为预设语言模型。
第一检测模块，用于检测所述第一候选概念数据在预设的概念库中是否存在，在所述第一候选概念数据在所述概念库中不存在时，确定所述第一候选概念数据为新概念数据；
生成模块，用于基于预设模版生成***和所述文本数据，生成所述新概念数据对应的候选模板；
第二检测模块，用于对所述候选模版进行质量检测，在所述候选模版质量检测通过时，保存所述候选模版为预设模版库中的基础模版。
在本实施例中，在得到概念数据之后，还可以通过预设模版生成***，对当前的预设模版库进行更新。具体地，在获取到第一候选概念数据时，检测该第一候选概念数据在预设的概念库中是否存在，若不存在则确定当前第一候选概念数据为新概念数据。基于预设模版生成***和该新概念数据对应的文本数据，生成该新概念数据对应的候选模版。在得到候选模版时，对该候选模版进行质量检测。具体地，该质量检测可控制该候选模版对验证数据进行概念抽取，确定抽取得到的新概念数据(即当前概念库中不存在的概念数据)的数量，若该数量大于预设数量，则确定该候选模版质量检测通过。在该候选模版质量检测通过时，则保留该候选模版为预设模版库中的基础模版。
本实施例提出的概念图谱构建装置，实现了对概念图谱的自适应构建，使得能够针对不同的应用，构建适用的概念图谱，并提供最合适粒度的概念体系和知识，赋予应用更智能化的认知服务，进一步提高了针对不同的应用场景知识内容提供的准确性。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过***总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作***和各类应用软件，例如概念图谱构建方法的程序代码等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据，例如运行所述概念图谱构建方法的程序代码。
所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本实施例提出的计算机设备，实现了对概念图谱的自适应构建，使得能够针对不同的应用，构建适用的概念图谱，并提供最合适粒度的概念体系和知识，赋予应用更智能化的认知服务，进一步提高了针对不同的应用场景知识内容提供的准确性。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有概念图谱构建程序，所述概念图谱构建程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的概念图谱构建的步骤。
本实施例提出的计算机可读存储介质，实现了对概念图谱的自适应构建，使得能够针对不同的应用，构建适用的概念图谱，并提供最合适粒度的概念体系和知识，赋予应用更智能化的认知服务，进一步提高了针对不同的应用场景知识内容提供的准确性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种概念图谱构建方法，其特征在于，包括下述步骤：
采集文本数据，基于预设模版库的基础模版对所述文本数据进行短语抽取，得到第一候选概念数据，基于预设短语抽取算法对所述文本数据进行短语抽取，得到第二候选概念数据，基于预设语言模型对所述文本数据进行短语抽取，得到第三候选概念数据；
组合所述第一候选概念数据、第二候选概念数据和第三候选概念数据为候选数据集，通过预设评分模型对所述候选数据集中的候选概念数据进行评分，确定评分大于等于预设阈值的候选概念数据为优选概念数据；
将所述优选概念数据与存储的预设知识一一进行匹配，确定与所述优选概念数据匹配成功的预设知识为优选知识，将所述优选概念数据与所述优选知识进行关联存储。
2.根据权利要求1所述的概念图谱构建方法，其特征在于，在所述基于预设语言模型对所述文本数据进行短语抽取，得到第三候选概念数据的步骤之前，包括：
获取预设训练数据，基于所述预设训练数据对基础语言模型进行训练，其中，所述基础语言模型包括预训练模型和条件随机场模型；
获取所述基础语言模型的学习率，确定在所述学习率下所述基础语言模型中的预训练模型和条件随机场模型的收敛值是否均为对应的最佳值；
在所述预训练模型和所述条件随机场模型任意一个的收敛值非对应的最佳值时，调整所述学习率，直至所述预训练模型和所述条件随机场模型的收敛值均达到对应的所述最佳值，确定所述基础语言模型为预设语言模型。
3.根据权利要求1所述的概念图谱构建方法，其特征在于，所述通过预设评分模型对所述候选数据集中的候选概念数据进行评分的步骤包括：
获取所述候选数据集中候选概念数据的语义凝聚度、长度、词性标注结果以及语言模型特征；
将所述长度、所述词性标注结果、所述语义凝聚度以及所述语言模型特征，输入至预设评分模型，计算得到所述候选概念数据对应的评分。
4.根据权利要求3所述的概念图谱构建方法，其特征在于，所述获取所述候选数据集中候选概念数据的语义凝聚度的步骤包括：
获取大规模语料数据，基于所述大规模语料数据确定包括所述候选概念数据的文章；
获取所有所述文章对应的类别，计算所述候选概念数据分别在不同类别下出现的子次数以及在所有类别下的总次数，将所述子次数与所述总次数的最大占比作为所述候选概念数据的语义凝聚度。
5.根据权利要求1所述的概念图谱构建方法，其特征在于，所述将所述优选概念数据与存储的预设知识一一进行匹配的步骤包括：
计算所述优选概念数据与预设知识的字形相似度，将所述字形相似度大于等于第一匹配度的优选概念数据作为一级概念数据，确定所述一级概念数据对应的预设知识为优选知识；
将所述优选概念数据中除所述一级概念数据以外的优选概念数据作为二级概念数据，计算所述二级概念数据与所述预设知识的语义相似度，确定所述语义相似度大于等于第二匹配度的预设知识为优选知识。
6.根据权利要求1所述的概念图谱构建方法，其特征在于，在所述基于预设模版库的基础模版对所述文本数据进行短语抽取，得到第一候选概念数据的步骤之后，包括：
检测所述第一候选概念数据在预设的概念库中是否存在，在所述第一候选概念数据在所述概念库中不存在时，确定所述第一候选概念数据为新概念数据；
基于预设模版生成***和所述文本数据，生成所述新概念数据对应的候选模板；
对所述候选模版进行质量检测，在所述候选模版质量检测通过时，保存所述候选模版为预设模版库中的基础模版。
7.根据权利要求6所述的概念图谱构建方法，其特征在于，所述对所述候选模版进行质量检测的步骤包括：
基于所述候选模版对验证数据进行概念抽取，获取抽取得到的新概念数据的第一数量，以及旧概念数据的第二数量；
计算所述第一数量与所述第二数量的比值，在所述比值大于等于第一预设阈值，并且所述第二数量大于等于第二预设阈值时，确定所述候选模版的质量检测通过。
8.一种概念图谱构建装置，其特征在于，包括：
采集模块，用于采集文本数据，基于预设模版库的基础模版对所述文本数据进行短语抽取，得到第一候选概念数据，基于预设短语抽取算法对所述文本数据进行短语抽取，得到第二候选概念数据，基于预设语言模型对所述文本数据进行短语抽取，得到第三候选概念数据；
组合模块，用于组合所述第一候选概念数据、第二候选概念数据和所述第三候选概念数据为候选数据集，通过预设评分模型对所述候选数据集中的候选概念数据进行评分，确定评分大于等于预设阈值的候选概念数据为优选概念数据；
匹配模块，用于将所述优选概念数据与存储的预设知识一一进行匹配，确定与所述优选概念数据匹配成功的预设知识为优选知识，将所述优选概念数据与所述优选知识进行关联存储。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的概念图谱构建方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的概念图谱构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011288931.8A CN112395391B (zh) | 2020-11-17 | 2020-11-17 | 概念图谱构建方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011288931.8A CN112395391B (zh) | 2020-11-17 | 2020-11-17 | 概念图谱构建方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112395391A true CN112395391A (zh) | 2021-02-23 |
| CN112395391B CN112395391B (zh) | 2023-11-03 |
Family
ID=74606274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011288931.8A Active CN112395391B (zh) | 2020-11-17 | 2020-11-17 | 概念图谱构建方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112395391B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114547346A (zh) * | 2022-04-22 | 2022-05-27 | 浙江太美医疗科技股份有限公司 | 知识图谱的构建方法和装置、电子设备和存储介质 |
| CN114741508A (zh) * | 2022-03-29 | 2022-07-12 | 北京三快在线科技有限公司 | 概念挖掘方法及装置、电子设备及可读存储介质 |
| WO2022227171A1 (zh) * | 2021-04-25 | 2022-11-03 | 平安科技（深圳）有限公司 | 关键信息提取方法、装置、电子设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200004832A1 (en) * | 2018-07-02 | 2020-01-02 | Babylon Partners Limited | Computer Implemented Method for Extracting and Reasoning with Meaning from Text |
| CN110781310A (zh) * | 2019-09-09 | 2020-02-11 | 深圳壹账通智能科技有限公司 | 目标概念图谱的构建方法、装置、计算机设备和存储介质 |
| CN111767368A (zh) * | 2020-05-27 | 2020-10-13 | 重庆邮电大学 | 一种基于实体链接的问答知识图谱构建方法及存储介质 |
| CN111930856A (zh) * | 2020-07-06 | 2020-11-13 | 北京邮电大学 | 领域知识图谱本体和数据的构建方法、装置和*** |
-
2020
- 2020-11-17 CN CN202011288931.8A patent/CN112395391B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200004832A1 (en) * | 2018-07-02 | 2020-01-02 | Babylon Partners Limited | Computer Implemented Method for Extracting and Reasoning with Meaning from Text |
| CN110781310A (zh) * | 2019-09-09 | 2020-02-11 | 深圳壹账通智能科技有限公司 | 目标概念图谱的构建方法、装置、计算机设备和存储介质 |
| CN111767368A (zh) * | 2020-05-27 | 2020-10-13 | 重庆邮电大学 | 一种基于实体链接的问答知识图谱构建方法及存储介质 |
| CN111930856A (zh) * | 2020-07-06 | 2020-11-13 | 北京邮电大学 | 领域知识图谱本体和数据的构建方法、装置和*** |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022227171A1 (zh) * | 2021-04-25 | 2022-11-03 | 平安科技（深圳）有限公司 | 关键信息提取方法、装置、电子设备及介质 |
| CN114741508A (zh) * | 2022-03-29 | 2022-07-12 | 北京三快在线科技有限公司 | 概念挖掘方法及装置、电子设备及可读存储介质 |
| CN114547346A (zh) * | 2022-04-22 | 2022-05-27 | 浙江太美医疗科技股份有限公司 | 知识图谱的构建方法和装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112395391B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112395391B (zh) | 概念图谱构建方法、装置、计算机设备及存储介质 | |
| WO2021135469A1 (zh) | 基于机器学习的信息抽取方法、装置、计算机设备及介质 | |
| CN111797214A (zh) | 基于faq数据库的问题筛选方法、装置、计算机设备及介质 | |
| CN106874253A (zh) | 识别敏感信息的方法及装置 | |
| CN112328761B (zh) | 一种意图标签设置方法、装置、计算机设备及存储介质 | |
| CN112215008A (zh) | 基于语义理解的实体识别方法、装置、计算机设备和介质 | |
| CN112417102A (zh) | 一种语音查询方法、装置、服务器和可读存储介质 | |
| CN112686022A (zh) | 违规语料的检测方法、装置、计算机设备及存储介质 | |
| CN111695338A (zh) | 基于人工智能的面试内容精炼方法、装置、设备及介质 | |
| US20220138424A1 (en) | Domain-Specific Phrase Mining Method, Apparatus and Electronic Device | |
| CN111581623B (zh) | 智能数据交互方法、装置、电子设备及存储介质 | |
| CN110427453B (zh) | 数据的相似度计算方法、装置、计算机设备及存储介质 | |
| CN112468658B (zh) | 语音质量检测方法、装置、计算机设备及存储介质 | |
| CN112836521A (zh) | 问答匹配方法、装置、计算机设备及存储介质 | |
| CN112650858A (zh) | 应急协助信息的获取方法、装置、计算机设备及介质 | |
| CN112686053A (zh) | 一种数据增强方法、装置、计算机设备及存储介质 | |
| CN112446209A (zh) | 一种意图标签的设置方法、设备、装置及存储介质 | |
| CN113627797A (zh) | 入职员工画像生成方法、装置、计算机设备及存储介质 | |
| CN112085091A (zh) | 基于人工智能的短文本匹配方法、装置、设备及存储介质 | |
| CN115438149A (zh) | 一种端到端模型训练方法、装置、计算机设备及存储介质 | |
| CN112528040A (zh) | 基于知识图谱的引导教唆语料的检测方法及其相关设备 | |
| CN111639164A (zh) | 问答***的问答匹配方法、装置、计算机设备及存储介质 | |
| CN116881446A (zh) | 一种语义分类方法、装置、设备及其存储介质 | |
| CN114742058B (zh) | 一种命名实体抽取方法、装置、计算机设备及存储介质 | |
| CN110705308A (zh) | 语音信息的领域识别方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |