CN113326698A - 检测实体关系的方法、模型训练方法及电子设备 - Google Patents
检测实体关系的方法、模型训练方法及电子设备 Download PDFInfo
- Publication number
- CN113326698A CN113326698A CN202110676263.4A CN202110676263A CN113326698A CN 113326698 A CN113326698 A CN 113326698A CN 202110676263 A CN202110676263 A CN 202110676263A CN 113326698 A CN113326698 A CN 113326698A
- Authority
- CN
- China
- Prior art keywords
- label
- square matrix
- relationship
- statement
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012549 training Methods 0.000 title claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims abstract description 258
- 238000001514 detection method Methods 0.000 claims abstract description 79
- 239000013598 vector Substances 0.000 claims description 100
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 13
- 238000009826 distribution Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种检测实体关系的方法、模型训练方法及电子设备,其中,检测实体关系的方法包括:将至少一条设定语句输入至实体关系检测模型,得到至少一条设定语句中每条设定语句对应的第一标签方阵,第一标签方阵表征对应的设定语句中每两个字对应的预测关系标签;基于至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算实体关系检测模型的损失值,第二标签方阵表征对应的设定语句中每两个字对应的标定关系标签;基于损失值更新实体关系检测模型的模型参数;输出训练后的实体关系检测模型,得到第一模型;将第一语句输入至第一模型,得到第一语句对应的预测标签方阵;基于预测标签方阵确定出第一语句对应的实体关系。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种检测实体关系的方法、模型训练方法及电子设备。
背景技术
随着计算机技术的发展,越来越多的技术(例如,大数据等)应用在金融领域,传统金融业正在逐步向金融科技转变,然而,由于金融行业的安全性、实时性要求,金融科技也对技术提出了更高的要求。金融科技领域下,在对合作企业进行舆情监控的应用场景中,需要确定出监测合作的企业是否存在例如,生产不合格产品、遭受行政处罚等风险事项;在监测到风险事项的情况下,基于风险事项进行风险定级,从而根据风险定级调整对应企业的合作策略。
相关技术中,基于新闻中目标企业的名称出现的位置,提取出摘要,通过设定的正则表达式对提取的摘要进行检索,根据检索结果确定目标企业是否存在设定的风险事项;其中,当检索结果表征第一正则表达式命中提取的摘要时,确定为目标企业存在该正则表达式对应的风险事项,但是,提取出的摘要中可能会漏掉与目标企业相关的信息,从而导致确定出的风险事项不准确。
发明内容
有鉴于此,本发明实施例提供一种检测实体关系的方法、模型训练方法及电子设备,以解决相关技术中确定出的风险事项不准确的技术问题。
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例提供了一种检测实体关系的方法,包括:
将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵,所述设定语句中包括至少两个实体,所述实体表征人名或企业名;所述第一标签方阵表征对应的设定语句中每两个字对应的预测关系标签;
基于所述至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值,所述第二标签方阵表征对应的设定语句中每两个字对应的标定关系标签;
基于所述损失值更新所述实体关系检测模型的模型参数;
输出训练后的实体关系检测模型,得到第一模型;
将第一语句输入至所述第一模型,得到所述第一语句对应的预测标签方阵;
基于所述预测标签方阵确定出所述第一语句对应的实体关系。
上述方案中,所述方法还包括:
基于设定语句对应的至少一个标定实体关系,确定出设定语句对应的第二标签方阵;其中,
所述标定实体关系表征对应的设定语句中每两个实体存在的设定关系。
上述方案中,所述基于设定语句对应的至少一个标定实体关系,确定出设定语句对应的第二标签方阵,包括:
构建以设定语句为边的第一方阵;所述第一方阵中每个字对应一行或一列;
确定出标定实体关系中的两个实体在所述第一方阵中共同对应的第一区域;
在确定出的第一区域,将对应的标定实体关系映射为第一关系标签和第二关系标签,得到设定语句对应的第二标签方阵;其中,
第一关系标签和对应的第二关系标签呈对角线分布于对应的第一区域;第一标签方阵中的第一位置对应设定关系标签,所述设定关系标签表征不存在设定关系;所述第一位置为除第一关系标签和第二关系标签之外的位置。
上述方案中,所述将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵,包括:
将设定语句中的每个字转换成向量,得到第一向量序列;
对所述第一向量序列中的每个向量进行至少一次编码,得到第二向量序列;
按照设定语句中字的排列顺序,将所述第二向量序列中每两个向量进行纵向拼接,得到第二方阵;
计算第一矩阵参数与所述第二方阵中每个元素之间的乘积,得到设定语句对应的第一标签方阵;其中,
所述第一矩阵参数为所述模型参数;所述第一矩阵参数的行数与所述第二方阵的行数相同,所述第一矩阵参数的列数与标定关系标签的类别总数相同。
上述方案中,所述基于所述至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值,包括:
对设定语句对应的第一标签方阵进行归一化处理,得到第三标签方阵;
从对应的第二标签方阵中,确定出所述第三标签方阵中每个对应位置对应的标定关系标签;
将所述第三标签方阵中每个位置对应的向量与第一独热编码之间的损失值的均值,确定为所述实体关系检测模型的损失值;其中,
所述第一独热编码表征对应位置对应的标定关系标签对应的独热编码。
上述方案中,所述基于所述预测标签方阵确定出所述第一语句对应的实体关系,包括:
从所述预测标签方阵中,确定出每个第一关系标签对应的第二关系标签;
基于第一关系标签、第一关系标签的第一坐标和对应的第二关系标签的第二坐标,确定出对应的实体关系;其中,
第一关系标签与对应的第二关系标签之间的距离最小,且第一关系标签的纵坐标小于对应的第二关系标签的纵坐标。
上述方案中,所述基于第一关系标签、第一关系标签的第一坐标和对应的第二关系标签的第二坐标,确定出对应的实体关系,包括:
基于第一关系标签的横坐标和对应的第二关系标签的横坐标,确定出主实体;
基于第一关系标签的纵坐标和对应的第二关系标签的纵坐标,确定出客实体;
将所述主实体、第一关系标签中包括的关系类型和所述客实体进行拼接,得到对应的实体关系。
本发明实施例还提供了一种模型训练方法,包括:
将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵,所述设定语句中包括至少两个实体,所述实体表征人名或企业名;所述第一标签方阵表征对应的设定语句中每两个字对应的预测关系标签;
基于所述至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值,所述第二标签方阵表征对应的设定语句中每两个字对应的标定关系标签;
基于所述损失值更新所述实体关系检测模型的模型参数。
本发明实施例还提供了一种电子设备,包括:
训练单元,用于将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵,所述设定语句中包括至少两个实体,所述实体表征人名或企业名;所述第一标签方阵表征对应的设定语句中每两个字对应的预测关系标签;
计算单元,用于基于所述至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值,所述第二标签方阵表征对应的设定语句中每两个字对应的标定关系标签;
更新单元,用于基于所述损失值更新所述实体关系检测模型的模型参数;
输出单元,用于输出训练后的实体关系检测模型,得到第一模型;
预测单元,用于将第一语句输入至所述第一模型,得到所述第一语句对应的预测标签方阵;
检测单元,用于基于所述预测标签方阵确定出所述第一语句对应的实体关系。
本发明实施例还提供了一种电子设备,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器用于运行所述计算机程序时,执行上述检测实体关系的方法或模型训练方法的步骤。
本发明实施例还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述检测实体关系的方法或模型训练方法的步骤。
本发明实施例中,通过设定语句和对应的第二标签方阵对实体关系检测模型进行训练,得到训练完毕后的第一模型;将第一语句输入至第一模型,得到第一语句对应的预测标签方阵;基于预测标签方阵确定出第一语句对应的实体关系,由此,电子设备可以基于该预测标签方阵表征的第一语句中每两个字对应的预测关系标签,确定出第一语句中包括的实体以及实体之间的关系;从而通过第一语句对应的实体关系准确地确定出风险事项,还可以通过第一语句对应的实体关系,确定出与实体关系相关的任一实体的风险事项,从而使得确定出的风险事项更全面,提高确定出的风险事项的准确度和全面性。
附图说明
图1为本发明实施例提供的检测实体关系的方法的实现流程示意图;
图2为本发明实施例提供的检测实体关系的方法中确定第二标签方阵的实现流程示意图;
图3为本发明实施例提供的第一方阵的示意图;
图4为本发明实施例提供的第二标签方阵的示意图;
图5为本发明实施例提供的检测实体关系的方法中确定第一标签方阵的实现流程示意图;
图6为本发明实施例提供的检测实体关系的方法中处理设定语句的示意图;
图7为本发明实施例提供的检测实体关系的方法中计算损失值的实现流程示意图;
图8为本发明实施例提供的模型训练方法的实现流程示意图;
图9为本发明实施例提供的电子设备的结构示意图;
图10为本发明另一实施例提供的电子设备的结构示意图;
图11为本发明实施例提供的电子设备的硬件组成结构示意图。
具体实施方式
相关技术中,将新闻中目标企业的名称出现的第一位置附近的内容,确定为摘要,并从确定出的摘要中查找风险事项,但是,当与目标企业相关的人或企业的信息出现在第二位置,且第二位置与第一位置相隔较远时,由于在第二位置没有出现目标企业的名称,因此,无法从该新闻中提取出与目标企业相关的人或企业的信息,进而无法捕获到与目标企业相关的人或企业对应的风险事项,导致最终确定出的风险事项不准确。
例如,基于目标企业的名称A企业,从新闻中提取到的摘要为A企业小明违法,从摘要中捕获到A企业的重大风险事项为小明违法;然而,当小明为A企业的实控人,且小明是A企业实控人的信息出现该新闻的其他地方或其他新闻时,无法捕获到跟小明相关的风险事项。
另外,当提取出的摘要中出现多个实体(人名或企业名称)时,通过设定的正则表达式无法准确地确定出多个实体之间的关系,从而导致确定出的风险事项不准确。例如,在目标公司为B公司,提取出的摘要为A公司转让给B公司C公司的股权的情况下,“转让股权”对应的正则表达式“转让.*股|股.*转让”将会命中这条摘要,从而导致B公司被附加上了“转让股权”的标签;而实际上,B公司是股权受让方,A公司才是股权转让方。
综上所述,相关技术中存在确定出的风险事项不准确的技术问题。
针对相关技术中确定出的风险事项不准确的技术问题,本发明实施例提供了一种检测实体关系的方法,将第一语句输入至第一模型,得到第一语句对应的预测标签方阵;基于预测标签方阵确定出第一语句对应的实体关系。其中,第一模型基于设定语句和对应的第一标签方阵训练得到,第一标签方阵表征对应的设定语句中每两个字对应的标定关系标签。由于本方案中,第一语句对应的实体关系中不仅包括第一语句中出现的实体,还可以确定出实体之间的关系,因此,可以基于第一语句对应的实体关系,准确地确定出风险事项。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为本发明实施例提供的检测实体关系的方法的实现流程示意图,其中,流程的执行主体为终端、服务器等电子设备。如图1示出的,检测实体关系的方法包括:
步骤101:将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵;
其中,所述设定语句中包括至少两个实体,所述实体表征人名或企业名;所述第一标签方阵表征对应的设定语句中每两个字对应的预测关系标签。
这里,电子设备将至少一条设定语句输入至实体关系检测模型,利用实体关系检测模型对至少一条设定语句中每条设定语句进行处理,得到每条设定语句对应的第一标签方阵。其中,
利用实体关系检测模型对至少一条设定语句中每条设定语句进行处理,包括:将设定语句中的每个字进行向量化,得到设定语句对应的字向量序列;对设定语句对应的字向量序列进行至少一次编码,得到编码后的字向量序列;按照设定语句中字的排列顺序,将编码后的字向量序列中每两个向量进行纵向拼接,并将拼接得到的向量方阵中的每个向量映射为对应的预测关系标签,得到设定语句对应的第一标签方阵。其中,字向量序列由多个字向量构成,字向量是指对语句中的字进行向量化得到的结果。对设定语句对应的字向量序列进行编码的目的是让所有输入的字向量之间产生信息交互,编码后的字向量序列表征对应的设定语句的特征信息。
实际应用时,实体关系检测模型为基于转换器模型的双向编码表示模型(BERT,Bidirectional Encoder Representation from Transformers);其中,BERT由转换器模型(Transformer)改进得来,并且BERT中的注意力机制(Attention Mechanism)是双向的;即,输入BERT的语句中的每个字符的特征信息既可以融合在该字符前面的字符的特征信息中,也可以融合在该字符后面的字符的特征信息中。
在自然语言处理领域,注意力机制体现在句子中的某个字与该句子中的其他字的字向量(Char Vector)的信息融合上。
其中,设定语句从样本库中确定出,样本库中存储有多条设定语句和对应的设定实体关系。样本库可以存在于电子设备的本地数据库,也可以存在于远程数据库。设定实体关系是指实体之间的关系。关系标签包括一个设定关系标签以及由所有设定实体关系映射得到的关系标签。关系标签的总类的数量为设定实体关系的总数的两倍再加1;每种设定实体关系映射为两种关系标签,设定关系标签表征不存在设定关系。实际应用时,设定关系标签为“-”。
实际应用时,设定实体关系对应的设定格式为:主实体-设定关系名称-客实体。设定实体关系包括以下13种:
<人名>-实控人-<企业名>、<人名>-法人-<企业名>、<人名>-高管-<企业名>、<人名>-股东-<企业名>、<企业名>-股东-<企业名>、<企业名>-股权转让-<企业名>、<企业名>-股权受让-<企业名>、<企业名>-减持-<企业名>、<企业名>-增持-<企业名>、<企业名>-起诉-<企业名>、<企业名>-被起诉-<企业名>、<企业名>-收购-<企业名>、<企业名>-被收购-<企业名>。
实际应用时,在设定实体关系为13种的情况下,关系标签包括27种。电子设备将每种设定实体关系映射为以下两种关系标签:“S-关系名称”以及“E-关系名称”。其中,S表征该关系名称的起点,E表征该关系名称的终点。
示例性地,在设定实体关系为<人名>-实控人-<企业名>的情况下,由该设定实体关系映射得到的关系标签为:“S-实控人”以及“E-实控人”;其中,<人名>-实控人-<企业名>中,人名为主实体,企业名为客实体。
为了提高训练检测模型的效率,样本库中可以存储设定语句和对应的第二标签方阵,
考虑到实际应用中,样本库中可以存储多条设定语句和对应的设定实体关系,也可以存储多条设定语句和对应的第二标签方阵,为了降低样本库所占的存储空间,可以电子设备确定出设定语句对应的第二标签方阵。在一些实施例中,所述方法还包括:
基于设定语句对应的至少一个标定实体关系,确定出设定语句对应的第二标签方阵;其中,
所述标定实体关系表征对应的设定语句中每两个实体存在的设定关系。
这里,电子设备将设定语句对应的每个标定实体关系,映射为2个标定关系标签,并将设定语句中除标定实体关系相关的实体之外的字映射为设定关系标签,得到设定语句对应的第二标签方阵。
需要说明的是,确定设定语句对应的第二标签方阵的步骤,与步骤101为并列步骤,不限定两者的先后顺序。
为了得到准确的第二标签方阵,如图2所示,在一些实施例中,所述基于设定语句对应的至少一个标定实体关系,确定出设定语句对应的第二标签方阵,包括:
步骤201:构建以设定语句为边的第一方阵;所述第一方阵中每个字对应一行或一列。
这里,电子设备构建以设定语句中的每个字为横坐标和纵坐标的第一方阵,第一方阵中每个字对应一行或一列。第一方阵的行数与列数均与设定语句的字数相等。
步骤202:确定出标定实体关系中的两个实体在所述第一方阵中共同对应的第一区域。
这了,电子设备确定出设定语句对应的标定实体关系中的两个实体在第一方阵中共同对应的第一区域。
示例性地,在设定语句对应的标定实体关系为A司被B司起诉的情况下,构建出的第一方阵如图3所示,图3中的两个灰色区域表征确定出的第一区域。
步骤203:在确定出的第一区域,将对应的标定实体关系映射为第一关系标签和第二关系标签,得到设定语句对应的第二标签方阵;其中,
第一关系标签和对应的第二关系标签呈对角线分布于对应的第一区域;第一标签方阵中的第一位置对应设定关系标签,所述设定关系标签表征不存在设定关系;所述第一位置为除第一关系标签和第二关系标签之外的位置。
这里,电子设备将设定语句对应的每个标定实体关系映射为第一关系标签和对应的第二关系标签,并将每个标定实体关系对应的第一关系标签和第二关系标签,写入对应的第一区域中成对角线的两个位置,得到设定语句对应的第二标签方阵。实际应用时,每个标定实体关系对应的第一关系标签和对应的第二关系标签,在呈主对角线分布于对应的第一区域,即,第一关系标签处于对应的第二关系标签的左上角。
示例性地,在设定语句对应的标定实体关系为A司被B司起诉的情况下,设定语句对应的第二标签方阵如图4所示。
考虑到训练目标是使得第一标签方阵与第二标签方阵相同,因此,在训练实体关系检测模型的过程中需要构造出对应的第二标签方阵中每个位置对应的向量,以确保第一标签方阵和第二标签方阵中同一位置的关系标签表征相同的两个字对应的关系。如图5所示,在一些实施例中,所述将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵,包括:
步骤501:将设定语句中的每个字转换成向量,得到第一向量序列。
这里,电子设备将设定语句中的每个字进行向量化,得到每个字对应的字向量;按照设定语句中字的排列顺序,将设定语句中每个字对应的字向量进行排序,得到第一向量序列。实际应用时,在第一向量序列的首部拼接一个CLS向量;CLS向量也称句向量,CLS向量表征对应的设定语句的全局信息。
示例性地,如图6所示,在设定语句对应的标定实体关系为A司被B司起诉的情况下,第一向量序列由EA、E司、E被、EB、E司、E起、E诉构成。
步骤502:对所述第一向量序列中的每个向量进行至少一次编码,得到第二向量序列。
这里,电子设备对第一向量序列中的每个向量进行至少一次编码,提取向量之间的特征信息,得到第二向量序列。实际应用时,电子设备对CLS向量和第一向量序列进行至少一次编码。
步骤503:按照设定语句中字的排列顺序,将所述第二向量序列中每两个向量进行纵向拼接,得到第二方阵。
这里,电子设备以第二向量序列为横轴和纵轴,按照设定语句中字的排列顺序,将第二向量序列中每两个向量进行纵向拼接,得到第二方阵。其中,第二向量序列中每个字向量均为M维的列向量。将第二向量序列中每两个向量进行纵向拼接,得到的向量为2M维的列向量。M维是指M行。
示例性地,如图6所示,第二方阵中包括49个拼接得到的向量,第二方阵中的EA+A是将EA与EA进行纵向拼接得到,EA+司是将EA与E司进行纵向拼接得到。在EA为200维的列向量的情况下,EA+A为400维的列向量。
步骤504:计算第一矩阵参数与所述第二方阵中每个元素之间的乘积,得到设定语句对应的第一标签方阵;其中,
所述第一矩阵参数为所述模型参数;所述第一矩阵参数的行数与所述第二方阵的行数相同,所述第一矩阵参数的列数与标定关系标签的类别总数相同。
这里,第二方阵中的元素是指拼接得到的向量,如图6中第二方阵中包括49个元素。
实际应用时,电子设备确定出第二方阵中每个元素的转置;计算第一矩阵参数与确定出的每个元素的转置之间的乘积,得到每个元素对应的一个N维行向量;对每个元素对应的N维行向量进行转置,得到每个元素对应的一个N维列向量,从而得到由每个元素对应的N维列向量,构成的第一标签方阵。其中,
预测关系标签采用一个N维列向量进行表示。
在第二方阵中每个元素为2M维的列向量的情况下,每个元素的转置为2M维的行向量,即,每个元素的转置是一个一行2M列的矩阵。
第一矩阵参数是一个随机的矩阵参数,第一矩阵参数的维数(或称行数)与第二方阵中的元素的维数相同,第一矩阵参数的列数与标定关系标签的类别总数相同;N的值等于标定关系标签的类别总数。第一矩阵参数为待训练参数,在训练过程中,需要基于计算出的损失值对第一矩阵参数进行调整。
实际应用时,可以利用确定出第二方阵中每个元素对应的N维行向量,对每个元素对应的N维行向量进行转置,从而得到第一标签方阵。其中,表征第二方阵中第i行第j列对应的元素的转置;W表征第一矩阵参数。i和j均为正整数,且i和j均小于或等于设定语句的字数。
步骤102:基于每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值;其中,所述第二标签方阵表征对应的设定语句中每两个字对应的标定关系标签。
这里,电子设备基于每条设定语句对应的第一标签方阵和第二标签方阵,利用设定的损失函数,计算实体关系检测模型的损失值。其中,设定语句对应的第二标签方阵基于对应的设定语句对应的标定实体关系确定出。
实际应用时,电子设备利用设定的损失函数,计算设定语句对应的第一标签方阵和第二标签方阵中每个位置对应的关系标签之间的损失值,将每个位置对应的损失值的均值,确定为实体关系检测模型的损失值。
在步骤504中,将第二方阵中的每个元素映射为一个N维列向量,得到第一标签方阵的基础上,为了计算出准确的损失值,如图7所示,在一些实施例中,所述基于所述至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值,包括:
步骤701:对设定语句对应的第一标签方阵进行归一化处理,得到第三标签方阵。
这里,电子设备可以采用设定的softmax函数对设定语句对应的第一标签方阵进行归一化处理,得到第三标签方阵。
实际应用时,由于第一标签方阵中每个预测关系标签是用一个N维列向量进行表示的,因此,这里,采用设定的softmax函数对第一标签方阵中的每个N维列向量进行归一化处理,得到第三标签方阵。其中,归一化后的每个N维列向量中所有元素之和等于1。归一化后的每个N维列向量,表征预测得到的所有标定关系标签的概率分布。
步骤702:从对应的第二标签方阵中,确定出所述第三标签方阵中每个对应位置对应的标定关系标签。
这里,由于第一标签方阵和第二标签方阵均以设定语句为边构建的,因此,第一标签方阵和第二标签方阵中同一位置表征相同的两个字对应的关系标签。
电子设备将设定语句对应的第二标签方阵中第i行第j列的标定关系标签,确定为对应的第三标签方阵中第i行第j列对应的标定关系标签。
步骤703:将所述第三标签方阵中每个位置对应的向量与第一独热编码之间的损失值的均值,确定为所述实体关系检测模型的损失值;其中,
所述第一独热编码表征对应位置对应的标定关系标签对应的独热编码。
这里,电子设备基于标定关系标签与独热编码之间的设定对应关系,确定出,第三标签方阵中每个位置对应的标定关系标签对应的独热(One-Hot)编码;计算将第三标签方阵中每个位置对应的向量与第一独热编码之间的损失值,并计算所有损失值的均值,得到实体关系检测模型的损失值。其中,
第三标签方阵中每个位置对应的向量,是指步骤701中对应位置对应的归一化后的N维列向量。
标定关系标签对应的独热编码为一个N维列向量,该N维列向量中一个数值为1,其余的数值均为0。也就是说,本发明中的独热编码表征较为极端的所有标定关系标签的概率分布,即,只有其中一个标定关系标签的概率为1,除该标定关系标签之外的其他标定关系标签的概率均为0。每个位置对应的独热编码表征该位置对应的所有标定关系标签的真实概率分布。
损失值表征每个位置对应的向量表征的预测概率分布与第一独热编码表征的真实概率分布之间的距离,因此,损失值越小越好,本发明中的训练目标是最小化这个距离,让第三标签方阵每个位置对应的向量尽可能贴近对应的标定标签对应的独热编码。
实际应用时,可以采用交叉熵度量预测概率分布与真实概率分布之间的距离,即,将所述第三标签方阵中每个位置对应的向量与第一独热编码之间的交叉熵的均值,确定为实体关系检测模型的损失值。
步骤103:基于所述损失值更新所述实体关系检测模型的模型参数。
这里,电子设备基于计算出的损失值实体关系检测模型的模型参数进行更新,以提升实体关系检测模型输出的预测结果的准确率。实际应用时,电子设备基于损失值更新实体关系检测模型中的第一矩阵参数。
其中,电子设备将更新后得到的权重参数,作为训练完毕的实体关系检测模型所使用的权重参数。
这里,可设定更新停止条件,在满足更新停止条件时,将最后一次更新得到的权重参数,确定为训练完毕的实体关系检测模型所使用的权重参数。更新停止条件如设定的训练次数。当然,更新停止条件并不限于此,例如还可为设定的平均准确率(mAP,meanAverage Precision)等。
在实体关系检测模型训练完毕后,执行步骤104,以将实体关系检测模型投入使用。
步骤104:输出训练后的实体关系检测模型,得到第一模型。
步骤105:将第一语句输入至所述第一模型,得到所述第一语句对应的预测标签方阵。
这里,在检测实体关系或关系抽取的场景中,电子设备将待检测的第一语句输入至第一模型,获得第一模型输出的第一语句对应的预测标签方阵。其中,关系抽取是指对于文本中出现的若干实体,抽取出它们之间的关系。步骤105与步骤101类似,步骤105的实现过程请参照步骤101中的相关描述。
需要说明的是,由于预测标签方阵中每个元素实际上是一个N维列向量,每个N维列向量表征预测得到的所有标定关系标签的概率分布,因此,电子设备可以从每个N维列向量表征的所有标定关系标签的概率分布中,确定出概率最大的标定关系标签,并将概率最大的标定关系标签确定为预测标签方阵中对应位置对应的预测关系标签。
步骤106:基于所述预测标签方阵确定出所述第一语句对应的实体关系。
这里,电子设备基于预测标签方阵中的起点标签和终点标签,确定出第一语句对应的实体关系。其中,预测标签方阵中距离最近的一对起点标签和终点标签,确定出一种实体关系。实际应用时,起点标签为包括“S”的标签;终点标签为包括“S”的标签。
为了准确地识别出第一语句对应的实体关系,在一些实施例中,所述基于所述预测标签方阵确定出所述第一语句对应的实体关系,包括:
从所述预测标签方阵中,确定出每个第一关系标签对应的第二关系标签;
基于第一关系标签、第一关系标签的第一坐标和对应的第二关系标签的第二坐标,确定出对应的实体关系;其中,
第一关系标签与对应的第二关系标签之间的距离最小,且第一关系标签的纵坐标小于对应的第二关系标签的纵坐标。
这里,电子设备基于第一设定字符,从预测标签方阵中确定出每个第一关系标签,以及基于第二设定字符,从预测标签方阵中确定出每个第一关系标签对应的第二关系标签。实际应用时,第一关系标签和第二关系标签分别表征一种实体关系对应的起点标签和终点标签。第一设定字符为S,第二设定字符为E。
基于确定出的第一关系标签的第一坐标和第二关系标签的第二坐标,计算出第一关系标签和每个第二关系标签之间的距离;基于第一关系标签和每个第二关系标签之间的距离,确定出每个第一关系标签对应的第二关系标签。其中,
第一坐标和第二坐标均以关系标签所处的行数和列数来表示,例如,当第一关系标签处于预测标签方阵中的第一行第三列对应的位置时,第一关系标签对应的第一坐标为(1,3)。
第一关系标签与对应的第二关系标签之间的距离最小,且第一关系标签的纵坐标小于对应的第二关系标签的纵坐标。
需要说明的是,由于本实施例中,第一关系标签与对应的第二关系标签成主对角线分布,因此,第一关系标签的纵坐标小于对应的第二关系标签的纵坐标。在第一关系标签与对应的第二关系标签成副对角线分布时,第一关系标签的纵坐标大于对应的第二关系标签的纵坐标。
实际应用时,电子设备按照以下方法确定出第一关系标签和对应的第二关系标签:
基于第一设定字符,确定出预测标签方阵中所有的第一关系标签对应的第一坐标;
由于第一关系标签和对应的第二关系标签呈主对角线分布,因此,针对每个第一关系标签,在预测标签方阵中第一关系标签所处的位置的右下方,确定出包含第二设定字符的第二关系标签,并确定出第二关系标签对应的第二坐标;例如,在图4中,对于坐标为(4,1)的第一关系标签:“S-起诉”,在预测标签方阵中所有横坐标小于4,纵坐标大于1的“E-起诉”的第二关系标签。
其中,x1表征第一坐标中的横坐标;y1表征第一坐标中的纵坐标;x2表征第二坐标中的横坐标;y2表征第二坐标中的纵坐标。
在一些实施例中,所述基于第一关系标签、第一关系标签的第一坐标和对应的第二关系标签的第二坐标,确定出对应的实体关系,包括:
基于第一关系标签的横坐标和对应的第二关系标签的横坐标,确定出主实体;
基于第一关系标签的纵坐标和对应的第二关系标签的纵坐标,确定出客实体;
将所述主实体、第一关系标签中包括的关系类型和所述客实体进行拼接,得到对应的实体关系。
这里,电子设备将第一关系标签的横坐标对应的第一个字与对应的第二关系标签的横坐标对应的第二个字进行拼接,得到主实体;将第一关系标签的纵坐标对应的第三个字与对应的第二关系标签的纵坐标对应的第四个字进行拼接,得到客实体;将确定出的主实体、第一关系标签中包括的关系类型和确定出的客实体进行拼接,得到对应的实体关系。
示例性地,如图4所示,在第一关系标签对应的第一坐标为(4,1),对应的第二关系标签对应的第二坐标为(5,2)的情况下,将图4中第4行和第5行对应的字进行拼接,得到主实体,主实体为B司;将图4中第1列和第二列对应的字进行拼接得到客实体,客实体为A司;将主实体、第一关系标签中包括的关系类型和客实体进行拼接,得到对应的实体关系为B司起诉A司。
本实施例中,通过设定语句和对应的第二标签方阵对实体关系检测模型进行训练,得到训练完毕后的第一模型;将第一语句输入至第一模型,得到第一语句对应的预测标签方阵;基于预测标签方阵确定出第一语句对应的实体关系,由此,电子设备可以基于该预测标签方阵表征的第一语句中每两个字对应的预测关系标签,确定出第一语句中包括的实体以及实体之间的关系;从而通过第一语句对应的实体关系准确地确定出风险事项,还可以通过第一语句对应的实体关系,确定出与实体关系相关的任一实体的风险事项,从而使得确定出的风险事项更全面,提高确定出的风险事项的准确度和全面性。
图8为本发明实施例提供的模型训练方法的实现流程示意图,流程的执行主体为终端、服务器等电子设备。需要说明的是,本实施例中训练实体关系检测模型对应的实施例中的电子设备,与检测实体关系的电子设备可以相同,也可以不同。如图8所示,模型训练方法包括:
步骤801:将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵,所述设定语句中包括至少两个实体,所述实体表征人名或企业名;所述第一标签方阵表征对应的设定语句中每两个字对应的预测关系标签;
步骤802:基于所述至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值,所述第二标签方阵表征对应的设定语句中每两个字对应的标定关系标签;
步骤803:基于所述损失值更新所述实体关系检测模型的模型参数。
步骤801至步骤803与图1对应的实施例中的步骤101至步骤103相同,实现过程请参照步骤101至步骤103中的相关描述,此处不赘述。
本发明实施例中,通过设定语句和对应的第二标签方阵对实体关系检测模型进行训练,得到训练完毕后的实体关系检测模型。由于,在将待检测语句输入至训练完毕的实体关系检测模型时,该实体关系检测模型可以准确地输出待检测语句对应的第一标签方阵,因此,电子设备可以基于第一标签方阵中待检测语句中每两个字对应的预测关系标签,准确地确定出待检测语句中包括的实体以及实体之间的关系,以便基于实体之间的关系确定风险事项,这样可以提高确定出的风险事项的准确度和全面性。
为实现本发明实施例的检测实体关系的方法,本发明实施例还提供了一种电子设备,如图9所示,该电子设备包括:
训练单元91,用于将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵,所述设定语句中包括至少两个实体,所述实体表征人名或企业名;所述第一标签方阵表征对应的设定语句中每两个字对应的预测关系标签;
计算单元92,用于基于所述至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值,所述第二标签方阵表征对应的设定语句中每两个字对应的标定关系标签;
更新单元93,用于基于所述损失值更新所述实体关系检测模型的模型参数;
输出单元94,用于输出训练后的实体关系检测模型,得到第一模型;
预测单元95,用于将第一语句输入至所述第一模型,得到所述第一语句对应的预测标签方阵;
检测单元96,用于基于所述预测标签方阵确定出所述第一语句对应的实体关系。
在一些实施例中,该电子设备还包括:
确定单元,用于基于设定语句对应的至少一个标定实体关系,确定出设定语句对应的第二标签方阵;其中,
所述标定实体关系表征对应的设定语句中每两个实体存在的设定关系。
在一些实施例中,所述确定单元具体用于:
构建以设定语句为边的第一方阵;所述第一方阵中每个字对应一行或一列;
确定出标定实体关系中的两个实体在所述第一方阵中共同对应的第一区域;
在确定出的第一区域,将对应的标定实体关系映射为第一关系标签和第二关系标签,得到设定语句对应的第二标签方阵;其中,
第一关系标签和对应的第二关系标签呈对角线分布于对应的第一区域;第一标签方阵中的第一位置对应设定关系标签,所述设定关系标签表征不存在设定关系;所述第一位置为除第一关系标签和第二关系标签之外的位置。
在一些实施例中,训练单元91具体用于:将设定语句中的每个字转换成向量,得到第一向量序列;
对所述第一向量序列中的每个向量进行至少一次编码,得到第二向量序列;
按照设定语句中字的排列顺序,将所述第二向量序列中每两个向量进行纵向拼接,得到第二方阵;
计算第一矩阵参数与所述第二方阵中每个元素之间的乘积,得到设定语句对应的第一标签方阵;其中,
所述第一矩阵参数为所述模型参数;所述第一矩阵参数的行数与所述第二方阵的行数相同,所述第一矩阵参数的列数与标定关系标签的类别总数相同。
在一些实施例中,计算单元92具体用于:
对设定语句对应的第一标签方阵进行归一化处理,得到第三标签方阵;
从对应的第二标签方阵中,确定出所述第三标签方阵中每个对应位置对应的标定关系标签;
将所述第三标签方阵中每个位置对应的向量与第一独热编码之间的损失值的均值,确定为所述实体关系检测模型的损失值;其中,
所述第一独热编码表征对应位置对应的标定关系标签对应的独热编码。
在一些实施例中,检测单元96具体用于:
从所述预测标签方阵中,确定出每个第一关系标签对应的第二关系标签;
基于第一关系标签、第一关系标签的第一坐标和对应的第二关系标签的第二坐标,确定出对应的实体关系;其中,
第一关系标签与对应的第二关系标签之间的距离最小,且第一关系标签的纵坐标小于对应的第二关系标签的纵坐标。
在一些实施例中,检测单元96具体用于:
基于第一关系标签的横坐标和对应的第二关系标签的横坐标,确定出主实体;
基于第一关系标签的纵坐标和对应的第二关系标签的纵坐标,确定出客实体;
将所述主实体、第一关系标签中包括的关系类型和所述客实体进行拼接,得到对应的实体关系。
实际应用时,训练单元91、计算单元92、更新单元93、输出单元94、预测单元95、检测单元96和确定单元可通过电子设备中的处理器,比如中央处理器(CPU,CentralProcessing Unit)、数字信号处理器(DSP,Digital Signal Processor)、微控制单元(MCU,Microcontroller Unit)或可编程门阵列(FPGA,Field-Programmable Gate Array)等实现。
需要说明的是:上述实施例提供的电子设备在进行检测实体关系时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的电子设备与检测实体关系的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
为实现本发明实施例的模型训练方法,本发明实施例还提供了一种电子设备,如图10所示,该电子设备包括:
训练单元101,用于将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵,所述设定语句中包括至少两个实体,所述实体表征人名或企业名;所述第一标签方阵表征对应的设定语句中每两个字对应的预测关系标签;
计算单元102,用于基于所述至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值,所述第二标签方阵表征对应的设定语句中每两个字对应的标定关系标签;
更新单元103,用于基于所述损失值更新所述实体关系检测模型的模型参数。
实际应用时,训练单元101、计算单元102和更新单元103可通过电子设备中的处理器,比如CPU、DSP、MCU或FPGA等实现。
需要说明的是:上述实施例提供的电子设备在训练实体关系检测模型时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的电子设备与模型训练方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
基于上述程序模块的硬件实现,且为了实现本发明实施例的方法,本发明实施例还提供了一种电子设备。图11为本发明实施例提供的电子设备的硬件组成结构示意图,如图11所示,电子设备11包括:
通信接口110,能够与其它设备比如网络设备等进行信息交互;
处理器120,与所述通信接口110连接,以实现与其它设备进行信息交互,用于运行计算机程序时,执行上述一个或多个技术方案提供的模型训练方法,或者检测实体关系的方法。而所述计算机程序存储在存储器130上。
当然,实际应用时,电子设备11中的各个组件通过总线***140耦合在一起。可理解,总线***140用于实现这些组件之间的连接通信。总线***140除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图11中将各种总线都标为总线***140。
本发明实施例中的存储器130用于存储各种类型的数据以支持电子设备11的操作。这些数据的示例包括:用于在电子设备11上操作的任何计算机程序。
可以理解,存储器130可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random AccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本发明实施例描述的存储器130旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器120中,或者由处理器120实现。处理器120可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器120中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器120可以是通用处理器、DSP,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器120可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器130,处理器120读取存储器130中的程序,结合其硬件完成前述方法的步骤。
可选地,所述处理器120执行所述程序时实现本发明实施例的各个方法中由终端实现的相应流程,为了简洁,在此不再赘述。
在示例性实施例中,本发明实施例还提供了一种存储介质,即计算机存储介质,具体为计算机可读存储介质,例如包括存储计算机程序的第一存储器130,上述计算机程序可由终端的处理器120执行,以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种检测实体关系的方法,其特征在于,包括:
将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵,所述设定语句中包括至少两个实体,所述实体表征人名或企业名;所述第一标签方阵表征对应的设定语句中每两个字对应的预测关系标签;
基于所述至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值,所述第二标签方阵表征对应的设定语句中每两个字对应的标定关系标签;
基于所述损失值更新所述实体关系检测模型的模型参数;
输出训练后的实体关系检测模型,得到第一模型;
将第一语句输入至所述第一模型,得到所述第一语句对应的预测标签方阵;
基于所述预测标签方阵确定出所述第一语句对应的实体关系。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于设定语句对应的至少一个标定实体关系,确定出设定语句对应的第二标签方阵;其中,
所述标定实体关系表征对应的设定语句中每两个实体存在的设定关系。
3.根据权利要求2所述的方法,其特征在于,所述基于设定语句对应的至少一个标定实体关系,确定出设定语句对应的第二标签方阵,包括:
构建以设定语句为边的第一方阵;所述第一方阵中每个字对应一行或一列;
确定出标定实体关系中的两个实体在所述第一方阵中共同对应的第一区域;
在确定出的第一区域,将对应的标定实体关系映射为第一关系标签和第二关系标签,得到设定语句对应的第二标签方阵;其中,
第一关系标签和对应的第二关系标签呈对角线分布于对应的第一区域;第一标签方阵中的第一位置对应设定关系标签,所述设定关系标签表征不存在设定关系;所述第一位置为除第一关系标签和第二关系标签之外的位置。
4.根据权利要求1所述的方法,其特征在于,所述将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵,包括:
将设定语句中的每个字转换成向量,得到第一向量序列;
对所述第一向量序列中的每个向量进行至少一次编码,得到第二向量序列;
按照设定语句中字的排列顺序,将所述第二向量序列中每两个向量进行纵向拼接,得到第二方阵;
计算第一矩阵参数与所述第二方阵中每个元素之间的乘积,得到设定语句对应的第一标签方阵;其中,
所述第一矩阵参数为所述模型参数;所述第一矩阵参数的行数与所述第二方阵的行数相同,所述第一矩阵参数的列数与标定关系标签的类别总数相同。
5.根据权利要求4所述的方法,所述基于所述至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值,包括:
对设定语句对应的第一标签方阵进行归一化处理,得到第三标签方阵;
从对应的第二标签方阵中,确定出所述第三标签方阵中每个对应位置对应的标定关系标签;
将所述第三标签方阵中每个位置对应的向量与第一独热编码之间的损失值的均值,确定为所述实体关系检测模型的损失值;其中,
所述第一独热编码表征对应位置对应的标定关系标签对应的独热编码。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述基于所述预测标签方阵确定出所述第一语句对应的实体关系,包括:
从所述预测标签方阵中,确定出每个第一关系标签对应的第二关系标签;
基于第一关系标签、第一关系标签的第一坐标和对应的第二关系标签的第二坐标,确定出对应的实体关系;其中,
第一关系标签与对应的第二关系标签之间的距离最小,且第一关系标签的纵坐标小于对应的第二关系标签的纵坐标。
7.根据权利要求6所述的方法,其特征在于,所述基于第一关系标签、第一关系标签的第一坐标和对应的第二关系标签的第二坐标,确定出对应的实体关系,包括:
基于第一关系标签的横坐标和对应的第二关系标签的横坐标,确定出主实体;
基于第一关系标签的纵坐标和对应的第二关系标签的纵坐标,确定出客实体;
将所述主实体、第一关系标签中包括的关系类型和所述客实体进行拼接,得到对应的实体关系。
8.一种模型训练方法,其特征在于,包括:
将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵,所述设定语句中包括至少两个实体,所述实体表征人名或企业名;所述第一标签方阵表征对应的设定语句中每两个字对应的预测关系标签;
基于所述至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值,所述第二标签方阵表征对应的设定语句中每两个字对应的标定关系标签;
基于所述损失值更新所述实体关系检测模型的模型参数。
9.一种电子设备,其特征在于,包括:
训练单元,用于将至少一条设定语句输入至实体关系检测模型,得到所述至少一条设定语句中每条设定语句对应的第一标签方阵,所述设定语句中包括至少两个实体,所述实体表征人名或企业名;所述第一标签方阵表征对应的设定语句中每两个字对应的预测关系标签;
计算单元,用于基于所述至少一条设定语句中每条设定语句对应的第一标签方阵和第二标签方阵,计算所述实体关系检测模型的损失值,所述第二标签方阵表征对应的设定语句中每两个字对应的标定关系标签;
更新单元,用于基于所述损失值更新所述实体关系检测模型的模型参数;
输出单元,用于输出训练后的实体关系检测模型,得到第一模型;
预测单元,用于将第一语句输入至所述第一模型,得到所述第一语句对应的预测标签方阵;
检测单元,用于基于所述预测标签方阵确定出所述第一语句对应的实体关系。
10.一种电子设备,其特征在于,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器用于运行所述计算机程序时,执行以下至少之一:
权利要求1至7任一项所述的方法的步骤;
权利要求8所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110676263.4A CN113326698B (zh) | 2021-06-18 | 2021-06-18 | 检测实体关系的方法、模型训练方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110676263.4A CN113326698B (zh) | 2021-06-18 | 2021-06-18 | 检测实体关系的方法、模型训练方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113326698A true CN113326698A (zh) | 2021-08-31 |
CN113326698B CN113326698B (zh) | 2023-05-09 |
Family
ID=77423791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110676263.4A Active CN113326698B (zh) | 2021-06-18 | 2021-06-18 | 检测实体关系的方法、模型训练方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113326698B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113761893A (zh) * | 2021-11-11 | 2021-12-07 | 深圳航天科创实业有限公司 | 一种基于模式预训练的关系抽取方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019100723A1 (zh) * | 2017-11-24 | 2019-05-31 | 华为技术有限公司 | 训练多标签分类模型的方法和装置 |
CN109902145A (zh) * | 2019-01-18 | 2019-06-18 | 中国科学院信息工程研究所 | 一种基于注意力机制的实体关系联合抽取方法和*** |
CN110825827A (zh) * | 2019-11-13 | 2020-02-21 | 北京明略软件***有限公司 | 一种实体关系识别模型训练、实体关系识别方法及装置 |
WO2020135337A1 (zh) * | 2018-12-29 | 2020-07-02 | 新华三大数据技术有限公司 | 实体语义关系分类 |
CN111950269A (zh) * | 2020-08-21 | 2020-11-17 | 清华大学 | 文本语句处理方法、装置、计算机设备和存储介质 |
WO2021051574A1 (zh) * | 2019-09-16 | 2021-03-25 | 平安科技(深圳)有限公司 | 英文文本序列标注方法、***及计算机设备 |
-
2021
- 2021-06-18 CN CN202110676263.4A patent/CN113326698B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019100723A1 (zh) * | 2017-11-24 | 2019-05-31 | 华为技术有限公司 | 训练多标签分类模型的方法和装置 |
WO2020135337A1 (zh) * | 2018-12-29 | 2020-07-02 | 新华三大数据技术有限公司 | 实体语义关系分类 |
CN109902145A (zh) * | 2019-01-18 | 2019-06-18 | 中国科学院信息工程研究所 | 一种基于注意力机制的实体关系联合抽取方法和*** |
WO2021051574A1 (zh) * | 2019-09-16 | 2021-03-25 | 平安科技(深圳)有限公司 | 英文文本序列标注方法、***及计算机设备 |
CN110825827A (zh) * | 2019-11-13 | 2020-02-21 | 北京明略软件***有限公司 | 一种实体关系识别模型训练、实体关系识别方法及装置 |
CN111950269A (zh) * | 2020-08-21 | 2020-11-17 | 清华大学 | 文本语句处理方法、装置、计算机设备和存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113761893A (zh) * | 2021-11-11 | 2021-12-07 | 深圳航天科创实业有限公司 | 一种基于模式预训练的关系抽取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113326698B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109145294B (zh) | 文本实体识别方法及装置、电子设备、存储介质 | |
CN111581229B (zh) | Sql语句的生成方法、装置、计算机设备及存储介质 | |
CN109858010B (zh) | 领域新词识别方法、装置、计算机设备和存储介质 | |
CN108388559B (zh) | 地理空间应用下的命名实体识别方法及***、计算机程序 | |
CN112711660B (zh) | 文本分类样本的构建方法和文本分类模型的训练方法 | |
CN112328761B (zh) | 一种意图标签设置方法、装置、计算机设备及存储介质 | |
CN112287069B (zh) | 基于语音语义的信息检索方法、装置及计算机设备 | |
WO2021114825A1 (zh) | 机构标准化方法、装置、电子设备及存储介质 | |
CN112949320B (zh) | 基于条件随机场的序列标注方法、装置、设备及介质 | |
US20220092328A1 (en) | Querying semantic data from unstructured documents | |
CN112035645A (zh) | 数据查询方法以及*** | |
CN111553556A (zh) | 业务数据分析方法、装置、计算机设备及存储介质 | |
CN109034199B (zh) | 数据处理方法及装置、存储介质和电子设备 | |
CN111259262A (zh) | 一种信息检索方法、装置、设备及介质 | |
CN117520590B (zh) | 海洋跨模态图文检索方法、***、设备及存储介质 | |
CN114444465A (zh) | 信息抽取方法、装置、设备及存储介质 | |
CN113326698B (zh) | 检测实体关系的方法、模型训练方法及电子设备 | |
CN112598039B (zh) | 获取nlp分类领域阳性样本方法及相关设备 | |
CN116503031B (zh) | 基于简历解析的人员相似性计算方法、装置、设备及介质 | |
CN116089586B (zh) | 基于文本的问题生成方法及问题生成模型的训练方法 | |
CN116383412B (zh) | 基于知识图谱的功能点扩增方法和*** | |
CN116796730A (zh) | 基于人工智能的文本纠错方法、装置、设备及存储介质 | |
CN117009516A (zh) | 换流站故障策略模型训练方法、推送方法及装置 | |
CN113779994B (zh) | 一种要素抽取方法、装置、计算机设备和存储介质 | |
CN110704650A (zh) | Ota图片标签的识别方法、电子设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |