CN116451691A - 实体层次信息增强原型表征的小样本命名实体识别方法 - Google Patents

实体层次信息增强原型表征的小样本命名实体识别方法 Download PDF

Info

Publication number
CN116451691A
CN116451691A CN202310297189.4A CN202310297189A CN116451691A CN 116451691 A CN116451691 A CN 116451691A CN 202310297189 A CN202310297189 A CN 202310297189A CN 116451691 A CN116451691 A CN 116451691A
Authority
CN
China
Prior art keywords
entity
prototype
characterization
level
span
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310297189.4A
Other languages
English (en)
Inventor
冯建周
徐甘霖
顾成汉
魏千越
王琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202310297189.4A priority Critical patent/CN116451691A/zh
Publication of CN116451691A publication Critical patent/CN116451691A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种实体层次信息增强原型表征的小样本命名实体识别方法，属于自然语言处理技术领域。主要包括两个模块：1）边界识别模块：将训练数据输入到边界识别模块，检测实体跨度在句子中的边界；2）实体分类模块：使用同一个编码器训练数据和实体层次的分支描述进行编码，得到分支描述表征和原始原型表征；通过三仿射注意力机制将实体层次的分支描述融入到原始原型表征中，得到层次指导的原型表征；使用层次‑示例对比学习方法，拉进与层次原型同类样本之间的距离，拉远与之不同类样本的距离。本发明方法通过挖掘文本描述的实体层次信息，向原型表征中引入实体层次信息能够有效增强实体类原型的表征能力，从而增强小样本命名实体识别能力。

Description

实体层次信息增强原型表征的小样本命名实体识别方法
技术领域
本发明属于自然语言处理技术领域，尤其涉及一种实体层次信息增强原型表征的小样本命名实体识别方法。
背景技术
命名实体识别旨在识别句子中的实体提及并归类到预定义的类，例如人物、组织、地点等。例如，对于给定而句子“A是一个篮球运动员，出生于上海”，命名实体识别的任务是识别出“A”是一个人物类型实体，“上海”是一个地点类型实体。命名实体识别是信息抽取、问答***、句法分析、机器翻译等下游任务的基础，在自然语言处理技术走向实用化的过程中占有重要地位。
自从大规模预训练语言模型出现以后,受监督的命名实体识别方法迅速发展。然而，在实际情况中，往往缺乏足够多的标注样本并且新的实体类型层出不穷。人工注释大量的数据需要消耗大量的人力物力。因此，越来越多的工作开始转向小样本命名实体识别的研究。基于度量学习的方法(例如，原型网络)已经在小样本学习领域开展了大量的研究并取得很大的成功。原型网络的核心思想是每个实体类学习一个原型表征，然后通过计算样本与类原型之间的距离，从而对样本实现归类。在命名实体识别任务中，字符级别的原型网络方法是将句子中不同类型的字符计算类原型并对其进行归类，然后提取字符的组合来抽取实体；跨度级别的原型网络方法则是将句子中而实体跨度按实体类别计算原型并进行归类，直接对实体跨度进行归类。越来越多的研究已经从前者向后者转移，这样就绕过了对标签过度依赖的问题。
发明内容
本发明的目的在于提供一种实体层次信息增强原型表征的小样本命名实体识别方法，从而开发小样本命名模型的性能，使用文本的层次描述信息增强原始原型的表征，减少单位样本标注成本以及减少人工标注数据量，提高命名实体识别准确度。
为实现上述目的，本发明采用的技术方案如下：
一种实体层次信息增强原型表征的小样本命名实体识别方法，主要包括边界识别模块和实体分类模块；边界识别模块：将训练数据输入到边界识别模块，检测实体跨度在句子中的边界；实体分类模块：使用同一个编码器训练数据和实体层次的分支描述进行编码，得到分支描述表征和原始原型表征，通过三仿射注意力机制将实体层次的分支描述融入到原始原型表征中，得到层次指导的原型表征，使用层次-示例对比学习方法，拉进与层次原型同类样本之间的距离，拉远与之不同类样本的距离。
一种实体层次信息增强原型表征的小样本命名实体识别方法，具体步骤如下：
S1、将训练集进行划分为查询集和支持集，用来训练边界识别模块，得到实体跨度的边界；
S2、将分支描述、查询集和支持集一同进行编码，获得查询集和支持集中样本的跨度表征，由支持集的样本的跨度表征计算实体类原型表征，由分支描述得到层次原型表征；
S3、采用改进的三仿射注意力机制，将分支描述中的实体层次知识融入到原始的原型表征中，得到实体层次指导的原型表征；
S4、为了减小实体和分支描述之间的表征差异，提出一种层次-示例对比学习算法，将层次原型作为监督信号，从而减少不必要噪声信息；
S5、计算查询集样本到实体层次指导的原型表征距离，使用交叉熵函数计算损失，与层次-示例对比学习损失联合训练实体识别模块；
S6、将训练集中的样本计算得到类别中心，使用训练好的边界识别模块抽取测试集中的实体跨度，使用实体识别模块计算实体跨度到类别中心的距离对实体跨度进行分类。
本发明技术方案的进一步改进在于：步骤S1所述的训练边界识别模块，得到实体跨度的边界的过程为：
所有数据集采用BIOES标注模式，“B”代表实体的开始字符，“I”表示中间字符，“E”表示结尾字符，“S”表示单个实体词，“O”表示非实体词；基于BERT-CRF模型，用序列标注的方法来执行实体跨度的边界检测，在执行过程中不关注实体类型，只提取实体的跨度。
本发明技术方案的进一步改进在于：步骤S2所述的将分支描述、查询集和支持集一同进行编码具体过程如下：
S2.1、对分支描述手工构建的模板如下：
[CLS][直接子类名称：直接子类描述]，包括[间接子类集合]，[SEP][提示后缀]；
S2.2、用同一个BERT模型对查询集、支持集和分支描述一同编码，分别得到查询集、支持集和分支描述的嵌入表征；然后将查询集和支持集的嵌入表征分别输入到一个BiLSTM层和Self-Attention层获得各自集合中的实体提及的跨度表征；将支持集中的同类实体样本的跨度表征求平均值得到该类的原型表征；
S2.3、由上一步骤方式分别得到查询集和支持集中样本的跨度表示和/>由支持集中的样本按照类别求平均得到原型表征：
本发明技术方案的进一步改进在于：为了使实体表征更好地融入上下文信息，实体表征问题被视为一个跨度标注问题，对于长度为n的句子X＝{w1，w2，...，wi，...，wn}和一个实体片段bi和ei分别表示实体片段的开始和结束下标，首先x输入到预训练语言模型PLM中得到向量嵌入表示，{c1，c2，...，ci，...，cn}＝PLM(X)，然后通过BiLSTM层和Self-Attention层获得跨度的上下文表征：
{u1，u2，...，ui，...，un}＝BiLSTM([c1，c2，...，ci，...，cn])
跨度边界表征通过拼接跨度开始和结束位置的嵌入获得：
将上下文表征和边界表征拼接得到最终的实体跨度表征：
本发明技术方案的进一步改进在于：步骤S3所述得到实体层次指导的原型表征步骤如下：
S3.1：对于给定张量和/>通过三仿射变换将其作为输入得到一个标量作为输出，首先应用多层感知机来转换这些张量，然后与常量1进行拼接，最后进行向量乘法输出结果，
z'＝MLPb(z)
TriAff(x，y，z，W)＝Q×1x′×2z×′2y′
其中，表示将tensor与常量1进行拼接，×n表示mode-n tensor向量乘法，MLP表示多层感知机，参数W用标准正太分布来初始化，原型表征Pi和体系原型表征Bi分别用做x和y，分支描述表征/>被用做z；
S3.2：不同于以往的三仿射使用方法，其融合文本内部句法和语法特征。本发明首次使用三仿射注意力机制引入外部知识作为特征，即将层次知识融入到原始的原型表征中，其步骤如下：
其中，Pi是对于给定实体类i的原型表征，Bi是实体类i的层次原型，是对应的分支描述，d是隐藏状态的大小，/>是标准化的注意力权重，n是分支描述的个数，/>是层次信息增强原型表征。
本发明技术方案的进一步改进在于：步骤S4所述的使用层次-示例对比学习算法减小实体和分支描述之间的表征差异以及不必要的噪声信息具体过程如下：
不同于以往的受监督对比学习方式，考虑同类与不同类样本之间的差异性。本发明提出的使用层次-示例对比学习算法将层次原型作为监督信号，对于类i的层次原型Bi来说，支持集中的同类实体样本是正样本，不同类样本是负样本，使用向量点积计算层次原型和支持集之间的相似度，然后用交叉熵损失函数来计算损失，公式如下：
其中，是支持集中与Bi同类的第k个样本，/>是支持集中与Bi的不同类j的第k个样本，N是实体类别数量，K是每个实体类别包含的实体样本数。
本发明技术方案的进一步改进在于：步骤S5所述的计算查询集样本到实体层次指导的原型表征距离，使用交叉熵函数计算损失，采用层次-示例对比学习机制计算层次原型与支持集样本中的距离损失，两部分损失共同训练实体识别模块的公式如下：
其中，qj是查询集中的第j个样例，N实体类别数量，G是一个批次中查询样例的数量，是交叉熵损失函数，/>是层次原型与支持集样本中的距离损失，λ是平衡/>和的参数，/>是最终损失。
由于采用了上述技术方案，本发明取得的有益效果如下：
本发明提供的一种实体层次信息增强原型表征的小样本命名实体识别方法，合理地使用文本形式描述实体层次信息，通过最先进的三仿射注意力机制，将层次信息融入到原始原型表征中，获得实体层次信息指导的原型表征；利用层次原型作为监督信号，减少分支描述与实体表征的差异，避免向原始原型中引入不必要的噪声信息。这样，能够减少单位样本标注成本并减少人工标注数据量，提高命名实体识别准确度。
附图说明
图1为本发明一种实体层次信息增强原型表征的小样本命名实体识别方法的框架图；
图2为本发明所述的模型网络结构示意图。
具体实施方式
为了更加清晰明确地说明本发明的技术方案和优势，下面将详细阐述本发明的实施方式，并在附图中展示实施方式的示例。需要明确的是，附图中描述的实施方式仅为示例，旨在说明本发明的实施方式，而不应被视为对本发明的限制。
图1为本发明提供的一种实体层次信息增强原型表征的小样本命名实体识别方法流程框架图，所述方法包括：
S1、将训练集进行划分为查询集和支持集，用来训练边界识别模块，得到实体跨度的边界；
数据集采用BIOES标注模式，“B”代表实体的开始字符，“I”表示中间字符，“O”表示非实体词，“E”表示结尾字符，“S”表示单个实体词，相比于IO和BIO注释模式，使用BIOES注释模式，能够提供更准确的边界信息；
对于给定的句子序列，BERT-CRF模型输出一组实体跨度下标来指示实体跨度边界，在执行过程中不关注实体类型，只提取实体的跨度；
S2、将分支描述、查询集和支持集一同进行编码，获得查询集和支持集中样本的跨度表征，由支持集中样本的跨度表征计算实体类原型表征，由分支描述得到层次原型表征；
S2.1、对分支描述手工构建的模板如下：
[CLS][直接子类名称:直接子类描述]，包括[间接子类集合]，[SEP][提示后缀]。
需要说明的是提示后缀的具体形式——“直接子类名属于父类名”。例如:父类“位置”的直接子类“道路”完整的分支描述形式是“[CLS]道路：道路是一种运输交通的线性方式，主要有改善的路面供车辆和行人使用，包括街道、高速公路。[SEP]道路属于位置。”其中，直接子类“道路”的描述使得分支描述更加语言化。不仅如此，这种方式完整表达了实体层次中的语义相关性。
分支描述用对应的BERT输出的CLS分词隐藏状态表示，d是隐藏状态的大小，N是实体别类的数量。每个父类的所属的分支描述数量并不是固定的，对于实体类i的所有分支描述，计算平均值得到层次原型Bi作为监督信号。
S2.2、如图2所示，用同一个BERT模型对查询集样本、支持集样本和分支描述一同编码，分别得到查询集样本、支持集样本和分支描述的嵌入表征，有助于层次信息被注入到编码器中，增加更多的信息交互。为了使实体表征更好地融入上下文信息，实体表征问题被视为一个跨度标注问题。对于长度为n的句子X＝{w1，w2，...，wi，...，wn}和一个实体片段bi和ei分别表示实体片段的开始和结束下标。首先x输入到预训练语言模型PLM中得到向量嵌入表示，{c1，c2，...，ci，...，cn}＝PLM(X)，然后通过BiLSTM层和Self-Attention层获得跨度的上下文表征：
{u1，u2，...，ui，...，un}＝BiLSTM([c1，c2，...，ci，...，cn])
跨度边界表征通过拼接跨度开始和结束位置的嵌入获得：
将上下文表征和边界表征拼接得到最终的实体跨度表征：
S2.3、由上一步骤方式分别得到查询集和支持集中样本的跨度表示和/>由支持集中的样本按照类别求平均得到原型表征：
S3、采用三仿射注意力机制，将分支描述中的实体层次知识融入到原始的原型表征中，得到实体层次指导的原型表征；
在本发明实施例中，我们充分考虑了全局层次特征和局部分支特征，使用三仿射注意力机制将分类层次结构信息融入原型表征中，为原型提供细粒度实体层次信息生成信息增强的原型表征。
S3.1、对于给定张量和/>通过三仿射变换将其作为输入得到一个标量作为输出。更具体地说，首先应用多层感知机来转换这些张量，然后与常量1进行拼接，最后进行向量乘法输出结果。
z′＝MLPb(z)
TriAff(x，y，z，W)＝W×1x′×2z′×3y′
其中，表示将tensor与常量1进行拼接，×n表示mode-n tensor向量乘法，MLP表示多层感知机，参数W用标准正太分布来初始化。在本发明中，原型表征Pi和体系原型表征Bi分别用做x和y，分支描述表征/>被用做z。
S3.2、不同于以往的三仿射使用方法，其融合文本内部句法和语法特征。本发明首次使用三仿射注意力机制引入外部知识作为特征，即将层次知识融入到原始的原型表征中，其步骤如下：
其中，Pi是对于给定实体类i的原型表征，Bi是实体类i的层次原型，是对应的分支描述，d是隐藏状态的大小，/>是标准化的注意力权重，n是分支描述的个数，/>是层次信息增强原型表征。在三仿射注意力机制中，原型表征Pi，体系原型表征Bi和参数W充当attention queries，/>被视作keys和values。
S4、使用层次-示例对比学习算法，将层次原型作为监督信号，减小实体和分支描述之间的表征差异，减少不必要噪声信息；
本发明使用一种层次-示例对比学习机制，利用层次原型Bi和支持集来缩小分支描述和实体表征之间的语义差异进而降低噪声信息，从而层次信息更有效地融入到原型中。不同于以往的受监督对比学习方式，考虑同类与不同类样本之间的差异性。本发明提出的使用层次-示例对比学习算法将层次原型作为监督信号，对于类i的层次原型Bi来说，支持集中的同类样本是正样本，不同类样本是负样本，使用向量点积计算层次原型和支持集之间的相似度，然后用交叉熵损失函数来计算损失，公式如下：
其中，是支持集中与Bi同类的第k个样本，/>是支持集中与Bi的不同类j的第k个样本，N是实体类别数量，K是每个实体类别包含的实体样本数。层次原型Bi作为一种监督信号，间接地拉进了同类集的距离并拉远了不同类集的距离，进而获得了可区分的和有差异的实体表征。
S5、计算查询集样本到实体层次指导的原型表征距离，使用交叉熵函数计算损失，与层次-示例对比学习损失联合训练实体识别模块；
在本发明实施例中，计算查询集样本到实体层次指导的原型表征距离，使用交叉熵函数计算损失，采用S4中的层次-示例对比学习计算损失，两部分损失共同训练实体识别模块的公式如下：
其中，qj是查询集中的第j个样本，N实体类别数量，G是一个批次中查询样例的数量，是交叉熵损失函数，/>是层次原型与支持集样本中的距离损失，λ是平衡/>和的参数，/>是最终损失。
S6、将训练集中的样本计算得到类别中心，使用训练好的边界识别模块抽取测试集中的实体跨度，使用实体识别模块计算实体跨度到类别中心的距离对实体跨度进行分类。
最后应说明的是：以上实施例只是用来说明本发明的技术方案，并不对其进行限制。尽管参照前述实施例已经详细说明了本发明的技术方案，本领域的普通技术人员可以理解：在相应技术方案的本质不脱离本发明各实施例技术方案的精神和范围的情况下，可以对上述各实施例进行多种变换，修改、变形或者同等替换其中部分技术特征。

Claims (8)

1.一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于：主要包括边界识别模块和实体分类模块；边界识别模块：将训练数据输入到边界识别模块，检测实体跨度在句子中的边界；实体分类模块：使用同一个编码器训练数据和实体层次的分支描述进行编码，得到分支描述表征和原始原型表征，通过三仿射注意力机制将实体层次的分支描述融入到原始原型表征中，得到层次指导的原型表征，使用层次-示例对比学习方法，拉进与层次原型同类样本之间的距离，拉远与之不同类样本的距离。
2.根据权利要求1所述的一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于具体步骤如下：
S1、将训练集进行划分为查询集和支持集，用来训练边界识别模块，得到实体跨度的边界；
S2、将分支描述、查询集和支持集一同进行编码，获得查询集和支持集中样本的跨度表征，由支持集的样本的跨度表征计算实体类原型表征，由分支描述得到层次原型表征；
S3、采用改进的三仿射注意力机制，将分支描述中的实体层次知识融入到原始的原型表征中，得到实体层次指导的原型表征；
S4、为了减小实体和分支描述之间的表征差异，提出一种层次-示例对比学习算法，将层次原型作为监督信号，从而减少不必要噪声信息；
S5、计算查询集样本到实体层次指导的原型表征距离，使用交叉熵函数计算损失，与层次-示例对比学习损失联合训练实体识别模块；
S6、将训练集中的样本计算得到类别中心，使用训练好的边界识别模块抽取测试集中的实体跨度，使用实体识别模块计算实体跨度到类别中心的距离对实体跨度进行分类。
3.根据权利要求2所述的一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于：步骤S1所述的训练边界识别模块，得到实体跨度的边界的过程为：所有数据集采用BIOES标注模式，“B”代表实体的开始字符，“I”表示中间字符，“E”表示结尾字符，“S”表示单个实体词，“O”表示非实体词；基于BERT-CRF模型，用序列标注的方法来执行实体跨度的边界检测，在执行过程中不关注实体类型，只提取实体的跨度。
4.根据权利要求2所述的一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于：步骤S2所述的将分支描述、查询集和支持集一同进行编码具体过程如下：
S2.1、对分支描述手工构建的模板如下：
[CLS][直接子类名称：直接子类描述]，包括[间接子类集合]，[SEP][提示后缀]；
S2.2、用同一个BERT模型对查询集、支持集和分支描述一同编码，分别得到查询集、支持集和分支描述的嵌入表征；然后将查询集和支持集的嵌入表征分别输入到一个BiLSTM层和Self-Attention层获得各自集合中的实体提及的跨度表征；将支持集中的同类实体样本的跨度表征求平均值得到该类的原型表征；
S2.3、由上一步骤方式分别得到查询集和支持集中样本的跨度表示和/>由支持集中的样本按照类别求平均得到原型表征：
5.根据权利要求4所述的一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于：为了使实体表征更好地融入上下文信息，实体表征问题被视为一个跨度标注问题，对于长度为n的句子X＝{w1，w2，...，wi，...，wn}和一个实体片段bi和ei分别表示实体片段的开始和结束下标，首先X输入到预训练语言模型PLM中得到向量嵌入表示，{c1，c2，...，ci，...，cn}＝PLM(X)，然后通过BiLSTM层和Self-Attention层获得跨度的上下文表征：
{u1，u2，...，ui，...，un}＝BiLSTM([c1，c2，...，ci，...，cn])
跨度边界表征通过拼接跨度开始和结束位置的嵌入获得：
将上下文表征和边界表征拼接得到最终的实体跨度表征：
6.根据权利要求2所述的一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于：步骤S3所述得到实体层次指导的原型表征步骤如下：
S3.1：对于给定张量和/>通过三仿射变换将其作为输入得到一个标量作为输出，首先应用多层感知机来转换这些张量，然后与常量1进行拼接，最后进行向量乘法输出结果，
z′＝MLPb(z)
其中，[：]表示将tensor与常量1进行拼接，×n表示mode-n tensor向量乘法，MLP表示多层感知机，参数用标准正太分布来初始化，原型表征Pi和体系原型表征Bi分别用做x和y，分支描述表征/>被用做z；
S3.2：使用三仿射注意力机制生成层次实体层次知识融入到原始的原型表征中的步骤如下：
其中，Pi是对于给定实体类i的原型表征，Bi是实体类i的层次原型，是对应的分支描述，d是隐藏状态的大小，/>是标准化的注意力权重，n是分支描述的个数，/>是层次信息增强原型表征。
7.根据权利要求2所述的一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于：步骤S4所述的使用层次-示例对比学习算法减小实体和分支描述之间的表征差异以及不必要的噪声信息具体过程如下：
对于类i的层次原型Bi来说，支持集中的同类实体样本是正样本，不同类样本是负样本，使用向量点积计算层次原型和支持集之间的相似度，然后用交叉熵损失函数来计算损失，公式如下：
其中，是支持集中与Bi同类的第k个样本，/>是支持集中与Bi的不同类j的第k个样本，N是实体类别数量，K是每个实体类别包含的实体样本数。
8.根据权利要求2所述的一种实体层次信息增强原型表征的小样本命名实体识别方法，其特征在于：步骤S5所述的计算查询集样本到实体层次指导的原型表征距离，使用交叉熵函数计算损失，采用层次-示例对比学习机制计算层次原型与支持集样本中的距离损失，两部分损失共同训练实体识别模块的公式如下：
其中，qj是查询集中的第j个样例，N实体类别数量，G是一个批次中查询样例的数量，是交叉熵损失函数，/>是层次原型与支持集样本中的距离损失，λ是平衡/>和/>的参数，/>是最终损失。
CN202310297189.4A 2023-03-24 2023-03-24 实体层次信息增强原型表征的小样本命名实体识别方法 Pending CN116451691A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310297189.4A CN116451691A (zh) 2023-03-24 2023-03-24 实体层次信息增强原型表征的小样本命名实体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310297189.4A CN116451691A (zh) 2023-03-24 2023-03-24 实体层次信息增强原型表征的小样本命名实体识别方法

Publications (1)

Publication Number Publication Date
CN116451691A true CN116451691A (zh) 2023-07-18

Family

ID=87131267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310297189.4A Pending CN116451691A (zh) 2023-03-24 2023-03-24 实体层次信息增强原型表征的小样本命名实体识别方法

Country Status (1)

Country Link
CN (1) CN116451691A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116644755A (zh) * 2023-07-27 2023-08-25 中国科学技术大学 基于多任务学习的少样本命名实体识别方法、装置及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116644755A (zh) * 2023-07-27 2023-08-25 中国科学技术大学 基于多任务学习的少样本命名实体识别方法、装置及介质
CN116644755B (zh) * 2023-07-27 2023-11-17 中国科学技术大学 基于多任务学习的少样本命名实体识别方法、装置及介质

Similar Documents

Publication Publication Date Title
CN110134757B (zh) 一种基于多头注意力机制的事件论元角色抽取方法
CN108897857B (zh) 面向领域的中文文本主题句生成方法
CN108829722B (zh) 一种远程监督的Dual-Attention关系分类方法及***
CN111931506B (zh) 一种基于图信息增强的实体关系抽取方法
CN112633364B (zh) 一种基于Transformer-ESIM注意力机制的多模态情绪识别方法
CN110083831A (zh) 一种基于BERT-BiGRU-CRF的中文命名实体识别方法
CN111382575A (zh) 一种基于联合标注和实体语义信息的事件抽取方法
CN113642330A (zh) 基于目录主题分类的轨道交通规范实体识别方法
CN113468888A (zh) 基于神经网络的实体关系联合抽取方法与装置
CN113191148B (zh) 一种基于半监督学习和聚类的轨道交通实体识别方法
CN112749562A (zh) 命名实体识别方法、装置、存储介质及电子设备
CN116416480B (zh) 一种基于多模板提示学习的视觉分类方法和装置
CN111967267B (zh) 一种基于XLNet的新闻文本地域提取的方法及***
CN114548099B (zh) 基于多任务框架的方面词和方面类别联合抽取和检测方法
CN113515632A (zh) 基于图路径知识萃取的文本分类方法
CN116661805B (zh) 代码表示的生成方法和装置、存储介质及电子设备
CN116451691A (zh) 实体层次信息增强原型表征的小样本命名实体识别方法
CN112818698A (zh) 一种基于双通道模型的细粒度的用户评论情感分析方法
CN116432645A (zh) 一种基于预训练模型的交通事故命名实体识别方法
CN116029305A (zh) 一种基于多任务学习的中文属性级情感分析方法、***、设备及介质
CN112905793B (zh) 一种基于Bilstm+Attention文本分类的案例推荐方法及***
CN113642862A (zh) 基于bert-mbigru-crf模型的电网调度指令命名实体识别方法及***
CN116187304A (zh) 一种基于改进bert的自动文本纠错算法及***
CN116304064A (zh) 一种基于抽取式的文本分类方法
CN115859989A (zh) 基于远程监督的实体识别方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination