CN114398881A - 基于图神经网络的交易信息识别方法、***及介质 - Google Patents

基于图神经网络的交易信息识别方法、***及介质 Download PDF

Info

Publication number
CN114398881A
CN114398881A CN202210002249.0A CN202210002249A CN114398881A CN 114398881 A CN114398881 A CN 114398881A CN 202210002249 A CN202210002249 A CN 202210002249A CN 114398881 A CN114398881 A CN 114398881A
Authority
CN
China
Prior art keywords
entity
graph
vector
feature
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210002249.0A
Other languages
English (en)
Inventor
甘伟超
林远平
喻广博
邹鸿岳
周靖宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuaique Information Technology Co ltd
Original Assignee
Beijing Kuaique Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuaique Information Technology Co ltd filed Critical Beijing Kuaique Information Technology Co ltd
Priority to CN202210002249.0A priority Critical patent/CN114398881A/zh
Publication of CN114398881A publication Critical patent/CN114398881A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于图神经网络的交易信息识别方法、***及介质，通过获取待识别文本；对待识别文本进行特征提取和标签预测，得到待识别文本中实体要素的标注结果；根据实体要素的标注结果构建相应的实体关系图；通过图注意力网络对实体关系图进行特征学习后输出实体节点特征向量；对实体节点特征向量进行特征多分类，输出每个实体节点的交易要素类别。通过构建实体关系图来对实体要素之间的关系进行特征学习与分类，识别得到每个实体的交易机构类别，能更加准确地结合实体要素的文本特征和关系特征进行分类判断，有效提高了现券交易中信息分类识别的效率和准确性。

Description

基于图神经网络的交易信息识别方法、***及介质
技术领域
本发明涉及计算机技术领域，尤其涉及基于图神经网络的交易信息识别方法、***及介质。
背景技术
现券交易是金融交易市场最活跃的一种交易形式。在现券交易中，存在大量的非结构的交易对话文本信息，需要将这种非结构化的文本整理成标准的结构化订单信息。例如现券交易对话文本为“3Y 1000001.IB 3.5％2kw+1XX机构YY基金出给ZZ机构”，其意思是“100001.IB的债券，剩余3年的期限，以3.5％的利率，2千万的交易量”进行交易，交易方式是从“XX机构的YY基金账户”出给“ZZ机构”。
当交易量大的时候，交易员将面临巨大的工作强度，而现券交易文本结构化任务就是自动将这类债券成交无结构文本信息处理成结构化信息，而无需交易员手动录入，在此过程中，交易信息中的买卖方，对手方，桥等核心要素的识别和提取是非常困难的，如何正确识别和提取对手方是结构化任务是否成功的关键。
现有的识别技术基本都采用基于深度学习模型的自然语言处理技术实现对文本的理解识别，之后采用逻辑索引的方式对每个文本提取其中的表达结构进行交易元素的单独判断，这种方式依赖于提前构建的规则库，不仅人力资源消耗大且覆盖率低，降低了交易信息识别的效率和准确性。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供基于图神经网络的交易信息识别方法、***及介质，旨在提高交易信息识别的准确性和效率。
本发明的技术方案如下：
一种基于图神经网络的交易信息识别方法，包括：
获取待识别文本；
对所述待识别文本进行特征提取和标签预测，得到所述待识别文本中实体要素的标注结果；
根据所述实体要素的标注结果构建相应的实体关系图；
通过图注意力网络对所述实体关系图进行特征学习后输出实体节点特征向量；
对所述实体节点特征向量进行特征多分类，输出每个实体节点的交易要素类别。
在一个实施例中，所述对所述待识别文本进行特征提取和标签预测，得到所述待识别文本中实体要素的标注结果，包括：
对所述待识别文本分别进行字符编码和词汇编码，得到字符向量编码和词向量编码；
对所述字符向量编码进行特征提取后输出每个字符的语义特征向量；
通过图神经网络对所述词向量编码进行图特征提取后输出各个词汇的图关系特征向量；
将所述语义特征向量和所述图关系特征向量进行特征融合，输出融合特征向量；
对所述融合特征向量中的实体要素进行标签预测，得到所述实体要素的标注结果。
在一个实施例中，所述通过图神经网络对所述词向量编码进行图特征提取后输出各个词汇的图关系特征向量，包括：
根据所述词向量编码中各个词汇节点的位置和连接关系构建相应的词汇关系图；
将各个词汇作为对应词汇节点的初始特征向量输入至图神经网络中，通过所述图神经网络对所述词汇关系图进行特征学习后输出相应词汇的图关系特征向量。
在一个实施例中，所述将所述语义特征向量和所述图关系特征向量进行特征融合，输出融合特征向量，包括：
对所述语义特征向量和所述图关系特征向量进行拼接，得到拼接向量G，
Figure BDA0003455234850000031
其中HLSTM为所述语义特征向量，
Figure BDA0003455234850000032
为第m个词汇节点的图关系特征向量；
通过预设的权重矩阵对所述拼接向量进行全连接映射，并通过多头注意力机制计算不同特征之间的注意力关系特征以进行特征融合，得到特征融合后的融合特征向量R，其中R＝MultiHeadAttention(Q，K，V)，Q＝GWq，K＝GWk，V＝GWv，Q为查询矩阵，K为键矩阵，V为值矩阵，Wq，Wk，Wv权重矩阵。
在一个实施例中，所述对所述待识别文本分别进行字符编码和词汇编码，得到字符向量编码和词向量编码，包括：
通过预训练模型对所述待识别文本进行逐个字符切分，得到相应的字符向量编码；
通过预设分词方法对所述待识别文本进行词汇分割，并对各个词汇进行预训练编码后得到相应的词向量编码。
在一个实施例中，所述根据所述实体要素的标注结果构建相应的实体关系图，包括：
对所述待识别文本进行换行分割，得到若干行子文本；
根据所述实体要素的标注结果对每一行子文本中的实体要素进行排序，得到每个实体要素的二维位置信息；
根据预设聚类算法和所述二维位置信息确认每两个实体要素之间的关联关系，并根据所述关联关系构建相应的实体关系图。
在一个实施例中，所述根据预设聚类算法和所述二维位置信息确认每两个实体要素之间的关联关系，并根据所述关联关系构建相应的实体关系图，包括：
根据所述二维位置信息计算每两个实体要素之间的空间距离；
通过K临近算法对所述每两个实体要素之间的空间距离进行聚类处理，得到各个实体要素之间的关联关系；
根据各个实体要素之间的关联关系构建相应的实体关系图。
在一个实施例中，所述通过图注意力网络对所述实体图结构进行特征学习后输出实体节点特征向量，具体包括：
通过公式
Figure BDA0003455234850000041
对所述实体关系图进行特征学习，输出所述实体节点特征向量，其中
Figure BDA0003455234850000042
为实体节点i第l+1层的输出特征，
Figure BDA0003455234850000043
表示实体节点i第l层的输入特征，||表示拼接操作，σ表示激活函数，vj∈N(vi)表示所有属于实体节点vi的近邻域N(vi)内的领域节点；
Figure BDA0003455234850000044
表示第k个注意力机制下实体节点i和实体节点j之间的注意力权重；
Figure BDA0003455234850000045
表示第k个注意力机制下输入特征的线性变换权重矩阵，其中，
Figure BDA0003455234850000051
为F×F的矩阵空间，F为空间维度，K为图注意力网络中注意力机制的数目。
一种基于图神经网络的交易信息识别***，所述***包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于图神经网络的交易信息识别方法。
一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于图神经网络的交易信息识别方法。
有益效果：本发明公开了基于图神经网络的交易信息识别方法、***及介质，相比于现有技术，本发明实施例通过构建实体关系图来对实体要素之间的关系进行特征学习与分类，识别得到每个实体的交易机构类别，能更加准确地结合实体要素的文本特征和关系特征进行分类判断，有效提高了现券交易中信息分类识别的效率和准确性。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明实施例提供的基于图神经网络的交易信息识别方法的一个流程图；
图2为本发明实施例提供的基于图神经网络的交易信息识别方法中的一个文本切割示意图；
图3为本发明实施例提供的基于图神经网络的交易信息识别方法中的一个实体关系图；
图4为本发明实施例提供的基于图神经网络的交易信息识别方法中一个模型框架示意图；
图5为本发明实施例提供的基于图神经网络的交易信息识别装置的功能模块示意图；
图6为本发明实施例提供的基于图神经网络的交易信息识别***的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下结合附图对本发明实施例进行介绍。
请参阅图1，图1为本发明提供的基于图神经网络的交易信息识别方法一个实施例的流程图。本实施例提供的基于图神经网络的交易信息识别方法适用于对交易过程中的信息进行自动识别的情况。如图1所示，该方法具体包括如下步骤：
S100、获取待识别文本。
本实施例中，待识别文本可以是现券交易过程中的交易对话文本信息，例如不同交易机构之间发送的订单信息、咨询信息等等，通过获取交易对话中的文本信息作为待识别文本来进行自动的结构化处理，无需交易员手动识别和录入信息，以提高交易信息识别的处理效率。当然，在其他实施例中，待识别文本不仅限于现券交易中的文本信息，也可以是其他交易中的文本信息，或者对交易语音信息进行识别转换得到的文本信息等等，本实施例对此不作限定。
S200、对所述待识别文本进行特征提取和标签预测，得到所述待识别文本中实体要素的标注结果。
本实施例中，通过预先训练完成的识别模型对获取到的待识别文本进行特征提取，得到所述待识别文本中包含的若干个实体要素，具体的实体要素可以包括机构名称、交易方向、交易期限、交易量、交易方式、交易产品名称等等，并且进一步对提取到的实体要素特征进行标签预测，从而得到各个实体要素的标注结果以区分不同实体要素的类别，便于后续对不同类别的实体要素在待识别文本中的位置、排列顺序等信息进行进一步的识别处理，为实现准确的交易信息识别提供准确的特征数据。
在一个实施例中，步骤S200包括：
对所述待识别文本分别进行字符编码和词汇编码，得到字符向量编码和词向量编码；
对所述字符向量编码进行特征提取后输出每个字符的语义特征向量；
通过图神经网络对所述词向量编码进行图特征提取后输出各个词汇的图关系特征向量；
将所述语义特征向量和所述图关系特征向量进行特征融合，输出融合特征向量；
对所述融合特征向量中的实体要素进行标签预测，得到所述实体要素的标注结果。
本实施例中，在进行特征提取时分为两部分，一部分为对待识别文本进行字符级别的编码，得到字符向量编码，另一部分为对待识别文本进行词汇级别的编码，得到词向量编码，具体来说：
对待识别文本进行字符编码时，通过预训练模型对所述待识别文本进行逐个字符切分，得到相应的字符向量编码，本实施例具体采用基于BERT的预训练模型进行字符编码，BERT是一个预训练的语言表征模型，其强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的MLM(maskedlanguage model，掩蔽语言模型)，以生成深度的双向语言表征，即对于输入文本按一定的概率随机屏蔽掉文本内一些词汇，然后让Bert模型去预测这些被屏蔽的词汇从而进行预训练，获得每个字符的向量编码，当然在其它实施例中还可采用例如RoBerta、Ernie等预训练模型进行字符编码，本实施例对此不作限定。
对待识别文本进行词汇编码时，通过预设分词方法对所述待识别文本进行词汇分割，并对各个词汇进行预训练编码后得到相应的词向量编码，本实施例具体采用经过金融词汇优化后的Jieba分词组件对待识别文本进行词汇分割，Jieba分词是一个中文分词组件，可以实现对中文文本进行分词、词性标注、关键词抽取等功能，并且支持自定义词典，因此本实施例中预先在Jieba分词组件的词库中额外添加金融百科的词汇，以对原生的Jieba分词进行优化，从而克服原生Jieba技术在金融专业领域的不足，提高在交易信息识别中的文本分词准确性，之后采用Word2vec预训练方法对每个词汇进行预训练编码，形成相应的词向量编码，本实施例中采用训练速度快的Word2vec方法进行预训练编码以提高编码效率，当然在其它实施例中也可采用例如glove这种考虑全局信息的技术，但它的矩阵分解同时也带来了更大的计算负担，具体可根据实际编码速度与准确性的需求进行选择，本实施例对此不作限定。
在分别得到字符向量编码和词向量编码后则分别进行两部分的特征学习与提取，一部分是对字符向量编码的特征学习，具体可通过LSTM(Long Short-Term Memory，长短期记忆)网络结构对字符编码后的序列文本的特征进行学习，以提取得到每个字符的语义特征向量，具体将BERT预训练模型获取的字符向量编码作为LSTM网络的输入，采用N维的LSTM网络结构进行特征学习和提取，输出N维的语义特征向量HLSTM；另一部分是对词向量编码的特征学习，具体是通过图神经网络来提取各个词汇之间的图关系特征，由于在交易信息识别中需要对实体进行序列标注以及对实体关系进行抽取，通过两部分的特征学习与提取，使得在序列标注与实体关系抽取时，既能通过序列文本的特征学习以提高实体边界的清晰度，确保标注准确性，也能通过各个词汇之间拓扑结构的特征学习来更好地捕捉实体之间的关系，从而通过两部分的特征学习与提取来提高交易信息识别的准确率。
在一个实施例中，所述通过图神经网络对所述词向量编码进行图特征提取后输出各个词汇的图关系特征向量，包括：
根据所述词向量编码中各个词汇节点的位置和连接关系构建相应的词汇关系图；
将各个词汇作为对应词汇节点的初始特征向量输入至图神经网络中，通过所述图神经网络对所述词汇关系图进行特征学习后输出相应词汇的图关系特征向量。
本实施例中，在对词向量编码进行特征学习时，首先根据所述词向量编码中各个词汇节点的位置和连接关系构建相应的词汇关系图，具体在得到分词结果后，将词汇的开始-结束位置作为连接点构建得到词汇关系图，并构建词汇关系图的邻域矩阵A，具体来说，若两个词汇节点m与n相连则赋值为1，即A[m，n]＝1，若两个词汇节点m与n之间无连接则赋值为0，即A[m，n]＝0。从而得到词汇关系图的邻域矩阵以表征各个词汇节点之间的连接关系，之后将每个词汇作为词汇关系图中对应词汇节点的初始特征向量，通过一层GCN(Graphconvolution Network，图神经网络)对词汇关系图的结构进行特征学习，进而输出相应词汇的图关系特征向量。具体GCN的公式为
Figure BDA0003455234850000101
其中，
Figure BDA0003455234850000102
I为单位矩阵；
Figure BDA0003455234850000103
为
Figure BDA0003455234850000104
的度矩阵，它是一个对角矩阵，对角上的元素为
Figure BDA0003455234850000105
中各个顶点的度(也就是各个顶点与其他顶点的连接数)；Hl为第l层的特征；f为激活函数，本实施例中以词汇节点的词汇向量编码作为初始特征向量EGCN(即GCN的输入)，采用公式
Figure BDA0003455234850000106
融合词汇节点特征和连接特征，从而获取融合了词汇连接特征和字符特征的新的图关系特征向量HGCN，HGCN即为GCN的输出，实现对表征了不同实体之间拓扑关系的图网络结构的学习，为后续实体关系抽取提供准确的图关系特征，确保实体关系抽取的可靠性。
在提取得到字符级别的上下文特征，以及词汇级别的拓扑关系特征后，则进一步进行特征融合以综合利用两部分的特征来实现特征互补，相对于单一特征而言，基于融合处理进行交易信息识别将具有更好的鲁棒性。
在一个实施例中，将所述语义特征向量和所述图关系特征向量进行特征融合，输出融合特征向量，包括：
对所述语义特征向量和所述图关系特征向量进行拼接，得到拼接向量G，
Figure BDA0003455234850000107
其中HLSTM为所述语义特征向量，
Figure BDA0003455234850000108
为第m个词汇节点的图关系特征向量；
通过预设的权重矩阵对所述拼接向量进行全连接映射，并通过多头注意力机制计算不同特征之间的注意力关系特征以进行特征融合，得到特征融合后的融合特征向量R，其中R＝MultiHeadAttention(Q，K，V)，Q＝GWq，K＝GWk，V＝GWv，Q为查询矩阵，K为键矩阵，V为值矩阵，Wq，Wk，Wv权重矩阵。
本实施例中，在获取了文本逐个字符的语义特征向量HLSTM和词基本的图关系特征向量HGCN后，为了将两个特征进行融合，本实施例直接拼接两个特征向量为
Figure BDA0003455234850000111
由此形成尺寸更长的字符向量作为融合层的输入特征，为了保障G长度的一致性，当字符存在分词特征时则
Figure BDA0003455234850000112
当字符不存在分词的图特征时直接赋值0向量
Figure BDA0003455234850000113
之后，为了加深特征的融合，则进一步通过注意力机制进行特征整合，利用权重矩阵对拼接向量进行全连接映射，采用多头注意力机制计算出不同特征之间的注意力关系特征R＝MultiHeadAttention(Q，K，V)，由此获取得到最终各字符的融合特征向量R。
在获取到融合特征向量后即可通过序列标注层对融合特征向量进行标签预测，以获取其中各个实体要素的标注结果，具体来说，通过已完成训练的标签预测模型对所述融合特征向量进行解码标注，获取所述实体要素的位置和类别，标签预测训练模型可采用成熟的CRF(conditional random fields，条件随机场)算法来实现高效准确的序列标注，具体实施时，定义CRF的损失函数为Loss1，
Figure BDA0003455234850000114
其中
Figure BDA0003455234850000115
表示第r条解码路径的概率，s(X，ypath)为给定输入向量X时解码路径为ypath的得分，es(X，y)为给定输入向量X时解码路径为y的得分，Yx为解码路径的集合，N为解码路径的数量，PRealPath为真实解码路径的概率。通过预先获取的训练样本对CRF模型进行训练直到损失函数Loss1收敛，即可对融合向量特征进行高效准确的解码标注，准确获取待识别文本中各个实体要素的位置和类别。
S300、根据所述实体要素的标注结果构建相应的实体关系图。
本实施例中，基于待识别文本中各个实体要素的标注结果，包括实体要素的位置和类别，针对各个实体要素所处的位置以及与其它要素之间的关联重新组合构建相应的实体关系图，以实现实体关系抽取，作为后续识别不同交易要素的判断基础，提高后续交易要素识别判断的准确性。
在一个实施例中，步骤S300包括：
对所述待识别文本进行换行分割，得到若干行子文本；
根据所述实体要素的标注结果对每一行子文本中的实体要素进行排序，得到每个实体要素的二维位置信息；
根据预设聚类算法和所述二维位置信息确认每两个实体要素之间的关联关系，并根据所述关联关系构建相应的实体关系图。
本实施例中，在生成实体关系图时，首先确定待识别文本中各实体要素的二维位置信息，如图2所示，由于待识别文本中本身存在换行符“\n”，因此通过“\n”字符对所述待识别文本进行换行分割，得到若干行子文本，从而获得每个机构名、“方向”等等实体所在的行位置，之后根据实体要素的标注结果对每一行子文本中的实体要素进行排序，即可得到每个实体的行位置和列位置以作为对应实体要素的二维位置信息，以每个实体的行号与列号作为二维位置信息，通过预设聚类算法来确认每两个实体要素之间的关联关系并构建实体关系图，具体根据所述二维位置信息计算每两个实体要素之间的空间距离，空间距离可以有曼哈顿距离，欧氏距离，马氏距离等等，本实施例中优选采用欧式距离，其定义实体节点xi和实体节点xj之间的欧式距离为
Figure BDA0003455234850000121
并且通过K临近算法来判断两个实体之间的关联关系，具体则是对每两个实体要素之间的空间距离进行聚类处理以生成对应的邻域矩阵，若通过K临近算法对两个实体的空间距离判断为同一类的实体节点，则定义为有关联，两个实体节点的关系赋值为1，即如果xi∈K(xj)则N[i，j]＝1；若判断为不同类别的实体节点则定义为无关联，两个实体的关系赋值为0，即如果
Figure BDA0003455234850000131
则N[i，j]＝0，K(xj)表示通过
Figure BDA0003455234850000132
计算出来的关于实体节点xj的K近邻域，由此获得代表了不同实体要素之间关联关系的邻域矩阵，进而构建相应的实体关系图，针对图2中的待识别文本，当K临近算法中K取值为1时，可获得如图3所示的实体关系图，当然在其他实施例中还可采用其他的K值，K取值越大，实体之间的拓扑关系也就越复杂，每个实体所要关注的其他实体数量就越多，以提高实体关系提取的准确性，但也会导致计算复杂度的提升，因此可根据实际需求对K值进行调整，本实施例对此不作限定。
S400、通过图注意力网络对所述实体关系图进行特征学习后输出实体节点特征向量。
本实施例中，在获得了实体之间的关系图结构以及对应的邻域矩阵后，则通过GAT(graph attention network，图注意力网络)对该实体关系图的结构进行特征学习，以输出实体关系图中各个实体节点的特征向量信息，从而学习不同实体节点之间关系特征以实现准确的实体关系提取，便于后续能准确识别不同实体要素的交易类别，例如识别得到的各个机构分别是买方、卖方还是过桥机构等等，在要素提取的基础上进一步实现关系识别，为交易要素类别的准确识别提供准确的判断基础。
具体地，通过公式
Figure BDA0003455234850000133
对所述实体关系图进行特征学习，输出所述实体节点特征向量，其中
Figure BDA0003455234850000141
为实体节点i第l+1层的输出特征，
Figure BDA0003455234850000142
表示实体节点i第l层的输入特征，||表示拼接操作，σ表示激活函数，vj∈N(vi)表示所有属于实体节点vi的近邻域N(vi)内的领域节点；
Figure BDA0003455234850000143
表示第k个注意力机制下实体节点i和实体节点j之间的注意力权重；
Figure BDA0003455234850000144
表示第k个注意力机制下输入特征的线性变换权重矩阵，其中，
Figure BDA0003455234850000145
为F×F的矩阵空间，F为空间维度，K为图注意力网络中注意力机制的数目。
本实施例中，通过具有多头图注意力层的GAT进行特征信息，其中含有K个相互独立的单头注意力层，每个单头注意力层通过对应的注意力机制对输入特征进行学习后得到相应的输出特征，并将每个单头注意力层的输出结果拼接在一起，从而提高注意力机制的泛化能力。
S500、对所述实体节点特征向量进行特征多分类，输出每个实体节点的交易要素类别。
本实施例中，在获得了实体关系图中各个实体节点的特征向量信息后，则通过分类层对每个实体节点进行特征多分类，从而输出每个实体节点的交易要素类别，具体分类层采用softmax函数进行特征多分类，且分类层的损失函数Loss2采用交叉熵损失函数，从而判断每个实体节点为买方、卖方或过桥机构，进一步地，在交易对话应用场景中，若结合待识别文本的视觉方，则可进一步判断每个实体节点是交易信息中的本方、对手方或者过桥机构，例如对于某条待识别文本“A债000001 3000W XX机构卖给YY机构”，如果看这条消息的视觉方为XX机构，那么对手方的识别结果则是YY机构，反之如果看这条消息的视觉方为YY机构，那么对手方的识别结果则是XX机构，进而在准确的实体标注与实体关系抽取的基础上实现高效准确的交易要素识别，极大地提高了交易人员的工作效率，节约交易信息处理时间。
为更好地理解本发明提供的基于图神经网络的交易信息识别方法的实施过程，以下结合图4中的具体模型结构，对本发明提供的基于图神经网络的交易信息识别方法的过程进行介绍：
如图4所示，获取待识别文本后，一方面对其进行字符切分，通过BERT预训练模型进行字符编码后生成字符向量编码，通过LSTM网络模型对BERT输出的序列文本进行特征学习和提取，得到语义特征向量；另一方面通过Jieba组件对待识别文本进行分词，并且通过Word2Vec进行预训练编码后生成词向量编码，为解决单独语义特征造成的边界漂移问题，引入了基于GCN的网络层对词向量编码进行图特征提取得到图关系特征向量，以增强对要素提取的边界学习能力；通过融合层对语义特征向量和图关系特征向量进行特征融合，得融合特征向量；之后通过CRF对融合特征向量中的实体要素进行序列标注，从而提取出待识别文本中的实体要素；之后获取各个实体要素的位置编码以及实体要素的类别信息，通过K临近算法构建出实体要素的实体关系图作为原始输入信息；之后通过图注意网络GAT对实体关系图的网络结构进行特征学习，从而学习不同实体要素之间的关联关系，以实现准确的实体关系抽取；之后通过分类层对实体节点进行多分类判断，判断每个实体节点是买方、卖方或过桥机构等类别，或者基于当前的视觉方进一步判断每个实体节点是本方、对方方或过桥机构，由此实现对现券交易中存在的大量交易信息进行高效准确的交易要素识别处理，有效提高了交易信息处理效率和准确性。
本发明另一实施例提供一种基于图神经网络的交易信息识别装置，如图5所示，装置包括：
获取模块11，用于获取待识别文本；
标注模块12，用于对所述待识别文本进行特征提取和标签预测，得到所述待识别文本中实体要素的标注结果；
图构建模块13，用于根据所述实体要素的标注结果构建相应的实体关系图；
特征学习模块14，用于通过图注意力网络对所述实体关系图进行特征学习后输出实体节点特征向量；
分类识别模块15，用于对所述实体节点特征向量进行特征多分类，输出每个实体节点的交易要素类别。
获取模块11、标注模块12、图构建模块13、特征学习模块14和分类识别模块15依次连接，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述基于图神经网络的交易信息识别的执行过程，各模块的具体实施方式请参考上述对应的方法实施例，此处不再赘述。
本发明另一实施例提供一种基于图神经网络的交易信息识别***，如图6所示，***10包括：
一个或多个处理器110以及存储器120，图6中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图6中以通过总线连接为例。
处理器110用于完成***10的各种控制逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(Acorn RISCMachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于图神经网络的交易信息识别方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行***10的各种功能应用以及数据处理，即实现上述方法实施例中的基于图神经网络的交易信息识别方法。
存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据***10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至***10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，执行上述任意方法实施例中的基于图神经网络的交易信息识别方法，例如，执行以上描述的图1中的方法步骤S100至步骤S500。
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤S100至步骤S500。
作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(RAM)。通过说明而非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
综上，本发明公开的基于图神经网络的交易信息识别方法、***及介质中，方法通过获取待识别文本；对待识别文本进行特征提取和标签预测，得到待识别文本中实体要素的标注结果；根据实体要素的标注结果构建相应的实体关系图；通过图注意力网络对实体关系图进行特征学习后输出实体节点特征向量；对实体节点特征向量进行特征多分类，输出每个实体节点的交易要素类别。通过构建实体关系图来对实体要素之间的关系进行特征学习与分类，识别得到每个实体的交易机构类别，能更加准确地结合实体要素的文本特征和关系特征进行分类判断，有效提高了现券交易中信息分类识别的效率和准确性。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的计算机程序可存储于一非易失性计算机可读取的存储介质中，该计算机程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、软盘、闪存、光存储器等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于图神经网络的交易信息识别方法，其特征在于，包括：
获取待识别文本；
对所述待识别文本进行特征提取和标签预测，得到所述待识别文本中实体要素的标注结果；
根据所述实体要素的标注结果构建相应的实体关系图；
通过图注意力网络对所述实体关系图进行特征学习后输出实体节点特征向量；
对所述实体节点特征向量进行特征多分类，输出每个实体节点的交易要素类别。
2.根据权利要求1所述的基于图神经网络的交易信息识别方法，其特征在于，所述对所述待识别文本进行特征提取和标签预测，得到所述待识别文本中实体要素的标注结果，包括：
对所述待识别文本分别进行字符编码和词汇编码，得到字符向量编码和词向量编码；
对所述字符向量编码进行特征提取后输出每个字符的语义特征向量；
通过图神经网络对所述词向量编码进行图特征提取后输出各个词汇的图关系特征向量；
将所述语义特征向量和所述图关系特征向量进行特征融合，输出融合特征向量；
对所述融合特征向量中的实体要素进行标签预测，得到所述实体要素的标注结果。
3.根据权利要求2所述的基于图神经网络的交易信息识别方法，其特征在于，所述通过图神经网络对所述词向量编码进行图特征提取后输出各个词汇的图关系特征向量，包括：
根据所述词向量编码中各个词汇节点的位置和连接关系构建相应的词汇关系图；
将各个词汇作为对应词汇节点的初始特征向量输入至图神经网络中，通过所述图神经网络对所述词汇关系图进行特征学习后输出相应词汇的图关系特征向量。
4.根据权利要求2所述的基于图神经网络的交易信息识别方法，其特征在于，所述将所述语义特征向量和所述图关系特征向量进行特征融合，输出融合特征向量，包括：
对所述语义特征向量和所述图关系特征向量进行拼接，得到拼接向量G，
Figure FDA0003455234840000021
其中HLSTM为所述语义特征向量，
Figure FDA0003455234840000022
为第m个词汇节点的图关系特征向量；
通过预设的权重矩阵对所述拼接向量进行全连接映射，并通过多头注意力机制计算不同特征之间的注意力关系特征以进行特征融合，得到特征融合后的融合特征向量R，其中R＝MultiHeadAttention(Q，K，V)，Q＝GWq，K＝GWk，V＝GWv，Q为查询矩阵，K为键矩阵，V为值矩阵，Wq，Wk，Wv权重矩阵。
5.根据权利要求2-4任意一项所述的基于图神经网络的交易信息识别方法，其特征在于，所述对所述待识别文本分别进行字符编码和词汇编码，得到字符向量编码和词向量编码，包括：
通过预训练模型对所述待识别文本进行逐个字符切分，得到相应的字符向量编码；
通过预设分词方法对所述待识别文本进行词汇分割，并对各个词汇进行预训练编码后得到相应的词向量编码。
6.根据权利要求1所述的基于图神经网络的交易信息识别方法，其特征在于，所述根据所述实体要素的标注结果构建相应的实体关系图，包括：
对所述待识别文本进行换行分割，得到若干行子文本；
根据所述实体要素的标注结果对每一行子文本中的实体要素进行排序，得到每个实体要素的二维位置信息；
根据预设聚类算法和所述二维位置信息确认每两个实体要素之间的关联关系，并根据所述关联关系构建相应的实体关系图。
7.根据权利要求6所述的基于图神经网络的交易信息识别方法，其特征在于，所述根据预设聚类算法和所述二维位置信息确认每两个实体要素之间的关联关系，并根据所述关联关系构建相应的实体关系图，包括：
根据所述二维位置信息计算每两个实体要素之间的空间距离；
通过K临近算法对所述每两个实体要素之间的空间距离进行聚类处理，得到各个实体要素之间的关联关系；
根据各个实体要素之间的关联关系构建相应的实体关系图。
8.根据权利要求1所述的基于图神经网络的交易信息识别方法，其特征在于，所述通过图注意力网络对所述实体图结构进行特征学习后输出实体节点特征向量，具体包括：
通过公式
Figure FDA0003455234840000031
对所述实体关系图进行特征学习，输出所述实体节点特征向量，其中
Figure FDA0003455234840000032
为实体节点i第l+1层的输出特征，
Figure FDA0003455234840000041
表示实体节点i第l层的输入特征，||表示拼接操作，σ表示激活函数，vj∈N(vi)表示所有属于实体节点vi的近邻域N(vi)内的领域节点；
Figure FDA0003455234840000042
表示第k个注意力机制下实体节点i和实体节点j之间的注意力权重；
Figure FDA0003455234840000043
表示第k个注意力机制下输入特征的线性变换权重矩阵，其中，
Figure FDA0003455234840000044
为F×F的矩阵空间，F为空间维度，K为图注意力网络中注意力机制的数目。
9.一种基于图神经网络的交易信息识别***，其特征在于，所述***包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8任一项所述的基于图神经网络的交易信息识别方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-8任一项所述的基于图神经网络的交易信息识别方法。
CN202210002249.0A 2022-01-04 2022-01-04 基于图神经网络的交易信息识别方法、***及介质 Pending CN114398881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210002249.0A CN114398881A (zh) 2022-01-04 2022-01-04 基于图神经网络的交易信息识别方法、***及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210002249.0A CN114398881A (zh) 2022-01-04 2022-01-04 基于图神经网络的交易信息识别方法、***及介质

Publications (1)

Publication Number Publication Date
CN114398881A true CN114398881A (zh) 2022-04-26

Family

ID=81228569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210002249.0A Pending CN114398881A (zh) 2022-01-04 2022-01-04 基于图神经网络的交易信息识别方法、***及介质

Country Status (1)

Country Link
CN (1) CN114398881A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970446A (zh) * 2022-07-14 2022-08-30 深圳前海环融联易信息科技服务有限公司 文本转换显示方法及其装置、设备、介质、产品
CN115080740A (zh) * 2022-06-24 2022-09-20 中国电信股份有限公司 非结构化数据的分类方法、装置、可读介质及电子设备
CN116484848A (zh) * 2023-03-17 2023-07-25 北京深维智讯科技有限公司 一种基于nlp的文本实体识别方法
CN116738359A (zh) * 2023-05-23 2023-09-12 内蒙古工业大学 基于预训练模型和高分辨网络的蒙古语多模态情感分析方法
CN116756596A (zh) * 2023-08-17 2023-09-15 智慧眼科技股份有限公司 文本聚类模型训练方法、文本聚类方法、装置及相关设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080740A (zh) * 2022-06-24 2022-09-20 中国电信股份有限公司 非结构化数据的分类方法、装置、可读介质及电子设备
CN114970446A (zh) * 2022-07-14 2022-08-30 深圳前海环融联易信息科技服务有限公司 文本转换显示方法及其装置、设备、介质、产品
CN114970446B (zh) * 2022-07-14 2022-11-01 深圳前海环融联易信息科技服务有限公司 文本转换显示方法及其装置、设备、介质、产品
CN116484848A (zh) * 2023-03-17 2023-07-25 北京深维智讯科技有限公司 一种基于nlp的文本实体识别方法
CN116484848B (zh) * 2023-03-17 2024-03-29 北京深维智讯科技有限公司 一种基于nlp的文本实体识别方法
CN116738359A (zh) * 2023-05-23 2023-09-12 内蒙古工业大学 基于预训练模型和高分辨网络的蒙古语多模态情感分析方法
CN116756596A (zh) * 2023-08-17 2023-09-15 智慧眼科技股份有限公司 文本聚类模型训练方法、文本聚类方法、装置及相关设备
CN116756596B (zh) * 2023-08-17 2023-11-14 智慧眼科技股份有限公司 文本聚类模型训练方法、文本聚类方法、装置及相关设备

Similar Documents

Publication Publication Date Title
CN111026842B (zh) 自然语言处理方法、自然语言处理装置及智能问答***
CN114398881A (zh) 基于图神经网络的交易信息识别方法、***及介质
WO2021042503A1 (zh) 信息分类抽取方法、装置、计算机设备和存储介质
CN110717514A (zh) 会话意图识别方法、装置、计算机设备和存储介质
CN109887484B (zh) 一种基于对偶学习的语音识别与语音合成方法及装置
WO2022142041A1 (zh) 意图识别模型的训练方法、装置、计算机设备和存储介质
CN109992664B (zh) 争议焦点的标注分类方法、装置、计算机设备和存储介质
CN110334179B (zh) 问答处理方法、装置、计算机设备和存储介质
CN111783471B (zh) 自然语言的语义识别方法、装置、设备及存储介质
CN114676234A (zh) 一种模型训练方法及相关设备
CN111401058B (zh) 一种基于命名实体识别工具的属性值抽取方法及装置
CN113254613B (zh) 对话问答方法、装置、设备及存储介质
CN117521675A (zh) 基于大语言模型的信息处理方法、装置、设备及存储介质
CN111274822A (zh) 语义匹配方法、装置、设备及存储介质
CN114298035A (zh) 一种文本识别脱敏方法及其***
CN113297379A (zh) 一种文本数据多标签分类方法及装置
CN114647713A (zh) 基于虚拟对抗的知识图谱问答方法、设备及存储介质
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN113222022A (zh) 一种网页分类识别方法及装置
CN116127013A (zh) 一种个人敏感信息知识图谱查询方法和装置
CN112183106A (zh) 一种基于音素联想及深度学习的语义理解方法及装置
CN116522905B (zh) 文本纠错方法、装置、设备、可读存储介质及程序产品
CN112256841A (zh) 文本匹配和对抗文本识别方法、装置及设备
CN117349402A (zh) 一种基于机器阅读理解的情绪原因对识别方法及***
CN111680132A (zh) 一种用于互联网文本信息的噪声过滤和自动分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination