CN111597224A - 结构化信息的生成方法、装置、电子设备和存储介质 - Google Patents

结构化信息的生成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111597224A
CN111597224A CN202010305158.5A CN202010305158A CN111597224A CN 111597224 A CN111597224 A CN 111597224A CN 202010305158 A CN202010305158 A CN 202010305158A CN 111597224 A CN111597224 A CN 111597224A
Authority
CN
China
Prior art keywords
structured information
behavior
generating
sequence
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010305158.5A
Other languages
English (en)
Other versions
CN111597224B (zh
Inventor
李旭
刘桂良
孙明明
李平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010305158.5A priority Critical patent/CN111597224B/zh
Publication of CN111597224A publication Critical patent/CN111597224A/zh
Application granted granted Critical
Publication of CN111597224B publication Critical patent/CN111597224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种结构化信息的生成方法、装置、电子设备和存储介质，涉及自然语言处理领域的信息处理领域。具体实现方案为：获取源文本序列；将源文本序列输入行为‑评价模型，以生成源文本序列对应的结构化信息，其中，行为‑评价模型包括行为子模型和评价子模型，行为子模型用于根据输入的源文本序列生成源文本序列对应的结构化信息，评价子模型用于对行为子模型进行训练。由此，通过行为‑评价模型根据输入的源文本序列，直接生成对应的结构化信息，实现了端到端的信息抽取，解决了开放领域信息抽取时训练模型标注的成本高的技术问题，有效提高了结构化信息抽取的效率和准确率。

Description

结构化信息的生成方法、装置、电子设备和存储介质
技术领域
本申请涉及自然语言处理领域的信息处理领域，尤其涉及一种结构化信息的生成方法、装置、电子设备和存储介质。
背景技术
在各个行业中，普遍存在以自然语言记录的文本，通常把这类文本定义为非结构化文本，如财务报表、新闻、病历等等。目前，在舆情分析、传播分析、数据平台服务等应用场景都存在结构化信息抽取的需求，即从非结构化文本中提取需要的结构化字段，如，从财务报表中提取公司名称、从新闻中提取袭击事件的地点、从病历中提取患者的情况，等等。信息抽取包括垂直领域信息抽取和开放领域信息抽取。
现有的结构化信息抽取方法主要针对垂直领域进行信息抽取，并且在对垂直领域进行优化建模时，需要对训练样本集进行标注。但是，由于开放领域数据较多，使得对开放领域的样本进行标注的成本高，并不能使得模型达到很好的效果，从而导致模型对开放领域信息进行结构化信息抽取时，存在准确率低的问题。
发明内容
本申请提供了一种用于结构化信息的生成方法的方法、装置、电子设备和存储介质。
本申请第一方面实施例提供了一种结构化信息的生成方法，包括：
获取源文本序列；
将所述源文本序列输入行为-评价模型，以生成所述源文本序列对应的结构化信息，其中，所述行为-评价模型包括行为子模型和评价子模型，所述行为子模型用于根据输入的所述源文本序列生成所述源文本序列对应的结构化信息，所述评价子模型用于对所述行为子模型进行训练。
本申请第二方面实施例提供了一种结构化信息的生成装置，包括：
获取模块，用于获取源文本序列；
生成模块，用于将所述源文本序列输入行为-评价模型，以生成所述源文本序列对应的结构化信息，其中，所述行为-评价模型包括行为子模型和评价子模型，所述行为子模型用于根据输入的所述源文本序列生成所述源文本序列对应的结构化信息，所述评价子模型用于对所述行为子模型进行训练。
本申请第三方面实施例提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例的结构化信息的生成方法。
本申请第四方面实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行第一方面实施例的结构化信息的生成方法。
上述申请中的一个实施例具有如下优点或有益效果：通过获取源文本序列，将源文本序列输入行为-评价模型，以生成源文本序列对应的结构化信息，其中，行为-评价模型包括行为子模型和评价子模型，行为子模型用于根据输入的源文本序列生成源文本序列对应的结构化信息，评价子模型用于对行为子模型进行训练。由此，通过行为-评价模型根据输入的源文本序列，直接生成对应的结构化信息，实现了端到端的信息抽取，解决了开放领域信息抽取时训练模型标注的成本高的技术问题，有效提高了结构化信息抽取的效率和准确率。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例一提供的结构化信息的生成方法的流程示意图；
图2为本申请实施例二提供的结构化信息的生成方法的流程示意图；
图3为本申请实施例提供的结构化信息的生成方法的示例图；
图4为本申请实施例三提供的结构化信息的生成装置的结构示意图；
图5是用来实现本申请实施例的结构化信息的生成方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
信息抽取任务是从非结构化的自然语言语句中抽取结构化信息，比如实体、实体之间的关系等等。信息抽取包括垂直领域信息抽取任务和开放领域信息抽取任务，垂直领域信息抽取任务是在一个已定义的刚要***中进行信息抽取工作，常常采用一些监督学习或者弱监督学习的方法从文本中挖掘预先定义好的实体集合中实体之间的关系。而开放领域信息抽取工作则不存在这个预先定义的刚要***，通常着重于挖掘自然语言语句中蕴含的知识，以及表达知识的方法，并从开放领域自然语句中提取实体以及实体之间的关系，可以称这种实体以及实体间关系为自然语言中蕴含的事实。这些事实在很多任务中是非常有价值的，比如：文本摘要、阅读理解、词相似度、基于知识的问答***。
但是，相关技术中的信息抽取模型采用模式匹配的方法，如，人工定义的模式，启发式学习等，这些模式匹配方法并不适用于开放领域，不利于模型的扩展，并且需要很多人工干预，存在人力成本高的缺点。此外，现有的信息抽取模型大多是针对垂直领域进行信息抽取，在对开放领域信息进行结构化信息抽取时，存在准确率低的问题。
针对上述现有的技术问题，本申请提出了一种结构化信息的生成方法，通过获取源文本序列；将源文本序列输入行为-评价模型，以生成源文本序列对应的结构化信息，其中，行为-评价模型包括行为子模型和评价子模型，行为子模型用于根据输入的源文本序列生成源文本序列对应的结构化信息，评价子模型用于对行为子模型进行训练。由此，通过行为-评价模型根据输入的源文本序列，直接生成对应的结构化信息，实现了端到端的信息抽取，解决了开放领域信息抽取时训练模型标注的成本高的技术问题，有效提高了结构化信息抽取的效率和准确率。
下面参考附图描述本申请实施例的结构化信息的生成方法、装置、电子设备和存储介质。
图1为本申请实施例一提供的结构化信息的生成方法的流程示意图。
本申请实施例以该结构化信息的生成方法被配置于结构化信息的生成装置中来举例说明，该结构化信息的生成装置可以应用于任一电子设备中，以使该电子设备可以执行结构化信息的生成功能。
其中，电子设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作***的硬件设备。
如图1所示，该结构化信息的生成方法，可以包括以下步骤：
步骤S101，获取源文本序列。
其中，源文本序列，是指用自然语言记录的非结构化的文本。例如，个人简历、病人病历、新闻，等等。
在一种可能的情况下，源文本序列，可以为用户输入的文本序列，例如，用户手动输入的非结构化源文本序列，或者通过语音的方式输入的非结构化源文本序列，等等，本申请实施例中对用户输入源文本序列的方式不做限定。
在另一种可能的情况下，源文本序列，还可以为从服务器端下载的文本。例如，从医院的病历管理***里下载病人的病历。
需要说明的是，源文本序列中包含有大量的信息，但是作为非结构化文本的源文本序列的数据量较大，因此，需要从非结构化文本中抽取一些结构化的信息，例如，从财务报表中提取公司名称，从病历中提取患者的癌症分期情况，从个人简历中提取用户的技能，等等。
步骤S102，将源文本序列输入行为-评价模型，以生成源文本序列对应的结构化信息。
其中，行为-评价模型包括行为子模型和评价子模型，行为子模型用于根据输入的源文本序列生成源文本序列对应的结构化信息，评价子模型用于对行为子模型进行训练。
需要说明的是，行为-评价模型不需要通过大量标注结构化信息的训练样本进行训练，并且模型输出的结构化信息也是以序列的形式表示的。
相关技术中，对非结构化文本序列抽取结构化信息时，虽然也会采用的深度学习模型，但是现有的深度模型受限于标注好的训练集，并且对于开放领域数据进行标注时存在成本高，不能对所有的样本进行标注的缺点，从而导致现有的深度学习模型在抽取结构化信息时存在准确率低的问题。
然而，本申请中，针对开放领域的数据，将获取到的源文本序列输入行为-评价模型后，模型输出源文本序列对应的结构化信息，提高了结构化信息抽取的准确率。
在计算机的不同程序之间，或者不同的编程语言之间进行交换数据，也需要一种大家都能听得懂得“语言”。作为本申请的一种可能的实现方式，将获取到的源文本序列输入行为-评价模型后，行为子模型对输入的源文本序列进行词嵌入编码，并将词嵌入编码后得到的词向量输入双向门控循环单元(Gated Recurrent Units，简称GRU)编码器中进行编码，再将双向GRU编码器输出的结果输入到双向GRU解码器中进行解码，以得到生成的结构化信息。
其中，词嵌入是一种将文本序列中的词转换成数字向量的方法，为了使用标准机器学习算法来对它们进行分析，就需要把这些被转换成数字的向量以数字形式作为输入。词嵌入过程就是把一个维数为所有词数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量，词嵌入的结果就生成了词向量。
需要说明的是，本申请中采用双向GRU进行编解码，是因为GRU对输入的源文本序列进行编解码的速度较快，并且双向GRU的编解码效果要优于单向GRU的编解码效果。
本申请实施例中，将获取到的非结构化的源文本序列输入行为-评价模型后，模型输出源文本序列对应的结构化信息。
举例来说，假设源文本序列为：X1…M＝{x1,x2,…,xM}，其中，X1…M表示源文本序列中有M个词。将源文本序列输入行为-评价模型后，输出对应的结构化信息：
Figure BDA0002455509690000051
其中，输出的结构化信息包括T个词。
还例如，假设有非结构化的源文本序列为“黄石国家公园是第一个国家公园，位于怀俄明州，以其丰富的野生动物种类和地热资源闻名。”，将源文本序列输入行为-评价模型，可以输出的结构化信息为“(黄石国家公园|是|第一个国家公园)(黄石国家公园|位置|怀俄明州)(黄石国家公园|以X闻名|丰富的野生动物|地热资源)”。
作为一种可能的情况，可以将行为-评价模型建模为一个马尔可夫决策过程。开放领域的结构化信息抽取任务本质上是一个序列生成任务，在序列生成的过程中，新生成的单词应该是哪一个，是由输入的环境状态(在这里是源文本序列)和之前生成的单词序列决定的，这就自然地构成了一个马尔可夫决策过程。
本申请中，可以定义马尔可夫决策过程中的t步(即生成的第t个单词)的状态为：
Figure BDA0002455509690000052
其中，X表示输入的源文本序列，Y表示生成的序列，Y的下标表示第1…t-1步生成的部分序列。定义需要生成的下一个单词为马尔可夫过程中的动作：
Figure BDA0002455509690000053
本申请实施例的结构化信息的生成方法，通过获取源文本序列；将源文本序列输入行为-评价模型，以生成源文本序列对应的结构化信息，其中，行为-评价模型包括行为子模型和评价子模型，行为子模型用于根据输入的源文本序列生成源文本序列对应的结构化信息，评价子模型用于对行为子模型进行训练。由此，通过行为-评价模型根据输入的源文本序列，直接生成对应的结构化信息，实现了端到端的信息抽取，解决了开放领域信息抽取时训练模型标注的成本高的技术问题，有效提高了结构化信息抽取的效率和准确率。
在上述实施例的基础上，本申请提出了另一种结构化信息的生成方法，具体见实施例二。
图2为本申请实施例二提供的结构化信息的生成方法的流程示意图。
如图2所示，该结构化信息的生成方法，可以包括以下步骤：
步骤S201，获取多个训练样本。
其中，每一个训练样本中包括样本文本序列和样本文本序列所对应的样本结构化信息。
可以理解为，训练样本也是非结构化文本序列，在使用训练样本对行为-评价模型进行训练时，每一个训练样本中包括样本文本序列和样本文本序列所对应的样本结构化信息。
需要说明的是，训练样本，可以是从服务器端下载的文本序列，也可以是用户手动输入的文本序列，在此不做限制。
步骤S202，将多个训练样本输入行为子模型以生成预测结构化信息。
本申请实施例中，获取到多个训练样本后，将每一个训练样本输入行为子模型，以生成各样本文本序列对应的预测结构化信息。
具体地，行为子模型获取到各样本文本序列后，对输入的各样本文本序列进行词嵌入编码，并将词嵌入编码后得到的相应的词向量输入双向GRU编码器中进行编码，再将双向GRU编码器输出的结果输入到双向GRU解码器中进行解码，以得到生成各样本文本序列对应的预测结构化信息。
需要说明的是，可以在解码器中加入覆盖机制，以解决序列生成过程中重复生成或者遗漏生成的问题。
步骤S203，将预测结构化信息和样本结构化信息输入评价子模型，以生成评价值。
其中，评价子模型为采用基于注意力机制的编码-解码模型，包括编码器和解码器。
本申请实施例中，将每一个训练样本输入行为子模型生成预测结构化信息后，将对应的样本结构化信息输入编码器，将对应的预测结构化信息输入解码器，以生成预测质量得分。
本申请实施例中，将每一个训练样本输入行为子模型生成预测结构化信息后，根据样本结构化信息和预测结构化信息生成预测结构化信息之中每个序列位置的相似性得分。进一步的，根据每个序列位置的相似性得分生成预测结构化信息的奖励得分，其中，序列位置的奖励得分为当前序列位置的相似性得分与上一个序列位置的相似性得分之差。由此，可以根据生成的奖励得分对评价子模型进行训练，以使得训练后的行为-评价模型更加准确的输出结构化信息，有利于提高模型抽取结构化信息的准确率。
作为一种示例，假设生成的np个预测结构化信息为
Figure BDA0002455509690000071
nG个样本结构化信息为
Figure BDA0002455509690000072
则可以根据预测结构化信息与样本结构化信息之间的相似性得分来对当前步生成的单词进行评价。此处计算预测结构化信息与样本结构化信息之间的相似性得分，是为了给模型生成的预测结构化信息进行打分，如果生成的预测结构化信息和样本结构化信息越接近，则分数越高。
例如，可以通过如下公式计算预测结构化信息与样本结构化信息之间的相似性得分：
Figure BDA0002455509690000073
其中，
Figure BDA0002455509690000074
为模型输出的序列为样本结构化信息构成的序列之间的相似性；Np为模型输出的预测结构化信息；Ng为样本结构化信息；Y为多个样本结构化信息构成的序列；
Figure BDA0002455509690000075
为模型输出的序列；
g表示格式匹配功能，是一个计算序列之间相似度的函数
Figure BDA0002455509690000076
其中，f*为预测结构化信息；f为样本结构化信息；Simstr(*，*)表示字符串相似度；|*|表示Y中样本结构化信息的个数；i为正整数。如，上述黄石公园例子中就是Y包括3个事实。
利用上述公式在每一个序列生成的位置上计算相似性得分之后，计算每个序列位置的奖励得分为当前位置的相似性得分和上一个位置的相似性得分的差值：
Figure BDA0002455509690000077
其中，
Figure BDA0002455509690000078
为第t步生成的序列的奖励得分；
Figure BDA0002455509690000079
为第t步的预测结构化信息和样本结构化信息之间的相似性得分；
Figure BDA00024555096900000710
为第t-1步的预测结构化信息和样本结构化信息之间的相似性得分。
本申请实施例中，根据预测结构化信息和样本结构化信息，得到预测质量得分和奖励得分之后，根据预测质量得分和奖励得分生成评价值。
步骤S204，根据评价值对评价子模型进行训练。
本申请实施例中，计算得到评价值后，可以根据评价值对评价子模型进行训练，以使得行为-评价模型输出的预测结构化信息与样本结构化信息尽量接近。
作为一种可能的情况，评价子模型的损失函数为：
Figure BDA00024555096900000711
其中，
Figure BDA00024555096900000712
为预测质量得分，
Figure BDA00024555096900000713
为奖励得分；T为样本结构化信息对应的序列长度，N为采样的数量，
Figure BDA0002455509690000081
和
Figure BDA0002455509690000082
分别为第t序列位置的单词和第Υ序列位置的单词，
Figure BDA0002455509690000083
为第1至第t-1序列位置的单词，Yn为样本结构化信息，n、γ、t均为正整数。
本申请中，通过评价子模型的损失函数估量模型的预测结构化信息与样本结构化信息的不一致程度，通过对损失函数进行训练，以提高模型输出的准确率，并且损失函数越小，模型的鲁棒性也越好。
本申请实施例中，在对行为-评价模型进行训练时，还可以根据预测质量得分对行为子模型的参数进行梯度更新。
作为一种可能的实现方式，可以根据如下公式对行为子模型的参数进行梯度更新。
Figure BDA0002455509690000084
其中，
Figure BDA0002455509690000085
为先进方程，其中，
Figure BDA0002455509690000086
其中，
Figure BDA0002455509690000087
为预测质量得分，θ为待训练参数，
Figure BDA0002455509690000088
为单词表，a和b均为单词表中的单词，
Figure BDA0002455509690000089
为第1至第t-1序列位置的单词，Yn为样本结构化信息，π为行为子模型，n和t均为正整数。
需要说明的是，现有的信息抽取模型在优化的时候需要等全部预测序列生成之后再进行评价，这样很难看出具体的是生成过程中的哪一步导致了生成结果的变化。因此，本申请中的行为-评价模型通过评价子模型可以根据评价值给出每一步的评分，减少强化学习训练的误差。
并且在对行为子模型的参数进行更新时，还可以通过如下公式同步更新评价子模型。
Figure BDA00024555096900000810
其中，
Figure BDA00024555096900000811
为预测质量得分，q为时间差分学习；
Figure BDA00024555096900000812
Figure BDA00024555096900000813
为奖励得分；
Figure BDA00024555096900000814
为第1至第t序列位置的单词；Yn为样本结构化信息，
Figure BDA00024555096900000815
为单词表，a为单词表中的单词，n和t均为正整数。
现有的信息抽取模型中利用已知的信息(标注数据集)去拟合，很少在序列空间中进行探索，然而，本申请中，在对行为-评价模型训练的过程中，加入了基于置信度的探索机制，有利于发现更优的生成序列，从而有利于提高模型生成结构化信息的准确率。
作为一种可能的实现方式，通过获取预测结构化信息之中每个序列位置的概率；确定概率小于预设概率阈值的序列位置时，则在概率小于预设概率阈值的序列位置处按照序列位置对应预测结果进行扩展；从序列位置开始使用行为子模型进行预测并以重新生成预测结构化信息；根据重新生成的预测结构化信息对奖励得分进行更新。
本申请中，可以通过复制机制确定预测结构化信息之中每个序列位置的概率。其中，复制机制，是指将输入的文本序列中的某个位置(例如，可能只有50个位置)的单词直接复制到生成序列，而不是在生成结构化信息的过程中从所有词表中选择。由此，可以减少选择的空间，降低模型训练难度。
需要说明的是，确定概率小的序列位置，表示模型对当前位置生成的单词的置信度最小，在该位置的单词有可能替换成其他单词，可以生成更好的序列。
步骤S205，将源文本序列输入行为-评价模型，以生成源文本序列对应的结构化信息。
本申请实施例中，步骤S205的实现过程，可以参见上述实施例中步骤S102的实现过程，在此不再赘述。
本申请实施例的结构化信息生成方法，通过获取多个训练样本，将多个训练样本输入行为子模型以生成预测结构化信息，将预测结构化信息和样本结构化信息输入评价子模型，以生成评价值，根据评价值对评价子模型进行训练，将源文本序列输入行为-评价模型，以生成源文本序列对应的结构化信息。由此，通过根据行为子模型生成的预测结构化信息和样本结构化信息，生成评价值对评价子模型进行训练，以根据训练后的行为-评价模型输出源文本序列对应的结构化信息，从而提高了模型抽取结构化信息的准确率和效率。
作为一种示例，图3为本申请实施例提供的一种结构化信息的生成方法的示例图。上述对行为-评价模型的训练过程，可以参见图3可知，将样本文本序列输入行为子模型后，输出预测结构化信息，根据置信度探索机制对行为子模型输出的预测结构化信息进行扩展，得到重新生成的预测结构化信息，并将重新生成的预测结构化信息进行评估并保存，以用保存的预测结构化信息更新评价子模型和行为子模型的模型参数。由此，通过更新后的行为子模型和评价子模型对源文本序列进行结构化信息抽取时，提高了结构信息抽取的准确率。
为了实现上述实施例，本申请提出了一种结构化信息的生成装置。
图4为本申请实施例三提供的结构化信息的生成装置的结构示意图。
如图3所示，该结构化信息的生成装置300，可以包括：获取模块310和生成模块320。
其中，获取模块310，用于获取源文本序列。
生成模块320，用于将源文本序列输入行为-评价模型，以生成源文本序列对应的结构化信息，其中，行为-评价模型包括行为子模型和评价子模型，行为子模型用于根据输入的源文本序列生成源文本序列对应的结构化信息，评价子模型用于对行为子模型进行训练。
作为一种可能的情况，该结构化信息的生成装置300，还可以包括：
样本获取模块，用于获取多个训练样本；每一个训练样本中标注有样本文本序列所对应的样本结构化信息。
第一输入模块，用于将多个训练样本输入行为子模型以生成预测结构化信息。
第二输入模块，用于将预测结构化信息和样本结构化信息输入评价子模型，以生成评价值。以及
训练模块，用于根据评价值对评价子模型进行训练。
作为另一种可能的情况，评价子模型包括编码器和解码器；第二输入模块，包括：
第一生成单元，用于将样本结构化信息输入编码器，以及将预测结构化信息输入解码器，以生成预测质量得分；
第二生成单元，用于根据预测结构化信息和样本结构化信息生成奖励得分；
第三生成单元，用于根据奖励得分和预测质量得分生成评价值。
作为另一种可能的情况，第二生成单元，还用于：
根据样本结构化信息和预测结构化信息生成预测结构化信息之中每个序列位置的相似性得分；
根据每个序列位置的相似性得分生成预测结构化信息的奖励得分，其中，序列位置的奖励得分为当前序列位置的相似性得分与上一个序列位置的相似性得分之差。
作为另一种可能的情况，评价子模型的损失函数为：
Figure BDA0002455509690000101
其中，
Figure BDA0002455509690000102
为预测质量得分，
Figure BDA0002455509690000103
为奖励得分，T为样本结构化信息对应的序列长度，N为采样的数量，
Figure BDA0002455509690000104
和
Figure BDA0002455509690000105
分别为第t序列位置的单词和第γ序列位置的单词，
Figure BDA0002455509690000106
为第1至第t-1序列位置的单词，Yn为样本结构化信息，n、γ、t均为正整数。
作为另一种可能的情况，该结构化信息的生成装置300，还可以包括：
更新模块，用于根据预测质量得分对行为子模型的参数进行梯度更新。
作为另一种可能的情况，通过以下公式对行为子模型的参数进行梯度更新，
Figure BDA0002455509690000107
其中，
Figure BDA0002455509690000108
为先进方程，其中，
Figure BDA0002455509690000109
其中，
Figure BDA0002455509690000111
为预测质量得分，θ为待训练参数，
Figure BDA0002455509690000112
为单词表，a和b均为单词表中的单词，T为所述样本结构化信息对应的序列长度，N为采样的数量，
Figure BDA0002455509690000113
为第1至第t-1序列位置的单词，Yn为样本结构化信息，π为行为子模型，n和t均为正整数。
作为另一种可能的情况，第二输入模块，还包括：
获取单元，用于获取预测结构化信息之中每个序列位置的概率；
扩展单元，用于确定概率小于预设概率阈值的序列位置时，则在概率小于预设概率阈值的序列位置处按照所述序列位置对应预测结果进行扩展；
第四生成单元，用于从序列位置开始使用行为子模型进行预测，以重新生成预测结构化信息；以及
更新单元，用于根据重新生成的预测结构化信息对奖励得分进行更新。
需要说明的是，前述对结构化信息的生成方法实施例的解释说明也适用于该结构化信息的生成处理装置，此处不再赘述。
本申请实施例的结构化信息的生成装置，通过获取源文本序列；将源文本序列输入行为-评价模型，以生成源文本序列对应的结构化信息，其中，行为-评价模型包括行为子模型和评价子模型，行为子模型用于根据输入的源文本序列生成源文本序列对应的结构化信息，评价子模型用于对行为子模型进行训练。由此，通过行为-评价模型根据输入的源文本序列，直接生成对应的结构化信息，实现了端到端的信息抽取，解决了开放领域信息抽取时训练模型标注的成本高的技术问题，有效提高了结构化信息抽取的效率和准确率。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例的结构化信息的生成的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的结构化信息的生成的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的结构化信息的生成的方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的结构化信息的生成的方法对应的程序指令/模块(例如，附图4所示的获取模块310和生成模块320)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的结构化信息的生成的方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据结构化信息的生成的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至结构化信息的生成的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
结构化信息的生成的方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与结构化信息的生成的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过获取源文本序列；将源文本序列输入行为-评价模型，以生成源文本序列对应的结构化信息，其中，行为-评价模型包括行为子模型和评价子模型，行为子模型用于根据输入的源文本序列生成源文本序列对应的结构化信息，评价子模型用于对行为子模型进行训练。由此，通过行为-评价模型根据输入的源文本序列，直接生成对应的结构化信息，实现了端到端的信息抽取，解决了开放领域信息抽取时训练模型标注的成本高的技术问题，有效提高了结构化信息抽取的效率和准确率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种结构化信息的生成方法，其特征在于，所述方法包括：
获取源文本序列；
将所述源文本序列输入行为-评价模型，以生成所述源文本序列对应的结构化信息，其中，所述行为-评价模型包括行为子模型和评价子模型，所述行为子模型用于根据输入的所述源文本序列生成所述源文本序列对应的结构化信息，所述评价子模型用于对所述行为子模型进行训练。
2.如权利要求1所述的结构化信息的生成方法，其特征在于，所述将所述源文本序列输入行为-评价模型，以生成所述源文本序列对应的结构化信息之前，还包括：
获取多个训练样本；每一个所述训练样本中包括样本文本序列和所述样本文本序列所对应的样本结构化信息；
将所述多个训练样本输入所述行为子模型以生成预测结构化信息；
将所述预测结构化信息和所述样本结构化信息输入所述评价子模型，以生成评价值；以及
根据所述评价值对所述评价子模型进行训练。
3.如权利要求2所述的结构化信息的生成方法，其特征在于，所述评价子模型包括编码器和解码器；所述将所述预测结构化信息和所述样本结构化信息输入所述评价子模型以生成评价值，包括：
将所述样本结构化信息输入所述编码器，以及将所述预测结构化信息输入所述解码器，以生成预测质量得分；
根据所述预测结构化信息和所述样本结构化信息生成奖励得分；
根据所述预测质量得分和所述奖励得分生成所述评价值。
4.如权利要求3所述的结构化信息的生成方法，其特征在于，所述根据所述待评价结构化信息和所述样本结构化信息生成奖励得分，包括：
根据所述样本结构化信息和所述预测结构化信息生成所述预测结构化信息之中每个序列位置的相似性得分；
根据所述每个序列位置的相似性得分生成所述预测结构化信息的奖励得分，其中，所述序列位置的奖励得分为当前序列位置的相似性得分与上一个序列位置的相似性得分之差。
5.如权利要求3所述的结构化信息的生成方法，其特征在于，所述评价子模型的损失函数为：
Figure FDA0002455509680000021
其中，
Figure FDA0002455509680000022
为所述预测质量得分，
Figure FDA0002455509680000023
为所述奖励得分，T为所述样本结构化信息对应的序列长度，N为采样的数量，
Figure FDA0002455509680000024
和
Figure FDA0002455509680000025
分别为第t序列位置的单词和第γ序列位置的单词，
Figure FDA0002455509680000026
为第1至第t-1序列位置的单词，Yn为所述样本结构化信息，n、γ、t均为正整数。
6.如权利要求3所述的结构化信息的生成方法，其特征在于，所述方法还包括：
根据所述预测质量得分对所述行为子模型的参数进行梯度更新。
7.如权利要求6所述的结构化信息的生成方法，其特征在于，通过以下公式对所述行为子模型的参数进行梯度更新，
Figure FDA0002455509680000027
其中，
Figure FDA00024555096800000212
为先进方程，其中，
Figure FDA0002455509680000028
其中，
Figure FDA0002455509680000029
为所述预测质量得分，θ为待训练参数，
Figure FDA00024555096800000210
为单词表，a和b均为所述单词表中的单词，T为所述样本结构化信息对应的序列长度，N为采样的数量，
Figure FDA00024555096800000211
为第1至第t-1序列位置的单词，Yn为所述样本结构化信息，π为所述行为子模型，n和t均为正整数。
8.如权利要求2所述的结构化信息的生成方法，其特征在于，所述将所述多个训练样本输入所述行为子模型以生成预测结构化信息之后，还包括：
获取所述预测结构化信息之中每个序列位置的概率；
确定所述概率小于预设概率阈值的序列位置时，则在所述概率小于预设概率阈值的序列位置处按照所述序列位置对应预测结果进行扩展；
从所述序列位置开始使用所述行为子模型进行预测，以重新生成预测结构化信息；以及
根据重新生成的预测结构化信息对所述奖励得分进行更新。
9.一种结构化信息的生成装置，其特征在于，所述装置包括：
获取模块，用于获取源文本序列；
生成模块，用于将所述源文本序列输入行为-评价模型，以生成所述源文本序列对应的结构化信息，其中，所述行为-评价模型包括行为子模型和评价子模型，所述行为子模型用于根据输入的所述源文本序列生成所述源文本序列对应的结构化信息，所述评价子模型用于对所述行为子模型进行训练。
10.如权利要求9所述的结构化信息的生成装置，其特征在于，所述装置，还包括：
样本获取模块，用于获取多个训练样本；每一个所述训练样本中标注有样本文本序列所对应的样本结构化信息；
第一输入模块，用于将所述多个训练样本输入所述行为子模型以生成预测结构化信息；
第二输入模块，用于将所述预测结构化信息和所述样本结构化信息输入所述评价子模型，以生成评价值；以及
训练模块，用于根据所述评价值对所述评价子模型进行训练。
11.如权利要求10所述的结构化信息的生成装置，其特征在于，所述评价子模型包括编码器和解码器；所述第二输入模块，包括：
第一生成单元，用于将所述样本结构化信息输入所述编码器，以及将所述预测结构化信息输入所述解码器，以生成预测质量得分；
第二生成单元，用于根据所述预测结构化信息和所述样本结构化信息生成奖励得分；
第三生成单元，用于根据所述奖励得分和所述预测质量得分生成所述评价值。
12.如权利要求11所述的结构化信息的生成装置，其特征在于，所述第二生成单元，还用于：
根据所述样本结构化信息和所述预测结构化信息生成所述预测结构化信息之中每个序列位置的相似性得分；
根据所述每个序列位置的相似性得分生成所述预测结构化信息的奖励得分，其中，所述序列位置的奖励得分为当前序列位置的相似性得分与上一个序列位置的相似性得分之差。
13.如权利要求11所述的结构化信息的生成装置，其特征在于，所述评价子模型的损失函数为：
Figure FDA0002455509680000031
其中，
Figure FDA0002455509680000032
为所述预测质量得分，
Figure FDA0002455509680000033
为所述奖励得分，T为所述样本结构化信息对应的序列长度，N为采样的数量，
Figure FDA0002455509680000034
和
Figure FDA0002455509680000035
分别为第t序列位置的单词和第γ序列位置的单词，
Figure FDA0002455509680000036
为第1至第t-1序列位置的单词，Yn为所述样本结构化信息，n、γ、t均为正整数。
14.如权利要求11所述的结构化信息的生成装置，其特征在于，所述装置还包括：
更新模块，用于根据所述预测质量得分对所述行为子模型的参数进行梯度更新。
15.如权利要求14所述的结构化信息的生成装置，其特征在于，通过以下公式对所述行为子模型的参数进行梯度更新，
Figure FDA0002455509680000037
其中，
Figure FDA0002455509680000038
为先进方程，其中，
Figure FDA0002455509680000041
其中，
Figure FDA0002455509680000042
为所述预测质量得分，θ为待训练参数，
Figure FDA0002455509680000043
为单词表，a和b均为所述单词表中的单词，T为所述样本结构化信息对应的序列长度，N为采样的数量，
Figure FDA0002455509680000044
为第1至第t-1序列位置的单词，Yn为所述样本结构化信息，π为所述行为子模型，n和t均为正整数。
16.如权利要求11所述的结构化信息的生成装置，其特征在于，所述第二输入模块，还包括：
获取单元，用于获取所述样本结构化信息之中每个序列位置的概率；
扩展单元，用于确定所述概率小于预设概率阈值的序列位置时，则在所述概率小于预设概率阈值的序列位置处按照所述序列位置对应预测结果进行扩展；
第四生成单元，用于从所述序列位置开始使用所述行为子模型进行预测，以生成新的样本结构化信息；以及
更新单元，用于根据所述新的样本结构化信息对所述奖励得分进行更新。
17.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的结构化信息的生成方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的结构化信息的生成方法。
CN202010305158.5A 2020-04-17 2020-04-17 结构化信息的生成方法、装置、电子设备和存储介质 Active CN111597224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010305158.5A CN111597224B (zh) 2020-04-17 2020-04-17 结构化信息的生成方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010305158.5A CN111597224B (zh) 2020-04-17 2020-04-17 结构化信息的生成方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111597224A true CN111597224A (zh) 2020-08-28
CN111597224B CN111597224B (zh) 2023-09-15

Family

ID=72190304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010305158.5A Active CN111597224B (zh) 2020-04-17 2020-04-17 结构化信息的生成方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111597224B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065330A (zh) * 2021-03-22 2021-07-02 四川大学 一种从非结构化数据中提取敏感信息的方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140096249A1 (en) * 2009-11-06 2014-04-03 Cataphora, Inc. Continuous anomaly detection based on behavior modeling and heterogeneous information analysis
CN105022733A (zh) * 2014-04-18 2015-11-04 中科鼎富（北京）科技发展有限公司 Dinfo-oec文本分析挖掘方法与设备
CN108304911A (zh) * 2018-01-09 2018-07-20 中国科学院自动化研究所 基于记忆神经网络的知识抽取方法以及***和设备
CN108763368A (zh) * 2018-05-17 2018-11-06 爱因互动科技发展（北京）有限公司 抽取新知识点的方法
CN109483530A (zh) * 2018-10-18 2019-03-19 北京控制工程研究所 一种基于深度强化学习的足式机器人运动控制方法及***
CN109657051A (zh) * 2018-11-30 2019-04-19 平安科技（深圳）有限公司 文本摘要生成方法、装置、计算机设备及存储介质
CN110059100A (zh) * 2019-03-20 2019-07-26 广东工业大学 基于演员-评论家网络的sql语句构造方法
CN110070099A (zh) * 2019-02-20 2019-07-30 北京航空航天大学 一种基于强化学习的工业数据特征结构化方法
CN110135457A (zh) * 2019-04-11 2019-08-16 中国科学院计算技术研究所 基于自编码器融合文档信息的事件触发词抽取方法及***
CN110222847A (zh) * 2019-06-13 2019-09-10 苏州浪潮智能科技有限公司 一种机器学习方法与装置
CN110263350A (zh) * 2019-03-08 2019-09-20 腾讯科技（深圳）有限公司 模型训练方法、装置、计算机可读存储介质和计算机设备
CN110489545A (zh) * 2019-07-09 2019-11-22 平安科技（深圳）有限公司 文本分类方法及装置、存储介质、计算机设备
CN110532353A (zh) * 2019-08-27 2019-12-03 海南阿凡题科技有限公司 基于深度学习的文本实体匹配方法、***、装置
CN110795525A (zh) * 2019-09-17 2020-02-14 腾讯科技（深圳）有限公司 文本结构化方法、装置、电子设备及计算机可读存储介质
US20200104645A1 (en) * 2018-09-27 2020-04-02 Deepmind Technologies Limited Reinforcement learning neural networks grounded in learned visual entities

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140096249A1 (en) * 2009-11-06 2014-04-03 Cataphora, Inc. Continuous anomaly detection based on behavior modeling and heterogeneous information analysis
CN105022733A (zh) * 2014-04-18 2015-11-04 中科鼎富（北京）科技发展有限公司 Dinfo-oec文本分析挖掘方法与设备
CN108304911A (zh) * 2018-01-09 2018-07-20 中国科学院自动化研究所 基于记忆神经网络的知识抽取方法以及***和设备
CN108763368A (zh) * 2018-05-17 2018-11-06 爱因互动科技发展（北京）有限公司 抽取新知识点的方法
US20200104645A1 (en) * 2018-09-27 2020-04-02 Deepmind Technologies Limited Reinforcement learning neural networks grounded in learned visual entities
CN109483530A (zh) * 2018-10-18 2019-03-19 北京控制工程研究所 一种基于深度强化学习的足式机器人运动控制方法及***
CN109657051A (zh) * 2018-11-30 2019-04-19 平安科技（深圳）有限公司 文本摘要生成方法、装置、计算机设备及存储介质
CN110070099A (zh) * 2019-02-20 2019-07-30 北京航空航天大学 一种基于强化学习的工业数据特征结构化方法
CN110263350A (zh) * 2019-03-08 2019-09-20 腾讯科技（深圳）有限公司 模型训练方法、装置、计算机可读存储介质和计算机设备
CN110059100A (zh) * 2019-03-20 2019-07-26 广东工业大学 基于演员-评论家网络的sql语句构造方法
CN110135457A (zh) * 2019-04-11 2019-08-16 中国科学院计算技术研究所 基于自编码器融合文档信息的事件触发词抽取方法及***
CN110222847A (zh) * 2019-06-13 2019-09-10 苏州浪潮智能科技有限公司 一种机器学习方法与装置
CN110489545A (zh) * 2019-07-09 2019-11-22 平安科技（深圳）有限公司 文本分类方法及装置、存储介质、计算机设备
CN110532353A (zh) * 2019-08-27 2019-12-03 海南阿凡题科技有限公司 基于深度学习的文本实体匹配方法、***、装置
CN110795525A (zh) * 2019-09-17 2020-02-14 腾讯科技（深圳）有限公司 文本结构化方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUANFENG YANG: "Attribute-Based Transfer Learning for Behavior Recognition with Structural Information", 2018 IEEE 3RD ADVANCED INFORMATION TECHNOLOGY *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065330A (zh) * 2021-03-22 2021-07-02 四川大学 一种从非结构化数据中提取敏感信息的方法

Also Published As

Publication number Publication date
CN111597224B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN111079442B (zh) 文档的向量化表示方法、装置和计算机设备
US20210334669A1 (en) Method, apparatus, device and storage medium for constructing knowledge graph
CN110688854B (zh) 命名实体识别方法、装置及计算机可读存储介质
US11573992B2 (en) Method, electronic device, and storage medium for generating relationship of events
EP3961476A1 (en) Entity linking method and apparatus, electronic device and storage medium
US11615242B2 (en) Method and apparatus for structuring data, related computer device and medium
CN111753914A (zh) 模型优化方法和装置、电子设备及存储介质
CN112860919B (zh) 基于生成模型的数据标注方法、装置、设备及存储介质
EP3896595A1 (en) Text key information extracting method, apparatus, electronic device, storage medium, and computer program product
CN111339759A (zh) 领域要素识别模型训练方法、装置及电子设备
JP6312467B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111859953A (zh) 训练数据的挖掘方法、装置、电子设备及存储介质
CN114298050A (zh) 模型的训练方法、实体关系抽取方法、装置、介质、设备
CN112559885A (zh) 地图兴趣点的训练模型确定方法、装置及电子设备
CN114416995A (zh) 信息推荐方法、装置及设备
CN111738015B (zh) 文章情感极性分析方法、装置、电子设备及存储介质
JP7286737B2 (ja) テキスト誤り訂正方法、装置、電子デバイス、記憶媒体及びプログラム
CN114218940B (zh) 文本信息处理、模型训练方法、装置、设备及存储介质
CN111611808A (zh) 用于生成自然语言模型的方法和装置
CN113312451B (zh) 文本标签确定方法和装置
CN116569159A (zh) 使用图神经网络自动描绘和提取可移植文档格式的表格数据
CN113902005A (zh) 语言模型的预训练方法、装置、设备和存储介质
CN111597224B (zh) 结构化信息的生成方法、装置、电子设备和存储介质
CN112328749A (zh) 知识要素提取方法、装置、电子设备、介质和程序产品
CN115186738B (zh) 模型训练方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant