CN109871532B - 文本主题提取方法、装置及存储介质 - Google Patents

文本主题提取方法、装置及存储介质 Download PDF

Info

Publication number
CN109871532B
CN109871532B CN201910008265.9A CN201910008265A CN109871532B CN 109871532 B CN109871532 B CN 109871532B CN 201910008265 A CN201910008265 A CN 201910008265A CN 109871532 B CN109871532 B CN 109871532B
Authority
CN
China
Prior art keywords
text
layer
matrix
attention mechanism
extraction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910008265.9A
Other languages
English (en)
Other versions
CN109871532A (zh
Inventor
金戈
徐亮
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910008265.9A priority Critical patent/CN109871532B/zh
Publication of CN109871532A publication Critical patent/CN109871532A/zh
Priority to PCT/CN2019/118287 priority patent/WO2020140633A1/zh
Application granted granted Critical
Publication of CN109871532B publication Critical patent/CN109871532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于人工智能技术领域，公开了一种文本主题提取方法，包括：构建文本主题提取模型；训练文本主题提取模型；获取文本样本对应的文本词向量；将文本词向量输入经过训练的文本主题提取模型；输出文本主题，其中，文本主题提取模型包括卷积神经网络和注意力机制，注意力机制包括位置注意力机制和通道注意力机制，位置注意力机制和通道注意力机制并行建立，均与卷积神经网络的激活层连接，分别施加位置注意力权重和通道注意力权重，将位置注意力机制的输出结果和通道注意力机制的输出结果均输入卷积神经网路的全连接层。本发明还公开了一种电子装置和存储介质。本发明提高了文本主题提取模型运算效率，提高了文本主题提取的精度。

Description

文本主题提取方法、装置及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种文本主题提取方法、装置及存储介质。
背景技术
随着互联网的迅速发展，越来越多的用户通过网络进行信息的共享，通过电子文本记载网络信息资源，因此，若需要快速在海量的电子文本中找到所需电子信息，则需要在文本中提取文本主题以表征该电子文本。在一个文本中提取文本主题可以帮助用户判断是否需要查看文本的全文。而海量的电子文本存在多个主题文本，包含丰富的主题信息。对于文本主题的提取大多是基于人工智能技术，利用计算机通过文本主题提取模型，从文本中自动提取内容生成文本主题。现有多数文本主题提取模型主要基于循环神经网络，而循环神经网络模型的运算效率较低，导致文本主题提取模型的运算效率较低，增加运算负担，且导致通过该文本主题提取模型进行文本主题提取的效率较低。
发明内容
本发明提供一种基于卷积神经网络和注意力机制的文本主题提取方法、装置及存储介质，以提高文本主题提取的效率，降低文本主题提取模型的运算负担。
为了实现上述目的，本发明的一个方面是提供一种文本主题提取方法，包括：构建文本主题提取模型；训练所述文本主题提取模型；获取文本样本对应的文本词向量；将所述文本词向量输入经过训练的文本主题提取模型；输出与所述文本样本相应的文本主题，其中，构建的所述文本主题提取模型包括卷积神经网络和注意力机制，所述卷积神经网络包括输入层、卷积层、激活层和全连接层，输入层用于输入文本词向量，卷积层用于对所述文本词向量进行卷积运算，提取文本特征，得到文本特征向量，所述激活层用于对所述文本特征向量进行激活作用；所述注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制和所述通道注意力机制并行建立，均与所述激活层连接，通过所述位置注意力机制向所述激活层的输出矩阵施加位置注意力权重，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述位置注意力机制的输出结果；通过所述通道注意力机制向所述激活层的输出矩阵施加通道注意力权重，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果；将所述位置注意力机制的输出结果和所述通道注意力机制的输出结果均输入所述全连接层，通过所述全连接层输出文本主题。
优选地，所述文本主题提取模型还包括多个全连接隐含层，多个全连接隐含层并行设置，且每个全连接隐含层均与所述激活层连接，通过所述全连接隐含层将所述激活层的输出矩阵分别转化为位置注意力权重矩阵和通道注意力权重矩阵。
优选地，得到所述位置注意力特征矩阵的步骤包括：所述激活层的输出矩阵通过一个全连接隐含层输出第一转化矩阵，将所述第一转化矩阵与所述位置注意力权重矩阵进行矩阵乘法运算，得到位置注意力特征矩阵；得到所述通道注意力特征矩阵的步骤包括：所述激活层的输出矩阵通过另一个全连接隐含层输出第二转化矩阵，将所述第二转化矩阵与所述通道注意力权重矩阵进行矩阵乘法运算，得到通道注意力特征矩阵。
优选地，所述文本主题提取模型还包括嵌入层，所述嵌入层位于所述文本主题提取模型的第一层，通过所述嵌入层将文本样本转化为文本词向量。
优选地，获取文本样本对应的文本词向量的步骤包括：构建词向量模型，并根据语料库对所述词向量模型进行训练；对所述文本样本进行分词；将分词后的文本样本输入经过训练的词向量模型；输出与所述文本样本对应的文本词向量。
优选地，训练所述文本主题提取模型的步骤包括：
初始化所述文本主题提取模型的参数，所述参数包括：输入层与卷积层的连接权值、卷积层与激活层的连接权值、激活层和全连接层的连接权值；
构建训练样本集，训练样本包括文本词向量和文本主题；
将所述训练样本集中的一个训练样本输入所述文本主题提取模型中，输出与所述训练样本对应的文本主题；
基于所述文本主题提取模型的损失函数更新所述参数；
根据更新后的参数训练下一个训练样本，并计算所述文本主题提取模型的损失函数值；
判断所述文本主题提取模型的训练是否达到收敛条件，若达到收敛条件，则结束训练，得到训练后的文本主题提取模型，若未达到收敛条件，则更新所述文本主题提取模型的参数，继续训练，其中，所述收敛条件为损失函数值的变化小于预设阈值。
为了实现上述目的，本发明的另一个方面是提供一种电子装置，该电子装置包括：处理器；存储器，所述存储器中包括文本主题提取程序，所述文本主题提取程序被所述处理器执行时实现如下所述的文本主题提取方法的步骤：
构建文本主题提取模型；训练所述文本主题提取模型；获取文本样本对应的文本词向量；将所述文本词向量输入经过训练的文本主题提取模型；输出与所述文本样本相应的文本主题，其中，构建的所述文本主题提取模型包括卷积神经网络和注意力机制，所述卷积神经网络包括输入层、卷积层、激活层和全连接层，输入层用于输入文本词向量，卷积层用于对所述文本词向量进行卷积运算，提取文本特征，得到文本特征向量，所述激活层用于对所述文本特征向量进行激活作用；所述注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制和所述通道注意力机制并行建立，均与所述激活层连接，通过所述位置注意力机制向所述激活层的输出矩阵施加位置注意力权重，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述位置注意力机制的输出结果；通过所述通道注意力机制向所述激活层的输出矩阵施加通道注意力权重，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果；将所述位置注意力机制的输出结果和所述通道注意力机制的输出结果均输入所述全连接层，通过所述全连接层输出文本主题。
优选地，所述文本主题提取模型还包括多个全连接隐含层，多个全连接隐含层并行设置，且每个全连接隐含层均与所述激活层连接，通过所述全连接隐含层将所述激活层的输出矩阵分别转化为位置注意力权重矩阵和通道注意力权重矩阵。
优选地，所述文本主题提取模型还包括嵌入层，所述嵌入层位于所述文本主题提取模型的第一层，通过所述嵌入层将文本样本转化为文本词向量。
为了实现上述目的，本发明的再一个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中包括文本主题提取程序，所述文本主题提取程序被处理器执行时，实现如上所述的文本主题提取方法的步骤。
相对于现有技术，本发明具有以下优点和有益效果：
本发明通过卷积神经网络与注意力机制相结合构建文本主题提取模型，提取与文本相应的文本主题，提高了文本主题提取模型的精度，同时提高了文本主题提取模型的运算效率，从而提高了通过所述文本主题提取模型对文本样本进行主题提取的效率。
附图说明
图1为本发明所述文本主题提取方法的流程示意图；
图2为本发明中文本主题提取程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将参考附图来描述本发明所述的实施例。本领域的普通技术人员可以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，仅仅用以解释本发明，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按比例画出，并且相同的附图标记表示相同的部分。
图1为本发明所述文本主题提取方法的流程示意图，如图1所示，本发明所述文本主题提取方法，包括以下步骤：
步骤S1、构建文本主题提取模型；
步骤S2、训练所述文本主题提取模型；
步骤S3、获取文本样本对应的文本词向量；
步骤S4、将所述文本词向量输入经过训练的文本主题提取模型；
步骤S5、输出与所述文本样本相应的文本主题，
其中，步骤S1中构建的所述文本主题提取模型包括卷积神经网络和注意力机制，所述卷积神经网络包括输入层、卷积层、激活层和全连接层，输入层用于输入文本词向量，卷积层用于对所述文本词向量进行卷积运算，提取文本特征，得到文本特征向量，所述激活层用于对所述文本特征向量进行激活作用；所述注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制和所述通道注意力机制并行建立，均与所述激活层连接，通过所述位置注意力机制向所述激活层的输出矩阵施加位置注意力权重，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述位置注意力机制的输出结果；通过所述通道注意力机制向所述激活层的输出矩阵施加通道注意力权重，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果，将所述位置注意力机制的输出结果和所述通道注意力机制的输出结果均输入所述全连接层，通过所述全连接层输出文本主题。
本发明通过卷积神经网络与注意力机制相结合构建文本主题提取模型，提取与文本相应的文本主题，可以用于评语的关键词摘取。所述文本主题提取模型通过卷积神经网络进行卷积运算，并通过建立并行的位置注意力机制和通道注意力机制为不同的语义分配不同的权重，在提高文本主题提取模型的精度的同时，提高了文本主题提取模型的运算效率，从而提高了通过所述文本主题提取模型对文本样本进行主题提取的效率。
本发明中，所述卷积神经网络的卷积层包括多个一维卷积核，每个卷积核均有128通道，多个所述卷积核的步长分别为1、3和5，每种步长的卷积核各占卷积核总量的1/3，通过内边距(padding)的设置实现卷积层输入和输出维度一致。卷积核的数量越多，通过卷积层提取的文本特征越多，后续通过对文本特征向量的处理得到的文本主题越精确。但卷积核的数量越多，会影响文本主题提取模型的运行速度，所以，卷积核不宜过量。
本发明的一个实施例中，卷积神经网络中激活层的激活函数采用ReLU函数，但本发明并不限于此，也可以是其他的激活函数形式，例如，Sigmoid函数或Tanh函数等形式。本发明中，将激活层的输出作为卷积神经网络的输出。
优选地，训练所述文本主题提取模型的步骤包括：
初始化所述文本主题提取模型的参数，所述参数包括：输入层与卷积层的连接权值、卷积层与激活层的连接权值、激活层和全连接层的连接权值；
构建训练样本集，训练样本包括文本词向量和文本主题；
将所述训练样本集中的一个训练样本输入所述文本主题提取模型中，输出与所述训练样本对应的文本主题；
基于所述文本主题提取模型的损失函数更新所述参数，其中，损失函数为交叉熵函数；
根据更新后的参数训练下一个训练样本，并计算所述文本主题提取模型的损失函数值；
判断所述文本主题提取模型的训练是否达到收敛条件，若达到收敛条件，则结束训练，得到训练后的文本主题提取模型，若未达到收敛条件，则更新所述文本主题提取模型的参数，继续训练，其中，所述收敛条件为损失函数值的变化小于预设阈值。一般，预设阈值可以取为0.02，训练学习率为0.001。
本发明中可以通过多种方式将文本样本转化为与其相对应的文本词向量。优选地，所述主题提取模型还包括嵌入层，所述嵌入层位于所述文本主题提取模型的第一层，通过所述嵌入层将文本样本转化为文本词向量，将得到的文本词向量输入所述卷积神经网络的输入层。但本发明并不限于此，本发明还可以通过采用各种词向量模型将文本样本转化为与其对应的文本词向量，例如，Word2Vec模型、CBOW模型等。优选地，所述步骤S3中，获取文本样本对应的文本词向量的步骤包括：
构建词向量模型，并根据语料库对所述词向量模型进行训练，其中，用于训练的语料库可以是中文***语料库；
对所述文本样本进行分词；
将分词后的文本样本输入经过训练的词向量模型；
输出与所述文本样本对应的文本词向量。
根据文本样本确定文本长度，根据确定的文本长度对文本样本进行分词，本发明的一个实施例中，根据文本样本确定的文本长度为100，通过分词库(例如，jieba、Jcseg和HanLP等分词库)对文本样本进行分词，文本词向量的维度为300。
本发明中，注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制根据文本位置特征对所述激活层的输出矩阵施加注意力，进行权重分配；所述通道注意力机制根据卷积核通道对所述激活层的输出施加注意力，进行权重分配。
所述位置注意力机制和所述通道注意力机制并行建立，且均与所述激活层连接，所述位置注意力机制和所述通道注意力机制的输入均来源于所述激活层的输出，优选地，所述文本主题提取模型还包括多个全连接隐含层，多个全连接隐含层并行设置，且每个全连接隐含层均与所述激活层连接，通过不同的全连接隐含层将所述激活层的输出矩阵分别转化为位置注意力权重矩阵和通道注意力权重矩阵，根据所述位置注意力权重矩阵和通道注意力权重矩阵分别对所述激活层的输出进行权重分配。
进一步地，所述激活层的输出矩阵通过一个全连接隐含层输出第一转化矩阵，将所述第一转化矩阵与所述位置注意力权重矩阵进行矩阵乘法运算，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果，输入所述全连接层；所述激活层的输出矩阵通过另一个全连接隐含层输出第二转化矩阵，将所述第二转化矩阵与所述通道注意力权重矩阵进行矩阵乘法运算，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果，输入所述全连接层。
本发明的一个实施例中，卷积神经网络的卷积核为单维卷积核，卷积核通道数总量为k，激活层的输出矩阵为k*m*1，处理时将激活层的输出矩阵转化为k*m，通过与激活层连接的不同的全连接隐含层对激活层的输出矩阵进行特征提取，将激活层的输出矩阵分别转化为维度为m*k和k*m的两个矩阵，并将两个矩阵进行乘法运算，得到维度为m*m的位置注意力权重矩阵，根据该位置注意力权重矩阵对激活层的输出进行权重分配，使得处于不同位置的语义得到不同的权重，以更加精确地提取文本主题。类似地，通过与激活层连接的不同的全连接隐含层对激活层的输出进行特征提取，将激活层的输出矩阵分别转化为维度为k*m和m*k的两个矩阵，并将两个矩阵进行乘法运算，得到维度为k*k的通道注意力权重矩阵，根据该通道注意力权重矩阵对激活层的输出进行权重分配。
例如，卷积神经网络的卷积核为单维卷积核，卷积核通道数总量为384，卷积神经网络激活层的输出矩阵为384*100*1的三维矩阵。对于位置注意力机制，首先将激活层的输出矩阵转化为384*100的二维矩阵，通过两个并行的全连接隐含层输出维度为100*384与384*100的两个矩阵，并将两个矩阵进行矩阵乘法运算及softmax映射，得到维度为100*100的位置注意力权重矩阵。在此基础上，通过另一个并行的全连接隐含层输出维度为384*100的第一转化矩阵，将第一转化矩阵与位置注意力权重矩阵进行矩阵乘法运算，得到维度为384*100的位置注意力特征矩阵并将其转化为384*100*1的三维矩阵，并与激活层输出的384*100*1的三维矩阵加和，作为位置注意力机制的输出结果。对于通道注意力机制，首先将激活层的输出矩阵转化为384*100的二维矩阵，通过两个并行的全连接隐含层输出维度为384*100与100*384的两个矩阵，并将两个矩阵进行矩阵乘法运算及softmax映射，得到维度为384*384的通道注意力权重矩阵。在此基础上，通过另一个并行的全连接隐含层输出维度为100*384的第二转化矩阵，将第二转化矩阵与通道注意力权重矩阵进行矩阵乘法，得到维度为100*384的通道注意力矩阵并将其转化为384*100*1的三维矩阵，并与激活层输出的384*100*1的三维矩阵加和，作为通道注意力机制的输出结果。将位置注意力机制和通道注意力机制的输出结果，输入全连接层，完成整个文本主题提取模型的输出，文本主题提取模型的输出维度为100，与文本样本确定的文本长度相同，对应输入的文本样本中每个词语的关键词标注。
本发明中，通过注意力机制向激活层的输出矩阵施加不同的注意力权重，经过注意力机制得到位置注意力特征矩阵和通道注意力特征矩阵，将位置注意力特征矩阵和通道注意力特征矩阵分别与卷积神经网络的输出矩阵加和。例如，文本词向量经卷积神经网络激活层的作用得到10维输出矩阵，通过位置注意力机制向10维输出矩阵施加位置注意力得到10维的位置注意力特征矩阵，通过通道注意力机制向10维输出矩阵施加通道注意力得到10维的通道注意力特征矩阵，将10维的位置注意力特征矩阵与卷积神经网络的10维输出矩阵加和得到20维的输出矩阵，输入全连接层。类似地，将10维的通道注意力特征矩阵与卷积神经网络的10维输出矩阵加和得到20维的输出矩阵，输入全连接层，经全连接层输出文本主题。
本发明所述文本主题提取方法应用于电子装置，所述电子装置可以是电视机、智能手机、平板电脑、计算机等终端设备。
所述电子装置包括：处理器；存储器，用于存储文本主题提取程序，处理器执行所述文本主题提取程序，实现以下的文本主题提取方法的步骤：构建文本主题提取模型；训练所述文本主题提取模型；获取文本样本对应的文本词向量；将所述文本词向量输入经过训练的文本主题提取模型；输出与所述文本样本相应的文本主题。
其中，构建的所述文本主题提取模型包括卷积神经网络和注意力机制，所述卷积神经网络包括输入层、卷积层、激活层和全连接层，输入层用于输入文本词向量，卷积层用于对所述文本词向量进行卷积运算，提取文本特征，得到文本特征向量，所述激活层用于对所述文本特征向量进行激活作用；所述注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制和所述通道注意力机制并行建立，均与所述激活层连接，通过所述位置注意力机制向所述激活层的输出矩阵施加位置注意力权重，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述位置注意力机制的输出结果；通过所述通道注意力机制向所述激活层的输出矩阵施加通道注意力权重，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果，将所述位置注意力机制的输出结果和所述通道注意力机制的输出结果均输入所述全连接层，通过所述全连接层输出文本主题。
所述电子装置还包括网络接口和通信总线等。其中，网络接口可以包括标准的有线接口、无线接口，通信总线用于实现各个组件之间的连接通信。
存储器包括至少一种类型的可读存储介质，可以是闪存、硬盘、光盘等非易失性存储介质，也可以是插接式硬盘等，且并不限于此，可以是以非暂时性方式存储指令或软件以及任何相关联的数据文件并向处理器提供指令或软件程序以使该处理器能够执行指令或软件程序的任何装置。本发明中，存储器存储的软件程序包括文本主题提取程序，并可以向处理器提供该文本主题提取程序，以使得处理器可以执行该文本主题提取程序，实现文本主题提取方法的步骤。
处理器可以是中央处理器、微处理器或其他数据处理芯片等，可以运行存储器中的存储程序，例如，可以执行本发明中的文本主题提取程序。
所述电子装置还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置中处理的信息以及用于显示可视化的工作界面。
所述电子装置还可以包括用户接口，用户接口可以包括输入单元(比如键盘)、语音输出装置(比如音响、耳机)等。
本发明中，所述文本主题提取模型中的卷积神经网络的卷积层包括多个一维卷积核，每个卷积核均有128通道，多个所述卷积核的步长分别为1、3和5，每种步长的卷积核各占卷积核总量的1/3，通过内边距(padding)的设置实现卷积层输入和输出维度一致。
优选地，训练所述文本主题提取模型的步骤包括：
初始化所述文本主题提取模型的参数，所述参数包括：输入层与卷积层的连接权值、卷积层与激活层的连接权值、激活层和全连接层的连接权值；
构建训练样本集，训练样本包括文本词向量和文本主题；
将所述训练样本集中的一个训练样本输入所述文本主题提取模型中，输出与所述训练样本对应的文本主题；
基于所述文本主题提取模型的损失函数更新所述参数，其中，损失函数为交叉熵函数；
根据更新后的参数训练下一个训练样本，并计算所述文本主题提取模型的损失函数值；
判断所述文本主题提取模型的训练是否达到收敛条件，若达到收敛条件，则结束训练，得到训练后的文本主题提取模型，若未达到收敛条件，则更新所述文本主题提取模型的参数，继续训练，其中，所述收敛条件为损失函数值的变化小于预设阈值。一般，预设阈值可以取为0.02，训练学习率为0.001。
本发明中可以通过多种方式将文本样本转化为与其相对应的文本词向量。优选地，所述主题提取模型还包括嵌入层，所述嵌入层位于所述文本主题提取模型的第一层，通过所述嵌入层将文本样本转化为文本词向量，将得到的文本词向量输入所述卷积神经网络的输入层。但本发明并不限于此，本发明还可以通过采用各种词向量模型将文本样本转化为与其对应的文本词向量，例如，Word2Vec模型、CBOW模型等。优选地，获取文本样本对应的文本词向量的步骤包括：
构建词向量模型，并根据语料库对所述词向量模型进行训练，其中，用于训练的语料库可以是中文***语料库；
对所述文本样本进行分词；
将分词后的文本样本输入经过训练的词向量模型；
输出与所述文本样本对应的文本词向量。
根据文本样本确定文本长度，根据确定的文本长度对文本样本进行分词，本发明的一个实施例中，根据文本样本确定的文本长度为100，通过分词库(例如，jieba、Jcseg和HanLP等分词库)对文本样本进行分词，文本词向量的维度为300。
优选地，所述文本主题提取模型还包括多个全连接隐含层，多个全连接隐含层并行设置，且每个全连接隐含层均与所述激活层连接，通过不同的全连接隐含层将所述激活层的输出矩阵分别转化为位置注意力权重矩阵和通道注意力权重矩阵，根据所述位置注意力权重矩阵和通道注意力权重矩阵分别对所述激活层的输出进行权重分配，所述位置注意力机制和所述通道注意力机制的输入均来源于所述激活层的输出。
进一步地，所述激活层的输出矩阵通过一个全连接隐含层输出第一转化矩阵，将所述第一转化矩阵与所述位置注意力权重矩阵进行矩阵乘法运算，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果，输入所述全连接层；所述激活层的输出矩阵通过另一个全连接隐含层输出第二转化矩阵，将所述第二转化矩阵与所述通道注意力权重矩阵进行矩阵乘法运算，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果，输入所述全连接层。
本发明的一个实施例中，卷积神经网络的卷积核为单维卷积核，卷积核通道数总量为k，激活层的输出矩阵为k*m*1，处理时将激活层的输出矩阵转化为k*m，通过与激活层连接的不同的全连接隐含层对激活层的输出矩阵进行特征提取，将激活层的输出矩阵分别转化为维度为m*k和k*m的两个矩阵，并将两个矩阵进行乘法运算，得到维度为m*m的位置注意力权重矩阵，根据该位置注意力权重矩阵对激活层的输出进行权重分配，使得处于不同位置的语义得到不同的权重，以更加精确地提取文本主题。类似地，通过与激活层连接的不同的全连接隐含层对激活层的输出进行特征提取，将激活层的输出矩阵分别转化为维度为k*m和m*k的两个矩阵，并将两个矩阵进行乘法运算，得到维度为k*k的通道注意力权重矩阵，根据该通道注意力权重矩阵对激活层的输出进行权重分配。
在其他实施例中，文本主题提取程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器中，并由处理器执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。图2为本发明中文本主题提取程序的模块示意图，如图2所示，所述文本主题提取程序可以被分割为：模型构建模块1、模型训练模块2、获取模块3、输入模块4和输出模块5。上述模块所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
模型构建模块1，构建文本主题提取模型，其中，构建的文本主题提取模型包括卷积神经网络和注意力机制，具体构成如上文所述，在此不再赘述；
模型训练模块2，训练所述文本主题提取模型；
获取模块3，获取文本样本对应的文本词向量；
输入模块4，将所述文本词向量输入经过训练的文本主题提取模型；
输出模块5，输出与所述文本样本相应的文本主题。
本发明的一个实施例中，计算机可读存储介质可以是任何包含或存储程序或指令的有形介质，其中的程序可以被执行，通过存储的程序指令相关的硬件实现相应的功能。例如，计算机可读存储介质可以是计算机磁盘、硬盘、随机存取存储器、只读存储器等。本发明并不限于此，可以是以非暂时性方式存储指令或软件以及任何相关数据文件或数据结构并且可提供给处理器以使处理器执行其中的程序或指令的任何装置。所述计算机可读存储介质中包括文本主题提取程序，所述文本主题提取程序被处理器执行时，实现如下的文本主题提取方法：
构建文本主题提取模型；训练所述文本主题提取模型；获取文本样本对应的文本词向量；将所述文本词向量输入经过训练的文本主题提取模型；输出与所述文本样本相应的文本主题。
其中，构建的所述文本主题提取模型包括卷积神经网络和注意力机制，所述卷积神经网络包括输入层、卷积层、激活层和全连接层，输入层用于输入文本词向量，卷积层用于对所述文本词向量进行卷积运算，提取文本特征，得到文本特征向量，所述激活层用于对所述文本特征向量进行激活作用；所述注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制和所述通道注意力机制并行建立，均与所述激活层连接，通过所述位置注意力机制向所述激活层的输出矩阵施加位置注意力权重，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述位置注意力机制的输出结果；通过所述通道注意力机制向所述激活层的输出矩阵施加通道注意力权重，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果，将所述位置注意力机制的输出结果和所述通道注意力机制的输出结果均输入所述全连接层，通过所述全连接层输出文本主题。
本发明之计算机可读存储介质的具体实施方式与上述文本主题提取方法、电子装置的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种文本主题提取方法，应用于电子装置，其特征在于，包括以下步骤：
构建文本主题提取模型；
训练所述文本主题提取模型；
获取文本样本对应的文本词向量；
将所述文本词向量输入经过训练的文本主题提取模型；
输出与所述文本样本相应的文本主题，
其中，构建的所述文本主题提取模型包括卷积神经网络和注意力机制，
所述卷积神经网络包括输入层、卷积层、激活层和全连接层，输入层用于输入文本词向量，卷积层用于对所述文本词向量进行卷积运算，提取文本特征，得到文本特征向量，所述激活层用于对所述文本特征向量进行激活作用；所述卷积神经网络的卷积层包括多个一维卷积核，多个所述卷积核的步长分别为1、3和5，每种步长的卷积核各占卷积核总量的1/3，通过内边距的设置实现卷积层输入和输出维度一致；
所述注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制和所述通道注意力机制并行建立，均与所述激活层连接，通过所述位置注意力机制向所述激活层的输出矩阵施加位置注意力权重，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述位置注意力机制的输出结果；其中，得到所述位置注意力特征矩阵的步骤包括：所述激活层的输出矩阵通过一个全连接隐含层输出第一转化矩阵，将所述第一转化矩阵与所述位置注意力权重矩阵进行矩阵乘法运算，得到位置注意力特征矩阵；得到所述通道注意力特征矩阵的步骤包括：所述激活层的输出矩阵通过另一个全连接隐含层输出第二转化矩阵，将所述第二转化矩阵与所述通道注意力权重矩阵进行矩阵乘法运算，得到通道注意力特征矩阵；
通过所述通道注意力机制向所述激活层的输出矩阵施加通道注意力权重，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果；
将所述位置注意力机制的输出结果和所述通道注意力机制的输出结果均输入所述全连接层，通过所述全连接层输出文本主题。
2.根据权利要求1所述的文本主题提取方法，其特征在于，所述文本主题提取模型还包括多个全连接隐含层，多个全连接隐含层并行设置，且每个全连接隐含层均与所述激活层连接，通过所述全连接隐含层将所述激活层的输出矩阵分别转化为位置注意力权重矩阵和通道注意力权重矩阵。
3.根据权利要求1所述的文本主题提取方法，其特征在于，所述文本主题提取模型还包括嵌入层，所述嵌入层位于所述文本主题提取模型的第一层，通过所述嵌入层将文本样本转化为文本词向量。
4.根据权利要求1所述的文本主题提取方法，其特征在于，获取文本样本对应的文本词向量的步骤包括：
构建词向量模型，并根据语料库对所述词向量模型进行训练；
对所述文本样本进行分词；
将分词后的文本样本输入经过训练的词向量模型；
输出与所述文本样本对应的文本词向量。
5.根据权利要求1至4中任一项所述的文本主题提取方法，其特征在于，训练所述文本主题提取模型的步骤包括：
初始化所述文本主题提取模型的参数，所述参数包括：输入层与卷积层的连接权值、卷积层与激活层的连接权值、激活层和全连接层的连接权值；
构建训练样本集，训练样本包括文本词向量和文本主题；
将所述训练样本集中的一个训练样本输入所述文本主题提取模型中，输出与所述训练样本对应的文本主题；
基于所述文本主题提取模型的损失函数更新所述参数；
根据更新后的参数训练下一个训练样本，并计算所述文本主题提取模型的损失函数值；
判断所述文本主题提取模型的训练是否达到收敛条件，若达到收敛条件，则结束训练，得到训练后的文本主题提取模型，若未达到收敛条件，则更新所述文本主题提取模型的参数，继续训练，其中，所述收敛条件为损失函数值的变化小于预设阈值。
6.一种电子装置，其特征在于，该电子装置包括：
处理器；
存储器，所述存储器中包括文本主题提取程序，所述文本主题提取程序被所述处理器执行时实现如下所述的文本主题提取方法的步骤：
构建文本主题提取模型；
训练所述文本主题提取模型；
获取文本样本对应的文本词向量；
将所述文本词向量输入经过训练的文本主题提取模型；
输出与所述文本样本相应的文本主题，
其中，构建的所述文本主题提取模型包括卷积神经网络和注意力机制，
所述卷积神经网络包括输入层、卷积层、激活层和全连接层，输入层用于输入文本词向量，卷积层用于对所述文本词向量进行卷积运算，提取文本特征，得到文本特征向量，所述激活层用于对所述文本特征向量进行激活作用；所述卷积神经网络的卷积层包括多个一维卷积核，多个所述卷积核的步长分别为1、3和5，每种步长的卷积核各占卷积核总量的1/3，通过内边距的设置实现卷积层输入和输出维度一致；
所述注意力机制包括位置注意力机制和通道注意力机制，所述位置注意力机制和所述通道注意力机制并行建立，均与所述激活层连接，通过所述位置注意力机制向所述激活层的输出矩阵施加位置注意力权重，得到位置注意力特征矩阵，将所述位置注意力特征矩阵与所述激活层的输出矩阵加和，得到所述位置注意力机制的输出结果；其中，得到所述位置注意力特征矩阵的步骤包括：所述激活层的输出矩阵通过一个全连接隐含层输出第一转化矩阵，将所述第一转化矩阵与所述位置注意力权重矩阵进行矩阵乘法运算，得到位置注意力特征矩阵；得到所述通道注意力特征矩阵的步骤包括：所述激活层的输出矩阵通过另一个全连接隐含层输出第二转化矩阵，将所述第二转化矩阵与所述通道注意力权重矩阵进行矩阵乘法运算，得到通道注意力特征矩阵；
通过所述通道注意力机制向所述激活层的输出矩阵施加通道注意力权重，得到通道注意力特征矩阵，将所述通道注意力特征矩阵与所述激活层的输出矩阵加和，得到所述通道注意力机制的输出结果；
将所述位置注意力机制的输出结果和所述通道注意力机制的输出结果均输入所述全连接层，通过所述全连接层输出文本主题。
7.根据权利要求6所述的电子装置，其特征在于，所述文本主题提取模型还包括多个全连接隐含层，多个全连接隐含层并行设置，且每个全连接隐含层均与所述激活层连接，通过所述全连接隐含层将所述激活层的输出矩阵分别转化为位置注意力权重矩阵和通道注意力权重矩阵。
8.根据权利要求7所述的电子装置，其特征在于，所述文本主题提取模型还包括嵌入层，所述嵌入层位于所述文本主题提取模型的第一层，通过所述嵌入层将文本样本转化为文本词向量。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括文本主题提取程序，所述文本主题提取程序被处理器执行时，实现如权利要求1至5中任一项所述的文本主题提取方法的步骤。
CN201910008265.9A 2019-01-04 2019-01-04 文本主题提取方法、装置及存储介质 Active CN109871532B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910008265.9A CN109871532B (zh) 2019-01-04 2019-01-04 文本主题提取方法、装置及存储介质
PCT/CN2019/118287 WO2020140633A1 (zh) 2019-01-04 2019-11-14 文本主题提取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910008265.9A CN109871532B (zh) 2019-01-04 2019-01-04 文本主题提取方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109871532A CN109871532A (zh) 2019-06-11
CN109871532B true CN109871532B (zh) 2022-07-08

Family

ID=66917528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910008265.9A Active CN109871532B (zh) 2019-01-04 2019-01-04 文本主题提取方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN109871532B (zh)
WO (1) WO2020140633A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871532B (zh) * 2019-01-04 2022-07-08 平安科技（深圳）有限公司 文本主题提取方法、装置及存储介质
CN110322453B (zh) * 2019-07-05 2023-04-18 西安电子科技大学 基于位置注意力和辅助网络的3d点云语义分割方法
CN110705268B (zh) * 2019-09-02 2024-06-25 平安科技（深圳）有限公司 基于人工智能的文章主旨提取方法、装置及计算机可读存储介质
CN111274892B (zh) * 2020-01-14 2020-12-18 北京科技大学 一种鲁棒的遥感影像变化检测方法及***
CN113378556B (zh) * 2020-02-25 2023-07-14 华为技术有限公司 提取文本关键字的方法及装置
CN111597333B (zh) * 2020-04-27 2022-08-02 国家计算机网络与信息安全管理中心 一种面向区块链领域的事件与事件要素抽取方法及装置
CN111986730A (zh) * 2020-07-27 2020-11-24 中国科学院计算技术研究所苏州智能计算产业技术研究院 一种预测siRNA沉默效率的方法
CN111881260B (zh) * 2020-07-31 2024-05-17 安徽农业大学 基于方面注意力和卷积记忆神经网络情感分析方法及装置
CN111985551B (zh) * 2020-08-14 2023-10-27 湖南理工学院 一种基于多重注意力网络的立体匹配算法
CN112329766A (zh) * 2020-10-14 2021-02-05 北京三快在线科技有限公司 文字识别方法、装置、电子设备及存储介质
CN112231562B (zh) * 2020-10-15 2023-07-14 北京工商大学 一种网络谣言识别方法及***
CN112232746B (zh) * 2020-11-03 2023-08-22 金陵科技学院 基于注意力加权的冷链物流需求估计方法
CN112580782B (zh) * 2020-12-14 2024-02-09 华东理工大学 基于通道增强的双注意力生成对抗网络及图像生成方法
CN112905751B (zh) * 2021-03-19 2024-03-29 常熟理工学院 一种结合主题模型和孪生网络模型的话题演化跟踪方法
CN112818687B (zh) * 2021-03-25 2022-07-08 杭州数澜科技有限公司 一种用于构建标题识别模型的方法、装置、电子设备以及存储介质
CN113111970B (zh) * 2021-04-30 2023-12-26 陕西师范大学 通过构建全局嵌入式注意力残差网络对图像分类的方法
CN113311406B (zh) * 2021-05-28 2023-06-30 西安电子科技大学 基于多通道注意力网络的飞机时频域旋翼参数估计方法
CN113191134B (zh) * 2021-05-31 2023-02-03 平安科技（深圳）有限公司 基于注意力机制的文档质量验证方法、装置、设备及介质
CN113468874B (zh) * 2021-06-09 2024-04-16 大连理工大学 一种基于图卷积自编码的生物医学关系抽取方法
CN113469335B (zh) * 2021-06-29 2024-05-10 杭州中葳数字科技有限公司 一种利用不同卷积层特征间关系为特征分配权重的方法
CN113837445A (zh) * 2021-08-27 2021-12-24 合肥工业大学 基于注意力机制的人格预测方法及***
CN113806534B (zh) * 2021-09-03 2023-04-18 电子科技大学 一种面向社交网络的热点事件预测方法
CN114925197B (zh) * 2022-03-28 2024-06-11 中南大学 基于主题注意力的深度学习文本分类模型训练方法
WO2023220859A1 (en) * 2022-05-16 2023-11-23 Intel Corporation Multi-dimensional attention for dynamic convolutional kernel
CN114881029B (zh) * 2022-06-09 2024-03-01 合肥工业大学 基于混合神经网络的中文文本可读性评价方法
CN116025765B (zh) * 2023-01-17 2024-01-19 浙江德卡控制阀仪表有限公司 轴流式调节阀及其控制方法
CN116383652B (zh) * 2023-04-03 2024-02-06 华院计算技术(上海)股份有限公司 模型训练方法、可控文本的生成方法、***、设备及介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239397B2 (en) * 2009-01-27 2012-08-07 Palo Alto Research Center Incorporated System and method for managing user attention by detecting hot and cold topics in social indexes
CN103559193B (zh) * 2013-09-10 2016-08-31 浙江大学 一种基于选择单元的主题建模方法
US9904874B2 (en) * 2015-11-05 2018-02-27 Microsoft Technology Licensing, Llc Hardware-efficient deep convolutional neural networks
CN106528655A (zh) * 2016-10-18 2017-03-22 百度在线网络技术（北京）有限公司 文本主题识别方法和装置
US20180329884A1 (en) * 2017-05-12 2018-11-15 Rsvp Technologies Inc. Neural contextual conversation learning
CN107239446B (zh) * 2017-05-27 2019-12-03 中国矿业大学 一种基于神经网络与注意力机制的情报关系提取方法
CN108364023A (zh) * 2018-02-11 2018-08-03 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***
CN108829719B (zh) * 2018-05-07 2022-03-01 中国科学院合肥物质科学研究院 一种非事实类问答答案选择方法及***
CN108984526B (zh) * 2018-07-10 2021-05-07 北京理工大学 一种基于深度学习的文档主题向量抽取方法
CN108986797B (zh) * 2018-08-06 2021-07-06 中国科学技术大学 一种语音主题识别方法及***
CN109871532B (zh) * 2019-01-04 2022-07-08 平安科技（深圳）有限公司 文本主题提取方法、装置及存储介质

Also Published As

Publication number Publication date
WO2020140633A1 (zh) 2020-07-09
CN109871532A (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
CN109871532B (zh) 文本主题提取方法、装置及存储介质
CN109960726B (zh) 文本分类模型构建方法、装置、终端及存储介质
CN110348535B (zh) 一种视觉问答模型训练方法及装置
CN108763535B (zh) 信息获取方法及装置
CN110765785A (zh) 基于神经网络的中英翻译方法、及其相关设备
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
US11238050B2 (en) Method and apparatus for determining response for user input data, and medium
CN113722438B (zh) 基于句向量模型的句向量生成方法、装置及计算机设备
CN111985243B (zh) 情感模型的训练方法、情感分析方法、装置及存储介质
CN111274797A (zh) 用于终端的意图识别方法、装置、设备及存储介质
CN110795913A (zh) 一种文本编码方法、装置、存储介质及终端
CN113239176B (zh) 语义匹配模型训练方法、装置、设备及存储介质
CN111476138A (zh) 建筑图纸构件识别模型构建方法、识别方法及相关设备
CN115062134B (zh) 知识问答模型训练及知识问答方法、装置和计算机设备
CN111858898A (zh) 基于人工智能的文本处理方法、装置及电子设备
CN113157900A (zh) 意图识别方法、装置、计算机设备及存储介质
CN110598210A (zh) 实体识别模型训练、实体识别方法、装置、设备及介质
CN110222144B (zh) 文本内容提取方法、装置、电子设备及存储介质
CN113626468B (zh) 基于人工智能的sql语句生成方法、装置、设备及存储介质
CN113535912B (zh) 基于图卷积网络和注意力机制的文本关联方法及相关设备
CN112132269B (zh) 模型处理方法、装置、设备及存储介质
CN113723077A (zh) 基于双向表征模型的句向量生成方法、装置及计算机设备
CN113360654A (zh) 文本分类方法、装置、电子设备及可读存储介质
CN115906861B (zh) 基于交互方面信息融合的语句情感分析方法以及装置
CN114970666B (zh) 一种口语处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant