CN111353313A - 基于进化神经网络架构搜索的情感分析模型构建方法 - Google Patents

基于进化神经网络架构搜索的情感分析模型构建方法 Download PDF

Info

Publication number
CN111353313A
CN111353313A CN202010115675.6A CN202010115675A CN111353313A CN 111353313 A CN111353313 A CN 111353313A CN 202010115675 A CN202010115675 A CN 202010115675A CN 111353313 A CN111353313 A CN 111353313A
Authority
CN
China
Prior art keywords
chromosome
unit
layer
individuals
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010115675.6A
Other languages
English (en)
Inventor
孙亚楠
阳甫军
闫超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yifei Technology Co ltd
Original Assignee
Sichuan Yifei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yifei Technology Co ltd filed Critical Sichuan Yifei Technology Co ltd
Priority to CN202010115675.6A priority Critical patent/CN111353313A/zh
Publication of CN111353313A publication Critical patent/CN111353313A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于进化神经网络架构搜索的情感分析模型构建方法，包括以下步骤：群初始化；以嵌入层为第一层，封装数个卷积层单元、数个池化单元和数个全连接单元，并以全连接单元结尾，随机产生M条染色体；采用准确率作为适用度函数进行适应度评估；采用轮盘赌法选择数个染色体个体，组成第一染色体种群；采用不等长染色体交叉方法对第一染色体种群的染色体个体进行两两交叉，得到数个染色体个体，组成第二染色体种群；对第二染色体种群的染色体个体的某一卷积层单元或池化单元或全连接单元进行添加或替换或删除；计算第二染色体种群的染色体个体的适应度，直至到达预设的迭代次数，并采用适应度选出最优的神经网络结构的染色体个体。

Description

基于进化神经网络架构搜索的情感分析模型构建方法
技术领域
本发明涉及情感分析模型构建技术领域，尤其是基于进化神经网络架构搜索的情感分析模型构建方法。
背景技术
情感分析(Sentiment Analysis)是指对带有情感色彩的文本进行抽取、分析、处理、归纳的过程。如何从大量文本中有效的获取其蕴含的情感信息，并在此基础之上进行分析与总结，就是情感分析的主要研究内容。由于情感分析研究涉及了信息检索、机器学习、自然语言处理、文本挖掘等多个领域，得到了各类研究机构的广泛关注，同时，情感分析也应用在市场竞争、消费者选择、可视化分析、政府选举等各类领域中。
情感分析的本质是一个分类问题。一段文本通常包含主观性文本和客观性文本，其中客观性文本是对各类事物、事实的客观性描述，不具有情感倾向。主观性文本主要包含作者对各类事物的意见或看法，具有明确与作者厌恶、喜好相关的的情感色彩。这些主观性文本和客观性文本就构成了与之对应的语句。纵观当前主观性文本情感倾向分析的研究工作，现有技术中主要的研究方法和技术方案分为主要有以下两种：
第一种方法是基于语义的情感词典方法，这种方法主要通过构建情感词典，分析出文本中的情感倾向词和对应语句的特殊结构，接着对文本语句中每一个带有情感倾向的词赋予特定权重，给整体句子设置情感倾向阈值，最后通过数学公式，对文本采用相应的统计方法进行情感分析，如果超过了阈值，则将该段文本语句划为该类情感倾向。这种方法较为依赖赋予情感词的权值和确定情感倾向性的阈值，用来判断情感强弱的方法也过于简单。如果对情感强度不同的情感词赋予的权值和确定情感倾向性的阈值存在一定误差，那么最终情感分析的结果就不够准确。
第二种方法是基于深度学习的方法，这种方法一般采用向量表示文本语句，通过构建对应的神经网络，将词嵌入提取到的文本特征放入深度神经网络中进行训练，以此训练得到情感分析模型，最后利用训练好的神经网络模型对测试集中的文本进行情感分类。基于深度学习的方法在情感分类任务中经常取得较好的效果，但是由于设计出的神经网络的结构有所不同，对于最终的情感分析效果不同。神经网络架构设计通常是需要领域专家经过多年研究，依靠人工经验设计、搭建实现的。此外，这种方法在早期还需要大量时间人为调参，需要占用较多的计算资源。
因此，急需要提出一种准确性高、节省资源的基于进化神经网络架构搜索的情感分析方法。其给定的神经网络基本参数范围，使用进化算法自动搜索出神经网络的结构，以此来提高情感分析的准确性。
发明内容
针对上述问题，本发明的目的在于提供一种基于进化神经网络架构搜索的情感分析模型构建方法，本发明采用的技术方案如下：
基于进化神经网络架构搜索的情感分析模型构建方法，包括以下步骤：
步骤S1，对嵌入层、卷积层单元、池化单元和全连接单元进行群初始化；
步骤S2，以嵌入层为第一层，封装数个卷积层单元、数个池化单元和数个全连接单元，并以全连接单元结尾，随机产生M条染色体；任一染色体的总层数小于预设染色体的总层数；所述M为大于1的自然数；
步骤S3，采用准确率作为适用度函数进行适应度评估；
步骤S4，采用轮盘赌法选择数个染色体个体，组成第一染色体种群；
步骤S5，采用不等长染色体交叉方法对第一染色体种群的染色体个体进行两两交叉，得到数个染色体个体，组成第二染色体种群；
步骤S6，对第二染色体种群的染色体个体的某一卷积层单元或池化单元或全连接单元进行添加或替换或删除；
步骤S7，计算第二染色体种群的染色体个体的适应度，并反馈步骤S4，直至到达预设的迭代次数，并采用适应度选出最优的神经网络结构的染色体个体。
优选地，所述卷积层单元为将卷积层、ReLU激活函数、BN层依次封装组成。
优选地，所述全连接单元为全连接层和Dropout层依次封装组成。
进一步地，所述对嵌入层、卷积层单元、池化单元和全连接单元进行群初始化包括
对嵌入层的字典长度、输入序列长度和词嵌入纬度进行初始化；
对卷积层单元的卷积层的卷积核大小、卷积核数目和卷积步长进行初始化；
对池化单元的池化层的池化窗口大小、步幅大小进行初始化；
对全连接单元的全连接层的神经元数目进行初始化。
优选地，采用准确率作为适用度函数进行适应度评估，其表达式为：
Figure BDA0002391419860000031
其中，P是指模型预测的情感分析倾向正确的评论数，R是指需要预测的评论总数。
进一步地，采用轮盘赌法选择数个染色体个体，组成第一染色体种群，具体步骤如下：
计算第一染色体种群中任一染色体个体的适应度f(xi)，其中，i＝(1,2，…，M)；
计算第一染色体种群中任一染色体个体遗传到下一代的概率p(xi)，其表达式为：
Figure BDA0002391419860000032
计算任一染色体个体的累积概率qi，其表达式为：
Figure BDA0002391419860000033
在区间[0,1]中随机产生任一染色体个体对应的一个随机数，利用随机数在该区间内的位置确定该染色体个体选出的次数。
优选地，采用不等长染色体交叉方法对第一染色体种群的染色体个体进行两两交叉，得到数个染色体个体，包括以下步骤：
将染色体个体的卷积层单元、池化单元和全连接单元拆分，并按在染色体个体内的位置组成依次连接、且互相独立的卷积层单元链、池化单元链和全连接单元链；
将两染色体个体的卷积层单元链的左侧对齐并进行交叉；将两染色体个体的池化单元链的左侧对齐并进行交叉，且将两染色体个体的全连接单元链的左侧对齐并进行交叉。
进一步地，所述封装数个卷积层单元、数个池化单元和数个全连接单元，并以全连接单元结尾；其中，数个卷积层单元与数个池化单元任意交叉组合。
与现有技术相比，本发明具有以下有益效果：
(1)本发明采用嵌入层作为第一层，将正整数转换为具有固定大小的向量，其目的是把每个纬度上相对稀疏的数据投影到相对低纬的，每个纬度可以取实数集的操作；本发明使用嵌入层的作用是为了数据降维和数据稠密表示，方便后面的卷积、池化等操作；
(2)本发明的卷积层后加入非饱和激活函数和BN层进行封装，有效地帮助模型解决对应的梯度消失问题，也可以加快网络的收敛速度。由于非饱和激活函数ReLU及其变体有很多种，故在添加的时候随机选择一种即可；与此同时，本发明在全连接层后加入dropout层，以防止过拟合的发生；
(3)本发明采用准确率(accuracy)作为适应度函数进行适应度评估，以寻找到效果较好的情感分析神经网络；
(4)本发明采用轮盘赌法选择数个优良的染色体个体，并淘汰劣质染色体个体；
(5)本发明采用不等长染色体交叉方法，也就是将染色体交叉转换为染色体中每一个结构单元进行交叉；如此设计的好处在于，不仅可以增加整个种群网络的多样性，而且更能够将父代的优势基因遗传给子代；
(6)本发明通过种群迭代操作，并对其进行了环境选择，以淘汰适应度较低的网络结构；其有利于加快进化进度，找到精准度更高的情感分析网络结构；
综上所述，本发明具有准确性高、节省资源等等优点，在情感分析模型构建技术领域具有很高的实用价值和推广价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的染色体创建流程图。
图2为本发明的染色体案例交叉过程图。
图3为本发明的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
如图1至图3所示，本实施例提供了一种基于进化神经网络架构搜索的情感分析模型构建方法，其主要包括以下内容：
第一步，对嵌入层、卷积层单元、池化单元和全连接单元进行群初始化；
在种群初始化过程中，采用可变长基因编码方式随机产生初始种群，初始化种群中的每一个个体就代表与之对应的卷积神经网络结构以及结构对应的初始参数。在基因编码过程中，分别初始化卷积神经网络对应的卷积层，池化层，全连接层。每一层都需要包括其结构单元对应的相关初始参数，具体初始化编码信息见表2。需要注意的是，在神经网络处理文本的过程中，第一层是嵌入层(Embedding层)，嵌入层将正整数转换为具有固定大小的向量，其目的是把一个高纬的，每个纬度上相对稀疏的数据投影到相对低纬的，每个纬度可以取实数集的操作。使用嵌入层的作用是为了数据降维和数据稠密表示，方便后面的卷积、池化等操作。卷积操作采用1维卷积，池化操作采用1维池化。同时，本发明会在卷积网络的每一个结构单元中设定演化范围，在卷积层后面添加非饱和激活函数和BN层，帮助模型解决对应的梯度消失问题，也可以加快网络的收敛速度。由于非饱和激活函数ReLU及其变体有很多种，故在添加的时候随机选择一种即可。此外，为了防止过拟合的发生，在卷积层和全连接层后面，本发明也会添加dropout层。在本实施例中，种群初始化内容如表2所示：
表1编码信息
Figure BDA0002391419860000061
第二步，以嵌入层为第一层，封装数个卷积层单元、数个池化单元和数个全连接单元，并以全连接单元结尾，随机产生M条染色体；任一染色体的总层数小于预设染色体的总层数；所述M为大于1的自然数；
在进行种群初始化，构建每个个体染色体的时候，染色体构建主要由4类结构单元构成。4类主要结构单元分别是嵌入层、卷积单元、池化单元、全连接单元。在构建染色体时，这4类结构单元中的嵌入层放在最前面，且只出现一次。在嵌入层后面，则是卷积单元。为了加快神经网络的收敛速度，避免模型出现梯度弥散问题，本发明在卷积层的后面添加了非饱和激活函数ReLu和BN层。其中，ReLu在前、BN层在后。即将卷积层、ReLU激活函数、BN层组成一个卷积单元。池化单元由池化层组成。在卷积单元后面既可以添加池化单元，也可以继续添加卷积单元。这些顺序是随机产生的，目的就是通过遗传算法演化找到最优的网络结构顺序。最后是全连接单元，全连接单元包括全连接层和Dropout层，在全连接层后面加入Dropout层的作用是为了防止过拟合的发生。在每一条染色体上，卷积层、池化层、全连接层的数量会设置在给定总层数的范围之间。
第三步，采用准确率作为适用度函数进行适应度评估；
在训练过程中，本发明将训练神经网络中常用的准确率(accuracy)作为适应度函数，其公式如下：
Figure BDA0002391419860000071
其中P指模型预测的情感分析倾向正确的评论数，R是指需要预测的评论总数。采用准确率作为算法的适应度函数，这样模型识别情感倾向的准确率越高，则表明找到的神经网络效果越好。这里本发明采用Keras中的Adam优化器来编译模型，由于本文的情感分析任务本质是一个二分类任务，故采用的损失函数为二元交叉熵(binary_crossentropy)。
第四步，采用轮盘赌法选择数个染色体个体，组成第一染色体种群，具体步骤如下：
(1)计算第一染色体种群中任一染色体个体的适应度f(xi)，其中，i＝(1,2，…，M)；
(2)计算第一染色体种群中任一染色体个体遗传到下一代的概率p(xi)，其表达式为：
Figure BDA0002391419860000072
(3)计算任一染色体个体的累积概率qi，其表达式为：
Figure BDA0002391419860000073
(4)在区间[0,1]中随机产生任一染色体个体对应的一个随机数，利用随机数在该区间内的位置确定该染色体个体选出的次数。
第五步，采用不等长染色体交叉方法对第一染色体种群的染色体个体进行两两交叉，得到数个染色体个体，组成第二染色体种群；图2中给出了一种两个染色体个体交叉的案例：由于本发明在种群初始化的过程中采用的是可变长基因编码策略，导致每个种群网络中生成的染色体的长度会不同，这样的染色体在交叉的时候不能进行直接交叉。本实施例采用不等长染色体交叉方法，也就是将染色体交叉转换为染色体中每一个结构单元进行交叉。此外，在神经网络每一个结构单元中，长度相等的染色体段可以直接进行交叉，而多余的染色体段则不交叉。
在图2中，先将两两配对的染色体进行单元重新组合，也就是分别将染色体中的卷积单元、池化单元、全连接单元提出来配对重组，然后对每个染色体对应的模块进行交叉。在每一个交叉的模块中，长度相等的染色体段可以直接进行交叉，而多余的染色体段则不交叉。
第六步，对第二染色体种群的染色体个体的某一卷积层单元或池化单元或全连接单元进行添加或替换或删除。需要注意的是，在对这三种变异方法的实施过程中，不能因为添加的网络单元数目较多，导致网络层数超过了原本演化神经网络设定的最大搜索范围。当网络层数到达最大值的时候，就只能选择替换或者删除操作。同理，而当网络层数小于等于最小网络层数的时候，就只能添加或者替换。
第七步，计算第二染色体种群的染色体个体的适应度，并反馈第四步，直至到达预设的迭代次数，并采用适应度选出最优的神经网络结构的染色体个体。
为了验证本发明的优势，特进行以下对比：
本发明使用的数据集(IMDB)来自50000条网络电影数据库的评论，其中25000条数据作为训练集，另外25000条数据作为测试集。同时,训练集、测试集中正面和负面情感倾向的评论分别占50％。对于每一条评论，在对其进行文本向量化表示的时候，建立包含10000字数的字典，同时截取数字列表的最大长度为200，即最终得到的每条评论文本长度为200，少于这个长度的评论将会在末尾补零，而超过这个长度的评论将会被截断。此外，本发明将训练集中提出20％的数据视为验证集，以此来验证演化出来的神经网络的效果。评论数据集的具体划分见表2
表2使用的IMDB数据集
Figure BDA0002391419860000091
在情感分析问题中，基于深度学习的情感分析方法由于对情感倾向认知敏感，避免了前期对情感倾向词花大量时间进行权重赋值，提取的文本关键特征准确，对情感分析的识别精准度高。本方法以卷积神经网络为基础，通过与遗传算法相结合，在给定神经网络初始化的基本参数范围情况下，以神经网络对情感分析的准确率作为遗传算法的适应度。对范围内的神经网络结构单元进行不断搜索，自动设计神经网络架构，得到了较好的神经网络模型。同时也减少了该方法对人工经验的依赖。以此同时，将本方法与目前研究较为普遍的几种方法做对比，其具体实验结果如下：
表3实验结果对比
Figure BDA0002391419860000092
对于前面3种方法，MLP是指多层感知机，Simple-RNN是使用的RNN网络进行情感分析，LSTM全称为长短期记忆网络，而ECNN为本发明提出的方法，通过与其他方法之间的相互对比可以得到，根据本发明的演化方式得到的神经网络模型的精准度会比其他常见的几种的方法效果更好。由此可见，采用演化神经网络来进行情感分析，可以有效的提高情感分析的准确率。与现有技术相比具体突出的实质性特点和显著的进步，在情感分析模型构建技术领域具有很高的实用价值和推广价值。
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

Claims (8)

1.基于进化神经网络架构搜索的情感分析模型构建方法，其特征在于，包括以下步骤：
步骤S1，对嵌入层、卷积层单元、池化单元和全连接单元进行群初始化；
步骤S2，以嵌入层为第一层，封装数个卷积层单元、数个池化单元和数个全连接单元，并以全连接单元结尾，随机产生M条染色体；任一染色体的总层数小于预设染色体的总层数；所述M为大于1的自然数；
步骤S3，采用准确率作为适用度函数进行适应度评估；
步骤S4，采用轮盘赌法选择数个染色体个体，组成第一染色体种群；
步骤S5，采用不等长染色体交叉方法对第一染色体种群的染色体个体进行两两交叉，得到数个染色体个体，组成第二染色体种群；
步骤S6，对第二染色体种群的染色体个体的某一卷积层单元或池化单元或全连接单元进行添加或替换或删除；
步骤S7，计算第二染色体种群的染色体个体的适应度，并反馈步骤S4，直至到达预设的迭代次数，并采用适应度选出最优的神经网络结构的染色体个体。
2.根据权利要求1所述的基于进化神经网络架构搜索的情感分析模型构建方法，其特征在于，所述卷积层单元为将卷积层、ReLU激活函数、BN层依次封装组成。
3.根据权利要求1所述的基于进化神经网络架构搜索的情感分析模型构建方法，其特征在于，所述全连接单元为全连接层和Dropout层依次封装组成。
4.根据权利要求1所述的基于进化神经网络架构搜索的情感分析模型构建方法，其特征在于，所述对嵌入层、卷积层单元、池化单元和全连接单元进行群初始化包括
对嵌入层的字典长度、输入序列长度和词嵌入纬度进行初始化；
对卷积层单元的卷积层的卷积核大小、卷积核数目和卷积步长进行初始化；
对池化单元的池化层的池化窗口大小、步幅大小进行初始化；
对全连接单元的全连接层的神经元数目进行初始化。
5.根据权利要求1所述的基于进化神经网络架构搜索的情感分析模型构建方法，其特征在于，采用准确率作为适用度函数进行适应度评估，其表达式为：
Figure FDA0002391419850000021
其中，P是指模型预测的情感分析倾向正确的评论数，R是指需要预测的评论总数。
6.根据权利要求5所述的基于进化神经网络架构搜索的情感分析模型构建方法，其特征在于，采用轮盘赌法选择数个染色体个体，组成第一染色体种群，具体步骤如下：
计算第一染色体种群中任一染色体个体的适应度f(xi)，其中，i＝(1,2，…，M)；
计算第一染色体种群中任一染色体个体遗传到下一代的概率p(xi)，其表达式为：
Figure FDA0002391419850000022
计算任一染色体个体的累积概率qi，其表达式为：
Figure FDA0002391419850000023
在区间[0,1]中随机产生任一染色体个体对应的一个随机数，利用随机数在该区间内的位置确定该染色体个体选出的次数。
7.根据权利要求1所述的基于进化神经网络架构搜索的情感分析模型构建方法，其特征在于，采用不等长染色体交叉方法对第一染色体种群的染色体个体进行两两交叉，得到数个染色体个体，包括以下步骤：
将染色体个体的卷积层单元、池化单元和全连接单元拆分，并按在染色体个体内的位置组成依次连接、且互相独立的卷积层单元链、池化单元链和全连接单元链；
将两染色体个体的卷积层单元链的左侧对齐并进行交叉；将两染色体个体的池化单元链的左侧对齐并进行交叉，且将两染色体个体的全连接单元链的左侧对齐并进行交叉。
8.根据权利要求1所述的基于进化神经网络架构搜索的情感分析模型构建方法，其特征在于，所述封装数个卷积层单元、数个池化单元和数个全连接单元，并以全连接单元结尾；其中，数个卷积层单元与数个池化单元任意交叉组合。
CN202010115675.6A 2020-02-25 2020-02-25 基于进化神经网络架构搜索的情感分析模型构建方法 Withdrawn CN111353313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010115675.6A CN111353313A (zh) 2020-02-25 2020-02-25 基于进化神经网络架构搜索的情感分析模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010115675.6A CN111353313A (zh) 2020-02-25 2020-02-25 基于进化神经网络架构搜索的情感分析模型构建方法

Publications (1)

Publication Number Publication Date
CN111353313A true CN111353313A (zh) 2020-06-30

Family

ID=71194182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010115675.6A Withdrawn CN111353313A (zh) 2020-02-25 2020-02-25 基于进化神经网络架构搜索的情感分析模型构建方法

Country Status (1)

Country Link
CN (1) CN111353313A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085070A (zh) * 2020-08-19 2020-12-15 北京影谱科技股份有限公司 一种基于遗传算法的cnn图像分类方法及***
CN112819161A (zh) * 2021-02-02 2021-05-18 四川大学 基于变长基因遗传算法的神经网络构建***、方法及存储介质
CN113642730A (zh) * 2021-08-30 2021-11-12 Oppo广东移动通信有限公司 卷积网络剪枝方法和装置、电子设备
CN113821985A (zh) * 2021-11-22 2021-12-21 中移(上海)信息通信科技有限公司 一种交通状态预测方法、装置及电子设备
CN114662678A (zh) * 2022-05-17 2022-06-24 华中科技大学 一种变激活函数卷积神经网络及其训练方法
CN116522932A (zh) * 2023-06-26 2023-08-01 云目未来科技(湖南)有限公司 一种文本分析方法及***

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222267A (zh) * 2010-04-14 2011-10-19 同济大学 一种遗传算法改进神经网络遥感分类处理方法
CN104820977A (zh) * 2015-05-22 2015-08-05 无锡职业技术学院 一种基于自适应遗传算法的bp神经网络图像复原算法
CN109165764A (zh) * 2018-06-26 2019-01-08 昆明理工大学 一种遗传算法优化bp神经网络的线损计算方法
CN109284506A (zh) * 2018-11-29 2019-01-29 重庆邮电大学 一种基于注意力卷积神经网络的用户评论情感分析***及方法
CN109299253A (zh) * 2018-09-03 2019-02-01 华南理工大学 一种基于深度融合神经网络的中文社交文本情绪识别模型构造方法
CN109299142A (zh) * 2018-11-14 2019-02-01 中山大学 一种基于进化算法的卷积神经网络结构搜索方法及***
US10210860B1 (en) * 2018-07-27 2019-02-19 Deepgram, Inc. Augmented generalized deep learning with special vocabulary
CN109597891A (zh) * 2018-11-26 2019-04-09 重庆邮电大学 基于双向长短时记忆神经网络的文本情感分析方法
CN109902808A (zh) * 2019-02-28 2019-06-18 华南理工大学 一种基于浮点数位变异遗传算法优化卷积神经网络的方法
CN110083700A (zh) * 2019-03-19 2019-08-02 北京中兴通网络科技股份有限公司 一种基于卷积神经网络的企业舆情情感分类方法及***
CN110135498A (zh) * 2019-05-17 2019-08-16 电子科技大学 一种基于深度进化神经网络的图像识别方法
CN110598552A (zh) * 2019-08-09 2019-12-20 吉林大学 基于改进粒子群算法优化卷积神经网络的表情识别方法
US20200026951A1 (en) * 2018-07-19 2020-01-23 Tata Consultancy Services Limited Systems and methods for end-to-end handwritten text recognition using neural networks

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222267A (zh) * 2010-04-14 2011-10-19 同济大学 一种遗传算法改进神经网络遥感分类处理方法
CN104820977A (zh) * 2015-05-22 2015-08-05 无锡职业技术学院 一种基于自适应遗传算法的bp神经网络图像复原算法
CN109165764A (zh) * 2018-06-26 2019-01-08 昆明理工大学 一种遗传算法优化bp神经网络的线损计算方法
US20200026951A1 (en) * 2018-07-19 2020-01-23 Tata Consultancy Services Limited Systems and methods for end-to-end handwritten text recognition using neural networks
US10210860B1 (en) * 2018-07-27 2019-02-19 Deepgram, Inc. Augmented generalized deep learning with special vocabulary
CN109299253A (zh) * 2018-09-03 2019-02-01 华南理工大学 一种基于深度融合神经网络的中文社交文本情绪识别模型构造方法
CN109299142A (zh) * 2018-11-14 2019-02-01 中山大学 一种基于进化算法的卷积神经网络结构搜索方法及***
CN109597891A (zh) * 2018-11-26 2019-04-09 重庆邮电大学 基于双向长短时记忆神经网络的文本情感分析方法
CN109284506A (zh) * 2018-11-29 2019-01-29 重庆邮电大学 一种基于注意力卷积神经网络的用户评论情感分析***及方法
CN109902808A (zh) * 2019-02-28 2019-06-18 华南理工大学 一种基于浮点数位变异遗传算法优化卷积神经网络的方法
CN110083700A (zh) * 2019-03-19 2019-08-02 北京中兴通网络科技股份有限公司 一种基于卷积神经网络的企业舆情情感分类方法及***
CN110135498A (zh) * 2019-05-17 2019-08-16 电子科技大学 一种基于深度进化神经网络的图像识别方法
CN110598552A (zh) * 2019-08-09 2019-12-20 吉林大学 基于改进粒子群算法优化卷积神经网络的表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
杨舰: "进化神经网络的研究及应用" *
林丽莉,冯天瑾,周文晖,郑宏伟: "多种群并行进化神经网络的研究及应用" *
王盛玉;曾碧卿;商齐;韩旭丽;: "基于词注意力卷积神经网络模型的情感分析研究" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085070A (zh) * 2020-08-19 2020-12-15 北京影谱科技股份有限公司 一种基于遗传算法的cnn图像分类方法及***
CN112819161A (zh) * 2021-02-02 2021-05-18 四川大学 基于变长基因遗传算法的神经网络构建***、方法及存储介质
CN112819161B (zh) * 2021-02-02 2021-08-31 四川大学 变长基因遗传算法的神经网络构建***、方法及存储介质
CN113642730A (zh) * 2021-08-30 2021-11-12 Oppo广东移动通信有限公司 卷积网络剪枝方法和装置、电子设备
CN113821985A (zh) * 2021-11-22 2021-12-21 中移(上海)信息通信科技有限公司 一种交通状态预测方法、装置及电子设备
CN114662678A (zh) * 2022-05-17 2022-06-24 华中科技大学 一种变激活函数卷积神经网络及其训练方法
CN116522932A (zh) * 2023-06-26 2023-08-01 云目未来科技(湖南)有限公司 一种文本分析方法及***
CN116522932B (zh) * 2023-06-26 2023-09-19 云目未来科技(湖南)有限公司 一种文本分析方法及***

Similar Documents

Publication Publication Date Title
CN111353313A (zh) 基于进化神经网络架构搜索的情感分析模型构建方法
CN110083705B (zh) 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端
CN111310438B (zh) 基于多粒度融合模型的中文句子语义智能匹配方法及装置
CN108170736B (zh) 一种基于循环注意力机制的文档快速扫描定性方法
CN112667818B (zh) 融合gcn与多粒度注意力的用户评论情感分析方法及***
CN110263323A (zh) 基于栅栏式长短时记忆神经网络的关键词抽取方法及***
CN112507699B (zh) 一种基于图卷积网络的远程监督关系抽取方法
CN109885756B (zh) 基于cnn和rnn的序列化推荐方法
CN112395393B (zh) 一种基于多任务多示例的远程监督关系抽取方法
CN112232087B (zh) 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法
CN112000772B (zh) 面向智能问答基于语义特征立方体的句子对语义匹配方法
CN112784532B (zh) 用于短文本情感分类的多头注意力记忆***
CN113761893B (zh) 一种基于模式预训练的关系抽取方法
CN113157919A (zh) 语句文本方面级情感分类方法及***
CN107679225A (zh) 一种基于关键词的回复生成方法
CN114357151A (zh) 文本类目识别模型的处理方法、装置、设备及存储介质
CN114528835A (zh) 基于区间判别的半监督专业术语抽取方法、介质及设备
CN114004220A (zh) 一种基于cpc-ann的文本情绪原因识别方法
CN117421595A (zh) 一种基于深度学习技术的***日志异常检测方法及***
Wu et al. TADO: Time-varying Attention with Dual-Optimizer Model
CN114329181A (zh) 一种题目推荐方法、装置及电子设备
CN117932066A (zh) 一种基于预训练的“提取-生成”式答案生成模型及方法
CN112966507A (zh) 构建识别模型及攻击识别方法、装置、设备及存储介质
CN115424663B (zh) 一种基于attention的双向表示模型的RNA修饰位点预测方法
CN116403231A (zh) 基于双视图对比学习与图剪枝的多跳阅读理解方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200630