CN111832588A - 一种基于集成分类的暴恐图像标注方法 - Google Patents

一种基于集成分类的暴恐图像标注方法 Download PDF

Info

Publication number
CN111832588A
CN111832588A CN201910315804.3A CN201910315804A CN111832588A CN 111832588 A CN111832588 A CN 111832588A CN 201910315804 A CN201910315804 A CN 201910315804A CN 111832588 A CN111832588 A CN 111832588A
Authority
CN
China
Prior art keywords
image
network
sub
label
labeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910315804.3A
Other languages
English (en)
Inventor
何小海
严靓
周欣
熊淑华
卿粼波
吴小强
滕奇志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910315804.3A priority Critical patent/CN111832588A/zh
Publication of CN111832588A publication Critical patent/CN111832588A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于集成分类的暴恐图像标注方法。包括以下步骤：将待标注图像归一化为224×224的尺寸后输入图像标注集成网络；集成网络中各个子网络将其提取到的图像特征映射到标签语义空间中，得到待标注图像的尺寸为1×N的标签概率向量；将各子网络输出的标签概率向量组合为矩阵，并与权重分配矩阵进行一系列运算得到待标注图像最终尺寸为1×N的标签概率向量；对计算得到的标签概率向量设定阈值，大于阈值的所有标签即待标注图像的最终标注结果。本发明所描述的标注方法具有网络训练时间短、标注准确率高、稳定性强等优点，相较于传统机器学习，本发明在标注准确率和召回率上都有较大的提升，针对涉恐信息这一特定领域，具备一定实用价值。

Description

一种基于集成分类的暴恐图像标注方法
技术领域
本发明设计了一种基于集成分类的暴恐图像标注方法，涉及深度学习、计算机视觉技术领域。
背景技术
随着互联网社交平台的快速发展以及手机、数码相机等图像采集设备的普及，人们每天能够访问的图像和视频数据呈现出***式的增长。海量图像数据在给人们的日常生活带来便利的同时，其中部分暴恐图像也给社会和谐和青少年的健康成长带来了负面影响。如何有效管理这些数据成为一项亟需解决的问题。图像自动标注技术因其自动给图像添加反映其内容的文本特征信息的特点，逐渐成为图像分析、应用领域的关键技术之一。
目前图像自动标注方法主要分为两大类：基于分类思想的图像标注方法和基于相关模型的图像标注方法。基于分类思想的图像标注方法把图像的自动标注看作图像分类问题来处理，把每一个标注关键词当作一个类别，先将图像划分成规则的区域，然后对分割的图像区域进行分类。基于相关模型的图像标注方法，首先提取图像或图像区域的颜色、纹理等视觉特征，然后计算图像视觉特征和标注关键词之间的联合概率分布，最后通过建立概率相关模型，对待标注图像或区域进行标注。
传统的方法在图像标注领域取得了一定的进展，但是因为需要人工选择特征，从而造成信息缺失，导致标注精度不够，召回率低；而深度学***衡也会导致训练的模型标注质量的降低。
发明内容
本发明为解决上述问题提供一种基于集成分类的暴恐图像标注方法，该方法依据分类思想，将暴恐图像的标注问题视作多标签分类问题来处理，同时考虑到标注关键词分布不匀的情况，通过对集成网络结合模块的改进来提高模型对每一类标签的标注准确率。
本发明通过以下技术方案来实现上述目的，包括以下步骤：
步骤一：将待标注图像归一化为224×224的尺寸后输入暴恐图像标注集成网络，得到集成网络中各个子网络提取到的图像特征。
步骤二：各个子网络将其提取到的图像特征映射到标签语义空间中，得到待标注图像的标签概率向量，各子网络得到的标签概率向量尺寸为1×N。
步骤三：将各子网络输出的标签概率向量组合为矩阵，并与权重分配矩阵进行一系列运算得到待标注图像最终的标签概率向量，最终的标签概率向量尺寸为1×N。
步骤四：对步骤三计算得到的标签概率向量设定阈值，大于阈值的所有标签即待标注图像的最终标注结果。
步骤一所述的暴恐图像标注集成网络由多个子网络组成，子网络的训练步骤如下：
(1)数据集制作，数据集中均为包含多个暴恐元素的图像，对应标签为N维向量，针对每类暴恐元素，若图像中包含该类暴恐元素，则标签向量的对应维度上为1，否则为0；由于数据集存在标签分布不匀的问题，本发明在样本处理上分别对每类标签包含图像采取有放回的随机抽样，再将它们合并成一个数据平衡的采样集用于训练子网络。
(2)子网络的网络结构为卷积神经网络，通过迁移学习将其在ImageNet分类任务中训练得到的参数全部应用到暴恐图像标注任务中，并在子网络的最后额外添加一个全连接层用于训练，这种训练方式可以提高子网络的训练速度和标注准确率，用于指导子网络训练的损失函数为交叉熵损失。
步骤三所述的权重分配矩阵，其实质是子网络训练完成后，根据各个子网络对同一标签类别不同的分类准确率来对各子网络进行权重分配，则权重分配矩阵WN×M可以由以下公式表示：
WN×M＝[W1,W2,...,WN]T
其中Wi＝[wi1,wi2,...,wiM]表示第i类标签在M个子网络上的权重分布,令Oi＝[oi1,oi2,...,oiM]表示输入图像的第i类标签在M个子网络上的预测概率值，则最终的标签概率向量Prob1×N由Wi和Oi的乘积计算得到：
Prob1×N＝[W1·O1 T,W2·O2 T,...,WN·ON T]。
步骤四所述的阈值通常设置为经验值0.5，经过测试该阈值能够达到一个比较好的图像标注效果。
本发明的主要内容在于提出了两种改进：
(1)对子网络训练方式的改进，不同于常见的迁移学习的训练方式——将神经网络最后一个全连接层的输出维度改为目标任务的分类维度进行训练，而是保留预训练模型所有的参数信息，在子网络的最后额外添加一个全连接层用于训练。
(2)对子网络结合方式的改进，根据各个子网络对同一标签类别不同的分类准确率来对各子网络进行权重分配的网络融合方式，这种改进方式解决了数据集中标签类别不平衡的问题，提高了集成网络对每一类标签的标注准确率。
附图说明
图1是暴恐图像标注结果示意图
图2是本发明基于集成分类的暴恐图像标注方法的流程图
图3是本发明基于迁移学习训练子网络的流程图
具体实施方式
下面结合附图对本发明做进一步说明：
图1是暴恐图像标注结果示意图。从中可以看出暴恐图像标注网络可以将图像中的***、舰船、飞机、火、装甲车、火炮等暴恐元素标注出来。
图2中，一种基于集成分类的暴恐图像标注方法，包括以下步骤：
步骤一：分别对初始训练集中每类标签包含图像采取有放回的随机抽样，再将它们合并成一个数据平衡的采样集用于训练集成网络的各个子网络(即图中的个体学习器)。
步骤二：通过迁移学习将卷积神经网络在ImageNet分类任务中训练得到的参数应用到暴恐图像标注任务中生成相互独立的子网络。
步骤三：通过权重分配的方式对各子网络的输出结果进行结合，得到最终的标注结果。
图3是本发明基于迁移学习训练子网络的流程图。常见的迁移学习训练方法是将神经网络最后一个全连接层的输出由1000维改为目标任务的类别数进行训练，在暴恐图像标注任务中，为了将全连接层的预训练信息也保留下来，本发明将卷积神经网络的预训练信息全部迁移到本任务上，并在网络的最后再添加一个输入为1000维输出为标签维数的全连接层进行训练，这种训练方式在节省训练时间的同时还提高了子网络的标注准确率。
为了验证基于集成分类的暴恐图像标注方法的有效性，将本发明所述方法与经典机器学***均准确率P、平均召回率R和F1值这三个指标来评估各个方法的有效性，得到如表1所示的各图像标注方法的实验结果。
表1各图像标注方法的实验结果
Figure BDA0002032699780000021
通过实验可以得出，在传统机器学习方法中SVM表现最好，本发明所述方法相较于SVM在准确率上提高了26％，召回率提高了30％，均有较大的提升。
为了验证本发明所述方法在结合方式上的改进的有效性，将本发明所述方法提出的权重分配结合方式与集成学习中常见的求均值和多数投票结合方式进行对比，不同结合方式在各个标签类别上的准确率如表2所示。
表2不同结合方式在各标签类别上的准确率对比
Figure BDA0002032699780000031
从上表可以看出，权重分配结合方式在大多数标签类别上的标注准确率最高，且数值波动较小。说明利用权重分配结合方式的标注网络在不同的标签类别上表现稳定，没有因为数据集标签分布不匀的问题而出现在各标签类别上准确率差异较大的情况。

Claims (5)

1.一种基于集成分类的暴恐图像标注方法，其特征在于包括以下步骤：
步骤一：将待标注图像归一化为224×224的尺寸后输入暴恐图像标注集成网络，得到集成网络中各个子网络提取到的图像特征；
步骤二：各个子网络将其提取到的图像特征映射到标签语义空间中，得到待标注图像的标签概率向量，各子网络得到的标签概率向量尺寸为1×N；
步骤三：将各子网络输出的标签概率向量组合为矩阵，并与权重分配矩阵进行一系列运算得到待标注图像最终的标签概率向量，最终的标签概率向量尺寸为1×N；
步骤四：对步骤三计算得到的标签概率向量设定阈值，大于阈值的所有标签即待标注图像的最终标注结果。
2.权利要求1所述的暴恐图像标注集成网络由多个子网络组成，子网络的训练步骤如下：
(1)数据集制作，数据集中均为包含多个暴恐元素的图像，对应标签为N维向量，针对每类暴恐元素，若图像中包含该类暴恐元素，则标签向量的对应维度上为1，否则为0；
(2)子网络的网络结构为卷积神经网络，通过迁移学习将其在ImageNet分类任务中训练得到的参数应用到暴恐图像标注任务中可以提高子网络的训练速度，用于指导子网络训练的损失函数为交叉熵损失。
3.权利要求1所述的权重分配矩阵，其实质是子网络训练完成后，根据各个子网络对同一标签类别不同的分类准确率来对各子网络进行权重分配，进一步提高标注结果的准确性。
4.权利要求1所述的阈值通常设置为经验值0.5，经过测试该阈值能够达到一个比较好的图像标注效果。
5.权利要求1和权利要求2所述的N为大于1的整数。
CN201910315804.3A 2019-04-18 2019-04-18 一种基于集成分类的暴恐图像标注方法 Pending CN111832588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910315804.3A CN111832588A (zh) 2019-04-18 2019-04-18 一种基于集成分类的暴恐图像标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910315804.3A CN111832588A (zh) 2019-04-18 2019-04-18 一种基于集成分类的暴恐图像标注方法

Publications (1)

Publication Number Publication Date
CN111832588A true CN111832588A (zh) 2020-10-27

Family

ID=72915038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910315804.3A Pending CN111832588A (zh) 2019-04-18 2019-04-18 一种基于集成分类的暴恐图像标注方法

Country Status (1)

Country Link
CN (1) CN111832588A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801237A (zh) * 2021-04-15 2021-05-14 北京远鉴信息技术有限公司 暴恐内容识别模型的训练方法、训练装置及可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281521A (zh) * 2007-04-05 2008-10-08 中国科学院自动化研究所 一种基于多分类器融合的敏感网页过滤方法及***
CN102298606A (zh) * 2011-06-01 2011-12-28 清华大学 基于标签图模型随机游走的图像自动标注方法及装置
CN104166548A (zh) * 2014-08-08 2014-11-26 同济大学 基于运动想象脑电数据的深度学习方法
EP2991003A2 (en) * 2014-08-28 2016-03-02 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for classification
CN108023876A (zh) * 2017-11-20 2018-05-11 西安电子科技大学 基于可持续性集成学习的入侵检测方法及入侵检测***
CN108111614A (zh) * 2017-12-27 2018-06-01 北京工业大学 农林业病虫害监测管理***
CN108416384A (zh) * 2018-03-05 2018-08-17 苏州大学 一种图像标签标注方法、***、设备及可读存储介质
CN109376773A (zh) * 2018-09-30 2019-02-22 福州大学 基于深度学习的裂纹检测方法
CN109471942A (zh) * 2018-11-07 2019-03-15 合肥工业大学 基于证据推理规则的中文评论情感分类方法及装置
CN109492105A (zh) * 2018-11-10 2019-03-19 上海文军信息技术有限公司 一种基于多特征集成学习的文本情感分类方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281521A (zh) * 2007-04-05 2008-10-08 中国科学院自动化研究所 一种基于多分类器融合的敏感网页过滤方法及***
CN102298606A (zh) * 2011-06-01 2011-12-28 清华大学 基于标签图模型随机游走的图像自动标注方法及装置
CN104166548A (zh) * 2014-08-08 2014-11-26 同济大学 基于运动想象脑电数据的深度学习方法
EP2991003A2 (en) * 2014-08-28 2016-03-02 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for classification
CN108023876A (zh) * 2017-11-20 2018-05-11 西安电子科技大学 基于可持续性集成学习的入侵检测方法及入侵检测***
CN108111614A (zh) * 2017-12-27 2018-06-01 北京工业大学 农林业病虫害监测管理***
CN108416384A (zh) * 2018-03-05 2018-08-17 苏州大学 一种图像标签标注方法、***、设备及可读存储介质
CN109376773A (zh) * 2018-09-30 2019-02-22 福州大学 基于深度学习的裂纹检测方法
CN109471942A (zh) * 2018-11-07 2019-03-15 合肥工业大学 基于证据推理规则的中文评论情感分类方法及装置
CN109492105A (zh) * 2018-11-10 2019-03-19 上海文军信息技术有限公司 一种基于多特征集成学习的文本情感分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
严寒: "基于卷积神经网络的图像分类算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
李艳秋: "基于集成学习的人脸识别研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801237A (zh) * 2021-04-15 2021-05-14 北京远鉴信息技术有限公司 暴恐内容识别模型的训练方法、训练装置及可读存储介质

Similar Documents

Publication Publication Date Title
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN111881714B (zh) 一种无监督跨域行人再识别方法
CN110162593B (zh) 一种搜索结果处理、相似度模型训练方法及装置
CN110909820B (zh) 基于自监督学习的图像分类方法及***
CN105184303B (zh) 一种基于多模态深度学习的图像标注方法
CN110222218B (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
CN110309331A (zh) 一种基于自监督的跨模态深度哈希检索方法
CN112819023B (zh) 样本集的获取方法、装置、计算机设备和存储介质
CN108446334B (zh) 一种无监督对抗训练的基于内容的图像检索方法
CN107292349A (zh) 基于百科知识语义增强的零样本分类方法、装置
CN113672693B (zh) 基于知识图谱和标签关联的在线问答平台的标签推荐方法
CN112861524A (zh) 一种基于深度学习的多层次中文细粒度情感分析方法
CN112925904B (zh) 一种基于Tucker分解的轻量级文本分类方法
US11914641B2 (en) Text to color palette generator
CN112434628A (zh) 基于主动学习和协同表示的小样本极化sar图像分类方法
CN113779283B (zh) 一种深度监督与特征融合的细粒度跨媒体检索方法
CN111522926A (zh) 文本匹配方法、装置、服务器和存储介质
Lucchi et al. Joint image and word sense discrimination for image retrieval
CN111191033A (zh) 一种基于分类效用的开集分类方法
CN111353583A (zh) 基于群卷积特征拓扑空间的深度学习网络及其训练方法
CN112149556B (zh) 一种基于深度互学习和知识传递的人脸属性识别方法
CN111144453A (zh) 构建多模型融合计算模型的方法及设备、网站数据识别方法及设备
CN111651660B (zh) 一种跨媒体检索困难样本的方法
CN111832588A (zh) 一种基于集成分类的暴恐图像标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination