CN111882061A - 一种基于分层随机梯度下降的卷积神经网络训练方法 - Google Patents
一种基于分层随机梯度下降的卷积神经网络训练方法 Download PDFInfo
- Publication number
- CN111882061A CN111882061A CN202010722584.9A CN202010722584A CN111882061A CN 111882061 A CN111882061 A CN 111882061A CN 202010722584 A CN202010722584 A CN 202010722584A CN 111882061 A CN111882061 A CN 111882061A
- Authority
- CN
- China
- Prior art keywords
- samples
- gradient descent
- neural network
- convolutional neural
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分层随机梯度下降的卷积神经网络训练方法,包括:采用图像数据集分类划分方法,对图像数据集进行分类划分;统计各个类别下的样本数量,计算出与所有样本数量的比重作为权重,按照各个分类的权重,乘以批样本数量的大小,作为从各类别中抽取与批样本数量相同的样本;按照正常的梯度下降法对模型进行训练,并按照变换后的模型参数公式更新模型参数。本发明提出基于分层随机采样,进行数据集的采样,并结合随机梯度下降法进行卷积神经网络的训练,以解决简单随机采样过程中抽样误差的问题,增强模型泛化能力。
Description
技术领域
本发明涉及深度学习与训练优化领域领域,尤其涉及一种基于分层随机梯度下降的卷积神经网络训练方法。
背景技术
在卷积神经网络的训练过程中,尤其是数据量过少不能反映真实世界的数据分布的情况下,常常会存在模型泛化能力低的情况。原因在于神经网络的训练是使用样本统计值来推断总体参数,当使用简单随机采样的方式采样数据时,由于样本数量过少,无法通过样本各单位的结构反映总体各单位的结构,从而造成样本统计值与总体参数之间出现较大偏差,致使模型的泛化能力不足。虽然可以通过增大批样本数量的大小来减小偏差,但会使得硬件资源更为紧张。而分层随机采样与简单随机采样相比,在样本数量相同时,它的抽样误差较小;在抽样误差的要求相同时,它所需的样本数量较少。目前采用的简单随机采样由于未考虑数据集中不同类别所占的比例,因此存在抽样误差的问题,存在偶然因素使得样本各单位结构不足以代表总体各单位结构,造成模型训练后的泛化能力不强。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于分层随机梯度下降的卷积神经网络训练方法,使用分层随机采样替代简单随机采样进行卷积神经网络的训练。
本发明的目的是通过以下技术方案来实现的:
一种基于分层随机梯度下降的卷积神经网络训练方法,方法包括以下步骤:
S1,采用图像数据集分类划分方法,对图像数据集进行分类划分;
S2,统计各个类别下的样本数量,计算出与所有样本数量的比重作为权重,按照各个分类的权重,乘以批样本数量的大小,作为从各类别中抽取与批样本数量相同的样本;
S3,按照正常的梯度下降法对模型进行训练,设训练模型的损失函数为jθ(x,y),其中θ为模型的参数,x为样本,y为真实标签,并按照变换后的模型参数公式更新模型参数。
具体的,所述步骤S1中对图像数据集分类划分过程具体包括:
S101,首先使用预训练的ResNet50模型提取图像数据集的图像特征,生成特征向量x;
S102,对生成的每一个特征向量x,使用公式对其进行L2正则化,将特征向量缩放为高维球形空间中的单位向量;
S103,随机生成多个投影矩阵,将每个特征向量与其对应的投影矩阵进行矩阵乘法,得到结果向量并取结果向量中最大数值所对应的索引作为特征向量的哈希值;
S104,组合多个哈希值,将具有相同哈希值的图像归为一类。
具体的,所述投影矩阵的尺寸大小为2048×B,其中B为设定的哈希桶大小。
具体的,所述步骤S3中变换后的模型参数公式如下式所示:
其中,ɑ为学习步长,用于控制学习速率;表示当前这批样本中的第i个样本。
本发明的有益效果:本发明提出基于分层随机采样,进行数据集的采样,并结合随机梯度下降法进行卷积神经网络的训练,以解决简单随机采样过程中抽样误差的问题,增强模型泛化能力。
附图说明
图1是本发明的方法流程图。
图2是本发明的预训练ResNet50模型结构图。
图3是本发明的图像划分算法示意图。
图4是本发明的分层抽样算法示意图。
图5是本发明的随机梯度下降训练算法示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图说明本发明的具体实施方式。
本实施例中,如图1所示,一种基于分层随机梯度下降的卷积神经网络训练方法,方法主要包括以下步骤:
步骤1,对图像数据集进行分类划分:
首先将图像数据集进行分类划分,分类的结果必须严格是每一个单位都归属于某一类,而不允许即可属于这一类、又可属于另一类或有所遗漏。如将图像分类为人、猫、狗、桌子等,每一类中的图像都严格属于该类,而不属于其它类,且所有类别的图像数量之和等于总体图像的总和。
对于已有分类标记的图像,可直接对其进行划分,本发明主要针对无分类标记图像提出一种划分方法。
对于图像,首先使用预训练的ResNet50模型提取图像特征,ResNet50是由一系列卷积层堆叠而成的神经网络,其结构如图2所示,除[3x3maxpool,64]表示最大池化层外,其余各层都表示一个卷积层,如[7x7,64/2]所代表的卷积层表示卷积核大小为7x7,通道数为64,步长为2的卷积层,除特别说明,其余各层步长为1,共50层。
对于每张图片,输入前被缩放至224x224,经过特征提取后,将生成2048维的特征向量。之后,对于每一个特征向量x,使用L2正则化,公式如下:
其中xi表示x向量中的第i个特征,经过L2正则化后,特征向量将被缩放为高维球形空间中的单位向量。
然后,随机生成一个尺寸为2048xB的投影矩阵,其中B为设定的哈希桶的大小。该投影矩阵全局唯一,然后将特征向量与该矩阵进行矩阵乘法,得到1xB的结果向量,最后,取结果向量中最大数值所对应的索引作为特征向量的哈希值。
为了减少哈希碰撞的概率,可使用多个投影矩阵进行投影,得到一组哈希值,持相同哈希的特征向量将被归为一类。该过程采用如图3所示的算法进行,最后得到各个类别的图像样本。
步骤2,基于分层随机采样抽取样本:
统计各个类别下的样本数量,计算出与所有样本数量的比重,作为当前类的权重。当需要从所有样本中抽样一批样本时。按照各个分类的权重,乘以批样本数量的大小,作为从各类别中抽取样本的数量,最终从各类抽取的样本数量之和应与批样本数量大小相同,该过程采用如图4所示的算法进行,最后将从所有分类中抽取的样本集合在一起作为抽取的一批样本。
步骤3,基于随机梯度下降进行训练:
在完成数据集的采样后,即可按照正常的梯度下降法进行模型的训练,设训练的模型的损失函数为jθ(x,y),其中θ为模型的参数,x为样本,y为真实标签。对于每一批样本,按照如下公式更新模型参数:
其中,ɑ为学习步长,用于控制学习速率;表示当前这批样本中的第i个样本。整个训练过程采用如图5所示的算法进行,将随机抽取的样本按照公式更新模型参数,完成神经网络训练。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种基于分层随机梯度下降的卷积神经网络训练方法,其特征在于,方法包括以下步骤:
S1,采用图像数据集分类划分方法,对图像数据集进行分类划分;
S2,统计各个类别下的样本数量,计算出与所有样本数量的比重作为权重,按照各个分类的权重,乘以批样本数量的大小,作为从各类别中抽取与批样本数量相同的样本;
S3,按照正常的梯度下降法对模型进行训练,设训练模型的损失函数为jθ(x,y),其中θ为模型的参数,x为样本,y为真实标签,并按照变换后的模型参数公式更新模型参数。
2.根据权利要求1所述的一种基于分层随机梯度下降的卷积神经网络训练方法,其特征在于,所述步骤S1中对图像数据集分类划分过程具体包括:
S101,首先使用预训练的ResNet50模型提取图像数据集的图像特征,生成特征向量x;
S102,对生成的每一个特征向量x,使用公式对其进行L2正则化,将特征向量缩放为高维球形空间中的单位向量;
S103,随机生成多个投影矩阵,将每个特征向量与其对应的投影矩阵进行矩阵乘法,得到结果向量并取结果向量中最大数值所对应的索引作为特征向量的哈希值;
S104,组合多个哈希值,将具有相同哈希值的图像归为一类。
4.根据权利要求2所述的一种基于分层随机梯度下降的卷积神经网络训练方法,其特征在于,所述投影矩阵的尺寸大小为2048×B,其中B为设定的哈希桶大小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010722584.9A CN111882061B (zh) | 2020-07-24 | 2020-07-24 | 一种基于分层随机梯度下降的卷积神经网络训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010722584.9A CN111882061B (zh) | 2020-07-24 | 2020-07-24 | 一种基于分层随机梯度下降的卷积神经网络训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111882061A true CN111882061A (zh) | 2020-11-03 |
CN111882061B CN111882061B (zh) | 2023-05-23 |
Family
ID=73200227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010722584.9A Active CN111882061B (zh) | 2020-07-24 | 2020-07-24 | 一种基于分层随机梯度下降的卷积神经网络训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111882061B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6269351B1 (en) * | 1999-03-31 | 2001-07-31 | Dryken Technologies, Inc. | Method and system for training an artificial neural network |
CN104112018A (zh) * | 2014-07-21 | 2014-10-22 | 南京大学 | 一种大规模图像检索方法 |
CN104463922A (zh) * | 2014-12-03 | 2015-03-25 | 天津大学 | 一种基于集成学习的图像特征编码及识别方法 |
US20150100558A1 (en) * | 2013-10-04 | 2015-04-09 | Nokia Corporation | Method, Apparatus and Computer Program Product for Similarity Determination in Multimedia Content |
CN104820696A (zh) * | 2015-04-29 | 2015-08-05 | 山东大学 | 一种基于多标签最小二乘哈希算法的大规模图像检索方法 |
CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
CN106227851A (zh) * | 2016-07-29 | 2016-12-14 | 汤平 | 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法 |
CN106815362A (zh) * | 2017-01-22 | 2017-06-09 | 福州大学 | 一种基于kpca多表索引图像哈希检索方法 |
CN107358264A (zh) * | 2017-07-14 | 2017-11-17 | 深圳市唯特视科技有限公司 | 一种基于机器学习算法进行图像分析的方法 |
US20170364517A1 (en) * | 2016-06-17 | 2017-12-21 | Hewlett Packard Enterprise Development Lp | Hash value generation through projection vector split |
CN109857892A (zh) * | 2018-12-29 | 2019-06-07 | 西安电子科技大学 | 基于类标传递的半监督跨模态哈希检索方法 |
JP2019096118A (ja) * | 2017-11-24 | 2019-06-20 | 富士通株式会社 | パターン認識プログラム、装置、及び方法 |
CN110083734A (zh) * | 2019-04-15 | 2019-08-02 | 中南大学 | 基于自编码网络和鲁棒核哈希的半监督图像检索方法 |
WO2020014770A1 (en) * | 2018-07-17 | 2020-01-23 | Avigilon Corporation | Hash-based appearance search |
-
2020
- 2020-07-24 CN CN202010722584.9A patent/CN111882061B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6269351B1 (en) * | 1999-03-31 | 2001-07-31 | Dryken Technologies, Inc. | Method and system for training an artificial neural network |
US20150100558A1 (en) * | 2013-10-04 | 2015-04-09 | Nokia Corporation | Method, Apparatus and Computer Program Product for Similarity Determination in Multimedia Content |
CN104112018A (zh) * | 2014-07-21 | 2014-10-22 | 南京大学 | 一种大规模图像检索方法 |
CN104463922A (zh) * | 2014-12-03 | 2015-03-25 | 天津大学 | 一种基于集成学习的图像特征编码及识别方法 |
CN104820696A (zh) * | 2015-04-29 | 2015-08-05 | 山东大学 | 一种基于多标签最小二乘哈希算法的大规模图像检索方法 |
CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
US20170364517A1 (en) * | 2016-06-17 | 2017-12-21 | Hewlett Packard Enterprise Development Lp | Hash value generation through projection vector split |
CN106227851A (zh) * | 2016-07-29 | 2016-12-14 | 汤平 | 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法 |
CN106815362A (zh) * | 2017-01-22 | 2017-06-09 | 福州大学 | 一种基于kpca多表索引图像哈希检索方法 |
CN107358264A (zh) * | 2017-07-14 | 2017-11-17 | 深圳市唯特视科技有限公司 | 一种基于机器学习算法进行图像分析的方法 |
JP2019096118A (ja) * | 2017-11-24 | 2019-06-20 | 富士通株式会社 | パターン認識プログラム、装置、及び方法 |
WO2020014770A1 (en) * | 2018-07-17 | 2020-01-23 | Avigilon Corporation | Hash-based appearance search |
CN109857892A (zh) * | 2018-12-29 | 2019-06-07 | 西安电子科技大学 | 基于类标传递的半监督跨模态哈希检索方法 |
CN110083734A (zh) * | 2019-04-15 | 2019-08-02 | 中南大学 | 基于自编码网络和鲁棒核哈希的半监督图像检索方法 |
Non-Patent Citations (3)
Title |
---|
JAIYAM SHARMA 等: "Improving Similarity Search with High-dimensional Locality-sensitive Hashing", 《ARXIV:1812.01844V1》 * |
刘娜: "面向遥感图像分类与检索的深度学习特征表达研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 * |
季秀云: "基于内容的图像哈希检索算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN111882061B (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111242180B (zh) | 一种基于轻量化卷积神经网络的图像识别方法及*** | |
CN103177265B (zh) | 基于核函数与稀疏编码的高清图像分类方法 | |
CN112328715B (zh) | 视觉定位方法及相关模型的训练方法及相关装置、设备 | |
CN109376787B (zh) | 流形学习网络及基于其的计算机视觉图像集分类方法 | |
CN111311702B (zh) | 一种基于BlockGAN的图像生成和识别模块及方法 | |
CN111178312B (zh) | 基于多任务特征学习网络的人脸表情识别方法 | |
CN112347970A (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN113705641A (zh) | 基于富上下文网络的高光谱图像分类方法 | |
CN111339818A (zh) | 一种人脸多属性识别*** | |
CN113032613B (zh) | 一种基于交互注意力卷积神经网络的三维模型检索方法 | |
CN105844647A (zh) | 一种基于颜色属性的核相关目标跟踪方法 | |
CN111178196B (zh) | 一种细胞分类的方法、装置及设备 | |
CN110188864B (zh) | 基于分布表示和分布度量的小样本学习方法 | |
CN115272691A (zh) | 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备 | |
CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
Dan et al. | PF‐ViT: Parallel and Fast Vision Transformer for Offline Handwritten Chinese Character Recognition | |
CN114842425B (zh) | 用于石油化工工艺的异常行为识别方法及电子设备 | |
CN107122472A (zh) | 大规模非结构化数据提取方法、其***、分布式数据管理平台 | |
CN112990336B (zh) | 基于竞争注意力融合的深度三维点云分类网络构建方法 | |
CN111882061A (zh) | 一种基于分层随机梯度下降的卷积神经网络训练方法 | |
Jiao et al. | Realization and improvement of object recognition system on raspberry pi 3b+ | |
CN112508900B (zh) | 细胞病理图像分割方法及装置 | |
CN115063374A (zh) | 模型训练、人脸图像质量评分方法、电子设备及存储介质 | |
EP4007173A1 (en) | Data storage method, and data acquisition method and apparatus therefor | |
CN113255768A (zh) | 一种提升卷积神经网络鲁棒性能的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |