CN104268524A - 一种基于动态调整训练目标的卷积神经网络的图像识别方法 - Google Patents
一种基于动态调整训练目标的卷积神经网络的图像识别方法 Download PDFInfo
- Publication number
- CN104268524A CN104268524A CN201410492769.XA CN201410492769A CN104268524A CN 104268524 A CN104268524 A CN 104268524A CN 201410492769 A CN201410492769 A CN 201410492769A CN 104268524 A CN104268524 A CN 104268524A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolutional neural
- output
- training
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于动态调整训练目标的卷积神经网络的图像识别方法；所述的方法包括训练模型、注册数据和识别匹配三个部分；在训练模型的过程中，将训练样本输入卷积神经网络模型，将同类样本的输出层输出向量求均值作为本轮训练的目标向量，而后，将各样本输出向量和目标向量的误差反向传递调整卷积神经网络的参数，直至达到训练要求为止；在注册数据过程中，将需注册的样本图像输入卷积神经网络模型，将输出层的输出结果作为特征向量予以存储；在识别匹配过程中，将待识别匹配输入卷积神经网络，将输出层的输出结果作为特征向量，而后将该特征向量与已注册的特征向量进行匹配，从而给出识别匹配的判决结果。
Description
技术领域
本发明涉及图像识别技术领域，尤其是基于卷积神经网络的图像识别技术领域。
背景技术
目前，公知的卷积神经网络的输出层为类别编码。这就要求，模型训练结束后，使用模型的待识别的图像需要和训练模型的样本具有相同的类别，并且，模型能够识别的类别数也是固定的。
这样的卷积神经网络在固定类别的图像识别领域是适用的，并且，在许多固定类别的图像识别领域中取得了很好的效果，如手写字母识别、手写数字识别等。
然而，还有许多图像识别领域，特别是生物特征的图像识别领域，如人脸识别、指纹识别、静脉识别等，在模型训练后，需要识别的图像样本和模型训练的样本属于不同类别，并且，需要识别的类别数是随着使用过程中注册的数据变化而变化的。这就使得公知的卷积神经网络不能用于这些图像识别领域。
发明内容
为了克服现有的卷积神经网络模型不能用于非限定类别的图像识别领域，本发明提出了一种基于动态调整训练目标的卷积神经网络的图像识别方法。该方法不限定训练模型后识别分类的样本和训练样本具有相同的类别，也不限定分类的类别数固定不变。同时，该方法具有较高的识别率。
本发明所提出的一种基于动态调整训练目标的卷积神经网络的图像识别方法包括S100训练模型、S200注册数据和S300识别匹配三个部分。图1给出了本发明的总体流程图。
本发明所述的动态调整训练目标的卷积神经网络，其结构为：包括一个输入层I，在输入层之后，交替分布卷积层C1、降采样层S1、……、卷积层Ck、降采样层Sk、卷积层Ck+1，在最后一个卷积层Ck+1之后为若干个隐含层H1、H2、……Hn，在最后一个隐含层Hn之后，为输出层O。图2给出了卷积神经网络的结构示意图。
所述的输入层的每个节点对应于输入图像的一个像素。所述的输入图像，可以是采集的原始图像，也可以是经过滤波或归一化后的图像。
所述的卷积层的每一层包括多个特征图，同一层的特征图的尺寸相同，且每个特征图的像素，对应于前一层的指定的若干特征图相应窗口位置的像素集合。
所述的降采样层的每一层包括多个相同尺寸的特征图；降采样层的每张特征图对应于前一层卷积层的一张特征图；降采样层的特征图的像素对应于前一层相应特征图的采样区域；所有的采样区域没有重叠部分。
所述的隐含层的每个节点与前一层的每个节点和后一层的每个节点都是通过带权重的边相互联系的。
所述的输出层的每个节点输出是一个实数。
所述的训练模型S100训练模型包括S110-S130的步骤。
S110初始化卷积神经网络，该过程包括S111-S116的步骤。
S111设置训练次终止条件参数。
S112设置每个卷积层的特征图的个数及卷积窗口尺寸。
S113设置每个降采样层的特征图的个数及降采样比例。
S114设置每个卷积层与前一层特征图的对应关系。
S115设置输出层的节点个数，使得该节点个数与训练样本的类别二进制编码的位数相同。
S116初始化卷积神经网络中的边的权重参数为随机数。
S120执行训练过程，重复执行S121-S128的步骤，直至满足训练终止条件为止。
S121将训练图像输入卷积神经网络的输入层。
S122 若当前层为卷积层，则根据卷积计算公式，对前一层所选中的图像数据进行卷积计算，从而得到卷积层的特征图的结果。其计算过程为：将前一层选中图像数据及相应的卷积核根据公式（1）计算相应区域的卷积；而后将计算的卷积结果根据公式（2）得出Sigm函数的计算结果；最后，根据公式（3），对各选中图像的卷积结果进行求和，得到卷积层相应的卷积结果。图3给出了卷积过程的示意图。
（1）。
（2）。
S = Σ Si （3）。
S123若当前层为降采样层，则根据前一层相应的特征图进行降采样计算，从而得到降采样层的特征图结果。公式（4）给出了降采样的计算公式。其中，C为上一层特征图的区域数据，N1与N2分别为上一层特征图在图像的两个维度上的降采样倍数。图4给出了降采样过程的示意图。
（4）。
S124重复执行步骤S122及步骤S123，直至最后一个卷积层的计算结果完成为止。
S125根据隐含层前一层节点的输出数据、隐含层与前一层节点间的边的权重，计算出隐含层节点的输出数据。重复进行，直至将最后一个隐含层的输出计算完成为止。公式（5）给出了隐含层节点的计算方法。图5给出了隐含层结构的示意图。
y = Sigm (Σwixi + b) （5）。
S126根据最后一个隐含层的输出结果，及隐含层与输出层之间的边的权重，计算输出层的输出向量。输出层的计算公式与公式（5）相同。
S127待所有样本生成输出向量后，分别计算各同类样本的均值，作为本轮训练该类别样本的目标向量。公式（6）给出了目标向量的计算方法。
（6）。
S128 将各训练样本与其类别本轮的目标向量计算误差。
（7）。
S129将步骤S128计算的误差由输出层输入卷积神经网络，逐层调整卷积神经网络中各层之间的权重参数。
所述的S200注册数据包含S210-S220的步骤。
S210将需要注册的图像输入由S100训练好的卷积神经网络，经执行步骤S122-S126。
S220将步骤S210得到的输出层的输出结果作为该注册图像的特征向量予以存储。
所述的S300识别匹配包含S310-S330的步骤。
S310将待识别匹配的图像输入由S100训练好的卷积神经网络，经执行步骤S122-S126。
S320将步骤S310得到的最后一个隐含层的输出结果作为该待识别匹配图像的特征向量，与S200已存储的注册数据的特征向量计算距离。
S330根据步骤S320的计算结果，给出识别匹配的判决结果。
本发明的有益效果是，通过动态地调整训练过程中的目标，使得训练结束后，卷积神经网络输出的特征向量能够使得同类样本的距离尽量小；这就使得，在识别匹配中，待识别匹配的样本与已注册存储的特征向量的距离，可以作为识别匹配的依据，从而达到对非限定类别样本进行分类的目的。实践证明，本发明所提出的方法具有较高的识别率。
附图说明
图1给出了一种基于动态调整训练目标的卷积神经网络的图像识别方法的总体流程图。
图2给出了卷积神经网络的结构示意图。
图3给出了卷积过程的示意图。
图4给出了降采样过程的示意图。
图5给出了隐含层结构的示意图。
Claims (10)
1.一种基于动态调整训练目标的卷积神经网络的图像识别方法，其特征在于：包括训练卷模型、注册数据、识别匹配三大部分。
2.根据权利要求1所述的卷积神经网络，其特征在于：包括一个输入层，在输入层之后，交替分布卷积层、降采样层、……、降采样层、卷积层，在最后一个卷积层之后为若干个隐含层，在最后一个隐含层之后，为输出层。
3. 根据权利要求2所述的输入层，其特征在于：输入层对应于输入图像，每个节点对应于输入图像的一个像素；输入图像可以是原始图像，也可以是经过滤波或归一化后的图像。
4. 根据权利要求2所述的卷积层，其特征在于：每个卷积层包括多个特征图同一层的特征图的尺寸相同，且每个特征图的像素，对应于前一层指定的若干特征图相应窗口位置的像素集合。
5. 根据权利要求2所述的降采样层，其特征在于：每个降采样层包括过个相同尺寸的特征图；降采样层的每张特征图对应于前一层卷积层的一张特征图；降采样层的特征图的像素对应于前一层相应特征图的采样区域；所有的采样区域没有重叠部分。
6. 根据权利要求2所述的隐含层，其特征在于：该层的每个节点与前一层的每个节点和后一层的每个节点都是通过带权重的边相互联系的。
7.根据权利要求2所述的输出层，其特征在于：该层的每个节点的输出值为实数。
8.根据权利要求1所述的训练模型，其特征在于：初始化卷积神经网络的参数为随机数；将训练样本输入卷积神经网络，将同类训练样本的输出层的输出向量求均值，作为该类样本本轮目标向量；将各样本输出向量与其所属类别的本轮目标向量的误差从输出层反向传递进入卷积神经网络，调整卷积神经网络的参数；而后，再次将训练样本输入卷积神经网络，重复上述过程，直至训练达到要求为止。
9.根据权利要求1所述的注册数据，其特征在于：将注册的图像数据送入卷积神经网络，将输出层的输出向量作为该样本的特征向量，存储于数据库中。
10.根据权利要求1所述的识别匹配，其特征在于：将待识别的图像数据送入卷积神经网络，将输出层的输出向量作为该样本的特征向量，将该特征向量与权利要求9所述的数据库中已注册的特征向量计算距离，从而做出识别匹配的判决结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410492769.XA CN104268524A (zh) | 2014-09-24 | 2014-09-24 | 一种基于动态调整训练目标的卷积神经网络的图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410492769.XA CN104268524A (zh) | 2014-09-24 | 2014-09-24 | 一种基于动态调整训练目标的卷积神经网络的图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104268524A true CN104268524A (zh) | 2015-01-07 |
Family
ID=52160044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410492769.XA Pending CN104268524A (zh) | 2014-09-24 | 2014-09-24 | 一种基于动态调整训练目标的卷积神经网络的图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104268524A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105096279A (zh) * | 2015-09-23 | 2015-11-25 | 成都融创智谷科技有限公司 | 一种基于卷积神经网络的数字图像处理方法 |
| CN105138973A (zh) * | 2015-08-11 | 2015-12-09 | 北京天诚盛业科技有限公司 | 人脸认证的方法和装置 |
| CN105389596A (zh) * | 2015-12-21 | 2016-03-09 | 长沙网动网络科技有限公司 | 卷积神经网络适用于识别多种尺寸图片的方法 |
| CN105469100A (zh) * | 2015-11-30 | 2016-04-06 | 广东工业大学 | 基于深度学习的皮肤活检图像病理特性识别方法 |
| WO2016112797A1 (zh) * | 2015-01-15 | 2016-07-21 | 阿里巴巴集团控股有限公司 | 一种用于确定图片陈列信息的方法及设备 |
| WO2016183766A1 (en) * | 2015-05-18 | 2016-11-24 | Xiaogang Wang | Method and apparatus for generating predictive models |
| CN107609645A (zh) * | 2017-09-21 | 2018-01-19 | 百度在线网络技术（北京）有限公司 | 用于训练卷积神经网络的方法和装置 |
| US10395141B2 (en) | 2017-03-20 | 2019-08-27 | Sap Se | Weight initialization for machine learning models |
| CN110288082A (zh) * | 2019-06-05 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 卷积神经网络模型训练方法、装置和计算机可读存储介质 |
| WO2019200735A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 牲畜特征向量的提取方法、装置、计算机设备和存储介质 |
| CN110598504A (zh) * | 2018-06-12 | 2019-12-20 | 北京市商汤科技开发有限公司 | 图像识别方法及装置、电子设备和存储介质 |
| CN113486918A (zh) * | 2021-05-19 | 2021-10-08 | 浙江大华技术股份有限公司 | 基于动态调整特征向量分布趋势的图像识别方法及其设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268521A (zh) * | 2014-09-23 | 2015-01-07 | 朱毅 | 一种基于非限定类别的卷积神经网络的图像识别方法 |
-
2014
- 2014-09-24 CN CN201410492769.XA patent/CN104268524A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268521A (zh) * | 2014-09-23 | 2015-01-07 | 朱毅 | 一种基于非限定类别的卷积神经网络的图像识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 肖柏旭: "基于卷积网络的人脸检测的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 许可: "卷积神经网络在图像识别上的应用的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 陈先昌: "基于卷积神经网络的深度学习算法与应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016112797A1 (zh) * | 2015-01-15 | 2016-07-21 | 阿里巴巴集团控股有限公司 | 一种用于确定图片陈列信息的方法及设备 |
| WO2016183766A1 (en) * | 2015-05-18 | 2016-11-24 | Xiaogang Wang | Method and apparatus for generating predictive models |
| CN105138973A (zh) * | 2015-08-11 | 2015-12-09 | 北京天诚盛业科技有限公司 | 人脸认证的方法和装置 |
| CN105138973B (zh) * | 2015-08-11 | 2018-11-09 | 北京天诚盛业科技有限公司 | 人脸认证的方法和装置 |
| CN105096279A (zh) * | 2015-09-23 | 2015-11-25 | 成都融创智谷科技有限公司 | 一种基于卷积神经网络的数字图像处理方法 |
| CN105469100B (zh) * | 2015-11-30 | 2018-10-12 | 广东工业大学 | 基于深度学习的皮肤活检图像病理特性识别方法 |
| CN105469100A (zh) * | 2015-11-30 | 2016-04-06 | 广东工业大学 | 基于深度学习的皮肤活检图像病理特性识别方法 |
| CN105389596B (zh) * | 2015-12-21 | 2018-05-29 | 长沙网动网络科技有限公司 | 卷积神经网络适用于识别多种尺寸图片的方法 |
| CN105389596A (zh) * | 2015-12-21 | 2016-03-09 | 长沙网动网络科技有限公司 | 卷积神经网络适用于识别多种尺寸图片的方法 |
| US10395141B2 (en) | 2017-03-20 | 2019-08-27 | Sap Se | Weight initialization for machine learning models |
| CN107609645A (zh) * | 2017-09-21 | 2018-01-19 | 百度在线网络技术（北京）有限公司 | 用于训练卷积神经网络的方法和装置 |
| CN107609645B (zh) * | 2017-09-21 | 2024-04-02 | 百度在线网络技术（北京）有限公司 | 用于训练卷积神经网络的方法和装置 |
| WO2019200735A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 牲畜特征向量的提取方法、装置、计算机设备和存储介质 |
| CN110598504A (zh) * | 2018-06-12 | 2019-12-20 | 北京市商汤科技开发有限公司 | 图像识别方法及装置、电子设备和存储介质 |
| CN110598504B (zh) * | 2018-06-12 | 2023-07-21 | 北京市商汤科技开发有限公司 | 图像识别方法及装置、电子设备和存储介质 |
| CN110288082A (zh) * | 2019-06-05 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 卷积神经网络模型训练方法、装置和计算机可读存储介质 |
| CN113486918A (zh) * | 2021-05-19 | 2021-10-08 | 浙江大华技术股份有限公司 | 基于动态调整特征向量分布趋势的图像识别方法及其设备 |
| CN113486918B (zh) * | 2021-05-19 | 2024-06-11 | 浙江大华技术股份有限公司 | 基于动态调整特征向量分布趋势的图像识别方法及其设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104268524A (zh) | 一种基于动态调整训练目标的卷积神经网络的图像识别方法 | |
| CN104268521A (zh) | 一种基于非限定类别的卷积神经网络的图像识别方法 | |
| CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
| CN108182441B (zh) | 平行多通道卷积神经网络、构建方法及图像特征提取方法 | |
| CN106295637B (zh) | 一种基于深度学习与强化学习的车辆识别方法 | |
| CN107203753B (zh) | 一种基于模糊神经网络和图模型推理的动作识别方法 | |
| CN106778604B (zh) | 基于匹配卷积神经网络的行人再识别方法 | |
| CN108734208B (zh) | 基于多模态深度迁移学习机制的多源异构数据融合*** | |
| CN104537647B (zh) | 一种目标检测方法及装置 | |
| CN111160176B (zh) | 基于融合特征的一维卷积神经网络地面雷达目标分类方法 | |
| CN107274378B (zh) | 一种融合记忆cnn的图像模糊类型识别及参数整定方法 | |
| CN113222011B (zh) | 一种基于原型校正的小样本遥感图像分类方法 | |
| CN107705322A (zh) | 运动目标识别跟踪方法和*** | |
| CN107563446A (zh) | 一种微操作***目标检测方法 | |
| CN111126412B (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
| CN108256436A (zh) | 一种基于联合分类的雷达hrrp目标识别方法 | |
| CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
| CN103778436B (zh) | 一种基于图像处理的行人姿态检测方法 | |
| CN111191627A (zh) | 一种多视点下提高动态手势动作识别准确率的方法 | |
| CN110879982A (zh) | 一种人群计数***及方法 | |
| CN104008379A (zh) | 一种基于surf特征的物体识别方法 | |
| WO2020168796A1 (zh) | 一种基于高维空间采样的数据增强方法 | |
| CN103955950A (zh) | 一种利用关键点特征匹配的图像跟踪方法 | |
| CN112905894B (zh) | 一种基于增强图学习的协同过滤推荐方法 | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160226 Address after: Siming Lake Road Xiamen city Fujian province 361004 of No. 138 room 2508 Applicant after: XIAMEN TONGYUAN MICRO INTELLIGENT TECHNOLOGY CO., LTD. Address before: Siming Lake Road Xiamen city Fujian province 361004 of No. 138 room 2508 Applicant before: Zhu Yi |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150107 |