CN110378412B - 基于局部几何特征序列建模的二维轮廓形状识别分类方法 - Google Patents
基于局部几何特征序列建模的二维轮廓形状识别分类方法 Download PDFInfo
- Publication number
- CN110378412B CN110378412B CN201910644175.9A CN201910644175A CN110378412B CN 110378412 B CN110378412 B CN 110378412B CN 201910644175 A CN201910644175 A CN 201910644175A CN 110378412 B CN110378412 B CN 110378412B
- Authority
- CN
- China
- Prior art keywords
- shape
- lstm
- local geometric
- dimensional
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于局部几何特征序列建模的二维轮廓形状识别分类方法,涉及物体识别分类技术领域,解决了现有的人为调整设置形状特征过于复杂、物体二维轮廓形状识别分类的成功率较低的问题,其技术方案要点是:提取目标物物体形状的局部几何特征;通过LSTM将提取到的特征信息转换为时间序列信息;基于循环神经网络对局部几何特征序列进行建模;基于全连接神经网络进行特征选择与平衡,得到目标物的分类结果,具有即克服了人为调整设置形状特征过于复杂的缺点,又显著提升了物体二维轮廓形状识别分类的成功率,而且能够区分不同物体的二维轮廓形状,并捕获精细形状差异,包括细微的局部差异。
Description
技术领域
本发明涉及物体识别分类技术领域,更具体地说,它涉及基于局部几何特征序列建模的二维轮廓形状识别分类方法。
背景技术
机器视觉***是通过机器视觉产品(即图像摄取装置,分CMOS和CCD两种)将被摄取目标转换成图像信号,传送给专用的图像处理***,得到被摄目标的形态信息,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像***对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。在机器视觉的很多应用领域中,物体二维轮廓形状的识别和分类是非常基础而又极其关键的一部分。
目前,二维轮廓形状的识别和分类方法主要集中在以下两个方向:一种是人为指定的二维轮廓形状特征来进行识别和分类。主要是通过计算一个或几个几何量,如沿着二维轮廓的一个方向,采集轮廓上采样点的位置、距离和角度,然后应用汇集和编码技术来生成形状描述符。而在形状描述符中,形状上下文(Shape Context,SC)使用距离和角度,其变体是最流行的形状描述符之一。这些人为指定的特征擅长表现二维轮廓形状的几何信息,然而它们大多使用局部特征的连接向量作为整体形状描述符,忽略了这些特征之间的几何关系。此外,计算和汇集几何量的参数设置比较复杂、人为指定二维轮廓形状特征的设置高度依赖于经验等问题一直是这类方法的瓶颈。另一种是基于深度学习的物体二维轮廓形状识别和分类。近年来,深度学习在机器视觉识别方面取得了巨大成功,但大家都把精力放在深度学习框架的结构上,而放弃了二维轮廓形状上人为指定特征的优势,这些特征可以反映物体二维轮廓形状的几何特点。大多数现有的深度学习模型只关注于检测和学习特征,而忽略了它们之间的关系。另一方面,在深度学习结构中,滤波器的内在作用是通过图像的梯度信息来检测具有代表性的图像块,这些图像块具有丰富的纹理,但这些却纹理很少存在于物体二维轮廓形状中。因此,现有的深度网络主要用于检测灰度特征,大多对几何结构进行编码而对形状的特殊性关注甚少,从而很难有高精度的物体二维轮廓形状识别和分类结果。
综上所述,如何设计一种能够克服人为调整设置形状特征操作复杂问题以及增强识别和分类精度的二维轮廓形状识别分类方法是我们目前迫切需要解决的问题。
发明内容
本发明的目的是提供基于局部几何特征序列建模的二维轮廓形状识别分类方法,具有将物体形状特征加入到了深度学习网络中,体现了物体形状特征之间的联系,即克服了人为调整设置形状特征过于复杂的缺点,又显著提升了物体二维轮廓形状识别分类的成功率,而且能够区分不同物体的二维轮廓形状,并捕获精细形状差异,包括细微的局部差异。
本发明的上述技术目的是通过以下技术方案得以实现的:基于局部几何特征序列建模的二维轮廓形状识别分类方法,包括以下步骤:
S1:提取目标物物体形状的局部几何特征;
S2:通过LSTM将提取到的特征信息转换为时间序列信息;
S3:基于循环神经网络对局部几何特征序列进行建模;
S4:基于全连接神经网络进行特征选择与平衡,得到目标物的分类结果。
本发明进一步设置为:在步骤S1中,所述局部几何特征提取的具体步骤为:对于目标物的二维轮廓形状,通过等距地采集轮廓上的n个点,记为P={p1,p2,p3,...pn};在每个采样点pi处,计算形状上下文描述符,并将形状上下文描述符居中;然后将检测结果转换为直方图作为局部几何特征。
本发明进一步设置为:在步骤S3中,所述局部几何特征序列建模的具体步骤为:
对于每个时间步t,LSTM模型接收一个采样点的特征并结合上一个采样点的隐藏状态ht-1更新其隐藏状态ht,通过所有采样点的形状上下文来记忆特征之间的关系;经过n个步骤之后,LSTM模型的最终隐藏状态hn可以用输入物体二维形状轮廓的固定大小表示;
Ct=ft*Ct-1+It*Ct;
ht=ot*tanh(Ct);
其中,ft、It、ot分别为LSTM单元中遗忘门、输入门、输出门的状态;Ct为LSTM块中的记忆单元状态,Ct为输入到记忆单元状态的信息;δ(.)表示一个基于元素的逻辑Sigmoid函数;*操作符表示元素方向的向量积;Ws和bs是是可训练的参数;
对于一个有n个采样点的形状{p1,p2,p3,...pn},假定p1的特征是在LSTM中步骤t=1时输入,通过n个时间步得到整个形状的特征的输出;则,在第t步时,m(m∈N)个不同模板的LSTM块可以产生m个形状特征输出
本发明进一步设置为:在步骤S4中,所述特征选择与平衡的具体步骤为:
首先,将LSTM块的输出连接为全连接神经网络的输入向量:
然后,应用一个线性函数:
同时,学习权重表明了每个LSTM块对最终loss的贡献,loss函数如下:
分类结果正确时GC为1,否则为0;在反向传播中,权矩阵Wfc和偏置矩阵bfc的偏导数计算如下:
其中,θ是交叉熵函数;
综上所述,本发明具有以下有益效果:将上下文模板代替传统卷积滤波器,不需要对整个图像进行滑动卷积核;通过使用多个模板用于检测不同尺度的特征,平衡和综合了不同参数的影响;将物体形状特征加入到了深度学习网络中,体现了物体形状特征之间的联系,又克服了人为调整设置形状特征过于复杂的缺点,显著提升了物体二维轮廓形状识别分类的成功率,而且能够区分不同物体的二维轮廓形状,并捕获精细形状差异,包括细微的局部差异。
附图说明
图1是本发明实施例中的流程图;
图2是本发明实施例中物体二维轮廓形状原图;
图3是本发明实施例中物体二维轮廓形状采样点的示意图;
图4是本发明实施例中第一尺度形状上下文描述符模板的效果图;
图5是本发明实施例中第二尺度形状上下文描述符模板的效果图;
图6是本发明实施例中第三尺度形状上下文描述符模板的效果图;
图7是本发明实施例中局部几何特征序列建模的示意图。
具体实施方式
以下结合附图1-7对本发明作进一步详细说明。
实施例:基于局部几何特征序列建模的二维轮廓形状识别分类方法,如图1所示,包括以下步骤:
(1)提取目标物物体形状的局部几何特征。
如图2所示,物体二维轮廓形状通常由轮廓线、点和曲线组成,是稀疏结构。因此,在深度学习框架中,采用形状上下文来描述图像轮廓上的局部形状特征,不需要对整个图像进行滑动卷积核。
如图3所示,对于目标物的二维轮廓形状,通过等距地采集轮廓上的n个点,记为P={p1,p2,p3,...pn},图3中标点表示沿着轮廓的采样点。
如图4-6所示,在每个采样点pi处,计算形状上下文描述符,并将形状上下文描述符居中,然后将检测结果转换为直方图作为局部几何特征。形状上下文描述符模板按对数极坐标的半径ndist划分区域,以nθ为角度划分区域。计算每个区域中与采样点的相交情况,并将相交点的个数累加,并用直方图表示。直方图就可以明确的显示围绕pi的采样点的分布,可以用作点pi处的局部特征。将n个采样点的特征表示为{x1,x2,...xn}。
在传统的方法中,由于参数的选取会影响特征的鲁棒性和独特性,因此需要慎重选择。以参数ndist为例,它反映了所覆盖的局部特征的范围。如图4所示,如果设置得太小,则局部特征相似并降低其独特性。如图6所示,如果设置的太大,则模板可能覆盖形状的非局部部分,导致同一类别的形状的特征完全不同。
一般来说,单元格多的模板比单元格少的模板更善于检测细节,而且它们可以很好地处理复杂的形状,而单元格较少的模板可以用于简单的形状,以减少冗余。采用m个不同的模板来检测不同尺度的特征,模板L={l1,l2,...lm}产生的局部特征被记为其中,1≤i≤m,平衡和综合了不同参数的影响。
(2)基于循环神经网络对局部几何特征序列进行建模。
局部特征之间的关系是物体二维轮廓形状识别的关键。长期以来,局部特征要么是人为指定方法生成的,要么是后天习得的,但很少考虑特征之间的关系。
将LSTM框架作为循环层的基本块来计算轮廓的特征序列。一个LSTM单元由一个记忆单元和三个乘法门组成,即输入门、输出门和遗忘门。前面的上下文存储在记忆单元中,输入门和输出门允许上下文存储更长的时间。同时,可以通过遗忘门清除记忆单元中的内容。
如图7所示,以模板li∈L生成的局部特征为例。从第1个采样点通过LSTM形成隐藏状态h1,第2个采样点加上第一步的隐藏状态h1通过LSTM形成隐藏状态h2…,以此类推,对于每个时间步t,LSTM模型接收一个采样点的特征并结合上一个采样点的隐藏状态ht-1更新其隐藏状态ht,通过所有采样点的形状上下文来记忆特征之间的关系。经过n个步骤之后,LSTM模型的最终隐藏状态hn可以用输入物体二维形状轮廓的固定大小表示。
Ct=ft*Ct-1+It*Ct;
ht=ot*tanh(Ct);
其中,ft、It、ot分别为LSTM单元中遗忘门、输入门、输出门的状态;Ct为LSTM块中的记忆单元状态,Ct为输入到记忆单元状态的信息;δ(.)表示一个基于元素的逻辑Sigmoid函数;*操作符表示元素方向的向量积;Ws和bs是是可训练的参数。
因此,对于一个有n个采样点的形状{p1,p2,p3,...pn},假定p1的特征是在LSTM中步骤t=1时输入,通过n个时间步得到整个形状的特征的输出;则,在第t步时,m(m∈N)个不同模板的LSTM块可以产生m个形状特征输出
(3)基于全连接神经网络进行特征选择与平衡,得到目标物的分类结果。
使用全连接神经网络对每个LSTM块所产生的二维轮廓形状特征进行分析来得到最优的分类结果。每个物体二维轮廓形状特征的贡献是通过它们对最终输出的权重来学习的,因为最终的loss是通过每个LSTM块的权重传回来的。
首先,将LSTM块的输出连接为全连接神经网络的输入向量:
然后,应用一个线性函数:
同时,学习权重表明了每个LSTM块对最终loss的贡献,loss函数如下:
分类结果正确时GC为1,否则为0;在反向传播中,权矩阵Wfc和偏置矩阵bfc的偏导数计算如下:
其中,θ是交叉熵函数。
工作原理:将上下文模板代替传统卷积滤波器,不需要对整个图像进行滑动卷积核。通过使用多个模板用于检测不同尺度的特征,平衡和综合了不同参数的影响。将物体形状特征加入到了深度学习网络中,体现了物体形状特征之间的联系,又克服了人为调整设置形状特征过于复杂的缺点,显著提升了物体二维轮廓形状识别分类的成功率,而且能够区分不同物体的二维轮廓形状,并捕获精细形状差异,包括细微的局部差异。
本具体实施例仅仅是对本发明的解释,其并不是对本发明的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (3)
1.基于局部几何特征序列建模的二维轮廓形状识别分类方法,其特征是:包括以下步骤:
S1:提取目标物物体形状的局部几何特征;
S2:通过LSTM将提取到的特征信息转换为时间序列信息;
S3:基于循环神经网络对局部几何特征序列进行建模;
S4:基于全连接神经网络进行特征选择与平衡,得到目标物的分类结果;
其中,步骤S1中,所述局部几何特征提取的具体步骤为:对于目标物的二维轮廓形状,通过等距地采集轮廓上的n个点,记为P={p1,p2,p3,...pn};在每个采样点pi处,计算形状上下文描述符,并将形状上下文描述符居中;然后将检测结果转换为直方图作为局部几何特征;
2.根据权利要求1所述的基于局部几何特征序列建模的二维轮廓形状识别分类方法,其特征是:在步骤S3中,所述局部几何特征序列建模的具体步骤为:
对于每个时间步t,LSTM模型接收一个采样点的特征并结合上一个采样点的隐藏状态ht-1更新其隐藏状态ht,通过所有采样点的形状上下文来记忆特征之间的关系;经过n个步骤之后,LSTM模型的最终隐藏状态hn可以用输入物体二维形状轮廓的固定大小表示;
Ct=ft*Ct-1+It*Ct;
ht=ot*tanh(Ct);
其中,ft、It、ot分别为LSTM单元中遗忘门、输入门、输出门的状态;Ct为LSTM块中的记忆单元状态,Ct为输入到记忆单元状态的信息;δ(.)表示一个基于元素的逻辑Sigmoid函数;*操作符表示元素方向的向量积;Ws和bs是可训练的参数;
3.根据权利要求2所述的基于局部几何特征序列建模的二维轮廓形状识别分类方法,其特征是:在步骤S4中,所述特征选择与平衡的具体步骤为:
首先,将LSTM块的输出连接为全连接神经网络的输入向量:
然后,应用一个线性函数:
同时,学习权重表明了每个LSTM块对最终loss的贡献,loss函数如下:
分类结果正确时GC为1,否则为0;在反向传播中,权矩阵Wfc和偏置矩阵bfc的偏导数计算如下:
其中,θ是交叉熵函数;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910644175.9A CN110378412B (zh) | 2019-07-17 | 2019-07-17 | 基于局部几何特征序列建模的二维轮廓形状识别分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910644175.9A CN110378412B (zh) | 2019-07-17 | 2019-07-17 | 基于局部几何特征序列建模的二维轮廓形状识别分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110378412A CN110378412A (zh) | 2019-10-25 |
CN110378412B true CN110378412B (zh) | 2021-07-27 |
Family
ID=68253582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910644175.9A Active CN110378412B (zh) | 2019-07-17 | 2019-07-17 | 基于局部几何特征序列建模的二维轮廓形状识别分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110378412B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9767557B1 (en) * | 2016-06-23 | 2017-09-19 | Siemens Healthcare Gmbh | Method and system for vascular disease detection using recurrent neural networks |
CN109344822A (zh) * | 2018-09-03 | 2019-02-15 | 电子科技大学 | 一种基于长短期记忆网络的场景文本检测方法 |
CN109493360A (zh) * | 2018-10-10 | 2019-03-19 | 东南大学 | 一种人工地物散乱形状点自动生成建筑物轮廓的方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657271B (zh) * | 2017-09-02 | 2019-11-15 | 西安电子科技大学 | 基于长短时记忆网络的高光谱图像分类方法 |
CN108446619B (zh) * | 2018-03-12 | 2020-08-28 | 清华大学 | 基于深度强化学习的人脸关键点检测方法及装置 |
-
2019
- 2019-07-17 CN CN201910644175.9A patent/CN110378412B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9767557B1 (en) * | 2016-06-23 | 2017-09-19 | Siemens Healthcare Gmbh | Method and system for vascular disease detection using recurrent neural networks |
CN109344822A (zh) * | 2018-09-03 | 2019-02-15 | 电子科技大学 | 一种基于长短期记忆网络的场景文本检测方法 |
CN109493360A (zh) * | 2018-10-10 | 2019-03-19 | 东南大学 | 一种人工地物散乱形状点自动生成建筑物轮廓的方法 |
Non-Patent Citations (5)
Title |
---|
Learning Multi-View Representation With LSTM for 3-D Shape Recognition and Retrieval;Chao Ma 等,;《IEEE Transactions on Multimedia》;20190531;第21卷(第5期);第1169-1182页 * |
Shape Matching and Object Recognition Using Shape Contexts;Suhas G. Salve 等,;《 2010 3rd International Conference on Computer Science and Information Technology》;20100907;第2010年卷;第471-474页 * |
基于改进形状上下文特征的工件识别与定位;卜琰 等,;《机械工程与自动化》;20161231;第2016年卷(第6期);第40-44页 * |
基于深度学习的跑道前视红外图像轮廓线提取;袁雷 等,;《电讯技术》;20190228;第59卷(第2期);摘要、第181页 * |
基于轮廓关键点集的形状分类;杨小军 等,;《南京大学学报(自然科学)》;20100131;第46卷(第1期);摘要、第51页、第54页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110378412A (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN107506740B (zh) | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 | |
CN109934115B (zh) | 人脸识别模型的构建方法、人脸识别方法及电子设备 | |
CN108108764B (zh) | 一种基于随机森林的视觉slam回环检测方法 | |
CN111191583B (zh) | 基于卷积神经网络的空间目标识别***及方法 | |
CN112633350B (zh) | 一种基于图卷积的多尺度点云分类实现方法 | |
CN109766873B (zh) | 一种混合可变形卷积的行人再识别方法 | |
CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
CN111274916A (zh) | 人脸识别方法和人脸识别装置 | |
CN110222718B (zh) | 图像处理的方法及装置 | |
CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及*** | |
CN111179419A (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
CN112766229B (zh) | 基于注意力机制的人脸点云图像智能识别***及方法 | |
CN110543581A (zh) | 基于非局部图卷积网络的多视图三维模型检索方法 | |
CN114187450A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
CN114758288A (zh) | 一种配电网工程安全管控检测方法及装置 | |
CN110135237B (zh) | 一种手势识别方法 | |
CN112819039A (zh) | 基于多尺度集成特征编码的纹理识别模型建立方法及应用 | |
CN110826575A (zh) | 一种基于机器学习的水下目标识别方法 | |
CN117252928B (zh) | 用于电子产品模块化智能组装的视觉图像定位*** | |
CN110992301A (zh) | 一种气体轮廓识别方法 | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN114283326A (zh) | 一种结合局部感知和高阶特征重构的水下目标重识别方法 | |
CN111695507B (zh) | 一种基于改进VGGNet网络和PCA的静态手势识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |