CN110378412B - 基于局部几何特征序列建模的二维轮廓形状识别分类方法 - Google Patents

Abstract

本发明公开了基于局部几何特征序列建模的二维轮廓形状识别分类方法，涉及物体识别分类技术领域，解决了现有的人为调整设置形状特征过于复杂、物体二维轮廓形状识别分类的成功率较低的问题，其技术方案要点是：提取目标物物体形状的局部几何特征；通过LSTM将提取到的特征信息转换为时间序列信息；基于循环神经网络对局部几何特征序列进行建模；基于全连接神经网络进行特征选择与平衡，得到目标物的分类结果，具有即克服了人为调整设置形状特征过于复杂的缺点，又显著提升了物体二维轮廓形状识别分类的成功率，而且能够区分不同物体的二维轮廓形状，并捕获精细形状差异，包括细微的局部差异。

Description

基于局部几何特征序列建模的二维轮廓形状识别分类方法

技术领域

本发明涉及物体识别分类技术领域，更具体地说，它涉及基于局部几何特征序列建模的二维轮廓形状识别分类方法。

背景技术

机器视觉***是通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理***，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像***对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。在机器视觉的很多应用领域中，物体二维轮廓形状的识别和分类是非常基础而又极其关键的一部分。

目前，二维轮廓形状的识别和分类方法主要集中在以下两个方向：一种是人为指定的二维轮廓形状特征来进行识别和分类。主要是通过计算一个或几个几何量，如沿着二维轮廓的一个方向，采集轮廓上采样点的位置、距离和角度，然后应用汇集和编码技术来生成形状描述符。而在形状描述符中，形状上下文(Shape Context，SC)使用距离和角度，其变体是最流行的形状描述符之一。这些人为指定的特征擅长表现二维轮廓形状的几何信息，然而它们大多使用局部特征的连接向量作为整体形状描述符，忽略了这些特征之间的几何关系。此外，计算和汇集几何量的参数设置比较复杂、人为指定二维轮廓形状特征的设置高度依赖于经验等问题一直是这类方法的瓶颈。另一种是基于深度学习的物体二维轮廓形状识别和分类。近年来，深度学习在机器视觉识别方面取得了巨大成功，但大家都把精力放在深度学习框架的结构上，而放弃了二维轮廓形状上人为指定特征的优势，这些特征可以反映物体二维轮廓形状的几何特点。大多数现有的深度学习模型只关注于检测和学习特征，而忽略了它们之间的关系。另一方面，在深度学习结构中，滤波器的内在作用是通过图像的梯度信息来检测具有代表性的图像块，这些图像块具有丰富的纹理，但这些却纹理很少存在于物体二维轮廓形状中。因此，现有的深度网络主要用于检测灰度特征，大多对几何结构进行编码而对形状的特殊性关注甚少，从而很难有高精度的物体二维轮廓形状识别和分类结果。

综上所述，如何设计一种能够克服人为调整设置形状特征操作复杂问题以及增强识别和分类精度的二维轮廓形状识别分类方法是我们目前迫切需要解决的问题。

发明内容

本发明的目的是提供基于局部几何特征序列建模的二维轮廓形状识别分类方法，具有将物体形状特征加入到了深度学习网络中，体现了物体形状特征之间的联系，即克服了人为调整设置形状特征过于复杂的缺点，又显著提升了物体二维轮廓形状识别分类的成功率，而且能够区分不同物体的二维轮廓形状，并捕获精细形状差异，包括细微的局部差异。

本发明的上述技术目的是通过以下技术方案得以实现的：基于局部几何特征序列建模的二维轮廓形状识别分类方法，包括以下步骤：

S1：提取目标物物体形状的局部几何特征；

S2：通过LSTM将提取到的特征信息转换为时间序列信息；

S3：基于循环神经网络对局部几何特征序列进行建模；

S4：基于全连接神经网络进行特征选择与平衡，得到目标物的分类结果。

本发明进一步设置为：在步骤S1中，所述局部几何特征提取的具体步骤为：对于目标物的二维轮廓形状，通过等距地采集轮廓上的n个点，记为P＝{p₁,p₂,p₃,...p_n}；在每个采样点p_i处，计算形状上下文描述符，并将形状上下文描述符居中；然后将检测结果转换为直方图作为局部几何特征。

本发明进一步设置为：在步骤S1中，所述局部几何特征提取的具体步骤为：采用m个不同的模板来检测不同尺度的特征，模板L＝{l₁,l₂,...l_m}产生的局部特征被记为

其中，1≤i≤m。

本发明进一步设置为：在步骤S3中，所述局部几何特征序列建模的具体步骤为：

对于每个时间步t，LSTM模型接收一个采样点的特征并结合上一个采样点的隐藏状态h_t-1更新其隐藏状态h_t，通过所有采样点的形状上下文来记忆特征之间的关系；经过n个步骤之后，LSTM模型的最终隐藏状态h_n可以用输入物体二维形状轮廓的固定大小表示；

每个LSTM模块学习从输入特征

到隐藏层

的映射，其中，1≤k≤n，k表示采样点的序号，l_i为模板序号；输出由以下公式获得：

C_t＝f_t*C_t-1+I_t*C_t；

h_t＝o_t*tanh(C_t)；

其中，f_t、I_t、o_t分别为LSTM单元中遗忘门、输入门、输出门的状态；C_t为LSTM块中的记忆单元状态，C_t为输入到记忆单元状态的信息；δ(.)表示一个基于元素的逻辑Sigmoid函数；*操作符表示元素方向的向量积；W_s和b_s是是可训练的参数；

对于一个有n个采样点的形状{p₁,p₂,p₃,...p_n}，假定p₁的特征是在LSTM中步骤t＝1时输入，通过n个时间步得到整个形状的特征的输出；则，在第t步时，m(m∈N)个不同模板的LSTM块可以产生m个形状特征输出

本发明进一步设置为：在步骤S4中，所述特征选择与平衡的具体步骤为：

首先，将LSTM块的输出连接为全连接神经网络的输入向量：

然后，应用一个线性函数：

其中，φ为softmax函数；

为物体二维轮廓分类概率的C维向量，C向量维数取决于数据集中类别的数量；选择向量的最大值作为网络提取层的输出；

同时，学习权重表明了每个LSTM块对最终loss的贡献，loss函数如下：

分类结果正确时G_C为1，否则为0；在反向传播中，权矩阵W_fc和偏置矩阵b_fc的偏导数计算如下：

其中，θ是交叉熵函数；

在学习过程中，对于每个形状t＝1,2,...,n，对loss函数求n次值，n为二维轮廓采样点的个数，最后将

作为最终的分类结果。

综上所述，本发明具有以下有益效果：将上下文模板代替传统卷积滤波器，不需要对整个图像进行滑动卷积核；通过使用多个模板用于检测不同尺度的特征，平衡和综合了不同参数的影响；将物体形状特征加入到了深度学习网络中，体现了物体形状特征之间的联系，又克服了人为调整设置形状特征过于复杂的缺点，显著提升了物体二维轮廓形状识别分类的成功率，而且能够区分不同物体的二维轮廓形状，并捕获精细形状差异，包括细微的局部差异。

附图说明

图1是本发明实施例中的流程图；

图2是本发明实施例中物体二维轮廓形状原图；

图3是本发明实施例中物体二维轮廓形状采样点的示意图；

图4是本发明实施例中第一尺度形状上下文描述符模板的效果图；

图5是本发明实施例中第二尺度形状上下文描述符模板的效果图；

图6是本发明实施例中第三尺度形状上下文描述符模板的效果图；

图7是本发明实施例中局部几何特征序列建模的示意图。

具体实施方式

以下结合附图1-7对本发明作进一步详细说明。

实施例：基于局部几何特征序列建模的二维轮廓形状识别分类方法，如图1所示，包括以下步骤：

(1)提取目标物物体形状的局部几何特征。

如图2所示，物体二维轮廓形状通常由轮廓线、点和曲线组成，是稀疏结构。因此，在深度学习框架中，采用形状上下文来描述图像轮廓上的局部形状特征，不需要对整个图像进行滑动卷积核。

如图3所示，对于目标物的二维轮廓形状，通过等距地采集轮廓上的n个点，记为P＝{p₁,p₂,p₃,...p_n}，图3中标点表示沿着轮廓的采样点。

如图4-6所示，在每个采样点p_i处，计算形状上下文描述符，并将形状上下文描述符居中，然后将检测结果转换为直方图作为局部几何特征。形状上下文描述符模板按对数极坐标的半径n_dist划分区域，以n_θ为角度划分区域。计算每个区域中与采样点的相交情况，并将相交点的个数累加，并用直方图表示。直方图就可以明确的显示围绕p_i的采样点的分布，可以用作点p_i处的局部特征。将n个采样点的特征表示为{x₁,x₂,...x_n}。

在传统的方法中，由于参数的选取会影响特征的鲁棒性和独特性，因此需要慎重选择。以参数n_dist为例，它反映了所覆盖的局部特征的范围。如图4所示，如果设置得太小，则局部特征相似并降低其独特性。如图6所示，如果设置的太大，则模板可能覆盖形状的非局部部分，导致同一类别的形状的特征完全不同。

一般来说，单元格多的模板比单元格少的模板更善于检测细节，而且它们可以很好地处理复杂的形状，而单元格较少的模板可以用于简单的形状，以减少冗余。采用m个不同的模板来检测不同尺度的特征，模板L＝{l₁,l₂,...l_m}产生的局部特征被记为

其中，1≤i≤m，平衡和综合了不同参数的影响。

(2)基于循环神经网络对局部几何特征序列进行建模。

局部特征之间的关系是物体二维轮廓形状识别的关键。长期以来，局部特征要么是人为指定方法生成的，要么是后天习得的，但很少考虑特征之间的关系。

将LSTM框架作为循环层的基本块来计算轮廓的特征序列。一个LSTM单元由一个记忆单元和三个乘法门组成，即输入门、输出门和遗忘门。前面的上下文存储在记忆单元中，输入门和输出门允许上下文存储更长的时间。同时，可以通过遗忘门清除记忆单元中的内容。

如图7所示，以模板l_i∈L生成的局部特征为例。从第1个采样点通过LSTM形成隐藏状态h₁，第2个采样点加上第一步的隐藏状态h₁通过LSTM形成隐藏状态h₂…，以此类推，对于每个时间步t，LSTM模型接收一个采样点的特征并结合上一个采样点的隐藏状态h_t-1更新其隐藏状态h_t，通过所有采样点的形状上下文来记忆特征之间的关系。经过n个步骤之后，LSTM模型的最终隐藏状态h_n可以用输入物体二维形状轮廓的固定大小表示。

每个LSTM模块学习从输入特征

到隐藏层

的映射，其中，1≤k≤n，k表示采样点的序号，l_i为模板序号；输出由以下公式获得：

C_t＝f_t*C_t-1+I_t*C_t；

h_t＝o_t*tanh(C_t)；

其中，f_t、I_t、o_t分别为LSTM单元中遗忘门、输入门、输出门的状态；C_t为LSTM块中的记忆单元状态，C_t为输入到记忆单元状态的信息；δ(.)表示一个基于元素的逻辑Sigmoid函数；*操作符表示元素方向的向量积；W_s和b_s是是可训练的参数。

因此，对于一个有n个采样点的形状{p₁,p₂,p₃,...p_n}，假定p₁的特征是在LSTM中步骤t＝1时输入，通过n个时间步得到整个形状的特征的输出；则，在第t步时，m(m∈N)个不同模板的LSTM块可以产生m个形状特征输出

(3)基于全连接神经网络进行特征选择与平衡，得到目标物的分类结果。

使用全连接神经网络对每个LSTM块所产生的二维轮廓形状特征进行分析来得到最优的分类结果。每个物体二维轮廓形状特征的贡献是通过它们对最终输出的权重来学习的，因为最终的loss是通过每个LSTM块的权重传回来的。

首先，将LSTM块的输出连接为全连接神经网络的输入向量：

然后，应用一个线性函数：

其中，φ为softmax函数；

为物体二维轮廓分类概率的C维向量，C向量维数取决于数据集中类别的数量；选择向量的最大值作为网络提取层的输出。

同时，学习权重表明了每个LSTM块对最终loss的贡献，loss函数如下：

分类结果正确时G_C为1，否则为0；在反向传播中，权矩阵W_fc和偏置矩阵b_fc的偏导数计算如下：

其中，θ是交叉熵函数。

在学习过程中，对于每个形状t＝1,2,...,n，对loss函数求n次值，n为二维轮廓采样点的个数，最后将

作为最终的分类结果。

工作原理：将上下文模板代替传统卷积滤波器，不需要对整个图像进行滑动卷积核。通过使用多个模板用于检测不同尺度的特征，平衡和综合了不同参数的影响。将物体形状特征加入到了深度学习网络中，体现了物体形状特征之间的联系，又克服了人为调整设置形状特征过于复杂的缺点，显著提升了物体二维轮廓形状识别分类的成功率，而且能够区分不同物体的二维轮廓形状，并捕获精细形状差异，包括细微的局部差异。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (3)

1.基于局部几何特征序列建模的二维轮廓形状识别分类方法，其特征是：包括以下步骤：

S1：提取目标物物体形状的局部几何特征；

S2：通过LSTM将提取到的特征信息转换为时间序列信息；

S3：基于循环神经网络对局部几何特征序列进行建模；

S4：基于全连接神经网络进行特征选择与平衡，得到目标物的分类结果；

其中，步骤S1中，所述局部几何特征提取的具体步骤为：对于目标物的二维轮廓形状，通过等距地采集轮廓上的n个点，记为P＝{p₁,p₂,p₃,...p_n}；在每个采样点p_i处，计算形状上下文描述符，并将形状上下文描述符居中；然后将检测结果转换为直方图作为局部几何特征；

步骤S1中，所述局部几何特征提取的具体步骤为：采用m个不同的模板来检测不同尺度的特征，模板L＝{l₁,l₂,...l_m}产生的局部特征被记为

其中，1≤i≤m。

2.根据权利要求1所述的基于局部几何特征序列建模的二维轮廓形状识别分类方法，其特征是：在步骤S3中，所述局部几何特征序列建模的具体步骤为：

对于每个时间步t，LSTM模型接收一个采样点的特征并结合上一个采样点的隐藏状态h_t-1更新其隐藏状态h_t，通过所有采样点的形状上下文来记忆特征之间的关系；经过n个步骤之后，LSTM模型的最终隐藏状态h_n可以用输入物体二维形状轮廓的固定大小表示；

每个LSTM模块学习从输入特征

到隐藏层

的映射，其中，1≤k≤n，k表示采样点的序号，l_i为模板序号；输出由以下公式获得：

C_t＝f_t*C_t-1+I_t*C_t；

h_t＝o_t*tanh(C_t)；

其中，f_t、I_t、o_t分别为LSTM单元中遗忘门、输入门、输出门的状态；C_t为LSTM块中的记忆单元状态，C_t为输入到记忆单元状态的信息；δ(.)表示一个基于元素的逻辑Sigmoid函数；*操作符表示元素方向的向量积；W_s和b_s是可训练的参数；

对于一个有n个采样点的形状{p₁,p₂,p₃,...p_n}，假定p₁的特征是在LSTM中步骤t＝1时输入，通过n个时间步得到整个形状的特征的输出；则，在第t步时，m(m∈N)个不同模板的LSTM块可以产生m个形状特征输出

3.根据权利要求2所述的基于局部几何特征序列建模的二维轮廓形状识别分类方法，其特征是：在步骤S4中，所述特征选择与平衡的具体步骤为：

首先，将LSTM块的输出连接为全连接神经网络的输入向量：

然后，应用一个线性函数：

其中，φ为softmax函数；

为物体二维轮廓分类概率的C维向量，C向量维数取决于数据集中类别的数量；选择向量的最大值作为网络提取层的输出；

同时，学习权重表明了每个LSTM块对最终loss的贡献，loss函数如下：

分类结果正确时G_C为1，否则为0；在反向传播中，权矩阵W_fc和偏置矩阵b_fc的偏导数计算如下：

其中，θ是交叉熵函数；

在学习过程中，对于每个形状t＝1,2,...,n，对loss函数求n次值，n为二维轮廓采样点的个数，最后将

作为最终的分类结果。

Images