CN113011525B - 一种基于依赖性解码的轨道板裂缝语义分割模型 - Google Patents

Abstract

本发明公开了一种基于依赖性解码的轨道板裂缝语义分割模型，包括步骤S1：现场采集轨道板裂缝图像；步骤S2：对上述采集得到的图像制度语义分割标签，将所得的裂缝图像及其对应的标签划分为训练集和测试集；步骤S3：对划分为训练集的裂缝图像标签置于受限波兹曼机中，高维映射到低维，并利用其特有的重构机制，学习和获取其低维重构至高维的映射参数；步骤S4：构建轨道板语义分割模型，并将训练集轨道板图像归一化后迭代式输入到该模型中，该语义分割模型对其进行特征提取；步骤S5：将步骤S4中提取得到的特征图送入到受限波兹曼机中的隐藏层，使用重构参数将其恢复至原始大小，并进行像素级的预测。

Description

一种基于依赖性解码的轨道板裂缝语义分割模型

技术领域

本发明涉及语义分割模型领域，特别涉及一种基于依赖性解码的轨道板裂缝语义分割模型。

背景技术

城市建设带动高铁产业迅速发展，不过在其给人们带来便利的同时，由于昼夜温差变化较大，且高铁动车对轨道板的挤压，可能轨道板裂缝不断扩大，最终造成一定安全事故。故轨道板裂缝检测是保证人民安全和国家稳定的重要任务。然而传统的轨道板裂缝需要依靠人工筛选，且完全依靠主观和经验主义，这是极其不合理的检测方式。

随着人工智能和数字图像处理领域的不断发展，现如今已经存在利用卷积神经网络来取代人工和传统图像处理等检测方式。目前在相关领域，已有一定的研究结果，柴雪松等人利用深度神经网络对隧道衬砌裂缝识别，李良福等人也采用卷积神经网络对桥梁裂缝进行了较为成功的检测。总体来说，主流的裂缝图像检测方法分为裂缝图像分类，裂缝目标检测以及裂缝图像分割。

在裂缝图像分割模型中，通常采用各种神经网络来提取裂缝的高层抽象信息，但是这会导致获取的裂缝特征越来越小。常见的处理方式是采用双线性插值方法来上采样特征图，恢复至输入的裂缝图像大小，实现整个轨道板裂缝语义分割模型的端对端性质，但是使用这种方式来恢复图像大小并进行像素级的预测过于简单，且忽略了特征点之间的数据依赖。本发明使用额外的模型来学习裂缝图像从低空间结构恢复到原始图像大小的映射关系，并用这种映射关系替换原有的双线性插值法。

发明内容

为了克服现有技术中的不足，本发明提供一种基于依赖性解码的轨道板裂缝语义分割模型，有效获取图像中裂缝的具***置信息。

为了达到上述发明目的，解决其技术问题所采用的技术方案如下：

一种基于依赖性解码的轨道板裂缝语义分割模型，包括以下步骤：

步骤S1：现场采集轨道板裂缝图像；

步骤S2：对上述采集得到的图像制度语义分割标签，将所得的裂缝图像及其对应的标签划分为训练集和测试集；

步骤S3：对划分为训练集的裂缝图像标签置于受限波兹曼机中，高维映射到低维，并利用其特有的重构机制，学习和获取其低维重构至高维的映射参数；

步骤S4：构建轨道板语义分割模型，并将训练集轨道板图像归一化后迭代式输入到该模型中，该语义分割模型对其进行特征提取；

步骤S5：将步骤S4中提取得到的特征图送入到受限波兹曼机中的隐藏层，使用重构参数将其恢复至原始大小，并进行像素级的预测。

进一步的，步骤S2中获取的裂缝图像，采用/DEHOPH工具辅助制定裂缝区域标签，获取的标签图像是一张与图像同样大小的2值矩阵，其中，0代表背景区域，1代表裂缝区域。

进一步的，步骤S2训练集中的训练图像的输入大小为对应的标签通过one-hot编码其转化为稀疏矩阵Y∈{0，1}^H×W×N，其中，N为语义分割任务中类别的数量，N＝2，从而使得步骤S5中获取的最终矩阵需要尽可能逼近该标签矩阵。

进一步的，在步骤S3中训练特征到像素级预测标签的映射方式为受限波兹曼机，该模型采用无标签式学习方式，没有层内连接，将训练图像的标签图作为受限波兹曼机的可见层，采用线性结构配合非线性激活函数所到值作为隐藏层节点，在受限波兹曼机的重构阶段，将隐藏层节点的值使用前向传播相同的权重和不同的偏差，获取重构的近似值；通过计算损失程度，来更新权重和参数，使近似值接近原始的输入；下面为受限波兹曼机的具体公式，其中，v为可见层的输入，w为线性矩阵，将高维的v投影至低维的h，α和β为投影和重构时的偏差，σ为sigmoid函数，r为重构数值，通过和h计算差值，更新参数，最后将训练好的w和β保存下来：

h＝σ(w·v+α)；r＝w^T·h+β

由语义分割中标签矩阵的意义可知，表明第i类别在图像中的分布，将Yⁱ转化为v∈{0，1}^(H×W)×1送入受限波兹曼机进行无监督学习，通过前向传播和重构，学习其投影矩阵w，由于每次完整的训练都只能学习到当前类的解码变换方式，故需要对每个类都单独训练以便于获取投影矩阵。

进一步的，步骤S4中，使用下采样提取特征得到的特征图边长大小为原图的1/8，这使得步骤S3中构建的隐藏层节点数为可见层节点数的1/64，即

将保存好的w和β对语义分割模型的最后一层特征F_last做投影，来获取最终的像素级预测结果E，使用其argmax函数过去当前像素点最有可能的类别，预测公式如下所示：

E＝argmax(w^T·F_last+β)

在语义分割模型训练过程中，冻结上采样的参数w和β，而计算交叉熵来更新主干网络中的权重和偏差值。

本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：

1、现有技术中使用双线性插值法过于简单，只能使模型到达语义分割模型的次优解。而本发明使用的上采样方式经过严格的依赖性编码，相比双线性插值法仅取决于周围的点，能够捕获全局的信息来进行上采样，能够弹性自主更新w来改变周围像素特征对目标特征类别的影响程度；

2、本发明解耦了语义分割模型上采样和特征提取之间关系，将其放至两个模型中分别训练，且上采样的幅度可以自定义。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：

图1是本发明中Labelme制作标签工具图；

图2是本发明中实际裂缝图像及其对应裂缝标签图；

图3是本发明中受限波兹曼机训特征投影示意图；

图4是本发明模型整体架构图。

具体实施方式

以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本实施例公开了一种基于依赖性解码的轨道板裂缝语义分割模型，包括以下步骤：

步骤S1：现场采集轨道板裂缝图像；

步骤S2：对上述采集得到的图像制度语义分割标签，将所得的裂缝图像及其对应的标签划分为训练集和测试集；

步骤S3：对划分为训练集的裂缝图像标签置于受限波兹曼机中，高维映射到低维，并利用其特有的重构机制，学习和获取其低维重构至高维的映射参数；

步骤S4：构建轨道板语义分割模型，并将训练集轨道板图像归一化后迭代式输入到该模型中，该语义分割模型对其进行特征提取；

步骤S5：将步骤S4中提取得到的特征图送入到受限波兹曼机中的隐藏层，使用重构参数将其恢复至原始大小，并进行像素级的预测。

进一步的，步骤S2中获取的裂缝图像，采用/DEHOPH工具辅助制定裂缝区域标签，制作过程如图1所示，获取的标签图像是一张与图像同样大小的2值矩阵，其中，0代表背景区域，1代表裂缝区域。在图2中所示，步骤S2训练集中的训练图像的输入大小为对应的标签/>通过one-hot编码其转化为稀疏矩阵Y∈{0，1}^H×W×N，其中，N为语义分割任务中类别的数量，N＝2，从而使得步骤S5中获取的最终矩阵需要尽可能逼近该标签矩阵。

进一步的，在步骤S3中训练特征到像素级预测标签的映射方式为受限波兹曼机，该模型采用无标签式学习方式，没有层内连接，以助于独立地创造权重和偏差，将训练图像的标签图作为受限波兹曼机的可见层，采用线性结构配合非线性激活函数所到值作为隐藏层节点，本发明使用这种方式模拟语义模型结构提取特征的；在受限波兹曼机的重构阶段，将隐藏层节点的值使用前向传播相同的权重和不同的偏差，获取重构的近似值；通过计算损失程度，来更新权重和参数，使近似值接近原始的输入；下面为受限波兹曼机的具体公式，其中，v为可见层的输入，w为线性矩阵，将高维的v投影至低维的h，α和β为投影和重构时的偏差，σ为sigmoid函数，r为重构数值，通过和h计算差值，更新参数，最后将训练好的w和β保存下来：

h＝σ(w·v+α)；r＝w^T·h+β

由语义分割中标签矩阵的意义可知，表明第i类别在图像中的分布，将Yⁱ转化为v∈{0，1}^(H×W)×1送入受限波兹曼机进行无监督学习，通过前向传播和重构，学习其投影矩阵w，具体示意图见图3。由于每次完整的训练都只能学习到当前类的解码变换方式，故需要对每个类都单独训练以便于获取投影矩阵。

进一步的，步骤S4中，一般的语义分割模型通常使用下采样提取特征得到的特征图边长大小为原图的1/8，这同样使得步骤S3中构建的隐藏层节点数为可见层节点数的1/64，即

将保存好的w和β对语义分割模型的最后一层特征F_last做投影，来获取最终的像素级预测结果E，使用其argmax函数过去当前像素点最有可能的类别，预测公式如下所示：

E＝argmax(w^T·F_last+β)

在语义分割模型训练过程中，冻结上采样的参数w和β，而计算交叉熵来更新主干网络中的权重和偏差值。

本实施例所述的一种基于依赖性解码的轨道板裂缝语义分割模型，模型整体架构图如图4所示，在识别裂缝的同时判别其具***置，避免在检测过程中，细小的裂缝无法准确检测的情况。通过采集裂缝图像，并使用Labelme工具划***缝区域，再使用one-hot编码制定标签。整个模型分为2部分，首先将每一类的标签置入受限波兹曼机中学习单一类别的重构参数，并运用在基于FCN的语义分割模型中的上采样部分，替换原有的双线性插值上采样方式，获取像素级的分类预测结果。与现有技术相比，本发明能够使特征图恢复至输入大小时根据全局信息来决定像素点类别，且该方法较为灵活，可自定义上采样幅度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于依赖性解码的轨道板裂缝语义分割模型，其特征在于，包括以下步骤：

步骤S1：现场采集轨道板裂缝图像；

步骤S2：对上述采集得到的图像制度语义分割标签，将所得的裂缝图像及其对应的标签划分为训练集和测试集；

步骤S3：对划分为训练集的裂缝图像标签置于受限波兹曼机中，高维映射到低维，并利用其特有的重构机制，学习和获取其低维重构至高维的映射参数；

在步骤S3中训练特征到像素级预测标签的映射方式为受限波兹曼机，该模型采用无标签式学习方式，没有层内连接，将训练图像的标签图作为受限波兹曼机的可见层，采用线性结构配合非线性激活函数所到值作为隐藏层节点，在受限波兹曼机的重构阶段，将隐藏层节点的值使用前向传播相同的权重和不同的偏差，获取重构的近似值；通过计算损失程度，来更新权重和参数，使近似值接近原始的输入；下面为受限波兹曼机的具体公式，其中，v为可见层的输入，w为线性矩阵，将高维的v投影至低维的h，α和β为投影和重构时的偏差，σ为sigmoid函数，r为重构数值，通过和h计算差值，更新参数，最后将训练好的w和β保存下来：

h＝σ(w·v+α)；r＝w^T·h+β

由语义分割中标签矩阵的意义可知，表明第i类别在图像中的分布，将Yⁱ转化为v∈{0，1}^(H×W)×1送入受限波兹曼机进行无监督学习，通过前向传播和重构，学习其投影矩阵w，由于每次完整的训练都只能学习到当前类的解码变换方式，故需要对每个类都单独训练以便于获取投影矩阵；

步骤S4：构建轨道板语义分割模型，并将训练集轨道板图像归一化后迭代式输入到该模型中，该语义分割模型对其进行特征提取；

步骤S5：将步骤S4中提取得到的特征图送入到受限波兹曼机中的隐藏层，使用重构参数将其恢复至原始大小，并进行像素级的预测。

2.根据权利要求1所述的一种基于依赖性解码的轨道板裂缝语义分割模型，其特征在于，步骤S2中获取的裂缝图像，采用Labelme工具辅助制定裂缝区域标签，获取的标签图像是一张与图像同样大小的2值矩阵，其中，0代表背景区域，1代表裂缝区域。

3.根据权利要求2所述的一种基于依赖性解码的轨道板裂缝语义分割模型，其特征在于，步骤S2训练集中的训练图像的输入大小为对应的标签/>通过one-hot编码其转化为稀疏矩阵Y∈{0，1}^H×W×N，其中，N为语义分割任务中类别的数量，N＝2，从而使得步骤S5中获取的最终矩阵需要尽可能逼近该标签矩阵。

4.根据权利要求1所述的一种基于依赖性解码的轨道板裂缝语义分割模型，其特征在于，步骤S4中，使用下采样提取特征得到的特征图边长大小为原图的1/8，这使得步骤S3中构建的隐藏层节点数为可见层节点数的1/64，即

将保存好的w和β对语义分割模型的最后一层特征F_last做投影，来获取最终的像素级预测结果E，使用其argmax函数过去当前像素点最有可能的类别，预测公式如下所示：

E＝argmax(w^T·F_last+β)

在语义分割模型训练过程中，冻结上采样的参数w和β，而计算交叉熵来更新主干网络中的权重和偏差值。