CN115205255A - 基于深度学习的石料自动分级方法与*** - Google Patents

Abstract

本发明公开了一种基于深度学习的石料自动分级方法与***，该方法是采用石料图片质量评估模块、石料分级特征提取模块和石料分级数据拟合模块实现工业皮带高速运输场景石料自动分级任务，石料图片质量评估模块是一个基于多层次特征的残差神经网络，用于对图片质量进行评估筛选高质量动态帧；石料分级特征提取模块是一个基于数字图像处理的采用分水岭算法和凹点检测算法的分割模块，用于对筛选后图片进行石料分级特征信息提取；石料分级数据拟合模块是一个改进的多层感知机，用于对初始石料分级特征结果进行数据拟合修正误差。本发明具有更高的精度以及在不同背景下有更好的泛化能力，对于不同类型的石料运输场景均能进行准确检测。

Description

基于深度学习的石料自动分级方法与***

技术领域

本发明涉及数字图像处理、深度学习和计算机视觉的技术领域，尤其是指一种基于深度学习的石料自动分级方法与***。

背景技术

石料分级是根据石头骨料粒径大小将其分成不同等级，即石头级配。石头用途十分广泛，常用于建筑、道路、铁路等领域。在建筑学中，由于不同粒度大小的石料其作用不一致，因此石料在使用前需要进行粒径筛选，石料分级不仅能满足建筑工程的需要，而且能为企业降本增效。现有的石料分级方法有筛分法、沉降法、显微镜法、超声波测量法和直接在线测量法，比较常用的筛分法检测过程是指通过利用具有不同筛孔大小的筛分工具将待测的石料颗粒通过筛网筛分成多个粒度等级，把能够通过筛孔的石料叫做筛下，不能够通过筛孔的称为筛余。然后对通过筛孔的各个不同粒级的石料进行分别称重，计算每个粒级的质量占总石料质量的百分比，以此来表示石料颗粒粒度的分布情况。然而这种筛分法是一项非常繁琐且耗时的事情，不利于企业生产需求。随着数字图像处理技术和计算机视觉技术的日益成熟，自动化石料分级方法能够更好地帮助企业工程生产和优化公司成员配置，提高建筑工程的生产效率并为潜在的偏差和异常生成预警提示。

然而，在皮带高速运转且有微震的场景下对石料进行准确而快速的自动分级仍然是一项艰巨的任务。首先，由于安装在皮带上的工业摄像头会随着皮带震动会发生微小位置偏移，拍摄出来的石料视频会不可避免地存在一些无效帧和模糊帧。其次，皮带的快速移动不可避免会造成拍摄画面模糊。第三，空皮带上无石料运输会导致拍摄到画面没有石料判定为空状态，加大了石料的自动分级难度。

早期的石料分级方法大都是依靠人工筛分方法对石料进行简单分级，但这些方法的通病是成本高且耗费人工，提取的石料颗粒粒度的分布情况不理想。随后数字图像处理技术、深度学习和计算机视觉技术的涌现，效率高于传统的手动分级方法，且准确率也很有竞争力。相比于传统的手动石料分级方法而言，基于深度学习和图像处理技术的石料自动分级方法通过实时提取初始石料分级特征并进行误差修改实现自动化的分级过程，而无需人工筛分实验。由于皮带高速运转并带有微小震动，所以石料清晰图像的采集是实现自动预测石料分级的前提和基础。基于凹点检测的图像分割算法已被证明可以对粘连颗粒进行分割，能够成功应用于石料分级任务中，得到表层的石料粒度分布。但图像分割算法对清晰的石料图像进行分割得到表层的石料粒度分布无法获取这批石料的深度粒度分布，影响着石料自动预测分级的准确性。基于石料无法获取石料深度粒度分布和实时检测的限制，本发明提出基于深度学习的石料自动分级方法，能够通过表层的砂石粒度分布来预测皮带上石料堆叠的情况下整体石料粒度分布，大大提升了石料各个分级的准确率。

综合以上论述，发明一种具备实时性和高精度的石料自动分级方法具有较高的实用价值。

发明内容

本发明的第一目的在于克服现有技术的缺点与不足，无法获取石料深度粒度分布和无法实时检测的问题，提供一种基于深度学习的石料自动分级方法，使用多层次特征的残差神经网络和改进的多层感知机实现石料自动分级任务，具有更高的精度以及在不同背景下有更好的泛化能力，对于不同类型的石料运输场景均能进行准确检测。

本发明的第二目的在于提供一种基于深度学习的石料自动分级***。

本发明的第一目的通过下述技术方案实现：基于深度学习的石料自动分级方法，该方法是基于深度学习和数字图像处理技术实现工业皮带高速运输场景石料自动分级任务，具体是采用了三大模块，分别为石料图片质量评估模块、石料分级特征提取模块和石料分级数据拟合模块；其中，所述石料图片质量评估模块是一个基于多层次特征的残差神经网络，用于对图片质量进行评估筛选高质量动态帧；所述石料分级特征提取模块是一个基于数字图像处理的采用分水岭算法和凹点检测算法的分割模块，用于对石料图片质量评估模块筛选后的图片进行石料分级特征信息提取；所述石料分级数据拟合模块是一个改进的多层感知机，用于对石料分级特征提取模块提取的初始石料分级特征结果进行数据拟合，弥补石料深度信息缺失带来的石料分级误差，实现误差修正；

该石料自动分级方法的具体实施包括以下步骤：

1)采集每批石料在皮带高速运输视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图片，按“生产通道/石料批次/帧序号”的格式命名排列，同时对每批石料采用四分法进行取样并完成人工筛分实验，根据人工筛分实验得到每批石料的真实标签，按“生产通道/石料批号”的格式命名排列，形成石料原数据集；

2)将石料原数据集的图片输入石料图片质量评估模块，对图片进行质量评估并计算其清晰度得分，得到石料原数据集的图片清晰度得分排序，根据清晰度得分排序，选取清晰度得分高的图片作为石料数据集；

3)将步骤2)中得到的石料数据集作为石料分级特征提取模块的输入数据，对图片的石料初始分级特征信息进行有效提取，生成石料数据集上所有图片的初始石料分级特征结果；

4)将石料分级特征提取模块生成的所有图片的初始石料分级特征结果输入石料分级数据拟合模块，对初始石料分级特征结果进行数据拟合修正误差，得到误差修正后的石料分级特征预测结果。

进一步，在步骤1)中，首先，通过工业摄像机采集石料在皮带上运输过程视频，每批石料完整运输过程存为一个视频，然后，按特定的时间间隔对每一个视频的图像进行切片处理，图像按“生产通道/石料批次/帧序号”的格式命名排列，同时对每批石料采用四分法进行取样并完成人工筛分实验，根据人工筛分实验得到每批石料的真实标签，按“生产通道/石料批号”的格式命名排列；其中，所述四分法指的是将石料样品按照测定要求磨细，过特定孔径的筛子，然后混合，平铺成圆形，分成四等分，取相对的两份混合，然后再平分，直至达到要求；所述人工筛分实验是指工人通过新标准方孔砂石筛进行手动筛分，新标准方孔砂石筛分为10个筛孔尺寸，其筛孔尺寸分别为：53～37.5、37.5～31.5、31.5～26.5、26.5～19.0、19.0～16.0、16.0～9.5、9.5～4.75、4.75～2.36、2.36～底盘，筛孔单位为mm，最后，把每批石料的真实标签与每批石料运输视频切片处理得到的多张图像进行一对多映射，制成石料原数据集。

进一步，在步骤2)中，所述石料图片质量评估模块是一个基于多层次特征的残差神经网络，其主要目的是剔除石料原数据集中的异常帧数据，包括采集过程中存在全图模糊、大规模幻影、光照极端以及拍摄不全的帧数据；所述基于多层次特征的残差神经网络包括一个基学***均池化层，但不同的是，1*1卷积层的通道数分别为16、4、4，3*3卷积层的步距分别为7、4、2，3*3卷积层的填充分别为1、3、2，所述编码器层旨在对石料图片经残差卷积神经网络三个阶段后的表征特征进行通道变换；为确保数据的完整性，采用Concat操作完成三个不同的编码器层通道变换后的层次特征进行融合，并利用全连接层将其映射为256维的整体特征，计算出石料图片质量清晰度分数，最后根据得分删除分数小于设定阈值分数的图片，形成石料数据集，并对石料数据集中的石料图像做翻转和旋转操作来进行数据扩充，其中翻转包括水平翻转、垂直翻转和水平垂直翻转，旋转则采用-30°、-15°、15°和30°的取值。

进一步，在步骤3)中，所述石料分级特征提取模块是一个基于数字图像处理的采用分水岭算法和凹点检测算法的分割模块，其主要目的是对图片的石料初始分级特征信息进行有效提取，生成初始石料分级特征结果，所述分割模块包括石料形态学图像处理、石料图像分割和石料颗粒标定与粒度计算三个部分，其具体情况如下：

第一部分为石料形态学图像处理，其主要目的是对石料图片进行形态学图像处理操作得到能满足图像分割条件的图像，其中，所述形态学图像处理操作包含石料图像预处理和石料形态学优化，石料图像预处理是由图像灰度变换、图像滤波处理、图像二值化处理一系列操作构成，其主要目的是对图像进行预处理来增强图像质量，所述图像灰度变换是对石料数据集中的图片进行亮度变换处理以增强或削弱图像的亮度，接着将亮度变换后的图像进行灰度化处理来降低该图像中的数据量，所述图像滤波处理是使用双边滤波对图像灰度变换后的石料图像进行去噪处理同时能够保留石料颗粒的边缘信息，所述图像二值化处理是将图像滤波处理后的石料图像经过快速自适应阈值化处理来达到图像简化的效果；所述石料形态学优化由一系列腐蚀和膨胀组合的开闭运算构成，其主要目的是对石料图像预处理后的图像进行形态学运算，达到对石料颗粒图像去噪、平滑、检测和分析的目的；

第二部分为石料图像分割，其主要目的是对石料形态学图像处理后的图像中石料颗粒进行有效分割，其中，所述的石料图像分割是采用了分水岭算法和凹点检测算法，所述分水岭算法指的是地形图中设立在各个水域之间的大坝，把一幅灰度图像看作是一幅地形图，将灰度图像中像素点的灰度值当作海拔高度，不同像素点的灰度值代表不同的海拔高度，灰度值低的地方海拔低，灰度值高的地方海拔高，但直接对图像进行分水岭算法分割会导致过分割的现象，丢失图像边缘信息，无法对石料颗粒大面积粘连的图像进行有效分割的问题，因此引入凹点检测算法来解决该问题，两者的结合能够对石料图像中粘连颗粒进行有效分割；

第三部分为石料颗粒标定与粒度计算，其主要目的是对石料图像分割后的图像上每个石头颗粒进行轮廓面积计算，按照轮廓面积大小将石头划分为10种不同级别的粒径，同时统计10种不同级别的粒径的石头个数，其中，所述石料颗粒标定与粒度计算是对现场的石料颗粒进行标定并对石料中10种不同粒度的分布信息进行统计分析，得到每个粒级颗粒的占比，10种不同粒级颗粒的占比对应于10维向量的石料初始分级特征信息，从而完成对图片石料初始分级特征信息的有效提取，得到初始石料分级特征结果，所述10维向量的石料初始分级特征信息分别对应新标准方孔砂石筛的10个筛孔尺寸。

进一步，在步骤4)中，所述石料分级数据拟合模块是一个改进的多层感知机，其主要目的是解决分割模块对石料图像分割得到表层的石料粒度分布无法获取这批石料的深度粒度分布的问题，改进的多层感知机能够通过表层的砂石粒度分布来预测皮带上石料堆叠的情况下整体石料粒度分布，对石料分级特征提取模块生成的所有图片的初始石料分级特征结果进行数据拟合修正误差，所述改进的多层感知机是一个带有隐状态的多层神经网络，是由输入层、带有隐状态的隐藏变量、输出层组成，其具体情况如下；

第一部分为输入层，其神经元个数为d，分别对应石料分级特征提取模块生成的石料初始分级特征信息d维向量，在时间步t有小批量初始石料分级特征样本输入X_t∈R^n×d，其中，R为实数，n为批量大小，d为神经元个数，亦是输入特征个数；

第二部分为带有隐状态的隐藏变量H_t，其是由当前时间步的输入层，即当前时间步t小批量初始石料分级特征样本的输入X_t与前一个时间步t-1的隐藏变量H_t-1所决定的，对于n个初始石料分级特征序列样本的小批量，X_t的每一行对应于来自该序列的时间步t处的初始石料分级特征样本，与原来多层感知机不同的是，改进的多层感知机保存了前一个时间步的隐藏变量H_t-1，并引入一个新的权重参数W_hh∈R^h×h来描述如何在当前时间步中使用前一个时间步的隐藏变量，其过程如下公式(1)：

H_t＝φ(X_tW_xh+H_t-1W_hh+b_h) (1)

式中，X_t∈R^n×d是在时间步t小批量初始石料分级特征样本的输入，n为批量大小，d为输入特征个数，h为隐藏单元数目，φ为非线性激活函数ReLU，权重参数有W_xh∈R^d×h和W_hh∈R^h×h，W_xh∈R^d×h描述如何在当前时间步中使用当前时间步的输入值，偏置单元为b_h∈R^1×h，b_h∈R^1×h描述如何在当前时间步中使用偏置单元，输出为时间步t的隐藏变量H_t，有H_t∈R^{n ×h}；

第三部分为输出层，输出层是一个全连接层，输出层中的神经元和隐藏层中的各个神经元也完全连接，该层神经元个数为q，分别对应着新标准方孔砂石筛的q个筛孔尺寸，其过程如下公式(2)：

O_t＝H_tW_hq+b_q (2)

式中，H_t∈R^n×h是时间步t的隐藏变量，其批量大小为n，特征个数h为隐藏变量的隐藏单元数目，输出单元个数为q，输出层的权重参数和偏差参数分别为W_hq∈R^h×q和b_q∈R^1×q，输出层的输出为O_t，有O_t∈R^n×q；

将步骤3)中提取石料数据集所有图片的初始石料分级特征和对应步骤1)中人工筛分实验得到的真实标签作为改进的多层感知机的数据集，并划分训练集、验证集和测试集，然后构造多个可供选择的改进的多层感知机候选模型，在每个候选模型中使用交叉熵损失函数计算在训练集上的初始石料分级特征与真实标签之间的差距程度，并用反向传播进行梯度更新训练改进的多层感知机候选模型，得到每个候选模型的最优权重参数，接着使用验证集评估若干候选模型的表现并从中选择最优模型，使用测试集对最优模型进行泛化误差计算，最后将改进的多层感知机最优模型部署上线，用于生产中实时预测石料自动分级。

本发明的第二目的通过下述技术方案实现：基于深度学习的石料自动分级***，包括：

数据采集模块，用于采集每批石料在皮带高速运输视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图片，按“生产通道/石料批次/帧序号”的格式命名排列，同时对每批石料采用四分法进行取样并完成人工筛分实验，根据人工筛分实验得到每批石料的真实标签，按“生产通道/石料批号”的格式命名排列，形成石料原数据集；

石料图片质量评估模块，用于对图片进行质量评估并计算其清晰度得分，得到石料原数据集的图片清晰度得分排序，根据清晰度得分排序，选取清晰度得分高的图片作为石料数据集；

石料分级特征提取模块，用于对石料图片质量评估模块筛选后的图片的石料初始分级特征信息进行有效提取，生成石料数据集上所有图片的初始石料分级特征结果；

石料分级数据拟合模块，用于对石料分级特征提取模块提取的初始石料分级特征结果进行数据拟合，弥补石料深度信息缺失带来的石料分级误差，得到误差修正后的石料分级特征预测结果。

进一步，所述数据采集模块具体执行以下操作：

首先，通过工业摄像机采集石料在皮带上运输过程视频，每批石料完整运输过程存为一个视频，然后，按特定的时间间隔对每一个视频的图像进行切片处理，图像按“生产通道/石料批次/帧序号”的格式命名排列，同时对每批石料采用四分法进行取样并完成人工筛分实验，根据人工筛分实验得到每批石料的真实标签，按“生产通道/石料批号”的格式命名排列；其中，所述四分法指的是将石料样品按照测定要求磨细，过特定孔径的筛子，然后混合，平铺成圆形，分成四等分，取相对的两份混合，然后再平分，直至达到要求；所述人工筛分实验是指工人通过新标准方孔砂石筛进行手动筛分，新标准方孔砂石筛分为10个筛孔尺寸，其筛孔尺寸分别为：53～37.5、37.5～31.5、31.5～26.5、26.5～19.0、19.0～16.0、16.0～9.5、9.5～4.75、4.75～2.36、2.36～底盘，筛孔单位为mm，最后，把每批石料的真实标签与每批石料运输视频切片处理得到的多张图像进行一对多映射，制成石料原数据集。

进一步，所述石料图片质量评估模块是一个基于多层次特征的残差神经网络，其主要目的是剔除石料原数据集中的异常帧数据，包括采集过程中存在全图模糊、大规模幻影、光照极端以及拍摄不全的帧数据；所述基于多层次特征的残差神经网络包括一个基学***均池化层，但不同的是，1*1卷积层的通道数分别为16、4、4，3*3卷积层的步距分别为7、4、2，3*3卷积层的填充分别为1、3、2，所述编码器层旨在对石料图片经残差卷积神经网络三个阶段后的表征特征进行通道变换；为确保数据的完整性，采用Concat操作完成三个不同的编码器层通道变换后的层次特征进行融合，并利用全连接层将其映射为256维的整体特征，计算出石料图片质量清晰度分数，最后根据得分删除分数小于设定阈值分数的图片，形成石料数据集，并对石料数据集中的石料图像做翻转和旋转操作来进行数据扩充，其中翻转包括水平翻转、垂直翻转和水平垂直翻转，旋转则采用-30°、-15°、15°和30°的取值。

进一步，所述石料分级特征提取模块是一个基于数字图像处理的采用分水岭算法和凹点检测算法的分割模块，其主要目的是对图片的石料初始分级特征信息进行有效提取，生成初始石料分级特征结果，所述分割模块包括石料形态学图像处理、石料图像分割和石料颗粒标定与粒度计算三个部分，其具体情况如下：

第一部分为石料形态学图像处理，其主要目的是对石料图片进行形态学图像处理操作得到能满足图像分割条件的图像，其中，所述形态学图像处理操作包含石料图像预处理和石料形态学优化，石料图像预处理是由图像灰度变换、图像滤波处理、图像二值化处理一系列操作构成，其主要目的是对图像进行预处理来增强图像质量，所述图像灰度变换是对石料数据集中的图片进行亮度变换处理以增强或削弱图像的亮度，接着将亮度变换后的图像进行灰度化处理来降低该图像中的数据量，所述图像滤波处理是使用双边滤波对图像灰度变换后的石料图像进行去噪处理同时能够保留石料颗粒的边缘信息，所述图像二值化处理是将图像滤波处理后的石料图像经过快速自适应阈值化处理来达到图像简化的效果；所述石料形态学优化由一系列腐蚀和膨胀组合的开闭运算构成，其主要目的是对石料图像预处理后的图像进行形态学运算，达到对石料颗粒图像去噪、平滑、检测和分析的目的；

第二部分为石料图像分割，其主要目的是对石料形态学图像处理后的图像中石料颗粒进行有效分割，其中，所述的石料图像分割是采用了分水岭算法和凹点检测算法，所述分水岭算法指的是地形图中设立在各个水域之间的大坝，把一幅灰度图像看作是一幅地形图，将灰度图像中像素点的灰度值当作海拔高度，不同像素点的灰度值代表不同的海拔高度，灰度值低的地方海拔低，灰度值高的地方海拔高，但直接对图像进行分水岭算法分割会导致过分割的现象，丢失图像边缘信息，无法对石料颗粒大面积粘连的图像进行有效分割的问题，因此引入凹点检测算法来解决该问题，两者的结合能够对石料图像中粘连颗粒进行有效分割；

第三部分为石料颗粒标定与粒度计算，其主要目的是对石料图像分割后的图像上每个石头颗粒进行轮廓面积计算，按照轮廓面积大小将石头划分为10种不同级别的粒径，同时统计10种不同级别的粒径的石头个数，其中，所述石料颗粒标定与粒度计算是对现场的石料颗粒进行标定并对石料中10种不同粒度的分布信息进行统计分析，得到每个粒级颗粒的占比，10种不同粒级颗粒的占比对应于10维向量的石料初始分级特征信息，从而完成对图片石料初始分级特征信息的有效提取，得到初始石料分级特征结果，所述10维向量的石料初始分级特征信息分别对应新标准方孔砂石筛的10个筛孔尺寸。

进一步，所述石料分级数据拟合模块是一个改进的多层感知机，其主要目的是解决分割模块对石料图像分割得到表层的石料粒度分布无法获取这批石料的深度粒度分布的问题，改进的多层感知机能够通过表层的砂石粒度分布来预测皮带上石料堆叠的情况下整体石料粒度分布，对石料分级特征提取模块生成的所有图片的初始石料分级特征结果进行数据拟合修正误差，所述改进的多层感知机是一个带有隐状态的多层神经网络，是由输入层、带有隐状态的隐藏变量、输出层组成，其具体情况如下；

第一部分为输入层，其神经元个数为d，分别对应石料分级特征提取模块生成的石料初始分级特征信息d维向量，在时间步t有小批量初始石料分级特征样本输入X_t∈R^n×d，其中，R为实数，n为批量大小，d为神经元个数，亦是输入特征个数；

第二部分为带有隐状态的隐藏变量H_t，其是由当前时间步的输入层，即当前时间步t小批量初始石料分级特征样本的输入X_t与前一个时间步t-1的隐藏变量H_t-1所决定的，对于n个初始石料分级特征序列样本的小批量，X_t的每一行对应于来自该序列的时间步t处的初始石料分级特征样本，与原来多层感知机不同的是，改进的多层感知机保存了前一个时间步的隐藏变量H_t-1，并引入一个新的权重参数W_hh∈R^h×h来描述如何在当前时间步中使用前一个时间步的隐藏变量，其过程如下公式(1)：

H_t＝φ(X_tW_xh+H_t-1W_hh+b_h) (1)

式中，X_t∈R^n×d是在时间步t小批量初始石料分级特征样本的输入，n为批量大小，d为输入特征个数，h为隐藏单元数目，φ为非线性激活函数ReLU，权重参数有W_xh∈R^d×h和W_hh∈R^h×h，W_xh∈R^d×h描述如何在当前时间步中使用当前时间步的输入值，偏置单元为b_h∈R^1×h，b_h∈R^1×h描述如何在当前时间步中使用偏置单元，输出为时间步t的隐藏变量H_t，有H_t∈R^{n ×h}；

第三部分为输出层，输出层是一个全连接层，输出层中的神经元和隐藏层中的各个神经元也完全连接，该层神经元个数为q，分别对应着新标准方孔砂石筛的q个筛孔尺寸，其过程如下公式(2)：

O_t＝H_tW_hq+b_q (2)

式中，H_t∈R^n×h是时间步t的隐藏变量，其批量大小为n，特征个数h为隐藏变量的隐藏单元数目，输出单元个数为q，输出层的权重参数和偏差参数分别为W_hq∈R^h×q和b_q∈R^1×q，输出层的输出为O_t，有O_t∈R^n×q；

将石料分级特征提取模块提取石料数据集所有图片的初始石料分级特征和对应数据采集模块中人工筛分实验得到的真实标签作为改进的多层感知机的数据集，并划分训练集、验证集和测试集，然后构造多个可供选择的改进的多层感知机候选模型，在每个候选模型中使用交叉熵损失函数计算在训练集上的初始石料分级特征与真实标签之间的差距程度，并用反向传播进行梯度更新训练改进的多层感知机候选模型，得到每个候选模型的最优权重参数，接着使用验证集评估若干候选模型的表现并从中选择最优模型，使用测试集对最优模型进行泛化误差计算，最后将改进的多层感知机最优模型部署上线，用于生产中实时预测石料自动分级。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明提出一种基于多层次特征的残差神经网络，通过残差神经网络分别提取石料照片中浅层和深层的视觉信息特征，同时将残差神经网络中的多层次视觉信息特征进行融合，得到表达能力优秀的特征，随后实现石料图片质量评估模块中筛选合理帧的任务。

2、本发明提出一种改进的多层感知机，通过带有隐状态的隐藏变量的多层感知机能学习到石料图片的时序信息特征，能更好地将石料分级特征提取模块提取的初始石料分级特征进行数据拟合，弥补石料深度信息缺失带来的石料分级误差，进一步提升石料分级的精度，实现石料分级效果的进一步提升。

3、本发明使用了基于深度学习和数字图像处理技术的石料图片质量评估模块、石料分级特征提取模块和石料分级数据拟合模块，具有更高的精度以及在不同背景下有更好的泛化能力，对于不同批次的石料均能进行准确检测，利用石料运输视频的视觉和时序信息，能够解决在深度学习领域中自动预测石料分级。

附图说明

图1为本发明方法的架构图。

图2为本发明的残差神经网络结构图。

图3为本发明的石料分级特征提取模块结构图。

图4为本发明的改进的多层感知机结构图。

图5为本发明***的架构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例在Pytorch深度学习框架下实现，计算机配置采用：Intel(R)Core(TM)i7-7700K CPU，16GB内存，NVIDIA GeForce GTX 1050Ti显卡，Windows操作***。本实施例公开了一种基于深度学习的石料自动分级方法，该方法是基于深度学习和数字图像处理技术实现工业皮带高速运输场景石料自动分级任务，具体是采用了三大模块，分别为石料图片质量评估模块、石料分级特征提取模块和石料分级数据拟合模块，整体架构如图1所示，其中，所述石料图片质量评估模块是一个基于多层次特征的残差神经网络，用于对图片质量进行评估筛选高质量动态帧；所述石料分级特征提取模块是一个基于数字图像处理的采用分水岭算法和凹点检测算法的分割模块，用于对石料图片质量评估模块筛选后的图片进行石料分级特征信息提取；所述石料分级数据拟合模块是一个改进的多层感知机，用于对石料分级特征提取模块提取的初始石料分级特征结果进行数据拟合，弥补石料深度信息缺失带来的石料分级误差，实现误差修正。

该石料自动分级方法的具体实施包括以下步骤：

1)首先，通过安装于皮带上的工业摄像头对每批石料运输过程进行全程录制，每一批完整的石料运输过程存为一个视频。然后使用ffpmeg对每一个视频进行切片，每隔5秒存下一张图像，按“生产通道/石料批次/帧序号”的格式命名顺序排列，同时工人对皮带上的石料根据四分法进行相同间隔时间取样，并将取样石料通过新标准方孔砂石筛进行人工筛分实验，将得到每批石料10种分级的占比封装成一个张量形式的真实标签，按“生产通道/石料批号”的格式命名排列；所述四分法指的是将石料样品按照测定要求磨细，过特定孔径的筛子，然后混合，平铺成圆形，分成四等分，取相对的两份混合，然后再平分，直至达到要求；所述人工筛分实验是指工人通过新标准方孔砂石筛进行手动筛分，新标准方孔砂石筛分为10个筛孔尺寸，其筛孔尺寸分别为：53～37.5、37.5～31.5、31.5～26.5、26.5～19.0、19.0～16.0、16.0～9.5、9.5～4.75、4.75～2.36、2.36～底盘，筛孔单位为mm，最后，把每批石料的真实标签与每批石料运输视频切片处理得到的多张图像进行一对多映射保存到数据库，制成石料原数据集。

2)将石料原数据集的图片输入石料图片质量评估模块，对图片进行质量评估并计算其清晰度得分，得到石料原数据集的图片清晰度得分排序，根据清晰度得分排序，选取清晰度得分较高的图片作为石料数据集；其中，石料图片质量评估模块的具体情况如下：

石料图片质量评估模块是一种基于多层次特征的残差神经网络，网络结构见图2所示。该网络是一个端到端的结构，可以分为一个基学习器和一个集成学习器。基学习器是由一个resnet18残差卷积神经网络构成，其主要目的是学习石料图片中不同类型的层次特征，提取石料图片初始特征；集成学习器包括三个Encoder编码器层和一个Concat操作，旨在对石料图片经残差卷积神经网络三个阶段后的表征特征进行通道变换。网络的各部分具体结构如下：

基学习器共包含三个不同阶段，每个阶段包含不同数量残差块，残差块由一个1*1卷积层、两个3*3卷积层、两个批量规范化层和两个ReLU激活函数组成，第一个阶段共包含一个7*7卷积层、一个批量规范化层、一个最大池化层和两个残差块，通过卷积操作提取石料图片的浅层特征信息，第二个阶段包含连续的四次残差块操作，旨在对石料图片中信息和特征进行进一步抽象，第三个阶段是两个残差块，旨在对石料图片中包含的高级语义信息进行学习并提取，通过卷积操作提取视野内的特征信息，并通过不断地卷积扩大视野，以得到不同特征值间的联系，而下采样操作降低特征图的分辨率，从而节省计算量和内存的损耗。

集成学***均池化层，但不全相同，1*1卷积层的通道数分别为16、4、4，3*3卷积层的步距分别为7、4、2，3*3卷积层的填充分别为1、3、2。为确保数据的完整性，采用Concat操作完成三个Encoder编码器层通道变换后的层次特征融合，并利用FC层将其映射为256维的整体特征，计算出石料图片质量清晰度分数，最后根据得分删除分数小于设定阈值分数的图片，阈值设为60，形成石料数据集，并对石料数据集中的石料图像做翻转和旋转操作来进行数据扩充，其中翻转包括水平翻转、垂直翻转和水平垂直翻转，旋转则采用-30°、-15°、15°和30°的取值。

3)将石料图片质量评估模块得到的石料数据集作为石料分级特征提取模块的输入数据，对图片的石料初始分级特征信息进行有效提取，生成初始石料分级特征结果，石料分级特征提取模块包括石料形态学图像处理、石料图像分割和石料颗粒标定与粒度计算三个部分，其结构见图3所示，具体情况如下：

第一部分为石料形态学图像处理，其主要目的是对石料图片进行形态学图像处理操作得到能满足图像分割条件的图像，其中，所述形态学图像处理操作包含石料图像预处理和石料形态学优化，石料图像预处理是由图像灰度变换、图像滤波处理、图像二值化处理一系列操作构成，其主要目的是对图像进行预处理来增强图像质量，图像灰度变换是对石料数据集中的图片进行亮度变换处理以增强或削弱图像的亮度，接着将亮度变换后的图像进行灰度化处理来降低该图像中的数据量，图像滤波处理是使用双边滤波对图像灰度变换后的石料图像进行去噪处理同时能够保留石料颗粒的边缘信息，图像二值化处理是将图像滤波处理后的石料图像经过快速自适应阈值化处理来达到图像简化的效果；石料形态学优化由一系列腐蚀和膨胀组合的开闭运算构成，其主要目的是对石料图像预处理后的图像进行形态学运算，达到对石料颗粒图像去噪、平滑、检测和分析的目的；

第二部分为石料图像分割，其主要目的是对石料形态学图像处理后图像中石料颗粒进行有效分割，其中，所述的石料图像分割是采用了分水岭算法和凹点检测算法，分水岭算法指的是地形图中设立在各个水域之间的大坝，把一幅灰度图像看作是一幅地形图，将灰度图像中像素点的灰度值当作海拔高度，不同像素点的灰度值代表不同的海拔高度，灰度值低的地方海拔低，灰度值高的地方海拔高，但直接对图像进行分水岭算法分割会导致过分割的现象，丢失图像边缘信息，无法对石料颗粒较大面积粘连的图像进行有效分割的问题，因此引入凹点检测算法来解决该问题，实验表明该两者的结合能够对石料图像中粘连颗粒进行有效分割；

第三部分为石料颗粒标定与粒度计算，其主要目的是对石料图像分割后的图像上每个石头颗粒进行轮廓面积计算，按照轮廓面积大小将石头划分为10种不同级别的粒径，同时统计10种不同级别的粒径的石头个数，其中，所述的石料颗粒标定与粒度计算是对现场的石料颗粒进行标定并对石料中10种不同粒度的分布信息进行统计分析，得到每个粒级颗粒的占比，10种不同粒级颗粒的占比对应于10维向量的石料初始分级特征信息，从而完成对图片石料初始分级特征信息的有效提取，得到初始石料分级特征结果，所述的10维向量的石料初始分级特征信息分别对应新标准方孔砂石筛的10个筛孔尺寸。

4)将石料分级特征提取模块生成的6000个石料初始分级特征信息10维向量输入石料分级数据拟合模块，对石料分级特征提取模块生成的初始石料分级特征结果进行数据拟合修正误差，得到进一步精确的预测结果，其中，所述改进的多层感知机是一个带有隐状态的多层神经网络，是由输入层、带有隐状态的隐藏变量、输出层组成，网络结构见图4所示，其具体情况如下：

第一部分为输入层，其神经元个数为d取10，分别对应石料初始分级信息的10维特征向量的输入，在时间步t有小批量初始石料分级特征样本输入X_t∈R^n×d，其中R为实数，n为批量大小6000，d等于10为输入特征个数；

第二部分为带有隐状态的隐藏变量H_t，其是由当前时间步的输入层，即当前时间步t小批量初始石料分级特征样本的输入X_t与前一个时间步t-1的隐藏变量H_t-1所决定的，对于n个初始石料分级特征序列样本的小批量，X_t的每一行对应于来自该序列的时间步t处的初始石料分级特征样本，与原来多层感知机不同的是，改进的多层感知机保存了前一个时间步的隐藏变量H_t-1，并引入一个新的权重参数W_hh∈R^h×h来描述如何在当前时间步中使用前一个时间步的隐藏变量，其过程如下公式(1)：

H_t＝φ(X_tW_xh+H_t-1W_hh+b_h) (1)

式中，X_t∈R^n×d是在时间步t小批量初始石料分级特征样本的输入，n为批量大小6000，d为输入特征个数10，h隐藏单元数目，φ为非线性激活函数ReLU，权重参数有W_xh∈R^{d ×h}和W_hh∈R^h×h，W_xh∈R^d×h描述如何在当前时间步中使用当前时间步的输入值，偏置单元为b_h∈R^1×h，b_h∈R^1×h描述如何在当前时间步中使用偏置单元，输出为时间步t的隐藏变量H_t，有H_t∈R^n×h；

第三部分为输出层，输出层是一个全连接层，输出层中的神经元和隐藏层中的各个神经元也完全连接，该层神经元个数为q，q等于10分别对应着新标准方孔砂石筛的10个筛孔尺寸，其过程如下公式(2)：

O_t＝H_tW_hq+b_q (2)

式中，H_t∈R^n×h是时间步t的隐藏变量，其批量大小为n，特征个数h为隐藏变量的隐藏单元数目，输出单元个数为q，输出层的权重参数和偏差参数分别为W_hq∈R^h×q和b_q∈R^1×q，输出层的输出为O_t，有O_t∈R^n×q；

将步骤3)中提取石料数据集所有图片的初始石料分级特征和对应步骤1)中人工筛分实验得到的真实标签作为改进的多层感知机的数据集，并划分训练集、验证集和测试集，然后构造8个可供选择的改进的多层感知机候选模型，在每个候选模型中使用交叉熵损失函数计算在训练集上的初始石料分级特征与真实标签之间的差距程度，并用反向传播进行梯度更新训练改进的多层感知机候选模型，得到每个候选模型的最优权重参数，接着使用验证集评估8个候选模型的训练误差表现并从中选择最优模型，使用测试集对最优模型进行泛化误差计算，最后将改进的多层感知机最优模型部署上线，用于企业生产中实时预测石料自动分级，实验结果表明误差控制在7％以内，达到企业的混凝土石料分级生产要求。

实施例2

本实施例公开了一种基于深度学习的石料自动分级***，参见图5所示，该***包括以下功能模块：

数据采集模块，用于采集每批石料在皮带高速运输视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图片，按“生产通道/石料批次/帧序号”的格式命名排列，同时对每批石料采用四分法进行取样并完成人工筛分实验，根据人工筛分实验得到每批石料的真实标签，按“生产通道/石料批号”的格式命名排列，形成石料原数据集；

石料图片质量评估模块，用于对图片进行质量评估并计算其清晰度得分，得到石料原数据集的图片清晰度得分排序，根据清晰度得分排序，选取清晰度得分高的图片作为石料数据集；

石料分级特征提取模块，用于对石料图片质量评估模块筛选后的图片的石料初始分级特征信息进行有效提取，生成石料数据集上所有图片的初始石料分级特征结果；

石料分级数据拟合模块，用于对石料分级特征提取模块提取的初始石料分级特征结果进行数据拟合，弥补石料深度信息缺失带来的石料分级误差，得到误差修正后的石料分级特征预测结果。

进一步，所述数据采集模块具体执行以下操作：

首先，通过安装于皮带上的工业摄像头对每批石料运输过程进行全程录制，每一批完整的石料运输过程存为一个视频。然后使用ffpmeg对每一个视频进行切片，每隔5秒存下一张图像，按“生产通道/石料批次/帧序号”的格式命名顺序排列，同时工人对皮带上的石料根据四分法进行相同间隔时间取样，并将取样石料通过新标准方孔砂石筛进行人工筛分实验，将得到每批石料10种分级的占比封装成一个张量形式的真实标签，按“生产通道/石料批号”的格式命名排列；所述四分法指的是将石料样品按照测定要求磨细，过特定孔径的筛子，然后混合，平铺成圆形，分成四等分，取相对的两份混合，然后再平分，直至达到要求；所述人工筛分实验是指工人通过新标准方孔砂石筛进行手动筛分，新标准方孔砂石筛分为10个筛孔尺寸，其筛孔尺寸分别为：53～37.5、37.5～31.5、31.5～26.5、26.5～19.0、19.0～16.0、16.0～9.5、9.5～4.75、4.75～2.36、2.36～底盘，筛孔单位为mm，最后，把每批石料的真实标签与每批石料运输视频切片处理得到的多张图像进行一对多映射保存到数据库，制成石料原数据集。

进一步，石料图片质量评估模块是一种基于多层次特征的残差神经网络，网络结构见图2所示。该网络是一个端到端的结构，可以分为一个基学习器和一个集成学习器。基学习器是由一个resnet18残差卷积神经网络构成，其主要目的是学习石料图片中不同类型的层次特征，提取石料图片初始特征；集成学习器包括三个Encoder编码器层和一个Concat操作，旨在对石料图片经残差卷积神经网络三个阶段后的表征特征进行通道变换。网络的各部分具体结构如下：

基学习器共包含三个不同阶段，每个阶段包含不同数量残差块，残差块由一个1*1卷积层、两个3*3卷积层、两个批量规范化层和两个ReLU激活函数组成，第一个阶段共包含一个7*7卷积层、一个批量规范化层、一个最大池化层和两个残差块，通过卷积操作提取石料图片的浅层特征信息，第二个阶段包含连续的四次残差块操作，旨在对石料图片中信息和特征进行进一步抽象，第三个阶段是两个残差块，旨在对石料图片中包含的高级语义信息进行学习并提取，通过卷积操作提取视野内的特征信息，并通过不断地卷积扩大视野，以得到不同特征值间的联系，而下采样操作降低特征图的分辨率，从而节省计算量和内存的损耗。

集成学***均池化层，但不全相同，1*1卷积层的通道数分别为16、4、4，3*3卷积层的步距分别为7、4、2，3*3卷积层的填充分别为1、3、2。为确保数据的完整性，采用Concat操作完成三个Encoder编码器层通道变换后的层次特征融合，并利用FC层将其映射为256维的整体特征，计算出石料图片质量清晰度分数，最后根据得分删除分数小于设定阈值分数的图片，阈值设为60，形成石料数据集，并对石料数据集中的石料图像做翻转和旋转操作来进行数据扩充，其中翻转包括水平翻转、垂直翻转和水平垂直翻转，旋转则采用-30°、-15°、15°和30°的取值。

进一步，所述石料分级特征提取模块是一个基于数字图像处理的采用分水岭算法和凹点检测算法的分割模块，其主要目的是对图片的石料初始分级特征信息进行有效提取，生成初始石料分级特征结果，所述分割模块包括石料形态学图像处理、石料图像分割和石料颗粒标定与粒度计算三个部分，其结构见图3所示，具体情况如下：

第一部分为石料形态学图像处理，其主要目的是对石料图片进行形态学图像处理操作得到能满足图像分割条件的图像，其中，所述形态学图像处理操作包含石料图像预处理和石料形态学优化，石料图像预处理是由图像灰度变换、图像滤波处理、图像二值化处理一系列操作构成，其主要目的是对图像进行预处理来增强图像质量，图像灰度变换是对石料数据集中的图片进行亮度变换处理以增强或削弱图像的亮度，接着将亮度变换后的图像进行灰度化处理来降低该图像中的数据量，图像滤波处理是使用双边滤波对图像灰度变换后的石料图像进行去噪处理同时能够保留石料颗粒的边缘信息，图像二值化处理是将图像滤波处理后的石料图像经过快速自适应阈值化处理来达到图像简化的效果；石料形态学优化由一系列腐蚀和膨胀组合的开闭运算构成，其主要目的是对石料图像预处理后的图像进行形态学运算，达到对石料颗粒图像去噪、平滑、检测和分析的目的；

第二部分为石料图像分割，其主要目的是对石料形态学图像处理后图像中石料颗粒进行有效分割，其中，所述的石料图像分割是采用了分水岭算法和凹点检测算法，分水岭算法指的是地形图中设立在各个水域之间的大坝，把一幅灰度图像看作是一幅地形图，将灰度图像中像素点的灰度值当作海拔高度，不同像素点的灰度值代表不同的海拔高度，灰度值低的地方海拔低，灰度值高的地方海拔高，但直接对图像进行分水岭算法分割会导致过分割的现象，丢失图像边缘信息，无法对石料颗粒较大面积粘连的图像进行有效分割的问题，因此引入凹点检测算法来解决该问题，实验表明该两者的结合能够对石料图像中粘连颗粒进行有效分割；

第三部分为石料颗粒标定与粒度计算，其主要目的是对石料图像分割后的图像上每个石头颗粒进行轮廓面积计算，按照轮廓面积大小将石头划分为10种不同级别的粒径，同时统计10种不同级别的粒径的石头个数，其中，所述的石料颗粒标定与粒度计算是对现场的石料颗粒进行标定并对石料中10种不同粒度的分布信息进行统计分析，得到每个粒级颗粒的占比，10种不同粒级颗粒的占比对应于10维向量的石料初始分级特征信息，从而完成对图片石料初始分级特征信息的有效提取，得到初始石料分级特征结果，所述的10维向量的石料初始分级特征信息分别对应新标准方孔砂石筛的10个筛孔尺寸。

进一步，所述石料分级数据拟合模块是一个改进的多层感知机，其主要目的是解决分割模块对石料图像分割得到表层的石料粒度分布无法获取这批石料的深度粒度分布的问题，改进的多层感知机能够通过表层的砂石粒度分布来预测皮带上石料堆叠的情况下整体石料粒度分布，对石料分级特征提取模块生成的所有图片的初始石料分级特征结果进行数据拟合修正误差，在本实施例，将石料分级特征提取模块生成的6000个石料初始分级特征信息10维向量输入石料分级数据拟合模块，对石料分级特征提取模块生成的初始石料分级特征结果进行数据拟合修正误差，得到进一步精确的预测结果，其中，所述改进的多层感知机是一个带有隐状态的多层神经网络，是由输入层、带有隐状态的隐藏变量、输出层组成，网络结构见图4所示，其具体情况如下：

第一部分为输入层，其神经元个数为d取10，分别对应石料初始分级信息的10维特征向量的输入，在时间步t有小批量初始石料分级特征样本输入X_t∈R^n×d，其中R为实数，n为批量大小6000，d等于10为输入特征个数；

第二部分为带有隐状态的隐藏变量H_t，其是由当前时间步的输入层，即当前时间步t小批量初始石料分级特征样本的输入X_t与前一个时间步t-1的隐藏变量H_t-1所决定的，对于n个初始石料分级特征序列样本的小批量，X_t的每一行对应于来自该序列的时间步t处的初始石料分级特征样本，与原来多层感知机不同的是，改进的多层感知机保存了前一个时间步的隐藏变量H_t-1，并引入一个新的权重参数W_hh∈R^h×h来描述如何在当前时间步中使用前一个时间步的隐藏变量，其过程如下公式(1)：

H_t＝φ(X_tW_xh+H_t-1W_hh+b_h) (1)

式中，X_t∈R^n×d是在时间步t小批量初始石料分级特征样本的输入，n为批量大小6000，d为输入特征个数10，h隐藏单元数目，φ为非线性激活函数ReLU，权重参数有W_xh∈R^{d ×h}和W_hh∈R^h×h，W_xh∈R^d×h描述如何在当前时间步中使用当前时间步的输入值，偏置单元为b_h∈R^1×h，b_h∈R^1×h描述如何在当前时间步中使用偏置单元，输出为时间步t的隐藏变量H_t，有H_t∈R^n×h；

第三部分为输出层，输出层是一个全连接层，输出层中的神经元和隐藏层中的各个神经元也完全连接，该层神经元个数为q，q等于10分别对应着新标准方孔砂石筛的10个筛孔尺寸，其过程如下公式(2)：

O_t＝H_tW_hq+b_q (2)

式中，H_t∈R^n×h是时间步t的隐藏变量，其批量大小为n，特征个数h为隐藏变量的隐藏单元数目，输出单元个数为q，输出层的权重参数和偏差参数分别为W_hq∈R^h×q和b_q∈R^1×q，输出层的输出为O_t，有O_t∈R^n×q；

将石料分级特征提取模块提取石料数据集所有图片的初始石料分级特征和对应数据采集模块中人工筛分实验得到的真实标签作为改进的多层感知机的数据集，并划分训练集、验证集和测试集，然后构造8个可供选择的改进的多层感知机候选模型，在每个候选模型中使用交叉熵损失函数计算在训练集上的初始石料分级特征与真实标签之间的差距程度，并用反向传播进行梯度更新训练改进的多层感知机候选模型，得到每个候选模型的最优权重参数，接着使用验证集评估8个候选模型的训练误差表现并从中选择最优模型，使用测试集对最优模型进行泛化误差计算，最后将改进的多层感知机最优模型部署上线，用于企业生产中实时预测石料自动分级，实验结果表明误差控制在7％以内，达到企业的混凝土石料分级生产要求。

综上所述，在采用以上方案后，本发明为石料分级提供了新的方法与***，将深度学习作为石料分级的有效工具，能够有效解决计算机难以自动且准确识别石料分级的问题，有效推动计算机辅助石料自动分级的发展，具有实际推广价值，值得推广。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于深度学习的石料自动分级方法，其特征在于，该方法是基于深度学习和数字图像处理技术实现工业皮带高速运输场景石料自动分级任务，具体是采用了三大模块，分别为石料图片质量评估模块、石料分级特征提取模块和石料分级数据拟合模块；其中，所述石料图片质量评估模块是一个基于多层次特征的残差神经网络，用于对图片质量进行评估筛选高质量动态帧；所述石料分级特征提取模块是一个基于数字图像处理的采用分水岭算法和凹点检测算法的分割模块，用于对石料图片质量评估模块筛选后的图片进行石料分级特征信息提取；所述石料分级数据拟合模块是一个改进的多层感知机，用于对石料分级特征提取模块提取的初始石料分级特征结果进行数据拟合，弥补石料深度信息缺失带来的石料分级误差，实现误差修正；

该石料自动分级方法的具体实施包括以下步骤：

1)采集每批石料在皮带高速运输视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图片，按“生产通道/石料批次/帧序号”的格式命名排列，同时对每批石料采用四分法进行取样并完成人工筛分实验，根据人工筛分实验得到每批石料的真实标签，按“生产通道/石料批号”的格式命名排列，形成石料原数据集；

2)将石料原数据集的图片输入石料图片质量评估模块，对图片进行质量评估并计算其清晰度得分，得到石料原数据集的图片清晰度得分排序，根据清晰度得分排序，选取清晰度得分高的图片作为石料数据集；

3)将步骤2)中得到的石料数据集作为石料分级特征提取模块的输入数据，对图片的石料初始分级特征信息进行有效提取，生成石料数据集上所有图片的初始石料分级特征结果；

4)将石料分级特征提取模块生成的所有图片的初始石料分级特征结果输入石料分级数据拟合模块，对初始石料分级特征结果进行数据拟合修正误差，得到误差修正后的石料分级特征预测结果。

2.根据权利要求1所述的基于深度学***铺成圆形，分成四等分，取相对的两份混合，然后再平分，直至达到要求；所述人工筛分实验是指工人通过新标准方孔砂石筛进行手动筛分，新标准方孔砂石筛分为10个筛孔尺寸，其筛孔尺寸分别为：53～37.5、37.5～31.5、31.5～26.5、26.5～19.0、19.0～16.0、16.0～9.5、9.5～4.75、4.75～2.36、2.36～底盘，筛孔单位为mm，最后，把每批石料的真实标签与每批石料运输视频切片处理得到的多张图像进行一对多映射，制成石料原数据集。

3.根据权利要求1所述的基于深度学***均池化层，但不同的是，1*1卷积层的通道数分别为16、4、4，3*3卷积层的步距分别为7、4、2，3*3卷积层的填充分别为1、3、2，所述编码器层旨在对石料图片经残差卷积神经网络三个阶段后的表征特征进行通道变换；为确保数据的完整性，采用Concat操作完成三个不同的编码器层通道变换后的层次特征进行融合，并利用全连接层将其映射为256维的整体特征，计算出石料图片质量清晰度分数，最后根据得分删除分数小于设定阈值分数的图片，形成石料数据集，并对石料数据集中的石料图像做翻转和旋转操作来进行数据扩充，其中翻转包括水平翻转、垂直翻转和水平垂直翻转，旋转则采用-30°、-15°、15°和30°的取值。

4.根据权利要求1所述的基于深度学习的石料自动分级方法，其特征在于，在步骤3)中，所述石料分级特征提取模块是一个基于数字图像处理的采用分水岭算法和凹点检测算法的分割模块，其主要目的是对图片的石料初始分级特征信息进行有效提取，生成初始石料分级特征结果，所述分割模块包括石料形态学图像处理、石料图像分割和石料颗粒标定与粒度计算三个部分，其具体情况如下：

第一部分为石料形态学图像处理，其主要目的是对石料图片进行形态学图像处理操作得到能满足图像分割条件的图像，其中，所述形态学图像处理操作包含石料图像预处理和石料形态学优化，石料图像预处理是由图像灰度变换、图像滤波处理、图像二值化处理一系列操作构成，其主要目的是对图像进行预处理来增强图像质量，所述图像灰度变换是对石料数据集中的图片进行亮度变换处理以增强或削弱图像的亮度，接着将亮度变换后的图像进行灰度化处理来降低该图像中的数据量，所述图像滤波处理是使用双边滤波对图像灰度变换后的石料图像进行去噪处理同时能够保留石料颗粒的边缘信息，所述图像二值化处理是将图像滤波处理后的石料图像经过快速自适应阈值化处理来达到图像简化的效果；所述石料形态学优化由一系列腐蚀和膨胀组合的开闭运算构成，其主要目的是对石料图像预处理后的图像进行形态学运算，达到对石料颗粒图像去噪、平滑、检测和分析的目的；

第二部分为石料图像分割，其主要目的是对石料形态学图像处理后的图像中石料颗粒进行有效分割，其中，所述的石料图像分割是采用了分水岭算法和凹点检测算法，所述分水岭算法指的是地形图中设立在各个水域之间的大坝，把一幅灰度图像看作是一幅地形图，将灰度图像中像素点的灰度值当作海拔高度，不同像素点的灰度值代表不同的海拔高度，灰度值低的地方海拔低，灰度值高的地方海拔高，但直接对图像进行分水岭算法分割会导致过分割的现象，丢失图像边缘信息，无法对石料颗粒大面积粘连的图像进行有效分割的问题，因此引入凹点检测算法来解决该问题，两者的结合能够对石料图像中粘连颗粒进行有效分割；

第三部分为石料颗粒标定与粒度计算，其主要目的是对石料图像分割后的图像上每个石头颗粒进行轮廓面积计算，按照轮廓面积大小将石头划分为10种不同级别的粒径，同时统计10种不同级别的粒径的石头个数，其中，所述石料颗粒标定与粒度计算是对现场的石料颗粒进行标定并对石料中10种不同粒度的分布信息进行统计分析，得到每个粒级颗粒的占比，10种不同粒级颗粒的占比对应于10维向量的石料初始分级特征信息，从而完成对图片石料初始分级特征信息的有效提取，得到初始石料分级特征结果，所述10维向量的石料初始分级特征信息分别对应新标准方孔砂石筛的10个筛孔尺寸。

5.根据权利要求1所述的基于深度学习的石料自动分级方法，其特征在于，在步骤4)中，所述石料分级数据拟合模块是一个改进的多层感知机，其主要目的是解决分割模块对石料图像分割得到表层的石料粒度分布无法获取这批石料的深度粒度分布的问题，改进的多层感知机能够通过表层的砂石粒度分布来预测皮带上石料堆叠的情况下整体石料粒度分布，对石料分级特征提取模块生成的所有图片的初始石料分级特征结果进行数据拟合修正误差，所述改进的多层感知机是一个带有隐状态的多层神经网络，是由输入层、带有隐状态的隐藏变量、输出层组成，其具体情况如下；

第一部分为输入层，其神经元个数为d，分别对应石料分级特征提取模块生成的石料初始分级特征信息d维向量，在时间步t有小批量初始石料分级特征样本输入X_t∈R^n×d，其中，R为实数，n为批量大小，d为神经元个数，亦是输入特征个数；

第二部分为带有隐状态的隐藏变量H_t，其是由当前时间步的输入层，即当前时间步t小批量初始石料分级特征样本的输入X_t与前一个时间步t-1的隐藏变量H_t-1所决定的，对于n个初始石料分级特征序列样本的小批量，X_t的每一行对应于来自该序列的时间步t处的初始石料分级特征样本，与原来多层感知机不同的是，改进的多层感知机保存了前一个时间步的隐藏变量H_t-1，并引入一个新的权重参数W_hh∈R^h×h来描述如何在当前时间步中使用前一个时间步的隐藏变量，其过程如下公式(1)：

H_t＝φ(X_tW_xh+H_t-1W_hh+b_h) (1)

式中，X_t∈R^n×d是在时间步t小批量初始石料分级特征样本的输入，n为批量大小，d为输入特征个数，h为隐藏单元数目，φ为非线性激活函数ReLU，权重参数有W_xh∈R^d×h和W_hh∈R^{h ×h}，W_xh∈R^d×h描述如何在当前时间步中使用当前时间步的输入值，偏置单元为b_h∈R^1×h，b_h∈R^1×h描述如何在当前时间步中使用偏置单元，输出为时间步t的隐藏变量H_t，有H_t∈R^n×h；

第三部分为输出层，输出层是一个全连接层，输出层中的神经元和隐藏层中的各个神经元也完全连接，该层神经元个数为q，分别对应着新标准方孔砂石筛的q个筛孔尺寸，其过程如下公式(2)：

O_t＝H_tW_hq+b_q (2)

式中，H_t∈R^n×h是时间步t的隐藏变量，其批量大小为n，特征个数h为隐藏变量的隐藏单元数目，输出单元个数为q，输出层的权重参数和偏差参数分别为W_hq∈R^h×q和b_q∈R^1×q，输出层的输出为O_t，有O_t∈R^n×q；

将步骤3)中提取石料数据集所有图片的初始石料分级特征和对应步骤1)中人工筛分实验得到的真实标签作为改进的多层感知机的数据集，并划分训练集、验证集和测试集，然后构造多个可供选择的改进的多层感知机候选模型，在每个候选模型中使用交叉熵损失函数计算在训练集上的初始石料分级特征与真实标签之间的差距程度，并用反向传播进行梯度更新训练改进的多层感知机候选模型，得到每个候选模型的最优权重参数，接着使用验证集评估若干候选模型的表现并从中选择最优模型，使用测试集对最优模型进行泛化误差计算，最后将改进的多层感知机最优模型部署上线，用于生产中实时预测石料自动分级。

6.基于深度学习的石料自动分级***，其特征在于，包括：

数据采集模块，用于采集每批石料在皮带高速运输视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图片，按“生产通道/石料批次/帧序号”的格式命名排列，同时对每批石料采用四分法进行取样并完成人工筛分实验，根据人工筛分实验得到每批石料的真实标签，按“生产通道/石料批号”的格式命名排列，形成石料原数据集；

石料图片质量评估模块，用于对图片进行质量评估并计算其清晰度得分，得到石料原数据集的图片清晰度得分排序，根据清晰度得分排序，选取清晰度得分高的图片作为石料数据集；

石料分级特征提取模块，用于对石料图片质量评估模块筛选后的图片的石料初始分级特征信息进行有效提取，生成石料数据集上所有图片的初始石料分级特征结果；

石料分级数据拟合模块，用于对石料分级特征提取模块提取的初始石料分级特征结果进行数据拟合，弥补石料深度信息缺失带来的石料分级误差，得到误差修正后的石料分级特征预测结果。

7.根据权利要求6所述的基于深度学习的石料自动分级***，其特征在于，所述数据采集模块具体执行以下操作：

首先，通过工业摄像机采集石料在皮带上运输过程视频，每批石料完整运输过程存为一个视频，然后，按特定的时间间隔对每一个视频的图像进行切片处理，图像按“生产通道/石料批次/帧序号”的格式命名排列，同时对每批石料采用四分法进行取样并完成人工筛分实验，根据人工筛分实验得到每批石料的真实标签，按“生产通道/石料批号”的格式命名排列；其中，所述四分法指的是将石料样品按照测定要求磨细，过特定孔径的筛子，然后混合，平铺成圆形，分成四等分，取相对的两份混合，然后再平分，直至达到要求；所述人工筛分实验是指工人通过新标准方孔砂石筛进行手动筛分，新标准方孔砂石筛分为10个筛孔尺寸，其筛孔尺寸分别为：53～37.5、37.5～31.5、31.5～26.5、26.5～19.0、19.0～16.0、16.0～9.5、9.5～4.75、4.75～2.36、2.36～底盘，筛孔单位为mm，最后，把每批石料的真实标签与每批石料运输视频切片处理得到的多张图像进行一对多映射，制成石料原数据集。

8.根据权利要求6所述的基于深度学***均池化层，但不同的是，1*1卷积层的通道数分别为16、4、4，3*3卷积层的步距分别为7、4、2，3*3卷积层的填充分别为1、3、2，所述编码器层旨在对石料图片经残差卷积神经网络三个阶段后的表征特征进行通道变换；为确保数据的完整性，采用Concat操作完成三个不同的编码器层通道变换后的层次特征进行融合，并利用全连接层将其映射为256维的整体特征，计算出石料图片质量清晰度分数，最后根据得分删除分数小于设定阈值分数的图片，形成石料数据集，并对石料数据集中的石料图像做翻转和旋转操作来进行数据扩充，其中翻转包括水平翻转、垂直翻转和水平垂直翻转，旋转则采用-30°、-15°、15°和30°的取值。

9.根据权利要求6所述的基于深度学习的石料自动分级***，其特征在于，所述石料分级特征提取模块是一个基于数字图像处理的采用分水岭算法和凹点检测算法的分割模块，其主要目的是对图片的石料初始分级特征信息进行有效提取，生成初始石料分级特征结果，所述分割模块包括石料形态学图像处理、石料图像分割和石料颗粒标定与粒度计算三个部分，其具体情况如下：

第一部分为石料形态学图像处理，其主要目的是对石料图片进行形态学图像处理操作得到能满足图像分割条件的图像，其中，所述形态学图像处理操作包含石料图像预处理和石料形态学优化，石料图像预处理是由图像灰度变换、图像滤波处理、图像二值化处理一系列操作构成，其主要目的是对图像进行预处理来增强图像质量，所述图像灰度变换是对石料数据集中的图片进行亮度变换处理以增强或削弱图像的亮度，接着将亮度变换后的图像进行灰度化处理来降低该图像中的数据量，所述图像滤波处理是使用双边滤波对图像灰度变换后的石料图像进行去噪处理同时能够保留石料颗粒的边缘信息，所述图像二值化处理是将图像滤波处理后的石料图像经过快速自适应阈值化处理来达到图像简化的效果；所述石料形态学优化由一系列腐蚀和膨胀组合的开闭运算构成，其主要目的是对石料图像预处理后的图像进行形态学运算，达到对石料颗粒图像去噪、平滑、检测和分析的目的；

第二部分为石料图像分割，其主要目的是对石料形态学图像处理后的图像中石料颗粒进行有效分割，其中，所述的石料图像分割是采用了分水岭算法和凹点检测算法，所述分水岭算法指的是地形图中设立在各个水域之间的大坝，把一幅灰度图像看作是一幅地形图，将灰度图像中像素点的灰度值当作海拔高度，不同像素点的灰度值代表不同的海拔高度，灰度值低的地方海拔低，灰度值高的地方海拔高，但直接对图像进行分水岭算法分割会导致过分割的现象，丢失图像边缘信息，无法对石料颗粒大面积粘连的图像进行有效分割的问题，因此引入凹点检测算法来解决该问题，两者的结合能够对石料图像中粘连颗粒进行有效分割；

第三部分为石料颗粒标定与粒度计算，其主要目的是对石料图像分割后的图像上每个石头颗粒进行轮廓面积计算，按照轮廓面积大小将石头划分为10种不同级别的粒径，同时统计10种不同级别的粒径的石头个数，其中，所述石料颗粒标定与粒度计算是对现场的石料颗粒进行标定并对石料中10种不同粒度的分布信息进行统计分析，得到每个粒级颗粒的占比，10种不同粒级颗粒的占比对应于10维向量的石料初始分级特征信息，从而完成对图片石料初始分级特征信息的有效提取，得到初始石料分级特征结果，所述10维向量的石料初始分级特征信息分别对应新标准方孔砂石筛的10个筛孔尺寸。

10.根据权利要求6所述的基于深度学习的石料自动分级***，其特征在于，所述石料分级数据拟合模块是一个改进的多层感知机，其主要目的是解决分割模块对石料图像分割得到表层的石料粒度分布无法获取这批石料的深度粒度分布的问题，改进的多层感知机能够通过表层的砂石粒度分布来预测皮带上石料堆叠的情况下整体石料粒度分布，对石料分级特征提取模块生成的所有图片的初始石料分级特征结果进行数据拟合修正误差，所述改进的多层感知机是一个带有隐状态的多层神经网络，是由输入层、带有隐状态的隐藏变量、输出层组成，其具体情况如下；

第一部分为输入层，其神经元个数为d，分别对应石料分级特征提取模块生成的石料初始分级特征信息d维向量，在时间步t有小批量初始石料分级特征样本输入X_t∈R^n×d，其中，R为实数，n为批量大小，d为神经元个数，亦是输入特征个数；

第二部分为带有隐状态的隐藏变量H_t，其是由当前时间步的输入层，即当前时间步t小批量初始石料分级特征样本的输入X_t与前一个时间步t-1的隐藏变量H_t-1所决定的，对于n个初始石料分级特征序列样本的小批量，X_t的每一行对应于来自该序列的时间步t处的初始石料分级特征样本，与原来多层感知机不同的是，改进的多层感知机保存了前一个时间步的隐藏变量H_t-1，并引入一个新的权重参数W_hh∈R^h×h来描述如何在当前时间步中使用前一个时间步的隐藏变量，其过程如下公式(1)：

H_t＝φ(X_tW_xh+H_t-1W_hh+b_h) (1)

式中，X_t∈R^n×d是在时间步t小批量初始石料分级特征样本的输入，n为批量大小，d为输入特征个数，h为隐藏单元数目，φ为非线性激活函数ReLU，权重参数有W_xh∈R^d×h和W_hh∈R^{h ×h}，W_xh∈R^d×h描述如何在当前时间步中使用当前时间步的输入值，偏置单元为b_h∈R^1×h，b_h∈R^1×h描述如何在当前时间步中使用偏置单元，输出为时间步t的隐藏变量H_t，有H_t∈R^n×h；

第三部分为输出层，输出层是一个全连接层，输出层中的神经元和隐藏层中的各个神经元也完全连接，该层神经元个数为q，分别对应着新标准方孔砂石筛的q个筛孔尺寸，其过程如下公式(2)：

O_t＝H_tW_hq+b_q (2)

式中，H_t∈R^n×h是时间步t的隐藏变量，其批量大小为n，特征个数h为隐藏变量的隐藏单元数目，输出单元个数为q，输出层的权重参数和偏差参数分别为W_hq∈R^h×q和b_q∈R^1×q，输出层的输出为O_t，有O_t∈R^n×q；

将石料分级特征提取模块提取石料数据集所有图片的初始石料分级特征和对应数据采集模块中人工筛分实验得到的真实标签作为改进的多层感知机的数据集，并划分训练集、验证集和测试集，然后构造多个可供选择的改进的多层感知机候选模型，在每个候选模型中使用交叉熵损失函数计算在训练集上的初始石料分级特征与真实标签之间的差距程度，并用反向传播进行梯度更新训练改进的多层感知机候选模型，得到每个候选模型的最优权重参数，接着使用验证集评估若干候选模型的表现并从中选择最优模型，使用测试集对最优模型进行泛化误差计算，最后将改进的多层感知机最优模型部署上线，用于生产中实时预测石料自动分级。

Images