CN114241203B - 一种工件长度测量方法及*** - Google Patents
一种工件长度测量方法及*** Download PDFInfo
- Publication number
- CN114241203B CN114241203B CN202210168746.8A CN202210168746A CN114241203B CN 114241203 B CN114241203 B CN 114241203B CN 202210168746 A CN202210168746 A CN 202210168746A CN 114241203 B CN114241203 B CN 114241203B
- Authority
- CN
- China
- Prior art keywords
- network
- feature map
- layer
- workpiece
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种工件长度测量方法及***,属于工件尺寸测量领域。该方法包括:构建编码路径;构建包括ECA模块和两个下采样模块的特征拼接路径;ECA模块的激活层采用sigmoid激活函数激活输入激活层的特征向量,元素级相乘层用于将第一编码网络输出的特征图与激活层输出的特征向量相乘,得到跨通道交互式特征图;构建解码路径,对构建好的图像分割网络进行训练,将待测工件图像输入图像分割网络模型,对输出的分割特征图中的工件区域进行骨架细化,并根据像素参数和待测工件图像的相机标定参数,确定待测工件的长度。本发明可以节约人工和时间成本,提高工件长度测量整个过程的效率,同时提升了测量结果的准确度。
Description
技术领域
本发明涉及工件尺寸测量领域,特别是涉及一种工件长度测量方法及***。
背景技术
实现精准高效的工件尺寸测量,对于保障产品质量,提升工厂的生产效率和经营利润有着重要意义。近年来,随着工业化水平的不断提升,机器视觉测量技术凭借其精度高、速度快和非接触等优势,成为了工件尺寸测量的主流方式之一。然而,现有的机器视觉测量技术主要依赖于传统的图像处理算法,为了获取图像中特定的工件信息需要进行大量的手工特征设计,不仅人工和时间成本过高,而且鲁棒性较差,导致工件尺寸测量成本高,效果差。
发明内容
本发明的目的是提供一种工件长度测量方法及***,以降低高工件尺寸测量的成本,提高测量效果。
为实现上述目的,本发明提供了如下方案:
一种工件长度测量方法,包括:
构建图像分割网络的编码路径;所述编码路径依次包括第一编码网络、第二编码网络、第三编码网络和第四编码网络;所述第一编码网络、所述第二编码网络和所述第三编码网络均包括两个卷积层和一个池化层,所述池化层位于两个卷积层之后;所述第四编码网络包括两个卷积层;
构建所述图像分割网络的特征拼接路径;所述特征拼接路径依次包括ECA模块和两个下采样模块;所述ECA模块接收所述第一编码网络输出的特征图,所述ECA模块包括平均池化层、卷积层、激活层和元素级相乘层,所述激活层采用sigmoid激活函数激活输入所述激活层的特征向量,所述元素级相乘层用于将所述第一编码网络输出的特征图与所述激活层输出的特征向量相乘,得到跨通道交互式特征图;两个所述下采样模块结构相同,所述下采样模块包括两个卷积层和一个池化层,所述池化层位于两个卷积层之间;
构建所述图像分割网络的解码路径,完成所述图像分割网络的构建;所述解码路径依次包括:第一解码网络、第二解码网络、第三解码网络、通道转换层和像素转换层;所述第一解码网络、所述第二解码网络和所述第三解码网络结构相同,均包括上采样层、拼接层和两个卷积层;所述通道转换层为卷积层,所述像素转换层输出二值图;
对构建好的图像分割网络进行训练,得到图像分割网络模型;
将待测工件图像输入所述图像分割网络模型,得到分割特征图;
对所述分割特征图中的工件区域进行骨架细化,并根据骨架细化后的像素参数和所述待测工件图像的相机标定参数,确定待测工件的长度。
可选的,所述第一编码网络、所述第二编码网络、所述第三编码网络和所述第四编码网络中的卷积层的卷积核均为1*1;所述第一编码网络、所述第二编码网络和所述第三编码网络中的池化层均用于进行最大池化操作。
可选的,所述构建所述图像分割网络的特征拼接路径,具体包括:
构建所述ECA模块;所述ECA模块的平均池化层用于对所述第一编码网络输出的特征图进行全局平均池化操作,所述ECA模块的卷积层用于对所述平均池化层输出的特征向量进行卷积核为5的1维卷积操作;
构建第一下采样模块和第二下采样模块;所述第一下采样模块用于对所述ECA模块输出的跨通道交互式特征图进行下采样操作,所述第二下采样模块用于对所述第一下采样模块输出的特征图进行下采样操作;所述第一下采样模块和所述第二下采样模块中的两个卷积层的卷积核均为1*1,所述第一下采样模块和所述第二下采样模块中的池化层用于进行最大池化操作。
可选的,所述第一解码网络、所述第二解码网络和所述第三解码网络的两个卷积层的卷积核均为1*1;
所述第一解码网络的上采样层用于对所述第四编码网络输出的特征图进行上采样操作,得到第一上采样特征图;所述第一解码网络的拼接层用于将所述第一上采样特征图与所述特征拼接路径输出的特征图进行拼接,得到第一拼接特征图;所述第一解码网络的两个卷积层用于对所述第一拼接特征图进行连续两次卷积操作;
所述第二解码网络的上采样层用于对所述第一解码网络输出的特征图进行上采样操作,得到第二上采样特征图;所述第二解码网络的拼接层用于将所述第二上采样特征图与所述第一下采样模块输出的特征图进行拼接,得到第二拼接特征图;所述第二解码网络的两个卷积层用于对所述第二拼接特征图进行连续两次卷积操作;
所述第三解码网络的上采样层用于对所述第二解码网络输出的特征图进行上采样操作,得到第三上采样特征图;所述第三解码网络的拼接层用于将所述第三上采样特征图与所述ECA模块输出的跨通道交互式特征图进行拼接,得到第三拼接特征图;所述第三解码网络的两个卷积层用于对所述第三拼接特征图进行连续两次卷积操作。
可选的,所述对所述分割特征图中的工件区域进行骨架细化,并根据骨架细化后的像素参数和所述待测工件图像的相机标定参数,确定待测工件的长度,具体包括:
对所述分割特征图中的工件区域进行骨架细化,直到所述分割特征图中工件的宽度为一个像素点;
确定骨架细化后的工件长度方向上的像素点个数;
利用公式D=z*d确定所述待测工件的长度;其中,D为所述待测工件的长度;z为相机标定参数,表示尺度因子;d为所述骨架细化后的工件长度方向上的像素点个数。
本发明还提供一种工件长度测量***,包括:
编码路径构建模块,用于构建图像分割网络的编码路径;所述编码路径依次包括第一编码网络、第二编码网络、第三编码网络和第四编码网络;所述第一编码网络、所述第二编码网络和所述第三编码网络均包括两个卷积层和一个池化层,所述池化层位于两个卷积层之后;所述第四编码网络包括两个卷积层;
特征拼接路径构建模块,用于构建所述图像分割网络的特征拼接路径;所述特征拼接路径依次包括ECA模块和两个下采样模块;所述ECA模块接收所述第一编码网络输出的特征图,所述ECA模块包括平均池化层、卷积层、激活层和元素级相乘层,所述激活层采用sigmoid激活函数激活输入所述激活层的特征向量,所述元素级相乘层用于将所述第一编码网络输出的特征图与所述激活层输出的特征向量相乘,得到跨通道交互式特征图;两个所述下采样模块结构相同,所述下采样模块包括两个卷积层和一个池化层,所述池化层位于两个卷积层之间;
解码路径构建模块,用于构建所述图像分割网络的解码路径,完成所述图像分割网络的构建;所述解码路径依次包括:第一解码网络、第二解码网络、第三解码网络、通道转换层和像素转换层;所述第一解码网络、所述第二解码网络和所述第三解码网络结构相同,均包括上采样层、拼接层和两个卷积层;所述通道转换层为卷积层,所述像素转换层输出二值图;
训练模块,用于对构建好的图像分割网络进行训练,得到图像分割网络模型;
输入模块,用于将待测工件图像输入所述图像分割网络模型,得到分割特征图;
待测工件长度确定模块,用于对所述分割特征图中的工件区域进行骨架细化,并根据骨架细化后的像素参数和所述待测工件图像的相机标定参数,确定待测工件的长度。
可选的,所述第一编码网络、所述第二编码网络、所述第三编码网络和所述第四编码网络中的卷积层的卷积核均为1*1;所述第一编码网络、所述第二编码网络和所述第三编码网络中的池化层均用于进行最大池化操作。
可选的,所述特征拼接路径构建模块,具体包括:
ECA模块构建单元,用于构建所述ECA模块;所述ECA模块的平均池化层用于对所述第一编码网络输出的特征图进行全局平均池化操作,所述ECA模块的卷积层用于对所述平均池化层输出的特征向量进行卷积核为5的1维卷积操作;
下采样模块构建单元,用于构建第一下采样模块和第二下采样模块;所述第一下采样模块用于对所述ECA模块输出的跨通道交互式特征图进行下采样操作,所述第二下采样模块用于对所述第一下采样模块输出的特征图进行下采样操作;所述第一下采样模块和所述第二下采样模块中的两个卷积层的卷积核均为1*1,所述第一下采样模块和所述第二下采样模块中的池化层用于进行最大池化操作。
可选的,所述第一解码网络、所述第二解码网络和所述第三解码网络的两个卷积层的卷积核均为1*1;
所述第一解码网络的上采样层用于对所述第四编码网络输出的特征图进行上采样操作,得到第一上采样特征图;所述第一解码网络的拼接层用于将所述第一上采样特征图与所述特征拼接路径输出的特征图进行拼接,得到第一拼接特征图;所述第一解码网络的两个卷积层用于对所述第一拼接特征图进行连续两次卷积操作;
所述第二解码网络的上采样层用于对所述第一解码网络输出的特征图进行上采样操作,得到第二上采样特征图;所述第二解码网络的拼接层用于将所述第二上采样特征图与所述第一下采样模块输出的特征图进行拼接,得到第二拼接特征图;所述第二解码网络的两个卷积层用于对所述第二拼接特征图进行连续两次卷积操作;
所述第三解码网络的上采样层用于对所述第二解码网络输出的特征图进行上采样操作,得到第三上采样特征图;所述第三解码网络的拼接层用于将所述第三上采样特征图与所述ECA模块输出的跨通道交互式特征图进行拼接,得到第三拼接特征图;所述第三解码网络的两个卷积层用于对所述第三拼接特征图进行连续两次卷积操作。
可选的,所述待测工件长度确定模块,具体包括:
骨架细化单元,用于对所述分割特征图中的工件区域进行骨架细化,直到所述分割特征图中工件的宽度为一个像素点;
像素点个数确定单元,用于确定骨架细化后的工件长度方向上的像素点个数;
长度确定单元,用于利用公式D=z*d确定所述待测工件的长度;其中,D为所述待测工件的长度;z为相机标定参数,表示尺度因子;d为所述骨架细化后的工件长度方向上的像素点个数。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明通过构建高效率提取图像特征的图像分割网络模型,进而提高提取工件的效率和精度,节约人工和时间成本,最终提高工件长度测量整个过程的效率,同时提升了测量结果的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明工件长度测量方法的流程示意图;
图2为本发明图像分割网络模型的结构示意图;
图3为本发明ECA模块的结构示意图;
图4为本发明工件长度测量***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种工件长度测量方法及***,通过构建高效提取图像特征的图像分割网络,实现对图像中工件的准确、快速分割,进而提高整个工件尺寸测量的效率。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明工件长度测量方法的流程示意图,如图1所示,包括以下步骤:
步骤100:构建图像分割网络的编码路径。编码路径依次包括第一编码网络、第二编码网络、第三编码网络和第四编码网络;第一编码网络、第二编码网络和第三编码网络均包括两个卷积层和一个池化层,卷积层的卷积核均为1*1,池化层用于进行最大池化操作,池化层位于两个卷积层之后。由于每个卷积层后面都会进行一次激活操作,因此对特征图进行连续两次的1*1卷积有助于引入更多的非线性,从而增强网络的特征表达能力。后续的池化层则通过特征降维抽取出最主要的特征信息。第四编码网络包括两个卷积层。
步骤200:构建图像分割网络的特征拼接路径。特征拼接路径依次包括ECA模块和两个下采样模块。
ECA模块接收第一编码网络输出的特征图,ECA模块包括平均池化层、卷积层、激活层和元素级相乘层,ECA模块的平均池化层用于对第一编码网络输出的特征图进行全局平均池化操作,卷积层用于对平均池化层输出的特征向量进行卷积核为5的1维卷积操作,激活层采用sigmoid激活函数激活输入激活层的特征向量,元素级相乘层用于将第一编码网络输出的特征图与激活层输出的特征向量相乘,得到跨通道交互式特征图。
两个下采样模块结构相同,均包括两个卷积层和一个池化层,卷积层的卷积核均为1*1,池化层位于两个卷积层之间,池化层用于进行最大池化操作。两个下采样模块分别为第一下采样模块和第二下采样模块,第一下采样模块对ECA模块输出的跨通道交互式特征图进行下采样操作,第二下采样模块用于对第一下采样模块输出的特征图进行下采样操作。
步骤300:构建图像分割网络的解码路径。解码路径依次包括:第一解码网络、第二解码网络、第三解码网络、通道转换层和像素转换层;第一解码网络、第二解码网络和第三解码网络结构相同,均包括上采样层、拼接层和两个卷积层,卷积层的卷积核均为1*1。
第一解码网络的上采样层用于对第四编码网络输出的特征图进行上采样操作,得到第一上采样特征图;第一解码网络的拼接层用于将第一上采样特征图与特征拼接路径输出的特征图进行拼接,得到第一拼接特征图;第一解码网络的两个卷积层用于对第一拼接特征图进行连续两次卷积操作。
第二解码网络的上采样层用于对第一解码网络输出的特征图进行上采样操作,得到第二上采样特征图;第二解码网络的拼接层用于将第二上采样特征图与第一下采样模块输出的特征图进行拼接,得到第二拼接特征图;第二解码网络的两个卷积层用于对第二拼接特征图进行连续两次卷积操作。
第三解码网络的上采样层用于对第二解码网络输出的特征图进行上采样操作,得到第三上采样特征图;第三解码网络的拼接层用于将第三上采样特征图与ECA模块输出的跨通道交互式特征图进行拼接,得到第三拼接特征图;第三解码网络的两个卷积层用于对第三拼接特征图进行连续两次卷积操作。
由于图像分割网络的目的是实现工件与背景的分离,因此将第三解码网络输入最后一个卷积层中,将其通道数转化为2(分别表示工件和背景),得到尺寸为1024×1024×2的特征图G5。
通道转换层为卷积层,将第三解码网络输出的特征图输入到通道转换层,将其转换为多通道的特征图,可以将工件与背景区分。
像素转换层将通道转换层输出的图像转化为二值图并输出,其中像素值大于阈值的像素点值设为1,即前景,像素值小于阈值的像素点值设为0,即背景。
以上步骤100-步骤300即完成了图像分割网络的构建,为了避免细节信息的过度损失影响工件分割效果的精准性,本发明只在编码路径中进行三次下采样操作。结合图2所示,以输入一张待检测的维度为1024×1024×1的工件图像A1为例。进一步对上述过程进行说明。
(1)编码路径:将A1输入一个卷积核为1*1的卷积层中,获得尺寸为1024×1024×64的特征图A2,再将A2输入一个卷积核为1*1的卷积层中,获得尺寸为1024×1024×64的特征图A3,再对A3进行最大池化操作,获得尺寸为512×512×64的特征图B1。
从A1得到B1的编码路径即第一编码网络的路径,将B1输入第二编码网络可以得到C1,将C1输入第三编码网络可以得到D1。三个编码网络的编码路径一致,即先通过连续两次卷积操作,实现通道维度的扩增,再通过池化操作,进行空间特征的降维。最后,采用第四编码网络对D1再进行连续两次卷积操作,获得尺寸为128×128×512的特征图D3。
(2)特征拼接路径:由于在后续的解码路径中连续的特征图尺寸扩增会导致较低的图像分辨率,因此,本发明采用特征拼接路径为解码路径中的特征图引入更多的细粒度表层信息,从而弥补低层特征和高层特征之间的语义和分辨率差距,生成高质量的解码特征图。
高效通道注意力(Efficient Channel Attention,ECA)模块能够以轻量级的方式进行通道间的特征信息交互,从而从特征图中提取出有效的通道注意力特征。如图3所示,以尺寸为1024*1024*64的特征图A3作为ECA模块的输入,先对A3进行全局平均池化操作,从而得到尺寸为1*1*64的特征向量。再对该特征向量进行卷积核为5的1维卷积操作,以完成跨通道的特征信息交互。然后采用sigmoid激活函数对其进行激活操作,获得激活后的1*1*64特征向量。然后将原特征图A3与该特征向量进行元素级相乘,获得最终的跨通道交互式特征图G1。此时的特征图G1不仅包含了丰富的细粒度信息,而且通过ECA模块抽取了充分的通道注意力特征。
接下来,基于特征图G1进行下采样。将特征图G1输入下采样模块中,先通过一个卷积核为1*1的卷积层将其通道数从64扩充为128,再通过一层最大池化操作,将空间维度从1024压缩为512,从而获得尺寸为512*512*128的特征图F1。通过“卷积-池化-卷积”的结构,实现特征图的空间降维。最后,再将特征图F1输入下一个下采样模块中,获得尺寸为256*256*256的特征图E1。
如图2所示,特征拼接路径通过ECA模块和下采样模块,将低层特征图A3中丰富的细粒度信息传输给高层特征图。
(3)解码路径:将编码路径所输出的尺寸为128×128×512的特征图D3输入一个上采样层中,获得尺寸为256×256×256的特征图E2,将E2与特征拼接路径所输出的E1进行通道维度的特征拼接操作,得到一个通道数为原来2倍,即256×256×512的特征图。将该特征图输入一个卷积核为1*1的卷积层将其通道数从512压缩为256,得到E3。再将E3输入一个卷积核为1*1的卷积层中得到等尺寸特征图E4。
以上为采用第一解码网络从D3得到E4的过程,采用第二解码网络从E4到F4以及采用第三解码网络从F4到G4的解码方式与之类似,即先进行上采样操作,然后与F1或G1进行特征拼接,再通过卷积层进行进一步特征抽取。
由于本分割任务的目的是实现工件与背景的分离,因此将G4输入最后一个卷积层即通道转换层中,将其通道数转化为2(分别表示工件和背景),得到尺寸为1024×1024×2的特征图G5。
最后,将特征图G5输入像素转换层,将通道图像转化为二值图并输出,其中像素值大于阈值的像素点值设为1,即前景,像素值小于阈值的像素点值设为0,即背景。
步骤400:对构建好的图像分割网络进行训练,得到图像分割网络模型。具体包括建立工件分割数据集和训练两部分。建立工件分割数据集时,首先,采用工业相机在生产线上进行工件图像的连续拍摄,使相机光轴始终垂直于拍摄平面且保持不变,考虑到卷积操作可能导致网络对边缘区域的预测效果不佳,拍摄过程中,应确保工件目标位于图像的中心区域;接下来,采用标注软件进行标注,在每张工件图像中标注出各个工件的所在区域,从而获得每张图像对应的标注文件。最后,基于工件图像与对应的标注文件,得到工件分割数据集,并将其分为训练集和测试集。
训练时,采用工件分割数据集中的训练集训练图像分割网络,基于交叉熵损失函数进行网络参数更新,直到其在测试集上获得符合预设要求的分割精度,得到最终的图像分割网络模型。
步骤500:将待测工件图像输入图像分割网络模型,得到分割特征图。
步骤600:对分割特征图中的工件区域进行骨架细化,并根据骨架细化后的像素参数和待测工件图像的相机标定参数,确定待测工件的长度。本发明采用形态学操作对工件二值图中的工件区域进行骨架细化,直到工件的宽度为一个像素点,然后计算工件长度方向上的像素点个数d,并根据公式D=z*d得到工件的长度D,其中z为通过相机标定获得的尺度因子。关于相机标定,由于在实际应用过程中,工业相机的光轴始终垂直于工件所在平面,且相机与平面的相对位置保持固定,因此采用尺度因子法进行相机标定,以确定像素和工件实际尺寸的对应关系。尺度因子z的计算公式为:,其中M为工业相机到工件平面的距离,f为相机的镜头焦距,d为工件长度在图像上的像素数。
本发明的图像分割网络中特征拼接路径能够为解码路径中的特征图引入更多的细粒度信息,从而弥补高层特征与低层特征图间的分辨率差距,有效提升网络对工件目标的分割准确性。因此,本发明采用上述方法,能够自动从图像中分离出工件目标,快速准确地输出工件的长度测量结果,具有精度高、速度快、非接触、易于部署等优点,能够显著提升生产线的检测效率,保障产品质量。
对应上述方法,本发明还提供一种工件长度测量***,图4为本发明工件长度测量***的结构示意图。如图4所示,本发明工件长度测量***包括:
编码路径构建模块401,用于构建图像分割网络的编码路径;编码路径依次包括第一编码网络、第二编码网络、第三编码网络和第四编码网络;第一编码网络、第二编码网络和第三编码网络均包括两个卷积层和一个池化层,池化层位于两个卷积层之后;第四编码网络包括两个卷积层。
特征拼接路径构建模块402,用于构建图像分割网络的特征拼接路径;特征拼接路径依次包括ECA模块和两个下采样模块;ECA模块接收第一编码网络输出的特征图,ECA模块包括平均池化层、卷积层、激活层和元素级相乘层,激活层采用sigmoid激活函数激活输入激活层的特征向量,元素级相乘层用于将第一编码网络输出的特征图与激活层输出的特征向量相乘,得到跨通道交互式特征图;两个下采样模块结构相同,下采样模块包括两个卷积层和一个池化层,池化层位于两个卷积层之间。
解码路径构建模块403,用于构建图像分割网络的解码路径,完成图像分割网络的构建;解码路径依次包括:第一解码网络、第二解码网络、第三解码网络、通道转换层和像素转换层;第一解码网络、第二解码网络和第三解码网络结构相同,均包括上采样层、拼接层和两个卷积层;通道转换层为卷积层,像素转换层输出二值图。
训练模块404,用于对构建好的图像分割网络进行训练,得到图像分割网络模型。
输入模块405,用于将待测工件图像输入图像分割网络模型,得到分割特征图。
待测工件长度确定模块406,用于对分割特征图中的工件区域进行骨架细化,并根据骨架细化后的像素参数和待测工件图像的相机标定参数,确定待测工件的长度。
作为具体实施例,本发明的工件长度测量***中的特征拼接路径构建模块402具体包括:
ECA模块构建单元,用于构建ECA模块;ECA模块的平均池化层用于对第一编码网络输出的特征图进行全局平均池化操作,ECA模块的卷积层用于对平均池化层输出的特征向量进行卷积核为5的1维卷积操作。
下采样模块构建单元,用于构建第一下采样模块和第二下采样模块;第一下采样模块用于对ECA模块输出的跨通道交互式特征图进行下采样操作,第二下采样模块用于对第一下采样模块输出的特征图进行下采样操作;第一下采样模块和第二下采样模块中的两个卷积层的卷积核均为1*1,第一下采样模块和第二下采样模块中的池化层用于进行最大池化操作。
作为具体实施例,本发明的工件长度测量***中的待测工件长度确定模块406具体包括:
骨架细化单元,用于对分割特征图中的工件区域进行骨架细化,直到分割特征图中工件的宽度为一个像素点。
像素点个数确定单元,用于确定骨架细化后的工件长度方向上的像素点个数。
长度确定单元,用于利用公式D=z*d确定待测工件的长度;其中,D为待测工件的长度;z为相机标定参数,表示尺度因子;d为骨架细化后的工件长度方向上的像素点个数。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种工件长度测量方法,其特征在于,包括:
构建图像分割网络的编码路径;所述编码路径依次包括第一编码网络、第二编码网络、第三编码网络和第四编码网络;所述第一编码网络、所述第二编码网络和所述第三编码网络均包括两个卷积层和一个池化层,所述池化层位于两个卷积层之后;所述第四编码网络包括两个卷积层;
构建所述图像分割网络的特征拼接路径;所述特征拼接路径依次包括ECA模块和两个下采样模块;所述ECA模块接收所述第一编码网络输出的特征图,所述ECA模块包括平均池化层、卷积层、激活层和元素级相乘层,所述激活层采用sigmoid激活函数激活输入所述激活层的特征向量,所述元素级相乘层用于将所述第一编码网络输出的特征图与所述激活层输出的特征向量相乘,得到跨通道交互式特征图;两个所述下采样模块结构相同,所述下采样模块包括两个卷积层和一个池化层,所述池化层位于两个卷积层之间;
所述构建所述图像分割网络的特征拼接路径,具体包括:
构建所述ECA模块;所述ECA模块的平均池化层用于对所述第一编码网络输出的特征图进行全局平均池化操作,所述ECA模块的卷积层用于对所述平均池化层输出的特征向量进行卷积核为5的1维卷积操作;
构建第一下采样模块和第二下采样模块;所述第一下采样模块用于对所述ECA模块输出的跨通道交互式特征图进行下采样操作,所述第二下采样模块用于对所述第一下采样模块输出的特征图进行下采样操作;所述第一下采样模块和所述第二下采样模块中的两个卷积层的卷积核均为1*1,所述第一下采样模块和所述第二下采样模块中的池化层用于进行最大池化操作;
构建所述图像分割网络的解码路径,完成所述图像分割网络的构建;所述解码路径依次包括:第一解码网络、第二解码网络、第三解码网络、通道转换层和像素转换层;所述第一解码网络、所述第二解码网络和所述第三解码网络结构相同,均包括上采样层、拼接层和两个卷积层;所述通道转换层为卷积层,所述像素转换层输出二值图;
所述第一解码网络、所述第二解码网络和所述第三解码网络的两个卷积层的卷积核均为1*1;
所述第一解码网络的上采样层用于对所述第四编码网络输出的特征图进行上采样操作,得到第一上采样特征图;所述第一解码网络的拼接层用于将所述第一上采样特征图与所述特征拼接路径输出的特征图进行拼接,得到第一拼接特征图;所述第一解码网络的两个卷积层用于对所述第一拼接特征图进行连续两次卷积操作;
所述第二解码网络的上采样层用于对所述第一解码网络输出的特征图进行上采样操作,得到第二上采样特征图;所述第二解码网络的拼接层用于将所述第二上采样特征图与所述第一下采样模块输出的特征图进行拼接,得到第二拼接特征图;所述第二解码网络的两个卷积层用于对所述第二拼接特征图进行连续两次卷积操作;
所述第三解码网络的上采样层用于对所述第二解码网络输出的特征图进行上采样操作,得到第三上采样特征图;所述第三解码网络的拼接层用于将所述第三上采样特征图与所述ECA模块输出的跨通道交互式特征图进行拼接,得到第三拼接特征图;所述第三解码网络的两个卷积层用于对所述第三拼接特征图进行连续两次卷积操作;
对构建好的图像分割网络进行训练,得到图像分割网络模型;
将待测工件图像输入所述图像分割网络模型,得到分割特征图;
对所述分割特征图中的工件区域进行骨架细化,并根据骨架细化后的像素参数和所述待测工件图像的相机标定参数,确定待测工件的长度。
2.根据权利要求1所述的工件长度测量方法,其特征在于,所述第一编码网络、所述第二编码网络、所述第三编码网络和所述第四编码网络中的卷积层的卷积核均为1*1;所述第一编码网络、所述第二编码网络和所述第三编码网络中的池化层均用于进行最大池化操作。
3.根据权利要求1所述的工件长度测量方法,其特征在于,所述对所述分割特征图中的工件区域进行骨架细化,并根据骨架细化后的像素参数和所述待测工件图像的相机标定参数,确定待测工件的长度,具体包括:
对所述分割特征图中的工件区域进行骨架细化,直到所述分割特征图中工件的宽度为一个像素点;
确定骨架细化后的工件长度方向上的像素点个数;
利用公式D=z*d确定所述待测工件的长度;其中,D为所述待测工件的长度;z为相机标定参数,表示尺度因子;d为所述骨架细化后的工件长度方向上的像素点个数。
4.一种工件长度测量***,其特征在于,包括:
编码路径构建模块,用于构建图像分割网络的编码路径;所述编码路径依次包括第一编码网络、第二编码网络、第三编码网络和第四编码网络;所述第一编码网络、所述第二编码网络和所述第三编码网络均包括两个卷积层和一个池化层,所述池化层位于两个卷积层之后;所述第四编码网络包括两个卷积层;
特征拼接路径构建模块,用于构建所述图像分割网络的特征拼接路径;所述特征拼接路径依次包括ECA模块和两个下采样模块;所述ECA模块接收所述第一编码网络输出的特征图,所述ECA模块包括平均池化层、卷积层、激活层和元素级相乘层,所述激活层采用sigmoid激活函数激活输入所述激活层的特征向量,所述元素级相乘层用于将所述第一编码网络输出的特征图与所述激活层输出的特征向量相乘,得到跨通道交互式特征图;两个所述下采样模块结构相同,所述下采样模块包括两个卷积层和一个池化层,所述池化层位于两个卷积层之间;
所述特征拼接路径构建模块,具体包括:
ECA模块构建单元,用于构建所述ECA模块;所述ECA模块的平均池化层用于对所述第一编码网络输出的特征图进行全局平均池化操作,所述ECA模块的卷积层用于对所述平均池化层输出的特征向量进行卷积核为5的1维卷积操作;
下采样模块构建单元,用于构建第一下采样模块和第二下采样模块;所述第一下采样模块用于对所述ECA模块输出的跨通道交互式特征图进行下采样操作,所述第二下采样模块用于对所述第一下采样模块输出的特征图进行下采样操作;所述第一下采样模块和所述第二下采样模块中的两个卷积层的卷积核均为1*1,所述第一下采样模块和所述第二下采样模块中的池化层用于进行最大池化操作;
解码路径构建模块,用于构建所述图像分割网络的解码路径,完成所述图像分割网络的构建;所述解码路径依次包括:第一解码网络、第二解码网络、第三解码网络、通道转换层和像素转换层;所述第一解码网络、所述第二解码网络和所述第三解码网络结构相同,均包括上采样层、拼接层和两个卷积层;所述通道转换层为卷积层,所述像素转换层输出二值图;
所述第一解码网络、所述第二解码网络和所述第三解码网络的两个卷积层的卷积核均为1*1;
所述第一解码网络的上采样层用于对所述第四编码网络输出的特征图进行上采样操作,得到第一上采样特征图;所述第一解码网络的拼接层用于将所述第一上采样特征图与所述特征拼接路径输出的特征图进行拼接,得到第一拼接特征图;所述第一解码网络的两个卷积层用于对所述第一拼接特征图进行连续两次卷积操作;
所述第二解码网络的上采样层用于对所述第一解码网络输出的特征图进行上采样操作,得到第二上采样特征图;所述第二解码网络的拼接层用于将所述第二上采样特征图与所述第一下采样模块输出的特征图进行拼接,得到第二拼接特征图;所述第二解码网络的两个卷积层用于对所述第二拼接特征图进行连续两次卷积操作;
所述第三解码网络的上采样层用于对所述第二解码网络输出的特征图进行上采样操作,得到第三上采样特征图;所述第三解码网络的拼接层用于将所述第三上采样特征图与所述ECA模块输出的跨通道交互式特征图进行拼接,得到第三拼接特征图;所述第三解码网络的两个卷积层用于对所述第三拼接特征图进行连续两次卷积操作;
训练模块,用于对构建好的图像分割网络进行训练,得到图像分割网络模型;
输入模块,用于将待测工件图像输入所述图像分割网络模型,得到分割特征图;
待测工件长度确定模块,用于对所述分割特征图中的工件区域进行骨架细化,并根据骨架细化后的像素参数和所述待测工件图像的相机标定参数,确定待测工件的长度。
5.根据权利要求4所述的工件长度测量***,其特征在于,所述第一编码网络、所述第二编码网络、所述第三编码网络和所述第四编码网络中的卷积层的卷积核均为1*1;所述第一编码网络、所述第二编码网络和所述第三编码网络中的池化层均用于进行最大池化操作。
6.根据权利要求4所述的工件长度测量***,其特征在于,所述待测工件长度确定模块,具体包括:
骨架细化单元,用于对所述分割特征图中的工件区域进行骨架细化,直到所述分割特征图中工件的宽度为一个像素点;
像素点个数确定单元,用于确定骨架细化后的工件长度方向上的像素点个数;
长度确定单元,用于利用公式D=z*d确定所述待测工件的长度;其中,D为所述待测工件的长度;z为相机标定参数,表示尺度因子;d为所述骨架细化后的工件长度方向上的像素点个数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210168746.8A CN114241203B (zh) | 2022-02-24 | 2022-02-24 | 一种工件长度测量方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210168746.8A CN114241203B (zh) | 2022-02-24 | 2022-02-24 | 一种工件长度测量方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114241203A CN114241203A (zh) | 2022-03-25 |
CN114241203B true CN114241203B (zh) | 2022-05-13 |
Family
ID=80747846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210168746.8A Active CN114241203B (zh) | 2022-02-24 | 2022-02-24 | 一种工件长度测量方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114241203B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658147A (zh) * | 2021-08-23 | 2021-11-16 | 宁波棱镜空间智能科技有限公司 | 一种基于深度学习的工件尺寸测量装置及方法 |
CN113947609A (zh) * | 2021-10-12 | 2022-01-18 | 中南林业科技大学 | 深度学习网络结构及多标签主动脉夹层ct图像分割方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11270447B2 (en) * | 2020-02-10 | 2022-03-08 | Hong Kong Applied Science And Technology Institute Company Limited | Method for image segmentation using CNN |
CN113327254A (zh) * | 2021-05-27 | 2021-08-31 | 北京深睿博联科技有限责任公司 | 一种基于u型网络的图像分割方法和*** |
CN113240683B (zh) * | 2021-06-08 | 2022-09-20 | 北京航空航天大学 | 基于注意力机制的轻量化语义分割模型构建方法 |
-
2022
- 2022-02-24 CN CN202210168746.8A patent/CN114241203B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658147A (zh) * | 2021-08-23 | 2021-11-16 | 宁波棱镜空间智能科技有限公司 | 一种基于深度学习的工件尺寸测量装置及方法 |
CN113947609A (zh) * | 2021-10-12 | 2022-01-18 | 中南林业科技大学 | 深度学习网络结构及多标签主动脉夹层ct图像分割方法 |
Non-Patent Citations (2)
Title |
---|
ECAU-Net: Efficient channel attention U-Net for fetal ultrasound cerebellum segmentation;Xin Shu et al.;《Biomedical Signal Processing and Control》;20220211;全文 * |
基于通道注意力机制和U-net的医学图像分割方法;王枫 等;《计算机时代》;20210514;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114241203A (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829891B (zh) | 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法 | |
CN111768388B (zh) | 一种基于正样本参考的产品表面缺陷检测方法及*** | |
CN111223088A (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
CN111861880B (zh) | 基于区域信息增强与块自注意力的图像超分与融合方法 | |
CN112861729A (zh) | 一种基于伪深度图引导的实时深度补全方法 | |
CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN110598698B (zh) | 基于自适应区域建议网络的自然场景文本检测方法和*** | |
CN111462140B (zh) | 一种基于区块拼接的实时图像实例分割方法 | |
CN109657538B (zh) | 基于上下文信息指导的场景分割方法和*** | |
CN115424017B (zh) | 一种建筑物内外轮廓分割方法、装置及存储介质 | |
CN110310305A (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN116778288A (zh) | 一种多模态融合目标检测***及方法 | |
CN113486894A (zh) | 一种卫星图像特征部件语义分割方法 | |
CN112529931A (zh) | 一种前景分割的方法及*** | |
CN113554032A (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
CN115797808A (zh) | 一种无人机巡检缺陷图像的识别方法、***、装置及介质 | |
CN116503760A (zh) | 基于自适应边缘特征语义分割的无人机巡航检测方法 | |
CN109919215B (zh) | 基于聚类算法改进特征金字塔网络的目标检测方法 | |
CN115049945A (zh) | 一种基于无人机图像的小麦倒伏面积提取方法和装置 | |
CN114241203B (zh) | 一种工件长度测量方法及*** | |
CN116862883A (zh) | 基于图像语义分割的混凝土坍落度检测方法 | |
CN112070181A (zh) | 一种基于图像流的协同检测方法及装置、存储介质 | |
CN111881746A (zh) | 一种基于信息融合的人脸特征点定位方法及*** | |
CN111881914A (zh) | 一种基于自学习阈值的车牌字符分割方法及*** | |
CN114419078B (zh) | 基于卷积神经网络的表面缺陷区域分割方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |