CN114322793A - 基于全局分割网络的工件尺寸测量方法、装置及存储介质 - Google Patents

基于全局分割网络的工件尺寸测量方法、装置及存储介质 Download PDF

Info

Publication number
CN114322793A
CN114322793A CN202210255341.8A CN202210255341A CN114322793A CN 114322793 A CN114322793 A CN 114322793A CN 202210255341 A CN202210255341 A CN 202210255341A CN 114322793 A CN114322793 A CN 114322793A
Authority
CN
China
Prior art keywords
workpiece
layer
global
feature map
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210255341.8A
Other languages
English (en)
Other versions
CN114322793B (zh
Inventor
张波
万亚东
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Original Assignee
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innotitan Intelligent Equipment Technology Tianjin Co Ltd filed Critical Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority to CN202210255341.8A priority Critical patent/CN114322793B/zh
Publication of CN114322793A publication Critical patent/CN114322793A/zh
Application granted granted Critical
Publication of CN114322793B publication Critical patent/CN114322793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请涉及一种基于全局分割网络的工件尺寸测量方法、装置及存储介质,方法包括构建全局分割网络,全局分割网络的编码器对原始工件图像逐层下采样得到不同层级的编码特征图,编码器还用于提取待测量工件的全局特征向量;将最后一个层级的编码特征图输入解码器进行逐层上采样,每一层上采样输出的特征图均与全局特征向量进行融合后再进行特征抽取得到当前层解码特征图并输入下一层上采样;对最后一个层级的解码特征图进行阈值分割,得到二值图;对二值图进行形态学和骨架细化处理,得到单像素宽度的工件骨架;计算工件骨架在长度方向的像素点个数并根据像素点个数与工件长度的关系计算工件长度。该方法能增强对同一类工件的精准化分割能力。

Description

基于全局分割网络的工件尺寸测量方法、装置及存储介质
技术领域
本申请涉及视觉测量技术领域,尤其涉及一种基于全局分割网络的工件尺寸测量方法、装置及存储介质。
背景技术
实现精准高效的工件尺寸测量,对于保障产品质量,提升工厂的生产效率和经营利润有着重要意义。近年来,随着工业化水平的不断提升,机器视觉测量技术凭借其精度高、速度快和非接触等优势,成为了工件尺寸测量的主流方式之一。然而,现有的机器视觉测量技术主要依赖于传统的图像处理算法,为了获取图像中特定的工件信息需要进行大量的手工特征设计,不仅人工和时间成本过高,而且鲁棒性较差。
发明内容
为了解决上述背景技术提到的技术问题或者至少部分地解决上述技术问题,本申请提供一种基于全局分割网络的工件尺寸测量方法、装置及存储介质,增强对同一类工件的精准化分割能力。
第一方面,本申请提供了一种基于全局分割网络的工件尺寸测量方法,包括:
构建全局分割网络,所述全局分割网络包括呈对称结构的编码器和解码器;
将待检测的原始工件图像输入所述编码器进行逐层下采样,得到不同层级的编码特征图,其中所述原始工件图像中包括多个同类型的待测量工件;
所述编码器还用于根据所述编码特征图提取所述原始工件图像中所有所述待测量工件的全局上下文信息,得到每个待测量工件的全局特征向量;
将所述不同层级的编码特征图中的最后一个层级的编码特征图输入所述解码器进行逐层上采样,每一层上采样输出的特征图均与所述全局特征向量进行融合后再进行特征抽取得到当前层解码特征图,并将所述当前层解码特征图作为下一层上采样的输入,得到不同层级的解码特征图;
对所述不同层级的解码特征图中的最后一个层级的解码特征图进行阈值分割,得到所述待测量工件的二值图;
对所述二值图进行形态学处理,并对形态学处理后的二值图进行骨架细化处理,得到单像素宽度的工件骨架;
计算所述工件骨架在长度方向的像素点个数,并根据所述像素点个数与工件长度的关系,得出所述待测量工件的工件长度计算结果。
在此方案中,原始工件图像为提前拍摄的包含有多个同种类型的待测量工件的图像。在实际应用中,对拍摄的相机进行标定以后,利用标定好的相机在生产线上进行工件图像的连续拍摄。
拍摄得到的原始工件图像在输入编码器之前,还可以进行图像预处理操作,比如去除图像噪点,进行图像纠偏等,具体的预处理步骤这里不做限制。
原始工件图像输入编码器后,编码器对其进行逐层下采样处理,每一层下采样处理均可以包括以下步骤:先对原始工件图像进行连续多次的卷积操作(比如,连续两次的卷积操作),实现通道维度的扩增,为后续特征图引入更多的非线性信息,然后再通过池化层进行空间特征的降维以抽取关键特征信息,得到当前层编码特征图。
在此方案中,一张原始工件图像中包含了多个同类型的待测量工件,同类型工件的视觉特征具有高度相似性,在提取工件自身特征的同时,引入同类工件的特征信息,能够进一步提升算法对该工件的识别水平。因此,在此方案中,全局分割网络的解码器中设计了全局上下文路径,该路径通过将全局特征嵌入不同解码阶段的特征图中,使每个目标区域基于全局上下文信息获得同类工件的特征信息,从而显著增强网络对该类工件的精准化分割能力。
在此方案中,全局分割网络执行分割任务的目的是实现工件与背景的分离,因此,将最后一个层级的解码特征图输入最后一个卷积层中,将其通道数转化为2(分别表示工件和背景),得到中间特征图,最后,将该中间特征图中的第一通道图像转化为二值图并输出,其中像素值大于阈值的像素点值设为1,即前景,像素值小于阈值的像素点值设为0,即背景。
采用形态学操作对工件二值图中的工件区域进行骨架细化,直到工件的骨架宽度为一个像素点。计算工件在长度方向上的像素点个数,根据像素点个数与工件长度的关系,计算待测量工件的工件长度。
优选的,所述根据所述像素点个数与工件长度的关系,得出所述待测量工件的工件长度计算结果,具体包括:
根据公式(1)计算所述待测量工件的工件长度D:
Figure 305233DEST_PATH_IMAGE001
(1)
其中,z为通过相机标定获得的尺度因子,d为待测量工件的工件骨架在长度方向上的像素点个数。
在此方案中,相机用于拍摄原始工件图像。
优选的,在所述根据所述像素点个数与工件长度的关系,得出所述待测量工件的工件长度计算结果之前,还包括:进行相机标定,以确定像素和工件真实尺寸的对应关系。
在此方案中,在拍摄工件图像之前,需要对相机进行标定。
优选的,所述进行相机标定,具体包括:
采用尺度因子法进行相机标定,根据公式(2)计算尺度因子z:
Figure 487953DEST_PATH_IMAGE002
(2)
其中, M为相机到工件平面的距离,f为相机的镜头焦距,d为待测量工件的工件骨架在长度方向上的像素点个数。
优选的,所述每一层上采样输出的特征图均与所述全局特征向量进行融合后再进行特征抽取得到当前层解码特征图,具体包括:
每一层上采样输出的特征图均与所述全局特征向量进行点积运算后再通过卷积操作进行特征抽取,得到当前层解码特征图。
优选的,所述每一层上采样输出的特征图均与所述全局特征向量进行点积运算之前,还包括:
调整所述全局特征向量的通道维度,以保证所述全局特征向量与所述当前层解码特征图维度一致。
在此方案中,不同解码阶段(即不同层级的解码阶段)区别在于全局特征向量的计算方式不同,采用不同计算方式是为了调整不同阶段全局特征向量的通道维度,以保证其能够和该阶段的解码特征图进行后续的点积运算,避免因为矩阵维度不一致,无法进行点积运算。
优选的,所述将待检测的原始工件图像输入所述编码器进行逐层下采样,得到不同层级的编码特征图,具体包括:
所述编码器对输入的所述原始工件图像进行当前层级的下采样操作,具体包括:先对所述原始工件图像进行卷积操作,实现通道维度的扩增,再通过池化操作,进行空间特征的降维,得到当前层编码特征图;
将所述当前层编码特征图作为下一层下采样的输入,得到不同层级的编码特征图。
在此方案中,由原始工件图像得到第一层级的编码特征图的过程可以为:先对所述原始工件图像进行连续多次的卷积操作能够为后续特征图引入更多的非线性信息;池化操作可以通过特征降维抽取关键特征信息。
和第一层级的编码特征图的生产过程类似,连续进行逐层的下采样,即每一层先通过连续多次(优选为两次)卷积操作,实现通道维度的扩增,再通过池化操作,进行空间特征的降维。
优选的,所述将待检测的原始工件图像输入所述编码器进行逐层下采样,具体包括:
将待检测的原始工件图像输入所述编码器连续进行三层逐层下采样操作。
在此方案中,为了避免细节信息的过度损失影响工件分割效果的精准性,只在编码器中进行三次下采样操作
第二方面,本申请提供了一种基于全局分割网络的工件尺寸测量装置,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的所述程序指令以实现如第一方面中任一技术方案所述的基于全局分割网络的工件尺寸测量方法。
第三方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有程序代码,所述程序代码用于实现如第一方面中任一技术方案所述的基于全局分割网络的工件尺寸测量方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:针对工件尺寸测量任务,该方法提出了由编码器和解码器两大部分组成的全局分割网络,并在解码器中设计了全局上下文路径,该路径通过将全局特征嵌入不同解码阶段的特征图中,使每个目标区域基于全局上下文信息获得同类工件的特征信息,从而显著增强网络对该类工件的精准化分割能力。
进一步的,本申请基于该网络还提出了工件尺寸测量方法,该方法能够自动从图像中分离出工件目标,快速准确地输出工件的尺寸测量结果,具有精度高、速度快、非接触、易于部署等优点,能够显著提升生产线的检测效率,保障产品质量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于全局分割网络的工件尺寸测量方法的结构示意图;
图2为本申请实施例提供的基于全局分割网络的工件尺寸测量方法的测量步骤示意图;
图3为本申请实施例提供的一种全局分割网络的网络结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解,下面对本申请实施例提供的一种基于全局分割网络的工件尺寸测量方法进行详细介绍,参见图1,一种基于全局分割网络的工件尺寸测量方法,包括以下步骤:
步骤S1,构建全局分割网络,所述全局分割网络包括呈对称结构的编码器和解码器;
步骤S2,将待检测的原始工件图像输入所述编码器进行逐层下采样,得到不同层级的编码特征图,其中所述原始工件图像中包括多个同类型的待测量工件;
步骤S3,所述编码器还用于根据所述编码特征图提取所述原始工件图像中所有所述待测量工件的全局上下文信息,得到每个待测量工件的全局特征向量;
步骤S4,将所述不同层级的编码特征图中的最后一个层级的编码特征图输入所述解码器进行逐层上采样,每一层上采样输出的特征图均与所述全局特征向量进行融合后再进行特征抽取得到当前层解码特征图,并将所述当前层解码特征图作为下一层上采样的输入,得到不同层级的解码特征图;
步骤S5,对所述不同层级的解码特征图中的最后一个层级的解码特征图进行阈值分割,得到所述待测量工件的二值图;
步骤S6,对所述二值图进行形态学处理,并对形态学处理后的二值图进行骨架细化处理,得到单像素宽度的工件骨架;
步骤S7,计算所述工件骨架在长度方向的像素点个数,并根据所述像素点个数与工件长度的关系,得出所述待测量工件的工件长度计算结果。
在本申请的一些具体实施例中,原始工件图像为提前拍摄的包含有多个同种类型的待测量工件的图像。在实际应用中,对拍摄的相机进行标定以后,利用标定好的相机在生产线上进行工件图像的连续拍摄。
拍摄得到的原始工件图像在输入编码器之前,还可以进行图像预处理操作,比如去除图像噪点,进行图像纠偏等,具体的预处理步骤这里不做限制。
原始工件图像输入编码器后,编码器对其进行逐层下采样处理,每一层下采样处理均可以包括以下步骤:先对原始工件图像进行连续多次的卷积操作(比如,连续两次的卷积操作),实现通道维度的扩增,为后续特征图引入更多的非线性信息,然后再通过池化层进行空间特征的降维以抽取关键特征信息,得到当前层编码特征图。
在本申请的一些具体实施例中,一张原始工件图像中包含了多个同类型的待测量工件,同类型工件的视觉特征具有高度相似性,在提取工件自身特征的同时,引入同类工件的特征信息,能够进一步提升算法对该工件的识别水平。因此,在本申请的一些具体实施例中,全局分割网络的解码器中设计了全局上下文路径,该路径通过将全局特征嵌入不同解码阶段的特征图中,使每个目标区域基于全局上下文信息获得同类工件的特征信息,从而显著增强网络对该类工件的精准化分割能力。
在本申请的一些具体实施例中,全局分割网络执行分割任务的目的是实现工件与背景的分离,因此,将最后一个层级的解码特征图输入最后一个卷积层中,将其通道数转化为2(分别表示工件和背景),得到中间特征图,最后,将该中间特征图中的第一通道图像转化为二值图并输出,其中像素值大于阈值的像素点值设为1,即前景,像素值小于阈值的像素点值设为0,即背景。
采用形态学操作对工件二值图中的工件区域进行骨架细化,直到工件的骨架宽度为一个像素点。计算工件在长度方向上的像素点个数,根据像素点个数与工件长度的关系,计算待测量工件的工件长度。
针对工件尺寸测量任务,该方法提出了由编码器和解码器两大部分组成的全局分割网络,并在解码器中设计了全局上下文路径,该路径通过将全局特征嵌入不同解码阶段的特征图中,使每个目标区域基于全局上下文信息获得同类工件的特征信息,从而显著增强网络对该类工件的精准化分割能力。
进一步的,本申请基于该网络还提出了工件尺寸测量方法,该方法能够自动从图像中分离出工件目标,快速准确地输出工件的尺寸测量结果,具有精度高、速度快、非接触、易于部署等优点,能够显著提升生产线的检测效率,保障产品质量。
在本申请的一些具体实施例中,所述根据所述像素点个数与工件长度的关系,得出所述待测量工件的工件长度计算结果,具体包括:
根据公式(1)计算所述待测量工件的工件长度D:
Figure 470952DEST_PATH_IMAGE001
(1)
其中,z为通过相机标定获得的尺度因子,d为待测量工件的工件骨架在长度方向上的像素点个数。
在本申请的一些具体实施例中,相机用于拍摄原始工件图像。
在本申请的一些具体实施例中,在所述根据所述像素点个数与工件长度的关系,得出所述待测量工件的工件长度计算结果之前,还包括:进行相机标定,以确定像素和工件真实尺寸的对应关系。
在本申请的一些具体实施例中,在拍摄工件图像之前,需要对相机进行标定。
在本申请的一些具体实施例中,所述进行相机标定,具体包括:
采用尺度因子法进行相机标定,根据公式(2)计算尺度因子z:
Figure 803845DEST_PATH_IMAGE002
(2)
其中, M为相机到工件平面的距离,f为相机的镜头焦距,d为待测量工件的工件骨架在长度方向上的像素点个数。
在本申请的一些具体实施例中,所述每一层上采样输出的特征图均与所述全局特征向量进行融合后再进行特征抽取得到当前层解码特征图,具体包括:
每一层上采样输出的特征图均与所述全局特征向量进行点积运算后再通过卷积操作进行特征抽取,得到当前层解码特征图。
在本申请的一些具体实施例中,所述每一层上采样输出的特征图均与所述全局特征向量进行点积运算之前,还包括:
调整所述全局特征向量的通道维度,以保证所述全局特征向量与所述当前层解码特征图维度一致。
在本申请的一些具体实施例中,不同解码阶段(即不同层级的解码阶段)区别在于全局特征向量的计算方式不同,采用不同计算方式是为了调整不同阶段全局特征向量的通道维度,以保证其能够和该阶段的解码特征图进行后续的点积运算,避免因为矩阵维度不一致,无法进行点积运算。
在本申请的一些具体实施例中,所述将待检测的原始工件图像输入所述编码器进行逐层下采样,得到不同层级的编码特征图,具体包括:
所述编码器对输入的所述原始工件图像进行当前层级的下采样操作,具体包括:先对所述原始工件图像进行卷积操作,实现通道维度的扩增,再通过池化操作,进行空间特征的降维,得到当前层编码特征图;
将所述当前层编码特征图作为下一层下采样的输入,得到不同层级的编码特征图。
在本申请的一些具体实施例中,由原始工件图像得到第一层级的编码特征图的过程可以为:先对所述原始工件图像进行连续多次的卷积操作能够为后续特征图引入更多的非线性信息;池化操作可以通过特征降维抽取关键特征信息。
和第一层级的编码特征图的生产过程类似,连续进行逐层的下采样,即每一层先通过连续多次(优选为两次)卷积操作,实现通道维度的扩增,再通过池化操作,进行空间特征的降维。
在本申请的一些具体实施例中,所述将待检测的原始工件图像输入所述编码器进行逐层下采样,具体包括:
将待检测的原始工件图像输入所述编码器连续进行三层逐层下采样操作。
在本申请的一些具体实施例中,为了避免细节信息的过度损失影响工件分割效果的精准性,只在编码器中进行三次下采样操作
在本申请的又一些具体实施例中,还提供了一种基于全局分割网络的工件尺寸测量装置,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的所述程序指令以实现如第一方面中任一技术方案所述的基于全局分割网络的工件尺寸测量方法。
在本申请的又一些具体实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有程序代码,所述程序代码用于实现如第一方面中任一技术方案所述的基于全局分割网络的工件尺寸测量方法。
为了便于理解,下面通过具体示例对本申请提供的方法进行详细说明。
首先,本申请的目的是提供一种基于全局分割网络(Global Segmentation-Network,GS-Net)的工件尺寸测量方法,面向生产线上的工件长度测量,工件尺寸测量方法的具体步骤参见图2所示:
步骤一、相机标定。由于在实际应用过程中,工业相机的光轴始终垂直于工件所在平面,且相机与平面的相对位置保持固定,因此采用尺度因子法进行相机标定,以确定像素和工件真实尺寸的对应关系。尺度因子z的计算公式如式(2)所示,其中M为工业相机到工件平面的距离,f为相机的镜头焦距,d为工件长度在图像上的像素数:
Figure 257698DEST_PATH_IMAGE002
(2)
步骤二、建立工件分割数据集。首先,采用工业相机在生产线上进行工件图像的连续拍摄,使相机光轴始终垂直于拍摄平面且保持不变,考虑到卷积操作可能导致网络对边缘区域的预测效果不佳,拍摄过程中,应确保各个工件目标位于图像的中心区域;接下来,采用标注软件进行标注,在工件图像中标注出各个工件的所在区域,从而获得每张图像对应的标注文件。最后,基于工件图像与对应的标注文件,得到工件分割数据集,并将其分为训练集和测试集。
步骤三、构建编码器。接下来,针对工件尺寸测量任务,进行全局分割网络(GlobalSegmentation-Network,GS-Net)的设计,该网络由编码器和全局解码器两大部分组成。如图3所示,以本发明输入一张待检测的维度为572×572×1的工件图像A1为例,展示GS-Net编码器的设计过程:对A1进行一个3*3卷积核的卷积操作,获得尺寸为570×570×64的特征图A2,再对A2进行一个3*3卷积核的卷积操作,获得尺寸为568×568×64的特征图A3。再将A3输入池化核为2*2的最大池化层中,获得尺寸为284×284×64的特征图B1。上述操作中,连续两次的3*3卷积操作能够为后续特征图引入更多的非线性信息;池化层通过特征降维抽取关键特征信息。
以上为从A1得到B1的编码方式,从B1到C1以及从C1到D1的编码方式与之类似,即先通过连续两次卷积操作,实现通道维度的扩增,再通过池化操作,进行空间特征的降维。最后,对D1再进行连续两次3*3卷积核的卷积操作,获得尺寸为64×64×512的特征图D3。为了避免细节信息的过度损失影响工件分割效果的精准性,只在编码器中进行三次下采样操作。
步骤四、构建全局解码器。
在实际应用场景中,一张工件图像包含了多个同类型的待测量工件,而同类型工件的视觉特征具有高度相似性,在提取工件自身特征的同时,引入同类工件的特征信息,能够进一步提升算法对该工件的识别水平。因此,本方法在解码器中设计了全局上下文路径,该路径通过将全局特征嵌入不同解码阶段的特征图中,使每个目标区域基于全局上下文信息获得同类工件的特征信息,从而显著增强网络对该类工件的精准化分割能力。
如图3所示,全局解码器的设计过程如下:
首先对特征图D3进行上采样操作,获得尺寸为128×128×512的特征图,再将该特征图输入1*1卷积层进行通道数转换,获得尺寸为128×128×256的特征图E1.
接下来,将编码路径中的特征图A3(568×568×64)输入全局平均池化层(Globalaverage pooling,GAP)中,以提取全局级别的特征信息,获得尺寸为1×1×64、携带全局上下文信息的全局特征向量A4。
随后,对A4进行一个1*1卷积核的卷积操作,获得尺寸为1×1×256的全局特征向量。将该全局特征向量与特征图E1进行点积运算,再对其输出特征图进行一个3*3卷积核的卷积操作,获得尺寸为126×126×256的特征图E2。将E2再次输入3*3卷积核的卷积层中,获得尺寸为124×124×256的特征图E3。
以上为从D3得到E3的解码阶段,从E3到F3以及从F3到G3的解码阶段与之类似,即先进行上采样操作,然后与全局特征向量进行点积运算,再通过两层卷积层进行进一步特征抽取。各解码阶段的区别在于全局特征向量的计算方式不同:从E3到F3的解码阶段,所采用的全局特征向量是A4进行卷积操作(卷积核为1*1)后输出的全局特征向量(尺寸为1×1×128);从F3到G3的解码阶段,所采用的全局特征向量是A4(尺寸为1×1×64)。
由于本分割任务的目的是实现工件与背景的分离,因此将G3输入最后一个卷积层中,将其通道数转化为2(分别表示工件和背景),得到尺寸为482×482×2的特征图G4。
最后,将特征图G4中第一通道图像转化为二值图并输出,其中像素值大于阈值的像素点值设为1,即前景,像素值小于阈值的像素点值设为0,即背景。
以上即为GS-Net分割网络的整体设计过程。
步骤五、训练GS-Net网络,获得GS-Net模型。采用工件分割数据集中的训练集训练GS-Net网络,基于中心损失函数进行网络参数更新,直到其在测试集上获得符合预设要求的分割精度,得到最终的GS-Net模型。
步骤六、将待测量长度的工件图像输入训练好的GS-Net模型中,获得工件的二值图像,即最终的分割特征图。
步骤七、采用形态学操作对工件二值图中的工件区域进行骨架细化,直到工件的骨架宽度为一个像素点。计算工件在长度方向上的像素点个数d,并根据公式(1)得到工件的长度D,其中z为通过相机标定获得的尺度因子:
Figure 283422DEST_PATH_IMAGE001
(1)
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于全局分割网络的工件尺寸测量方法,其特征在于,包括:
构建全局分割网络,所述全局分割网络包括呈对称结构的编码器和解码器;
将待检测的原始工件图像输入所述编码器进行逐层下采样,得到不同层级的编码特征图,其中所述原始工件图像中包括多个同类型的待测量工件;
所述编码器还用于根据所述编码特征图提取所述原始工件图像中所有所述待测量工件的全局上下文信息,得到每个待测量工件的全局特征向量;
将所述不同层级的编码特征图中的最后一个层级的编码特征图输入所述解码器进行逐层上采样,每一层上采样输出的特征图均与所述全局特征向量进行融合后再进行特征抽取得到当前层解码特征图,并将所述当前层解码特征图作为下一层上采样的输入,得到不同层级的解码特征图;
对所述不同层级的解码特征图中的最后一个层级的解码特征图进行阈值分割,得到所述待测量工件的二值图;
对所述二值图进行形态学处理,并对形态学处理后的二值图进行骨架细化处理,得到单像素宽度的工件骨架;
计算所述工件骨架在长度方向的像素点个数,并根据所述像素点个数与工件长度的关系,得出所述待测量工件的工件长度计算结果。
2.根据权利要求1所述的基于全局分割网络的工件尺寸测量方法,其特征在于,所述根据所述像素点个数与工件长度的关系,得出所述待测量工件的工件长度计算结果,具体包括:
根据公式(1)计算所述待测量工件的工件长度D:
Figure 738200DEST_PATH_IMAGE001
(1)
其中,z为通过相机标定获得的尺度因子,d为待测量工件的工件骨架在长度方向上的像素点个数。
3.根据权利要求2所述的基于全局分割网络的工件尺寸测量方法,其特征在于,在所述根据所述像素点个数与工件长度的关系,得出所述待测量工件的工件长度计算结果之前,还包括:进行相机标定,以确定像素和工件真实尺寸的对应关系。
4.根据权利要求3所述的基于全局分割网络的工件尺寸测量方法,其特征在于,所述进行相机标定,具体包括:
采用尺度因子法进行相机标定,根据公式(2)计算尺度因子z:
Figure 874783DEST_PATH_IMAGE002
(2)
其中, M为相机到工件平面的距离,f为相机的镜头焦距,d为待测量工件的工件骨架在长度方向上的像素点个数。
5.根据权利要求1所述的基于全局分割网络的工件尺寸测量方法,其特征在于,所述每一层上采样输出的特征图均与所述全局特征向量进行融合后再进行特征抽取得到当前层解码特征图,具体包括:
每一层上采样输出的特征图均与所述全局特征向量进行点积运算后再通过卷积操作进行特征抽取,得到当前层解码特征图。
6.根据权利要求5所述的基于全局分割网络的工件尺寸测量方法,其特征在于,所述每一层上采样输出的特征图均与所述全局特征向量进行点积运算之前,还包括:
调整所述全局特征向量的通道维度,以保证所述全局特征向量与所述当前层解码特征图维度一致。
7.根据权利要求1所述的基于全局分割网络的工件尺寸测量方法,其特征在于,所述将待检测的原始工件图像输入所述编码器进行逐层下采样,得到不同层级的编码特征图,具体包括:
所述编码器对输入的所述原始工件图像进行当前层级的下采样操作,具体包括:先对所述原始工件图像进行卷积操作,实现通道维度的扩增,再通过池化操作,进行空间特征的降维,得到当前层编码特征图;
将所述当前层编码特征图作为下一层下采样的输入,得到不同层级的编码特征图。
8.根据权利要求7所述的基于全局分割网络的工件尺寸测量方法,其特征在于,所述将待检测的原始工件图像输入所述编码器进行逐层下采样,具体包括:
将待检测的原始工件图像输入所述编码器连续进行三层逐层下采样操作。
9.一种基于全局分割网络的工件尺寸测量装置,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的所述程序指令以实现如权利要求1至8中任一项所述的基于全局分割网络的工件尺寸测量方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序代码,所述程序代码用于实现如权利要求1至8中任一项所述的基于全局分割网络的工件尺寸测量方法。
CN202210255341.8A 2022-03-16 2022-03-16 基于全局分割网络的工件尺寸测量方法、装置及存储介质 Active CN114322793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210255341.8A CN114322793B (zh) 2022-03-16 2022-03-16 基于全局分割网络的工件尺寸测量方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210255341.8A CN114322793B (zh) 2022-03-16 2022-03-16 基于全局分割网络的工件尺寸测量方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114322793A true CN114322793A (zh) 2022-04-12
CN114322793B CN114322793B (zh) 2022-07-15

Family

ID=81033383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210255341.8A Active CN114322793B (zh) 2022-03-16 2022-03-16 基于全局分割网络的工件尺寸测量方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114322793B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103499303A (zh) * 2013-09-27 2014-01-08 中国人民解放军空军工程大学 一种羊毛细度自动测量方法
CN109186461A (zh) * 2018-07-27 2019-01-11 南京阿凡达机器人科技有限公司 一种箱体大小的测量方法及测量设备
CN110111345A (zh) * 2019-05-14 2019-08-09 西安电子科技大学 一种基于注意力网络的3d点云分割方法
CN110781756A (zh) * 2019-09-29 2020-02-11 北京化工大学 基于遥感图像的城市道路提取方法及装置
US20200378751A1 (en) * 2019-05-29 2020-12-03 Bae Systems Information And Electronic Systems Integration Inc. Shearography detection and classification
CN112102321A (zh) * 2020-08-07 2020-12-18 深圳大学 一种基于深度卷积神经网络的病灶图像分割方法及***
CN112365533A (zh) * 2020-10-15 2021-02-12 浙江大华技术股份有限公司 基于图像分割的煤流量监测方法、装置和电子装置
CN112529850A (zh) * 2020-11-27 2021-03-19 四川蓝光优居科技有限公司 一种基于多视角多尺度图片测量苗木尺寸的方法及***
EP3846127A1 (en) * 2020-01-06 2021-07-07 Hand Held Products, Inc. Dark parcel dimensioning
US20210215481A1 (en) * 2018-11-09 2021-07-15 Wuyi University Method for measuring antenna downtilt angle based on multi-scale deep semantic segmentation network
CN113505792A (zh) * 2021-06-30 2021-10-15 中国海洋大学 面向非均衡遥感图像的多尺度语义分割方法及模型
CN113538378A (zh) * 2021-07-16 2021-10-22 哈尔滨理工大学 一种基于深度学习的轴承尺寸在线检测***
CN113538313A (zh) * 2021-07-22 2021-10-22 深圳大学 一种息肉分割方法、装置、计算机设备及存储介质
CN113688836A (zh) * 2021-09-28 2021-11-23 四川大学 一种基于深度学习的实时性道路图像语义分割方法及***
CN113762020A (zh) * 2021-02-01 2021-12-07 长安大学 一种基于矩阵结构深度神经网络的公路路面裂缝检测***
CN113888641A (zh) * 2021-09-16 2022-01-04 广西大学 一种基于机器视觉和深度学习的立木胸径测量方法
CN113947609A (zh) * 2021-10-12 2022-01-18 中南林业科技大学 深度学习网络结构及多标签主动脉夹层ct图像分割方法
US20220026918A1 (en) * 2020-07-23 2022-01-27 Toyota Research Institute, Inc. System and method for monocular depth estimation from semantic information

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103499303A (zh) * 2013-09-27 2014-01-08 中国人民解放军空军工程大学 一种羊毛细度自动测量方法
CN109186461A (zh) * 2018-07-27 2019-01-11 南京阿凡达机器人科技有限公司 一种箱体大小的测量方法及测量设备
US20210215481A1 (en) * 2018-11-09 2021-07-15 Wuyi University Method for measuring antenna downtilt angle based on multi-scale deep semantic segmentation network
CN110111345A (zh) * 2019-05-14 2019-08-09 西安电子科技大学 一种基于注意力网络的3d点云分割方法
US20200378751A1 (en) * 2019-05-29 2020-12-03 Bae Systems Information And Electronic Systems Integration Inc. Shearography detection and classification
CN110781756A (zh) * 2019-09-29 2020-02-11 北京化工大学 基于遥感图像的城市道路提取方法及装置
EP3846127A1 (en) * 2020-01-06 2021-07-07 Hand Held Products, Inc. Dark parcel dimensioning
US20220026918A1 (en) * 2020-07-23 2022-01-27 Toyota Research Institute, Inc. System and method for monocular depth estimation from semantic information
CN112102321A (zh) * 2020-08-07 2020-12-18 深圳大学 一种基于深度卷积神经网络的病灶图像分割方法及***
CN112365533A (zh) * 2020-10-15 2021-02-12 浙江大华技术股份有限公司 基于图像分割的煤流量监测方法、装置和电子装置
CN112529850A (zh) * 2020-11-27 2021-03-19 四川蓝光优居科技有限公司 一种基于多视角多尺度图片测量苗木尺寸的方法及***
CN113762020A (zh) * 2021-02-01 2021-12-07 长安大学 一种基于矩阵结构深度神经网络的公路路面裂缝检测***
CN113505792A (zh) * 2021-06-30 2021-10-15 中国海洋大学 面向非均衡遥感图像的多尺度语义分割方法及模型
CN113538378A (zh) * 2021-07-16 2021-10-22 哈尔滨理工大学 一种基于深度学习的轴承尺寸在线检测***
CN113538313A (zh) * 2021-07-22 2021-10-22 深圳大学 一种息肉分割方法、装置、计算机设备及存储介质
CN113888641A (zh) * 2021-09-16 2022-01-04 广西大学 一种基于机器视觉和深度学习的立木胸径测量方法
CN113688836A (zh) * 2021-09-28 2021-11-23 四川大学 一种基于深度学习的实时性道路图像语义分割方法及***
CN113947609A (zh) * 2021-10-12 2022-01-18 中南林业科技大学 深度学习网络结构及多标签主动脉夹层ct图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHAO XIANG等: "GSNet:Group Sequential Learning for Image Recognition", 《COGNITIVE COMPUTATION》 *
SHENG LI等: "GCA-Net:global context attention network for intestinal wall vascular segmentation", 《INTERNATIONAL JOURNAL OF COMPUTER ASSISTANT RADIOLOGY AND SURGERY》 *
温静等: "基于多级全局信息传递模型的视觉显著性检测", 《计算机应用》 *

Also Published As

Publication number Publication date
CN114322793B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN110866924B (zh) 一种线结构光中心线提取方法及存储介质
CN111768388B (zh) 一种基于正样本参考的产品表面缺陷检测方法及***
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN111861880B (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN109740515B (zh) 一种评阅方法及装置
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及***
CN114155527A (zh) 一种场景文本识别方法和装置
CN108550166B (zh) 一种空间目标图像匹配方法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN113989604B (zh) 基于端到端深度学习的轮胎dot信息识别方法
Zhu et al. HMFCA-Net: Hierarchical multi-frequency based Channel attention net for mobile phone surface defect detection
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
CN112597998A (zh) 一种基于深度学习的扭曲图像矫正方法、装置和存储介质
CN116503760A (zh) 基于自适应边缘特征语义分割的无人机巡航检测方法
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN115082888A (zh) 一种车道线检测方法和装置
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN117036756B (zh) 基于变分自动编码器的遥感图像匹配方法及***
CN114322793B (zh) 基于全局分割网络的工件尺寸测量方法、装置及存储介质
CN110349129B (zh) 一种高密度柔性ic基板外观缺陷检测方法
CN107273793A (zh) 一种用于人脸识别的特征提取方法
CN114998630B (zh) 一种从粗到精的地对空图像配准方法
CN111415378A (zh) 用于汽车玻璃检测的图像配准方法及汽车玻璃检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant