CN115953410A - 一种基于目标检测无监督学习的腐蚀坑自动检测方法 - Google Patents

Abstract

本发明公开了一种基于目标检测无监督学习的腐蚀坑自动检测方法，使用基于三维点云的方法自动识别分析物体（比如容器、管道）上的腐蚀坑，自动判断腐蚀坑是否符合要求，包括下述步骤：1）根据腐蚀坑特点自动生成大量腐蚀坑数据；2）利用自动生成的腐蚀坑数据和真实腐蚀坑数据对目标检测模型进行混合训练；3）利用训练好的目标检测模型自动识别腐蚀坑。

Description

一种基于目标检测无监督学习的腐蚀坑自动检测方法

技术领域

本发明涉及检测技术领域，具体地说，是一种基于目标检测无监督学习的腐蚀坑自动检测方法。

背景技术

根据特种设备安全技术规范中的要求，压力容器在长期使用后，会出现腐蚀表面、凹坑现象，需要定期的对物体（比如容器、管道）进行检测，并根据技术规范中的规格计算腐蚀是否允许存在，若不允许存在则物体（比如容器、管道）应报废处理。

一般来说腐蚀坑都是采用人工手动测量的方式测量，如此将耗费极大的人力和物力，并且工作效率也极低。

发明内容

目前利用深度学习模型来识别物体（比如容器、管道）上的腐蚀坑存在一个主要的困难即是缺乏带有腐蚀坑的物体的三维点云数据，若数据量不足，则训练出的自动识别物体上腐蚀坑的精度和鲁棒性也会不足，本发明的目的在于设计一种基于目标检测无监督学习的腐蚀坑自动检测方法，解决了数据不足的问题，利用自动生成的数据和真实数据混合训练的方式训练深度学习模型，达到利用深度学习模型自动检测腐蚀坑的效果。

本发明通过下述技术方案实现：一种基于目标检测无监督学习的腐蚀坑自动检测方法，包括下述步骤：

1）根据腐蚀坑特点模拟自动生成大量腐蚀坑数据；

2）利用自动生成的腐蚀坑数据和真实腐蚀坑数据对目标检测模型进行混合训练；

3）利用训练好的目标检测模型自动识别腐蚀坑。

进一步的为更好地实现本发明所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，特别采用下述设置方式：所述步骤1）包括下述步骤：

1.1）生成理想物体（比如容器、管道）表面点云，其半径范围根据实际情况为50～1000mm；

1.2）由于在实际工作中，双目相机在使用过程中不一定绝对垂直于物体（比如容器、管道）表面，因此需采用下述方式提高生成数据的真实性：将理想物体（比如容器、管道）表面点云绕y轴和z轴进行旋转，旋转的随机角度范围设置为±15度；

1.3）将旋转后的理想物体（比如容器、管道）表面点云转换为深度图像，且z轴变化为深度图像的图像深度；

1.4）根据实际中腐蚀坑的深度和大小，生成半球型腐蚀坑三维点云；

1.5）由于在物体（比如容器、管道）壁上的腐蚀坑朝向有随机性，因此对半球型腐蚀坑进行随机旋转；

1.6）将旋转后的半球型腐蚀坑转换为深度图像，且z轴变化为深度图像的图像深度；

1.7）由于腐蚀坑的大小有随机性，因此随机的将半球型腐蚀坑的宽高比进行变换，宽度和高度的比值范围为5～0.5；

1.8）由于腐蚀坑并非全部都是圆或椭圆形状，因此再通过利用coco数据集中的各种目标的轮廓模板来改变半球型腐蚀坑的形状，得到半球型腐蚀坑各种各样的形状；

1.9）将半球型腐蚀坑的深度图像与理想物体（比如容器、管道）表面的深度图像某一区域相加或相减；其中，相加即是外凸型腐蚀坑，相减则为内凹型腐蚀坑；

1.10）循环步骤1.4）～步骤1.9），重复添加各种各样形状的半球型腐蚀坑，直到各种各样形状的半球型腐蚀坑数量达到设定值，保存所有添加的各种各样形状的半球型腐蚀坑位置；

1.11）为了防止腐蚀坑之间互相重叠，需要删除重叠数据：要求生成的数据，每个物体（比如容器、管道）上的腐蚀坑不能互相重叠，因此计算物体（比如容器、管道）上每个腐蚀坑与其他腐蚀坑的iou值，若iou值大于0则删除此腐蚀坑，如此删除掉互相重叠的腐蚀坑；

1.12）经步骤1.11）删除掉物体（比如容器、管道）上重叠的腐蚀坑后，将没有重叠腐蚀坑的物体深度图像按照32位图像（若存储为8位图像则精度不足）进行存储，存储所有物体（比如容器、管道）上的未重叠的腐蚀坑位置数据到对应的json文件中。

进一步的为更好地实现本发明所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，与前述技术方案相同之处在此不再赘述：所述步骤2）包括下述步骤：

2.1）对目标检测模型进行权重的初始化；

2.2）采用在coco数据集预训练的目标检测模型权重进行迁移学习，如此做能够极大的提高模型鲁棒性。

2.3）采用初始学习率0.0001使用自动生成的腐蚀坑数据进行目标检测模型粗训练，训练过程中需要对自动生成的腐蚀坑数据添加不同尺度的噪声，用来模拟真实物体（比如容器、管道）不是绝对光滑的状态；

2.4）在目标检测模型训练到40epoch（次）后，其学习率降低为0.00001，此时等量输入自动生成的腐蚀坑数据和真实腐蚀坑数据进行训练；

2.5）目标检测模型训练到5epoch后，loss趋于稳定停止目标检测模型训练。

进一步的为更好地实现本发明所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，与前述技术方案相同之处在此不再赘述：所述自动生成的腐蚀坑数据和真实腐蚀坑数据的数据量比例为：1000：1。

进一步的为更好地实现本发明所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，与前述技术方案相同之处在此不再赘述：所述目标检测模型采用yolov4网络结构。

进一步的为更好地实现本发明所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，与前述技术方案相同之处在此不再赘述：所述步骤3）包括下述步骤：

3.1）利用深度相机拍摄待检测物体表面生成物体（比如容器、管道）表面三维点云；

3.2）截取物体（比如容器、管道）表面三维点云中心区域30cm×30cm大小转换为深度图像；

3.3）预处理步骤3.2）所得深度图像，将深度图像除以250；

3.4）将3.3）所得输入到经步骤2）训练好后的目标检测模型，分析深度图像后返回关于腐蚀坑的所有标记框；

3.5）求取每个腐蚀坑标记框的深度即是腐蚀坑的深度，标记框的长和宽即是腐蚀坑长宽。

本发明与现有技术相比，具有以下优点及有益效果：

本发明使用基于三维点云的方法自动识别分析物体（比如容器、管道）上的腐蚀坑，自动判断腐蚀坑是否符合要求。

本发明能够提高工人工作效率、提高检测精度。

本发明在应用物体实际三维点云数据时，无需人工标注数据即可训练出目标检测模型对物体缺陷进行检测。

本发明通过程序模拟自动生成带有腐蚀坑的物体（比如容器、管道）三维点云数据，不需要或仅需要少量的人工标注数据就可以训练出深度学习模型来鲁棒的自动识别物体（比如容器、管道）上的腐蚀坑。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对本发明实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”、“布设”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体，具体通过什么手段不限于螺接、过盈配合、铆接、螺纹辅助连接等各种常规机械连接方式。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

名词解释：

coco数据集：一种数据包括图像，和图像中的各种目标的位置信息的数据集。

json文件：一种文件存储格式。

iou值：深度学习模型识别出的目标的位置和真实目标的位置之间距离的一种度量。

loss：损失值。

yolov4网络：一种用来检测图像中的目标的位置的深度学习模型。

epoch：次。

实施例1：

一种基于目标检测无监督学习的腐蚀坑自动检测方法，解决了数据不足的问题，利用自动生成的数据和真实数据混合训练的方式训练深度学习模型，达到利用深度学习模型自动检测腐蚀坑的效果，包括下述步骤：

1）根据腐蚀坑特点模拟自动生成大量腐蚀坑数据；

2）利用自动生成的腐蚀坑数据和真实腐蚀坑数据对目标检测模型进行混合训练；

3）利用训练好的目标检测模型自动识别腐蚀坑。

实施例2：

本实施例是在上述实施例的基础上进一步优化，与前述技术方案相同之处在此不再赘述，进一步的为更好地实现本发明所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，特别采用下述设置方式：所述步骤1）包括下述步骤：

1.1）生成理想物体（比如容器、管道）表面点云，其半径范围根据实际情况为50～1000mm；

1.2）由于在实际工作中，双目相机在使用过程中不一定绝对垂直于物体（比如容器、管道）表面，因此需采用下述方式提高生成数据的真实性：将理想物体（比如容器、管道）表面点云绕y轴和z轴进行旋转，旋转的随机角度范围设置为±15度；

1.3）将旋转后的理想物体（比如容器、管道）表面点云转换为深度图像，且z轴变化为深度图像的图像深度；

1.4）根据实际中腐蚀坑的深度和大小，生成半球型腐蚀坑三维点云；

1.5）由于在物体（比如容器、管道）壁上的腐蚀坑朝向有随机性，因此对半球型腐蚀坑进行随机旋转；

1.6）将旋转后的半球型腐蚀坑转换为深度图像，且z轴变化为深度图像的图像深度；

1.7）由于腐蚀坑的大小有随机性，因此随机的将半球型腐蚀坑的宽高比进行变换，宽度和高度的比值范围为5～0.5；

1.8）由于腐蚀坑并非全部都是圆或椭圆形状，因此再通过利用coco数据集中的各种目标的轮廓模板来改变半球型腐蚀坑的形状，得到半球型腐蚀坑各种各样的形状；

1.9）将半球型腐蚀坑的深度图像与理想物体（比如容器、管道）表面的深度图像某一区域相加或相减；其中，相加即是外凸型腐蚀坑，相减则为内凹型腐蚀坑；

1.10）循环步骤1.4）～步骤1.9），重复添加各种各样形状的半球型腐蚀坑，直到各种各样形状的半球型腐蚀坑数量达到设定值，保存所有添加的各种各样形状的半球型腐蚀坑位置；

1.11）为了防止腐蚀坑之间互相重叠，需要删除重叠数据：我们要求生成的数据，每个物体上的腐蚀坑不能互相重叠，因此计算物体（比如容器、管道）上每个腐蚀坑与其他腐蚀坑的iou值，若iou值大于0则删除此腐蚀坑，如此删除掉互相重叠的腐蚀坑；

1.12）经步骤1.11）删除掉物体上重叠的腐蚀坑后，将没有重叠腐蚀坑的物体深度图像按照32位图像（若存储为8位图像则精度不足）进行存储，存储所有物体（比如容器、管道）上的未重叠的腐蚀坑位置数据到对应的json文件中。

实施例3：

本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同之处在此不再赘述，进一步的为更好地实现本发明所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，与前述技术方案相同之处在此不再赘述：所述步骤2）包括下述步骤：

2.1）对目标检测模型进行权重的初始化；

2.2）采用在coco数据集预训练的目标检测模型权重进行迁移学习，如此做能够极大的提高模型鲁棒性。

2.3）采用初始学习率0.0001使用自动生成的腐蚀坑数据进行目标检测模型粗训练，训练过程中需要对自动生成的腐蚀坑数据添加不同尺度的噪声，用来模拟真实物体（比如容器、管道）不是绝对光滑的状态；

2.4）在目标检测模型训练到40epoch后，其学习率降低为0.00001，此时等量输入自动生成的腐蚀坑数据和真实腐蚀坑数据进行训练；

2.5）目标检测模型训练到5epoch后，loss趋于稳定停止目标检测模型训练。

实施例4：

本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同之处在此不再赘述，进一步的为更好地实现本发明所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，与前述技术方案相同之处在此不再赘述：所述自动生成的腐蚀坑数据和真实腐蚀坑数据的数据量比例为：1000：1。

实施例5：

本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同之处在此不再赘述，进一步的为更好地实现本发明所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，与前述技术方案相同之处在此不再赘述：所述目标检测模型采用yolov4网络结构。

实施例6：

本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同之处在此不再赘述，进一步的为更好地实现本发明所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，与前述技术方案相同之处在此不再赘述：所述步骤3）包括下述步骤：

3.1）利用深度相机拍摄待检测物体（比如容器、管道）表面生成物体表面三维点云；

3.2）截取物体（比如容器、管道）表面三维点云中心区域30cm×30cm大小转换为深度图像；

3.3）预处理步骤3.2）所得深度图像，将深度图像除以250；

3.4）将3.3）所得输入到经步骤2）训练好后的目标检测模型，分析深度图像后返回关于腐蚀坑的所有标记框；

3.5）求取每个腐蚀坑标记框的深度即是腐蚀坑的深度，标记框的长和宽即是腐蚀坑长宽。

实施例7：

本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同之处在此不再赘述，一种基于目标检测无监督学习的腐蚀坑自动检测方法，包括下述步骤：

（1）生成理想管道表面点云，其半径范围根据实际情况为50～1000mm；

（2）由于在实际工作中，双目相机在使用过程中不一定绝对垂直于管道表面，因此需采用下述方式提高生成数据的真实性：将理想管道表面点云绕y轴和z轴进行旋转，旋转的随机角度范围设置为±15度；

（3）将旋转后的理想管道表面点云转换为理想管道表面深度图像，且z轴变化为理想管道表面深度图像的图像深度；

（4）根据实际中腐蚀坑的深度和大小，生成半球型腐蚀坑三维点云；

（5）由于在管道壁上的腐蚀坑朝向有随机性，因此对半球型腐蚀坑进行随机旋转；

（6）将旋转后的半球型腐蚀坑转换为半球型腐蚀坑深度图像，且z轴变化为半球型腐蚀坑深度图像的图像深度；

（7）由于腐蚀坑的大小有随机性，因此随机的将半球型腐蚀坑的宽高比进行变换，宽度和高度的比值范围为5～0.5；

（8）由于腐蚀坑并非全部都是圆或椭圆形状，因此再通过利用coco数据集中的各种目标的轮廓模板来改变半球型腐蚀坑的形状，得到半球型腐蚀坑各种各样的形状；

（9）将半球型腐蚀坑深度图像与理想管道表面深度图像某一区域相加或相减；其中，相加即是外凸型腐蚀坑，相减则为内凹型腐蚀坑；

（10）循环步骤（4）～步骤（9），重复添加各种各样形状的半球型腐蚀坑，直到各种各样形状的半球型腐蚀坑数量达到设定值，保存所有添加的各种各样形状的半球型腐蚀坑位置；

（11）为了防止腐蚀坑之间互相重叠，需要删除重叠数据：要求生成的数据，每个物体上的腐蚀坑不能互相重叠，因此计算管道上每个腐蚀坑与其他腐蚀坑的iou值，若iou值大于0则删除此腐蚀坑，如此删除掉互相重叠的腐蚀坑；

（12）经删除重叠数据后，将带有腐蚀坑的深度图像按照32位图像（若存储为8位图像则精度不足）进行存储，存储所有管道上的未重叠的腐蚀坑位置数据到对应的json文件中；

（13）选择yolov4网络结构作为目标检测模型，利用经过步骤（1）~（12）自动生成的腐蚀坑数据和少量的真实腐蚀坑数据（人工标注数据）进行目标检测模型混合训练；其中，自动生成的腐蚀坑数据和少量的真实腐蚀坑数据的数据量比例为1000：1，实际中，真实腐蚀坑数据的数据量为20个，在对目标检测模型的权重进行初始化时，采用在coco数据集预训练的目标检测模型权重进行迁移学习，如此做能够极大的提高模型鲁棒性。

具体的混合训练步骤包括下述步骤：

（14）初始化后，采用初始学习率0.0001使用自动生成的腐蚀坑数据进行目标检测模型粗训练，训练过程中需要对自动生成的腐蚀坑数据添加不同尺度的噪声，用来模拟真实管道不是绝对光滑的状态；

（15）在目标检测模型训练到40epoch后，其学习率降低为0.00001，此时等量输入自动生成的腐蚀坑数据和真实腐蚀坑数据进行训练；

（16）目标检测模型训练到5epoch后，loss趋于稳定停止目标检测模型训练。

而后利用训练好的目标检测模型自动识别腐蚀坑，具体包括下述步骤：

（17）利用深度相机拍摄待检测管道表面生成物体表面三维点云；

（18）截取管道表面三维点云中心区域30cm×30cm大小转换为深度图像；

（19）预处理步骤（18）所得深度图像，将深度图像除以250；

（20）将步骤（19）所得输入到训练好后的目标检测模型，分析深度图像后返回关于腐蚀坑的所有标记框；

（21）求取每个腐蚀坑标记框的深度即是腐蚀坑的深度，标记框的长和宽即是腐蚀坑长宽。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均在本发明的保护范围之内。

Claims (6)

1.一种基于目标检测无监督学习的腐蚀坑自动检测方法，其特征在于：包括下述步骤：

1）根据腐蚀坑特点自动生成大量腐蚀坑数据；

2）利用自动生成的腐蚀坑数据和真实腐蚀坑数据对目标检测模型进行混合训练；

3）利用训练好的目标检测模型自动识别腐蚀坑。

2.根据权利要求1所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，其特征在于：所述步骤1）包括下述步骤：

1.1）生成理想物体表面点云，其半径范围为50～1000mm；

1.2）将理想物体表面点云绕y轴和z轴进行旋转，旋转的随机角度范围设置为±15度；

1.3）将旋转后的理想物体表面点云转换为深度图像，且z轴变化为深度图像的图像深度；

1.4）根据实际中腐蚀坑的深度和大小，生成半球型腐蚀坑三维点云；

1.5）对半球型腐蚀坑进行随机旋转；

1.6）将旋转后的半球型腐蚀坑转换为深度图像，且z轴变化为深度图像的图像深度；

1.7）随机的将半球型腐蚀坑的宽高比进行变换，宽度和高度的比值范围为5～0.5；

1.8）利用coco数据集中的各种目标的轮廓模板来改变半球型腐蚀坑的形状，得到各种各样形状的半球型腐蚀坑；

1.9）将各种各样形状的半球型腐蚀坑的深度图像与理想物体表面的深度图像某一区域相加或相减；其中，相加即是外凸型各种各样形状的半球型腐蚀坑，相减则为内凹型各种各样形状的半球型腐蚀坑；

1.10）循环步骤1.4）～步骤1.9），重复添加各种各样形状的半球型腐蚀坑，直到各种各样形状的半球型腐蚀坑数量达到设定值，保存所有添加的各种各样形状的半球型腐蚀坑位置；

1.11）删除重叠数据：计算物体上每个腐蚀坑与其他腐蚀坑的iou值，若iou值大于0则删除此腐蚀坑，如此删除掉互相重叠的腐蚀坑；

1.12）经步骤1.11）删除掉物体上重叠的腐蚀坑后，将没有重叠腐蚀坑的物体深度图像按照32位图像进行存储，存储所有物体上的未重叠的腐蚀坑位置数据到对应的json文件中。

3.根据权利要求1所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，其特征在于：所述步骤2）包括下述步骤：

2.1）对目标检测模型进行权重的初始化；

2.2）采用在coco数据集预训练的目标检测模型权重进行迁移学习；

2.3）采用初始学习率0.0001使用自动生成的腐蚀坑数据进行目标检测模型粗训练，训练过程中需要对自动生成的腐蚀坑数据添加不同尺度的噪声；

2.4）在目标检测模型训练到40epoch后，其学习率降低为0.00001，此时等量输入自动生成的腐蚀坑数据和真实腐蚀坑数据进行训练；

2.5）目标检测模型训练到5epoch后，loss趋于稳定停止目标检测模型训练。

4.根据权利要求1或2或3所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，其特征在于：所述自动生成的腐蚀坑数据和真实腐蚀坑数据的数据量比例为：1000：1。

5.根据权利要求1或2或3所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，其特征在于：所述目标检测模型采用yolov4网络结构。

6.根据权利要求1或2或3所述的一种基于目标检测无监督学习的腐蚀坑自动检测方法，其特征在于：所述步骤3）包括下述步骤：

3.1）利用深度相机拍摄待检测物体表面生成物体表面三维点云；

3.2）截取物体表面三维点云中心区域30cm×30cm大小转换为深度图像；

3.3）预处理步骤3.2）所得深度图像，将深度图像除以250；

3.4）将3.3）所得输入到经步骤2）训练好后的目标检测模型，分析深度图像后返回关于腐蚀坑的所有标记框；

3.5）求取每个腐蚀坑标记框的深度即是腐蚀坑的深度，标记框的长和宽即是腐蚀坑长宽。