CN115601617A - 基于半监督学习的带状脱空识别模型的训练方法和装置 - Google Patents

基于半监督学习的带状脱空识别模型的训练方法和装置 Download PDF

Info

Publication number
CN115601617A
CN115601617A CN202211489935.1A CN202211489935A CN115601617A CN 115601617 A CN115601617 A CN 115601617A CN 202211489935 A CN202211489935 A CN 202211489935A CN 115601617 A CN115601617 A CN 115601617A
Authority
CN
China
Prior art keywords
scan
training
recognition model
void
training set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211489935.1A
Other languages
English (en)
Inventor
宋恒
张宜生
耿天宝
方成龙
程维国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Shuzhi Construction Research Institute Co ltd
China Tiesiju Civil Engineering Group Co Ltd CTCE Group
Original Assignee
Anhui Shuzhi Construction Research Institute Co ltd
China Tiesiju Civil Engineering Group Co Ltd CTCE Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Shuzhi Construction Research Institute Co ltd, China Tiesiju Civil Engineering Group Co Ltd CTCE Group filed Critical Anhui Shuzhi Construction Research Institute Co ltd
Priority to CN202211489935.1A priority Critical patent/CN115601617A/zh
Publication of CN115601617A publication Critical patent/CN115601617A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于半监督学习的带状脱空识别模型的训练方法和装置。所述方法包括:对第一训练集中的B‑Scan大图进行切片处理,得到若干包含带状脱空的B‑Scan小图,并组成第二训练集;利用第二训练集中的B‑Scan小图对带状脱空识别模型进行第一次训练;对第三训练集中的B‑Scan大图进行切片处理,并组成第一数据集,以及将第一数据集中的B‑Scan小图输入第一次训练得到的带状脱空识别模型进行预标注;对预标注结果进行微调,并将微调后的B‑Scan小图增加至第二训练集中形成第四训练集,以及利用第四训练集中的B‑Scan小图对带状脱空识别模型进行第二次训练,得到最终的带状脱空识别模型。

Description

基于半监督学习的带状脱空识别模型的训练方法和装置
技术领域
本申请涉及模型训练技术领域,具体涉及一种基于半监督学习的带状脱空识别模型的训练方法和装置。
背景技术
探地雷达发射机不断向底下发射电磁波信号(A-Scan),接收机接收多道A-Scan信号,组成探地雷达图像(B-Scan),使得地下目标在探地雷达图像中常以双曲线形态呈现,再利用数字图像分析、机器学习等手段检测B-Scan图像中的双曲线形态特征,识别B-Scan图像中的带状脱空。在相关技术中,由于硬件模块产生的噪声、地下介质的不均匀性以及回声波的相互作用,使生成的B-Scan图像也存在噪声,为识别B-Scan图像中的带状脱空带来显著的干扰,同时也影响人工标注B-Scan图像中的带状脱空的精确度,难以保证标注数据的质量,其中,标注数据是作为识别探地雷达图像的带状脱空的模型的训练样本,基于此,导致识别探地雷达图像的带状脱空的模型的训练效果不佳,影响识别探地雷达图像的带状脱空的模型的识别准确度。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高探地雷达图像的带状脱空的识别准确度的基于半监督学习的带状脱空识别模型的训练方法和装置。
一种基于半监督学习的带状脱空识别模型的训练方法,包括以下步骤:
对第一训练集中的B-Scan大图进行切片处理,得到若干包含带状脱空的B-Scan小图,并组成第二训练集,其中,第一训练集中的B-Scan大图具有人工标注生成的标签,标签包括带状脱空位置;
构建带状脱空识别模型,并利用第二训练集中的B-Scan小图对带状脱空识别模型进行第一次训练;
对第三训练集中的B-Scan大图进行切片处理,得到若干B-Scan小图,并组成第一数据集,以及将第一数据集中的B-Scan小图输入第一次训练得到的带状脱空识别模型进行预标注;
对预标注结果进行微调,并将微调后的B-Scan小图增加至第二训练集中形成第四训练集,以及利用第四训练集中的B-Scan小图对带状脱空识别模型进行第二次训练,得到最终的带状脱空识别模型。
上述方案中,所述带状脱空识别模型采用神经网络,神经网络包括编码器和解码器,编码器包括特征提取网络和特征融合网络;其中,B-Scan小图输入带状脱空识别模型后,
通过特征提取网络对B-Scan小图进行特征提取,得到第一特征向量;
通过特征融合网络对第一特征向量进行融合处理,得到第二特征向量;
通过解码器根据第一特征向量和第二特征向量进行上采样,得到识别结果。
上述方案中,所述对预标注结果进行微调,包括:
将预标注的B-Scan小图拼接成B-Scan大图;
根据预标注结果确定相应拼接后的B-Scan大图中连通域的边界框,其中,连通域为连通带状脱空类像素点的区域。
上述方案中,所述相应拼接后的B-Scan大图为二值图像,所述根据所述预标注结果确定相应拼接后的B-Scan大图中连通域的边界框,包括:
使用光栅扫描法扫描相应拼接后的B-Scan大图;
当扫描到像素点(i,j)的灰度值为第一取值时,若像素点(i,j)的上一个扫描像素点(i,j-1)的灰度值为第二取值,则确定像素点(i,j)为边界框上的边界点;
以像素点(i,j)为中心进行边界跟踪,直至得到一个完整的边界框,之后继续从像素点(i,j+1)进行光栅扫描。
上述方案中,所述方法还包括:
利用第二训练集中的B-Scan小图对带状脱空识别模型进行第一次训练之前,对第二训练集中的B-Scan小图进行数据增强处理,以增加第二训练集中B-Scan小图的数量。
上述方案中,所述方法还包括:
利用第四训练集中的B-Scan小图对带状脱空识别模型进行第二次训练之前,对第四训练集中微调后的B-Scan小图进行数据增强处理,以增加第四训练集中B-Scan小图的数量。
上述方案中,对第一训练集中的B-Scan大图进行切片处理时,若一个连续的带状脱空被分割在两个B-Scan小图中,则将两个B-Scan小图上带状脱空的分割边界处标注带状脱空位置。
一种基于半监督学习的带状脱空识别模型的训练装置,包括
数据处理模块,用于对第一训练集中的B-Scan大图进行切片处理,得到若干包含带状脱空的B-Scan小图,并组成第二训练集,其中,第一训练集中的B-Scan大图具有人工标注生成的标签,标签包括带状脱空位置;
训练模块,用于构建带状脱空识别模型,并利用所述第二训练集中的B-Scan小图对所述带状脱空识别模型进行第一次训练;
所述数据处理模块还用于对第三训练集中的B-Scan大图进行切片处理,得到若干B-Scan小图,并组成第一数据集;
预标注模块,用于将第一数据集中的B-Scan小图输入第一次训练得到的带状脱空识别模型进行预标注;
调整模块,用于对预标注结果进行微调;
所述数据处理模块还用于将微调后的B-Scan小图增加至第二训练集中形成第四训练集;
所述训练模块还用于利用第四训练集中的B-Scan小图对带状脱空识别模型进行第二次训练,得到最终的带状脱空识别模型。
一种电子设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述基于半监督学习的带状脱空识别模型的训练方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述基于半监督学习的带状脱空识别模型的训练方法的步骤。
上述基于半监督学习的带状脱空识别模型的训练方法、装置、介质和电子设备,通过对第一训练集中的B-Scan大图进行切片处理,得到若干包含带状脱空的B-Scan小图,并组成第二训练集,构建带状脱空识别模型,并利用第二训练集中的B-Scan小图对带状脱空识别模型进行第一次训练,对第三训练集中的B-Scan大图进行切片处理,得到若干B-Scan小图,并组成第一数据,以及对第一数据集中的B-Scan小图输入第一次训练得到的带状脱空识别模型进行预标注,对预标注结果进行微调,并将微调后的B-Scan小图增加至第二训练集中形成第四训练集,以及利用第四训练集中的B-Scan小图对带状脱空识别模型进行第二次训练,得到最终的带状脱空识别模型,将带状脱空模型的识别结果和人工标注结合起来,从而缓解人工标注带状脱空图像的过程中由主观因素造成的负面影响,提升带状脱空的标注质量,进而可以使训练得到的带状脱空模型更准确的识别图像中的带状脱空的位置与边界范围。
附图说明
图1为一个实施例中基于半监督学习的带状脱空识别模型的训练架构;
图2为一个实施例中基于半监督学习的带状脱空识别模型的训练方法的流程示意图;
图3为一个实施例中一种B-Scan大图的示意图;
图4为一个实施例中另一种B-Scan大图的示意图;
图5为一个实施例中训练完成的带状脱空识别模型的识别效果示意图;
图6为一个实施例中基于半监督学习的带状脱空识别模型的训练方法的流程示意图;
图7为又一个实施例中基于半监督学习的带状脱空识别模型的训练方法的流程示意图;
图8为又一个实施例中基于半监督学习的带状脱空识别模型的训练方法的流程示意图;
图9为一个实施例中基于半监督学习的带状脱空识别模型的训练装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的基于半监督学习的带状脱空识别模型的训练方法可应用于图1所示的基于半监督学习的带状脱空识别模型的训练架构上,其中,基于半监督学习的带状脱空识别模型的训练架构包括三个模块:网络迭代学习模块、网络预标注模块、人工微调模块。在实际应用中,人工标注擅长识别带状脱空的整体特征,从而可以通过人工标注判断图像是否存在带状脱空;带状脱空识别模型擅长识别带状脱空的局部特征,从而可以通过带状脱空识别模型学习带状脱空的边界特征,在图1所示的训练架构中,网络迭代学习模块和人工微调模块之间相互迭代学习、共同决策,从而可以提高对图像的带状脱空的标注质量。
以下对本申请实施例的技术方案的实现细节进行详细描述。
在一个实施例中,如图2所示,提供了一种基于半监督学习的带状脱空识别模型的训练方法,该基于半监督学习的带状脱空识别模型的训练方法可包括以下步骤:
步骤S201,对第一训练集中的B-Scan大图进行切片处理,得到若干包含带状脱空的B-Scan小图,并组成第二训练集。
第一训练集中的B-Scan大图具有人工标注生成的标签,标签包括带状脱空位置,通过B-Scan大图的标签,可以标注B-Scan大图中的带状脱空。在实际应用中,B-Scan大图的标签还包括背景,从而可以将B-Scan大图标注为带状脱空和背景两类,其中,第一训练集中的B-Scan大图的标签是通过图片标注工具标注得到的。
第一训练集中的B-Scan大图较长,长度平均为14000像素,宽固定为512像素,由于第一训练集中的B-Scan大图的尺寸过大,不宜直接作为带状脱空识别模型的输入图像,基于此,对第一训练集中的B-Scan大图进行切片处理,得到若干包含带状脱空的B-Scan小图,切片处理后得到的B-Scan小图组成第二训练集。在实际应用中,可以采用重叠切片方法,设定切分间隔为450像素,将第一训练集中的B-Scan大图切片为512像素*512像素大小的含带状脱空的B-Scan小图,其中,经过切片处理得到的B-Scan小图中也具有标签。
在一个实施例中,对第一训练集中的B-Scan大图进行切片处理进行相关说明。
在对第一训练集中的B-Scan大图进行切片处理的过程中,在一种情况中,如图3所示,图3为一种B-Scan大图的示意图,一个连续带状脱空没有落入到相邻两个B-Scan小图的分割线上,分割之后的两个B-Scan小图上的带状脱空的范围没有发生变化。在另一种情况中,如图4所示,图4为另一种B-Scan大图的示意图,在相邻两个B-Scan小图的分割线切分一个连续的带状脱空,导致一个连续的带状脱空被分割在两个B-Scan小图中,为了避免切片处理导致B-Scan小图上的带状脱空的范围缩小,需要在两个B-Scan小图的带状脱空的分割边界处标注带状脱空位置,从而可以正确地标注B-Scan小图的带状脱空。
步骤S202,构建带状脱空识别模型,并利用第二训练集中的B-Scan小图对带状脱空识别模型进行第一次训练。
这里,脱空识别模型可以按照需求构建,例如,可以采用如图1所示的神经网络,又或者可以采用高分辨网络(HRNet,High-Resolution Net),HRNet网络由四个阶段组成,其中,第n个阶段包含对应于n个分辨率的n个数据,在HRNet网络中,高分辨率和低分辨率并行连接,同步推进,通过反复的交换平行流中的信息重复进行多分辨率的融合,高分辨率图可以使得空间上更加精准,低分辨率图可以使得语义上更充分。
将第二训练集中的B-Scan小图输入至带状脱空识别模型,对带状脱空识别模型进行第一次训练。在第一次训练中,可以将迭代次数设置为50次,分类类型总数设置为带状脱空和背景两类,批处理大小设置为16,学习率设置为0.01。在完成第一次训练之后,生成带状脱空识别模型的.pth.tar格式的模型文件。
在一个实施例中,所述方法还包括:
在利用第二训练集中的B-Scan小图对带状脱空识别模型进行第一次训练之前,对第二训练集中的B-Scan小图进行数据增强处理,例如,可以通过直方图均衡化、左右翻转、裁剪缩放等方式对B-Scan小图进行处理,从而可以增加第二训练集中B-Scan小图的数量,扩充训练数据量和数据多样性,可以提升模型泛化能力。
步骤S203,对第三训练集中的B-Scan大图进行切片处理,得到若干B-Scan小图,并组成第一数据集,以及将第一数据集中的B-Scan小图输入第一次训练得到的带状脱空识别模型进行预标注。
这里,对第三训练集中的B-Scan大图进行切片处理,得到若干B-Scan小图,切片处理后得到的B-Scan小图组成第一数据集,其中,这里对第三训练集中的B-Scan大图的切片处理同样可以采用重叠切片方法,设定切分间隔为450像素,将第三训练集中的B-Scan大图切片为512像素*512像素大小的B-Scan小图。
将第一数据集中的B-Scan小图输入第一次训练得到的带状脱空识别模型中,第一次训练得到的带状脱空识别模型能够对第一数据集中的B-Scan小图进行预标注,也就是,带状脱空识别模型可以输出第一数据集中的B-Scan小图中的带状脱空的预标注结果。
步骤S204,对预标注结果进行微调,并将微调后的B-Scan小图增加至第二训练集中形成第四训练集,以及利用第四训练集中的B-Scan小图对带状脱空识别模型进行第二次训练,得到最终的带状脱空识别模型。
这里,针对预标注结果中的错误标注、缺漏标注进行微调,从而可以在通过带状脱空识别模型得到的B-Scan小图的预标注结果上,结合人工标注进行微调,得到精确度较高的标注结果。将微调后的B-Scan小图增加至第二训练集中,形成第四训练集,其中,微调后的B-Scan小图具有标签,并利用第四训练集中的B-Scan小图对带状脱空识别模型进行第二次训练,也就是将微调后的B-Scan小图和第二训练集中的B-Scan小图重新输入至图1所示的网络迭代学习模块中,再次对带状脱空识别模型进行训练,得到最终的带状脱空识别模型。
在本实施例中,步骤S201和步骤S202是利用预先进行人工标注的训练数据,对构建的带状脱空识别模型进行训练,以使带状脱空识别模型具备一定的带状脱空识别能力,可以理解的,步骤S201中的训练数据的标注精确度不高,由此经过第一次训练的带状脱空识别模型对带状脱空的识别能力有限,基于此,步骤S203和步骤S204是通过结合模型标注和人工标注的方式对未标注的训练数据进行标注,从而保证了训练数据的标注精确度,再利用具有标签的训练数据对带状脱空识别模型进行训练,得到最终的带状脱空识别模型。
需要说明的是,第一训练集和第三训练集均来源于原始数据,在实际应用中,将原始数据随机分成若干等份数据,取其中一份数据组成第一训练集,其余份数据可以构成第三训练集。基于此,对带状脱空识别模型进行第二次训练实质上包含了利用不同等份的具有标签的B-Scan小图对带状脱空识别模型的训练过程。下面参照图1,对带状脱空识别模型的整个训练过程进行说明。
原始数据为探地雷达探测得到的测量结果,包含若干张B-Scan大图,将原始数据随机分成5等份数据,其中,第一训练集为第一等份数据,在对第一训练集进行标注之前,需要将第一训练集转化为便携式网络图形(PNG,Portable Network Graphics)格式,再对第一等份数据进行标注和切片处理,得到若干包含带状脱空的B-Scan小图,并将若干包含带状脱空的B-Scan小图组成第二训练集。利用第二训练集(第一等份数据的B-Scan小图)对带状脱空识别模型进行第一次训练。
第三训练集为原始数据中的第二等份数据、第三等份数据、第四等份数据和第五等份数据,对第三训练集中的B-Scan大图进行切片处理,可以得到第二等份数据对应的B-Scan小图、第三等份数据对应的B-Scan小图、第四等份数据对应的B-Scan小图和第五等份数据对应的B-Scan小图,并组成第一数据集。取第一数据集中的第二等份数据对应的B-Scan小图(在实际应用中,可以取第一数据集中任一等份数据对应的B-Scan小图,并不限定顺序)输入至第一次训练得到的带状脱空识别模型进行预标注,得到第二等份数据对应的B-Scan小图的预标注结果。对第二等份数据对应的B-Scan小图的预标注结果进行微调,并将微调后的第二等份数据对应的B-Scan小图增加至第二训练集中形成第四训练集A,此时,第二训练集包括微调后的第二等份数据对应的B-Scan小图和第一等份数据的B-Scan小图,第四训练集A包括第一等份数据的B-Scan小图和微调后第二等份数据对应的B-Scan小图。
利用第四训练集A对带状脱空识别模型进行训练。再将第一数据集中第三等份数据对应的B-Scan小图输入至经过第四训练集A训练得到的带状脱空识别模型,得到第三等份数据对应的B-Scan小图的预标注结果。对第三等份数据对应的B-Scan小图的预标注结果进行微调,并将微调后的第三等份数据对应的B-Scan小图增加至第二训练集,由此,第二训练集包括第一等份数据的B-Scan小图、第二等份数据的B-Scan小图和第三等份数据的B-Scan小图,并形成第四训练集B,第四训练集B包括第一等份数据的B-Scan小图、微调后第二等份数据的B-Scan小图和微调后第三等份数据的B-Scan小图。
利用第四训练集B对带状脱空识别模型进行训练,再将第一数据集中第四等份数据对应的B-Scan小图输入至经过第四训练集B训练得到的带状脱空识别模型,得到第四等份数据对应的B-Scan小图的预标注结果。对第四等份数据对应的B-Scan小图的预标注结果进行微调,并将微调后的第四等份数据对应的B-Scan小图增加至第二训练集,此时,第二训练集包括第一等份数据的B-Scan小图、微调后第二等份数据的B-Scan小图、微调后第三等份数据的B-Scan和微调后第四等份数据的B-Scan小图,并形成第四训练集C,其中,第四训练集C包括第一等份数据的B-Scan小图、微调后第二等份数据的B-Scan小图、微调后第三等份数据的B-Scan和微调后第四等份数据的B-Scan小图。
利用第四训练集C对带状脱空识别模型进行训练,再将第一数据集中第五等份数据对应的B-Scan小图输入至经过第四训练集C训练得到的带状脱空识别模型,得到第五等份数据对应的B-Scan小图的预标注结果。对第五等份数据对应的B-Scan小图的预标注结果进行微调,并将微调后的第五等份数据对应的B-Scan小图增加至第二训练集,此时,第二训练集包括第一等份数据的B-Scan小图、微调后第二等份数据的B-Scan小图、微调后第三等份数据的B-Scan小图、微调后第四等份数据的B-Scan小图和微调后第五等份数据的B-Scan小图,并形成第四训练集D,其中,第四训练集D包括第一等份数据的B-Scan小图、微调后第二等份数据的B-Scan小图、微调后第三等份数据的B-Scan小图、微调后第四等份数据的B-Scan小图和微调后第五等份数据的B-Scan小图。
利用第四训练集D对带状脱空识别模型进行训练,在这个过程中,第四训练集D实质上为包含标签的所有原始数据,也就是在所有原始数据上完成对带状脱空识别模型的训练,从而可以得到最终的带状脱空识别模型。
其中,利用第四训练集中的B-Scan小图对带状脱空识别模型进行第二次训练可以拆解为利用第四训练集A、第四训练集B、第四训练集C和第四训练集D对带状脱空识别模型的训练过程。
在完成带状脱空识别模型的训练之后,基于以下评价指标对带状脱空识别模型进行评价:
像素准确率,是指分类正确的像素点个数占全部像素点个数的比例。
平均像素准确率,分别计算每个类别分类正确的像素点个数占所有预测为该类别像素点个数比例的平均值。
平均交并比(MIoU,Mean Intersection over Union),预测区域和实际区域交集除以预测区域和实际区域的并集,这样计算得到的是单个类别下的IoU,计算其他类别的IoU之后再计算平均数得到MIoU。这个指标作为首要评价指标。
频权交并比,根据每个类别出现的频率设置每个类别的权重,通过每个类别的权重和对应的IoU加权计算得到。
以原始数据为519张B-Scan大图为例,在切分后的4722张512×512像素大小的B-Scan小图对带状脱空识别模型进行训练,训练完成的带状脱空识别模型的评价指标分别为:带状脱空识别模型的像素准确率为96.2%,带状脱空识别模型的平均像素准确率为81.5%、带状脱空识别模型的平均交并比为74.1%,带状脱空识别模型的频权交并比为92.4%。
参照图5所示,图5示出了训练完成的带状脱空识别模型的识别效果示意图,由此可见,利用人工和模型共同对训练数据进行标注,可以得到高质量的训练数据,从而训练得到识别准确率较高的带状脱空识别模型,对雷达图像中的带状脱空具有较佳的识别能力。
在一个实施例中,对采用神经网络的带状脱空识别模型对B-Scan小图的处理进行详细说明,如图6所示,B-Scan小图输入带状脱空识别模型后,包括:
步骤S601,通过特征提取网络对B-Scan小图进行特征提取,得到第一特征向量。
这里,神经网络包括编码器和解码器,编码器包括特征提取网络和特征融合网络。
特征提取网络用于对B-Scan小图进行特征提取,得到第一特征向量,其中,第一特征向量为高维特征向量,包括局部特征向量和全局特征向量。在实际应用中,带状脱空具备扁平横向延伸的空间特征,针对带状脱空这个空间特征,在特征提取网络中选用长宽相等的卷积核对B-Scan小图的某一区域进行局部特征提取,最后将多个局部特征融合起来得到第一特征向量。在特征提取网络中还采用1×3的空洞卷积对B-Scan小图的全局信息进行全局特征提取,得到第一特征向量。
在本实施例中的特征提取网络的设计在进行特征提取的过程中,可以降低计算量且更高效的提取高维特征向量。
步骤S602,通过特征融合网络对第一特征向量进行融合处理,得到第二特征向量。
第一特征向量进入特征融合网络,通过特征融合网络对第一特征向量进行融合处理,包括通过特征融合网络中不同空洞率的并行空洞卷积对第一特征向量进行特征提取、合并,再通过1×1卷积压缩特征,得到第二特征向量。
步骤S603,通过解码器根据第一特征向量和第二特征向量进行上采样,得到识别结果。
这里,第一特征向量和第二特征向量输入至解码器,其中,第一特征向量直接作为低级特征输入至解码器中进行卷积处理,第二特征向量经过4倍上采样处理之后输入至解码器。在解码器中,经过卷积处理后的第一特征向量与4倍上采样后的第二特征向量合并,再进行上采样,将第一特征向量与第二特征向量重新映射到B-Scan小图的每个像素点,从而实现对每个像素点的分类,得到识别结果,通过识别结果可以确定B-Scan小图中属于带状脱空的像素点和属于背景的像素点。
需要说明的是,对于特征提取网络生成的第一特征向量,存在两种处理途径,第一种途径是将第一特征向量直接输入到解码器中,第二种途径是将第一特征向量输入至特征融合网络进行处理,再输入到解码器中,在实际应用中,第一特征向量沿着这两种处理途径输入至解码器。
在一个实施例中,如图7所示,对预标注结果进行微调,包括:
步骤S701,将预标注的B-Scan小图拼接成B-Scan大图。
这里,为了通过人工标注微调预标注结果,首先需要对预标注的B-Scan小图通过拼接的方式转化为B-Scan大图。
需要说明的是,在完成预标注结果微调之后,需要将微调的B-Scan大图进行切片处理得到对应的微调后的B-Scan小图。
步骤S702,根据预标注结果确定相应拼接后的B-Scan大图中连通域的边界框,其中,连通域为连通带状脱空类像素点的区域。
这里,将连通的带状脱空类像素点视为一个连通域,预标注结果可以确定带状脱空类像素点与背景类像素点,根据预标注结果可以确定拼接后的B-Scan大图中的连通域,进而可以确定拼接后的B-Scan大图上的连通域的边界框。
在实际应用中,在确定拼接后的B-Scan大图中连通域的边界框之前,引入膨胀和腐蚀操作,其中,膨胀操作是求局部最大值的操作,具体地,将图像与核进行卷积,计算核覆盖区域的像素点的最大值,并将这个最大值赋值给参考点指定的元素,经过膨胀操作的图像中的高亮区域逐渐增长。腐蚀操作与膨胀操作是相反的,腐蚀操作是求局部最小值的操作,经过腐蚀操作的图像中的高亮区逐渐减小。对B-Scan大图进行闭运算(也就是先进行膨胀操作再进行腐蚀操作),用于连通B-Scan大图中相邻的带状脱空区域,再使用开运算(也就是先进行腐蚀操作再进行膨胀操作),去除B-Scan大图的孤立噪点。
在本实施例中,通过连通域的边界框,可以确认B-Scan大图上的带状脱空的位置和区域,基于此,可以通过人工标注的方式,将预标注结果中出现错误标注、漏标等进行纠正,在微调的过程中,关注的是带状脱空的位置和区域,而不会过多干预基于预标注结果的确定相应拼接后的B-Scan大图中连通域的边界框。
需要说明的是,步骤S701和步骤S702对应于图1所示的人工微调模块中的图像整合的具体处理步骤。
在一个实施例中,如图8所示,根据预标注结果确定相应拼接后的B-Scan大图中连通域的边界框,包括:
步骤S801,使用光栅扫描法扫描相应拼接后的B-Scan大图。
这里,拼接后的B-Scan大图为二值图像,假设拼接后的B-Scan大图F={fij},使用光栅扫描法扫描拼接后的B-Scan大图F的每个像素点。
步骤S802,当扫描到像素点(i,j)的灰度值为第一取值时,若像素点(i,j)的上一个扫描像素点(i,j-1)的灰度值为第二取值,则确定像素点(i,j)为边界框上的边界点。
在扫描到像素点(i,j)的灰度值fij=1(也就是第一取值),且上一个扫描像素点(i,j-1)的灰度值fij-1=0(也就是第二取值)的情况下,则确定像素点(i,j)为连通域的边界框上的边界点。如果不满足像素点(i,j)的灰度值fij=1且上一个扫描像素点(i,j-1)的灰度值fij-1=0的情况下,则从像素点(i,j+1)继续对相应拼接后的B-Scan大图进行光栅扫描,直至扫描到相应拼接后的B-Scan大图的右下角顶点时结束。
步骤S803,以像素点(i,j)为中心进行边界跟踪,直至得到一个完整的边界框,之后继续从像素点(i,j+1)进行光栅扫描。
这里,在确定像素点(i,j)为连通域的边界框上的边界点的情况下,以像素点(i,j)为中心进行边界跟踪,具体地,以像素点(i,j)为中心进行边界跟踪包括以下步骤:
步骤(1),以像素点(i,j)为中心,像素点(i1,j1)为起始点,其中,像素点(i1,j1)实质上为像素点(i,j-1),按顺时针方向查找(i,j)的邻域是否存在灰度值为非0的像素点,如果找到像素值为非0的像素点,则令(i2,j2)为顺时针方向的第一个像素值为非0的像素点。如果没有找到像素值为非0的像素点,则从像素点(i,j+1)继续对相应拼接后的B-Scan大图进行光栅扫描,直至扫描到相应拼接后的B-Scan大图的右下角顶点时结束。
步骤(2),以像素点(i,j)为中心,像素点(i2,j2)的下一个扫描像素点为起点,按逆时针方向查找像素点(i,j)的邻域是否存在灰度值为非0的像素点,并令(i3,j3)为逆时针方向的第一个灰度值为非0的像素点。
步骤(3),如果(i3,j3)=(i1,j1),说明回到了开始点,则从像素点(i,j+1)继续对相应拼接后的B-Scan大图进行光栅扫描,直至扫描到相应拼接后的B-Scan大图的右下角顶点时结束。如果(i3,j3)≠(i1,j1),确定(i3,j3)为边界框上的边界点,其中,令像素点(i2,j2)确定为(i,j),令像素点(i,j)确定为(i3,j3),并转到步骤(2),重复上述过程,最终求出完整的一组边界框。
在实际应用中,得到相应拼接后的B-Scan大图中连通域的边界框后,还可以借助道格拉斯-普克算法处理大量的边界点,在保留关键的边界点的同时,保持边框形状。
在一个实施例中,基于半监督学习的带状脱空识别模型的训练方法还包括:
在利用第四训练集中的B-Scan小图对带状脱空识别模型进行第二次训练之前,对第四训练集中微调后的B-Scan小图进行数据增强处理,例如,可通过直方图均衡化、左右反转、裁剪缩放等方式对第四训练集中微调后的B-Scan小图进行处理,从而增加第四训练集中的B-Scan小图的数据量和数据多样性,提升模型泛化能力。
在上述实施例中,通过将含有标签的第一训练集的B-Scan大图进行切片处理,得到若干B-Scan小图,并组成第二训练集,利用第二训练集对带状脱空识别模型进行第一次训练,将第三训练集中的B-Scan大图切片处理,得到若干B-Scan小图,并组成第一数据集,通过第一次训练得到的带状脱空识别模型对第一数据集进行预标注,对预标注结果进行微调,并将微调后的B-Scan小图增加至第二训练集中形成第四训练集,以及利用第四训练集中的B-Scan小图对带状脱空识别模型进行第二次训练,得到最终的带状脱空识别模型,能够结合人工标注和模型标注的方式对训练集数据进行标注,避免人工标注过程中由主观因素导致的标注错误,同时能够降低数据标注的工作量,提升训练集数据的标注质量,从而能够得到准确识别带状脱空的带状脱空识别模型。
在一个实施例中,提供一种基于半监督学习的带状脱空识别模型的训练装置,参考图9所示,该基于半监督学习的带状脱空识别模型的训练装置900可包括:数据处理模块901、训练模块902、预标注模块903、调整模块904。
其中,数据处理模块901用于对第一训练集中的B-Scan大图进行切片处理,得到若干包含带状脱空的B-Scan小图,并组成第二训练集,其中,第一训练集中的B-Scan大图具有人工标注生成的标签,标签包括带状脱空位置;训练模块902用于构建带状脱空识别模型,并利用第二训练集中的B-Scan小图对带状脱空识别模型进行第一次训练;数据处理模块901还用于对第三训练集中的B-Scan大图进行切片处理,得到若干B-Scan小图,并组成第一数据集;预标注模块903用于将第一数据集中的B-Scan小图输入第一次训练得到的带状脱空识别模型进行预标注;调整模块904用于对预标注结果进行微调;数据处理模块901用于将微调后的B-Scan小图增加至第二训练集中形成第四训练集;训练模块902用于利用第四训练集中的B-Scan小图对带状脱空识别模型进行第二次训练,得到最终的带状脱空识别模型。
在一个实施例中,带状脱空识别模型采用神经网络,神经网络包括编码器和解码器,编码器包括特征提取网络和特征融合网络,训练模块902在B-Scan小图输入带状脱空识别模型后,还用于通过特征提取网络对B-Scan小图进行特征提取,得到第一特征向量;通过特征融合网络对第一特征向量进行融合处理,得到第二特征向量;通过解码器根据所一特征向量和第二特征向量进行上采样,得到识别结果。
在一个实施例中,调整模块904具体用于将预标注的B-Scan小图拼接成B-Scan大图;根据预标注结果确定相应拼接后的B-Scan大图中连通域的边界框,其中,连通域为连通带状脱空类像素点的区域。
进一步地,相应拼接后的B-Scan大图为二值图像,调整模块904具体用于使用光栅扫描法扫描相应拼接后的B-Scan大图;当扫描到像素点(i,j)的灰度值为第一取值时,若像素点(i,j)的上一个扫描像素点(i,j-1)的灰度值为第二取值,则确定像素点(i,j)为边界框上的边界点;以像素点(i,j)为中心进行边界跟踪,直至得到一个完整的边界框,之后继续从像素点(i,j+1)进行光栅扫描。
在一个实施例中,数据处理模块901在利用第二训练集中的B-Scan小图对带状脱空识别模型进行第一次训练之前,还用于对第二训练集中的B-Scan小图进行数据增强处理,以增加第二训练集中B-Scan小图的数量。
在一个实施例中,数据处理模块901在利用第四训练集中的B-Scan小图对带状脱空识别模型进行第二次训练之前,还用于对第四训练集中微调后的B-Scan小图进行数据增强处理,以增加第四训练集中B-Scan小图的数量。
在一个实施例中,数据处理模块901在对第一训练集中的B-Scan大图进行切片处理时,还用于若一个连续的带状脱空被分割在两个B-Scan小图中,则将两个B-Scan小图上带状脱空的分割边界处标注带状脱空位置。
关于基于半监督学习的带状脱空识别模型的训练装置的具体限定可以参见上文中对于基于半监督学习的带状脱空识别模型的训练方法的限定,在此不再赘述。上述基于半监督学习的带状脱空识别模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种电子设备,包括存储器和处理器,存储器存储有计算机程序,处理器在执行计算机程序时实现一种基于半监督学习的带状脱空识别模型的训练方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时以实现一种基于半监督学习的带状脱空识别模型的训练方法。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于半监督学习的带状脱空识别模型的训练方法,其特征在于,包括:
对第一训练集中的B-Scan大图进行切片处理,得到若干包含带状脱空的B-Scan小图,并组成第二训练集,其中,所述第一训练集中的B-Scan大图具有人工标注生成的标签,所述标签包括带状脱空位置;
构建带状脱空识别模型,并利用所述第二训练集中的B-Scan小图对所述带状脱空识别模型进行第一次训练;
对第三训练集中的B-Scan大图进行切片处理,得到若干B-Scan小图,并组成第一数据集,以及将所述第一数据集中的B-Scan小图输入第一次训练得到的带状脱空识别模型进行预标注;
对预标注结果进行微调,并将微调后的B-Scan小图增加至所述第二训练集中形成第四训练集,以及利用所述第四训练集中的B-Scan小图对所述带状脱空识别模型进行第二次训练,得到最终的带状脱空识别模型。
2.根据权利要求1所述的基于半监督学习的带状脱空识别模型的训练方法,其特征在于,所述带状脱空识别模型采用神经网络,所述神经网络包括编码器和解码器,所述编码器包括特征提取网络和特征融合网络;其中,B-Scan小图输入所述带状脱空识别模型后,
通过所述特征提取网络对所述B-Scan小图进行特征提取,得到第一特征向量;
通过所述特征融合网络对所述第一特征向量进行融合处理,得到第二特征向量;
通过所述解码器根据所述第一特征向量和所述第二特征向量进行上采样,得到识别结果。
3.根据权利要求1所述的基于半监督学习的带状脱空识别模型的训练方法,其特征在于,所述对预标注结果进行微调,包括:
将预标注的B-Scan小图拼接成B-Scan大图;
根据所述预标注结果确定相应拼接后的B-Scan大图中连通域的边界框,其中,所述连通域为连通带状脱空类像素点的区域。
4.根据权利要求3所述基于半监督学习的带状脱空识别模型的训练方法,其特征在于,所述相应拼接后的B-Scan大图为二值图像,所述根据所述预标注结果确定相应拼接后的B-Scan大图中连通域的边界框,包括:
使用光栅扫描法扫描所述相应拼接后的B-Scan大图;
当扫描到像素点(i,j)的灰度值为第一取值时,若所述像素点(i,j)的上一个扫描像素点(i,j-1)的灰度值为第二取值,则确定所述像素点(i,j)为所述边界框上的边界点;
以所述像素点(i,j)为中心进行边界跟踪,直至得到一个完整的边界框,之后继续从像素点(i,j+1)进行光栅扫描。
5.根据权利要求1所述的基于半监督学习的带状脱空识别模型的训练方法,其特征在于,所述方法还包括:
利用所述第二训练集中的B-Scan小图对所述带状脱空识别模型进行第一次训练之前,对所述第二训练集中的B-Scan小图进行数据增强处理,以增加所述第二训练集中B-Scan小图的数量。
6.根据权利要求1所述的基于半监督学习的带状脱空识别模型的训练方法,其特征在于,所述方法还包括:
利用所述第四训练集中的B-Scan小图对所述带状脱空识别模型进行第二次训练之前,对所述第四训练集中微调后的B-Scan小图进行数据增强处理,以增加所述第四训练集中B-Scan小图的数量。
7.根据权利要求5所述的基于半监督学习的带状脱空识别模型的训练方法,其特征在于,对第一训练集中的B-Scan大图进行切片处理时,若一个连续的带状脱空被分割在两个B-Scan小图中,则将所述两个B-Scan小图上带状脱空的分割边界处标注带状脱空位置。
8.一种基于半监督学习的带状脱空识别模型的训练装置,其特征在于,包括:
数据处理模块,用于对第一训练集中的B-Scan大图进行切片处理,得到若干包含带状脱空的B-Scan小图,并组成第二训练集,其中,所述第一训练集中的B-Scan大图具有人工标注生成的标签,所述标签包括带状脱空位置;
训练模块,用于构建带状脱空识别模型,并利用所述第二训练集中的B-Scan小图对所述带状脱空识别模型进行第一次训练;
所述数据处理模块,还用于对第三训练集中的B-Scan大图进行切片处理,得到若干B-Scan小图,并组成第一数据集;
预标注模块,用于将所述第一数据集中的B-Scan小图输入第一次训练得到的带状脱空识别模型进行预标注;
调整模块,用于对预标注结果进行微调;
所述数据处理模块,还用于将微调后的B-Scan小图增加至所述第二训练集中形成第四训练集;
所述训练模块,还用于利用所述第四训练集中的B-Scan小图对所述带状脱空识别模型进行第二次训练,得到最终的带状脱空识别模型。
9.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述基于半监督学习的带状脱空识别模型的训练方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述基于半监督学习的带状脱空识别模型的训练方法的步骤。
CN202211489935.1A 2022-11-25 2022-11-25 基于半监督学习的带状脱空识别模型的训练方法和装置 Pending CN115601617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211489935.1A CN115601617A (zh) 2022-11-25 2022-11-25 基于半监督学习的带状脱空识别模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211489935.1A CN115601617A (zh) 2022-11-25 2022-11-25 基于半监督学习的带状脱空识别模型的训练方法和装置

Publications (1)

Publication Number Publication Date
CN115601617A true CN115601617A (zh) 2023-01-13

Family

ID=84853699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211489935.1A Pending CN115601617A (zh) 2022-11-25 2022-11-25 基于半监督学习的带状脱空识别模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN115601617A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504781A (zh) * 2009-03-10 2009-08-12 广州广电运通金融电子股份有限公司 有价文件识别方法及装置
CN110378372A (zh) * 2019-06-11 2019-10-25 中国科学院自动化研究所南京人工智能芯片创新研究院 图数据识别方法、装置、计算机设备和存储介质
CN112614573A (zh) * 2021-01-27 2021-04-06 北京小白世纪网络科技有限公司 基于病理图像标注工具的深度学习模型训练方法及装置
CN112966772A (zh) * 2021-03-23 2021-06-15 之江实验室 一种多人在线的图像半自动标注方法及***
CN112990263A (zh) * 2021-02-08 2021-06-18 武汉工程大学 一种用于高分辨率图像的密集小目标的检测方法
CN113704429A (zh) * 2021-08-31 2021-11-26 平安普惠企业管理有限公司 基于半监督学习的意图识别方法、装置、设备及介质
CN115343703A (zh) * 2022-07-26 2022-11-15 哈尔滨工业大学 一种基于自训练的3d-cnn探地雷达三维图像的管线识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504781A (zh) * 2009-03-10 2009-08-12 广州广电运通金融电子股份有限公司 有价文件识别方法及装置
CN110378372A (zh) * 2019-06-11 2019-10-25 中国科学院自动化研究所南京人工智能芯片创新研究院 图数据识别方法、装置、计算机设备和存储介质
CN112614573A (zh) * 2021-01-27 2021-04-06 北京小白世纪网络科技有限公司 基于病理图像标注工具的深度学习模型训练方法及装置
CN112990263A (zh) * 2021-02-08 2021-06-18 武汉工程大学 一种用于高分辨率图像的密集小目标的检测方法
CN112966772A (zh) * 2021-03-23 2021-06-15 之江实验室 一种多人在线的图像半自动标注方法及***
CN113704429A (zh) * 2021-08-31 2021-11-26 平安普惠企业管理有限公司 基于半监督学习的意图识别方法、装置、设备及介质
CN115343703A (zh) * 2022-07-26 2022-11-15 哈尔滨工业大学 一种基于自训练的3d-cnn探地雷达三维图像的管线识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
段大高: "《图像处理与应用》" *

Similar Documents

Publication Publication Date Title
Liu et al. An enhanced CNN-enabled learning method for promoting ship detection in maritime surveillance system
CN108596055B (zh) 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN111028154B (zh) 一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法
US11042742B1 (en) Apparatus and method for detecting road based on convolutional neural network
CN111247525A (zh) 一种车道检测方法、装置及车道检测设备、移动平台
CN109712071B (zh) 基于航迹约束的无人机图像拼接与定位方法
CN109409288B (zh) 图像处理方法、装置、电子设备和存储介质
CN112699717A (zh) 基于gan网络的sar图像生成方法及生成装置
CN113139896A (zh) 基于超分辨重建的目标检测***及方法
CN113762327B (zh) 机器学习方法、机器学习***以及非暂态电脑可读取媒体
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN110174109B (zh) 一种基于海空协同的无人船多元联合导航方法
JP7143809B2 (ja) クラッタ学習装置及びクラッタ識別装置
Wang et al. Local defect detection and print quality assessment
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
CN115601617A (zh) 基于半监督学习的带状脱空识别模型的训练方法和装置
CN115656952A (zh) 一种基于u型多维多尺度融合神经网络的地下目标多分类检测方法
CN114663751A (zh) 一种基于增量学习技术的输电线路缺陷识别方法和***
CN111435086B (zh) 基于拼接图的导航方法和装置
EP3647994B1 (en) Automated generation of training images
CN112949630A (zh) 基于边框分级筛选的弱监督目标检测方法
CN112418344A (zh) 一种训练方法、目标检测方法、介质及电子设备
CN111754474A (zh) 一种基于图像清晰度的能见度识别的方法及设备
Peng et al. Superpixel-Based Urban Change Detection in SAR Images Using Optimal Transport Distance
Wong et al. IceSynth II: Synthesis of SAR sea-ice imagery using region-based posterior sampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230113

RJ01 Rejection of invention patent application after publication