CN115937626B - 基于实例分割的半虚拟数据集自动生成方法 - Google Patents
基于实例分割的半虚拟数据集自动生成方法 Download PDFInfo
- Publication number
- CN115937626B CN115937626B CN202211460573.3A CN202211460573A CN115937626B CN 115937626 B CN115937626 B CN 115937626B CN 202211460573 A CN202211460573 A CN 202211460573A CN 115937626 B CN115937626 B CN 115937626B
- Authority
- CN
- China
- Prior art keywords
- picture
- data set
- target
- digital twin
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000002372 labelling Methods 0.000 claims abstract description 11
- 238000004519 manufacturing process Methods 0.000 claims description 13
- 238000004088 simulation Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 9
- 238000001303 quality assessment method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013441 quality evaluation Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 14
- 238000005516 engineering process Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种基于实例分割的半虚拟数据集自动生成方法,利用数字孪生体的虚拟对象作为实例分割MaskR‑CNN算法的数据集进行模型训练;将模型应用到虚拟对象获取mask图片和目标位置和类别信息;利用目标位置和类别信息自动生成半虚拟数据集标注文件;根据mask图片得到数字孪生体物理对象背景图和虚拟对象目标图;将背景图和目标图相加生成半虚拟图片数据集。利用数字孪生体虚拟对象作为训练模型的数据集,将模型应用到数字孪生体中获取半虚拟数据集。本发明减少标注数据集的人力成本,避免虚实混合数据集训练模型产生过拟合的现象,解决了深度学习训练数据集不足的问题,增加了有监督的深度学习在计算机视觉方向检测的普适性和准确性。
Description
技术领域
本发明涉及视频监控智能化技术领域,特别是数字孪生环境下下利用实例分割算法制作半虚拟数据集的方法。
背景技术
深度学习可以根据数据集是否具有标签划分为监督学习、无监督学习、半监督学习以及强化学习四种方式。而对于有监督学习的应用主要分为三个方面:分类、标注和回归。基于有监督的深度学习在计算机视觉上也得到了广泛的应用,例如自动驾驶、人脸识别、生产安全监控等,但是这些应用依赖真实数据集的数量和质量。例如在对于有监督的深度学习方法中,需要大量的带有标注的数据来对网络进行训练,网络越复杂,参数越多,意味着对训练网络的数据集的需求量也越大。但是,基于真实数据集的深度学习存在许多问题,例如:数据集少、数据集制作昂贵、数据集的获取存在安全隐患等。虽然网络中存在一些已经标注好且图片数量达到数十万张的数据集。例如PASCALVOC数据集、Microsoft COCO数据集、ImageNet数据集等,但是缺少针对特殊应用场景的海量数据集,例如带电作业、高空作业、地下作业等危险生产情况,需要根据特定应用场景进行真实数据集的人工收集和标注。
数字孪生技术强调通过物联网、大数据、人工智能等新一代信息技术赋予计算机映射现实的能力。数字孪生体是包括实际物理对象,以及与物理对象等价的数字化对象,也就是虚拟对象。数字孪生体的虚拟对象具有高逼真度、采集方便、可任意配置等特点。借助数字孪生体的这些特点,针对上述问题,本发明提出了一种基于实例分割的半虚拟数据集自动生成方法。利用数字孪生体作为实例分割MaskR-CNN算法的数据集,并对其进行模型训练;利用训练好的实例分割模型检测虚拟对象并产生mask图片以及目标的位置坐标和类别信息;利用目标位置坐标和类别的信息自动生成半虚拟数据集标注XML文件;根据产生的mask图片得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片;将截取到的物理对象背景和虚拟对象目标相加生成半虚拟图片数据集。本发明可以有效地减少人工标注数据集时的人力消耗,并且可以避免仅仅利用虚拟和真实数据集训练模型时产生过拟合现象。同时,本发明可以有效地解决有监督的深度学习算法在计算机视觉应用时,带标注数据集不足的问题,进而增加了有监督的深度学习在计算机视觉方向检测的普适性和准确性。
发明内容
针对有监督的深度学习需要的真实数据集存在数量少、制作昂贵、获取存在安全隐患的问题,以及虚拟和真实数据集训练模型时容易产生过拟合现象,以及在网络中不存在特定应用场景的通用数据集的不足。本发明提出了一种基于实例分割的半虚拟数据集自动生成方法。将实例分割技术与数字孪生体结合制作半虚拟数据集,解决了数据集质量和数量的问题,减少了人力标注数据集的问题,为以后有监督的深度学习提供足够多的标注数据集,同时很有效的解决了利用虚实混合数据集训练模型容易产生过拟合现象。
为了达到上述目的,本发明的技术方案是这样实现的:一种基于实例分割的半虚拟数据集自动生成方法,其步骤如下:
S1,通过数字孪生体作为实例分割图片数据集的来源,并对实例分割数据集进行标注,形成实例分割数据集;
S2,使用实例分割虚拟数据集对Mask R-CNN网络,进行训练并将迭代训练的模型进行实例分割算法的评估;
S3,利用训练好的实例分割模型检测虚拟对象产生mask图片以及目标的位置坐标和类别信息;
S4,利用目标的位置坐标和类别信息自动生成半虚拟数据集标注XML文件,根据S3获取到的目标坐标和类别信息,通过代码自动生成半虚拟数据集图像对应的标注文件。标注文件内容包括图片中目标物体的位置和类别信息。
S5,根据mask图片得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片,并将两者相互叠加生成半虚拟图片数据集。
进一步地,步骤S1具体为:
S1.1,获取实例分割数据集图像;根据数字孪生体的虚拟场景和数字孪生体的虚拟摄像头获取到数字孪生体视频流,将获取到的数字孪生虚拟对象的仿真动画视频,进行视频取帧,将视频制作成一帧一帧格式统一、像素大小相同的图片;
S1.2,对视频取帧产生的图片进行预处理,删除不符合要求的数据集图片;在收集到的数字孪生体数据集放入网络前,根据图像质量评价算法对数据集质量进行评价,删除不符合要求的图片;其中,图像质量评估算法使用客观无参考图像质量评价中的QAC(quality-aware clustering)进行图像质量评估。首先对输入的待评价图像y进行子块分解,将其划分为N个重叠的子块yi,并使用高通滤波器hσ提取子块的特征向量,记为fi y,其中i=1,2,...,N;并寻找到与特征向量fi y最相近的图心m1,ki,求出特征向量和图心的距离δl,i=||fi y-m1,ki||2;根据求出的距离δl,i使用公式(1)所示的加权平均的方式确定yi最终的质量得分;其中,λ表示控制权重exp(-δl,i/λ)衰减率的参数;
在获得每个子块的质量得分zi后,就得到待评价图像y的最终质量得分z,如公式(2)所示:
根据得到的最终质量得分z和预设的质量得分阈值比较,当大于得分阈值时,保留数据集,反之删除数据集。
S1.3,利用Labelme软件对收集到的实例分割虚拟数据图片进行标注,将图片中需要检测的目标进行轮廓标注;每标注一张图片会自动生成图片对应的同名json文件,json文件内容包括图片中目标物体的类别和该目标对应的轮廓坐标点信息。
进一步地,步骤S2具体为:
S2.1,将标注好的实例分割数据集json文件转化为实例分割网络可训练的源图片、实例分割掩模图片、标签中的各个类别的名称、源图片与实例分割掩模图片融合的图片;
S2.2,将实例分割数据集图片和标签文件放入到实例分割网络中进行网络训练,将batch size数量的样本放入到实例分割网络中进行预测,并计算预测结果损失,损失总共有五个损失函数,分别是RPN网络的两个损失,最终分类回归的两个损失,以及mask分支的损失函数,根据得到的五个损失计算平均损失,并进行一次参数更新,生成参数更新的实例分割网络,最后,利用上述训练步骤进行多次迭代训练;
S2.3,将迭代训练的模型进行实例分割算法的评估,根据训练好的网络模型和测试集计算模型的MIoU(Mean Intersection over Union,均交并比)和MPA(Mean PixelAccuracy,均像素精度)
进一步地,步骤S3具体为:
S3.1,将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测,根据仿真动画视频流得到的帧画面放入到特征提取网络中获得特征图,并根据特征图获得ROI区域,将获取到的ROI区域送入RPN网络中进行分类和回归,最后将经过RPN网络处理的ROI区域进行多类别分类和候选框回归,并生成Mask图片,每检测一帧视频流画面,产生一张带有目标信息的Mask图片;
S3.2,根据实例分割检测结果获取到检测目标的位置和类别信息,在将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测时,会检测出目标的坐标和类别信息,为下一步的目标检测的数据集标注文件提供信息。
进一步地,步骤S5具体为:
S5.1,通过可二次开发的摄像头获取到一帧数字孪生体物理对象场景画面,作为半虚拟数据集的背景图;
S5.2,将得到的虚拟目标Mask图片分别对数字孪生体物理对象背景图和数字孪生体虚拟对象视频流图片进行处理,得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片,并将两者相互叠加生成半虚拟图片数据集。
S5.3,对半虚拟图片数据集进行预处理,对不符合要求的数据集图片进行删除。
本发明的有益效果:将实例分割技术与数字孪生体结合制作半虚拟数据集,解决了数据集质量和数量的问题,减少了人力标注数据集的问题,为以后有监督的深度学习提供足够多的标注数据集,可以避免仅仅利用虚拟和真实数据集训练模型时产生过拟合现象,进而增加了有监督的深度学习在计算机视觉方向检测的普适性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的总体流程图;
图2为数据集标注文件生成流程图;
图3为半虚拟数据集图片;
图4为本发明的***结构图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于实例分割的半虚拟数据集自动生成方法,如图1所示。将数字孪生体和实例分割算法相结合,实现半虚拟数据集的制作,其步骤如下:
S1,通过数字孪生体作为实例分割图片数据集的来源,并对实例分割数据集进行标注,形成实例分割数据集;
S1.1,获取实例分割数据集图像;根据数字孪生体的虚拟场景和数字孪生体的虚拟摄像头获取到数字孪生体视频流,将获取到的数字孪生虚拟对象的仿真动画视频,进行视频取帧,将视频制作成一帧一帧格式统一、像素大小相同的图片;
S1.2,对视频取帧产生的图片进行预处理,删除不符合要求的数据集图片;在进行数据集获取的过程中,图片存在逆光、曝光等情况,导致数据集的质量下降,进而导致在训练实例分割网络过程结束后模型的检测效果降低,所以对数据集进行质量评估十分必要。在收集到的数字孪生体数据集放入网络前,根据图像质量评价算法对数据集质量进行评价,删除不符合要求的图片;其中,图像质量评估算法使用客观无参考图像质量评价中的QAC(quality-aware clustering)进行图像质量评估。在不参考原始图像的基础上,QAC算法可以有效解决无参考图像质量评价中对于主观评分图像数据训练的依赖问题。首先对输入的待评价图像y进行子块分解,将其划分为N个重叠的子块yi,并使用高通滤波器hσ提取子块的特征向量,记为fi y,其中i=1,2,...,N;并寻找到与特征向量fi y最相近的图心m1,ki,求出特征向量和图心的距离δl,i=||fi y-m1,ki||2;根据求出的距离δl,i使用公式(1)所示的加权平均的方式确定yi最终的质量得分;其中,λ表示控制权重exp(-δl,i/λ)衰减率的参数;
在获得每个子块的质量得分zi后,就得到待评价图像y的最终质量得分z,如公式(2)所示:
根据得到的最终质量得分z和预设的质量得分阈值比较,当大于得分阈值时,保留数据集,反之删除数据集。
S1.3,利用Labelme软件对收集到的实例分割虚拟数据图片进行标注,将图片中需要检测的目标进行轮廓标注;每标注一张图片会自动生成图片对应的同名json文件,json文件内容包括图片中目标物体的类别和该目标对应的轮廓坐标点信息。
S2,使用实例分割虚拟数据集对MaskR-CNN网络,进行训练并将迭代训练的模型进行实例分割算法的评估;
S2.1,将标注好的实例分割数据集json文件转化为实例分割网络可训练的源图片、实例分割掩模图片、标签中的各个类别的名称、源图片与实例分割掩模图片融合的图片;
S2.2,将实例分割数据集图片和标签文件放入到实例分割网络中进行网络训练,将batch size数量的样本放入到实例分割网络中进行预测,并计算预测结果损失,损失总共有五个损失函数,分别是RPN网络的两个损失,最终分类回归的两个损失,以及mask分支的损失函数,根据得到的五个损失计算平均损失,并进行一次参数更新,生成参数更新的实例分割网络,最后,利用上述训练步骤进行多次迭代训练;
S2.3,将迭代训练的模型进行实例分割算法的评估,根据训练好的网络模型和测试集计算模型的MIoU(Mean Intersection over Union,均交并比)和MPA(Mean PixelAccuracy,均像素精度)。MIoU为语义分割的标准度量,用来计算所有类别真实值和预测值的交集和并集之比的平均值,即预测区域和实际区域交集除以预测区域和实际区域并集的平均值,MPA需要先计算每个类内被正确分类像素数的比例,然后计算出所有类的平均。根据计算的MIoU和MPA的值来评估训练过后的实例分割网络。
S3,利用训练好的实例分割模型检测虚拟对象产生mask图片以及目标的位置坐标和类别信息;
S3.1,将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测,根据仿真动画视频流得到的帧画面放入到特征提取网络中获得特征图,并根据特征图获得ROI区域,将获取到的ROI区域送入RPN网络中进行分类和回归,最后将经过RPN网络处理的ROI区域进行多类别分类和候选框回归,并生成Mask图片,每检测一帧视频流画面,产生一张带有目标信息的Mask图片;
S3.2,根据实例分割检测结果获取到检测目标的位置和类别信息,在将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测时,会检测出目标的坐标和类别信息,为下一步的目标检测的数据集标注文件提供信息。
S4,利用目标的位置坐标和类别的信息自动生成半虚拟数据集标注XML文件,根据S3获取到的目标坐标和类别信息,通过代码自动生成半虚拟数据集图像对应的标注文件。标注文件内容包括图片中目标物体的位置信息和类别。目标检测数据集标注文件生成流程图,如图2所示。
S5,根据mask图片得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片,并将两者相互叠加生成半虚拟图片数据集;
S5.1,通过可二次开发的摄像头获取到一帧数字孪生体物理对象场景画面,作为半虚拟数据集的背景图;
S5.2,将得到的虚拟目标Mask图片分别对数字孪生体物理对象背景图和数字孪生体虚拟对象视频流图片进行处理,得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片,并将两者相互叠加生成半虚拟图片数据集。半虚拟数据集图片,如图3所示。由于物理对象和虚拟对象是1:1还原的,所以在进行相互叠加的时间,虚拟目标在虚拟对象的空间位置和物理对象的空间位置是对应的,实现虚拟对象目标模型在物理对象上的空间映射;
S5.3,对半虚拟图片数据集进行预处理,对不符合要求的数据集图片进行删除。
图4所示的一种基于实例分割的半虚拟数据集自动生成方法的***结构图,主要包括物理对象、虚拟对象和实例分割半虚拟数据集生成。根据数字孪生体物理对象的真实环境建立1:1的虚拟对象场景,利用Mask R-CNN实例分割网络检测数字孪生体虚拟对象并产生mask图片和目标坐标和类别信息,根据目标坐标和类别信息利用代码自动生成目标检测半虚拟数据集标注文件,根据产生的mask图片得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片,最后将两者相互叠加生成目标检测的半虚拟图片数据集。
随着科技的快速发展,基于有监督深度学习的计算机视觉备受人们的关注,本发明的思想主要是解决有监督学习的计算机视觉在数据集收集、制作和数量方面的问题。在数字孪生体的基础上,利用Mask R-CNN实例分割算法制作半虚拟数据集,解决了深度学习数据集数量少、人力消耗成本大和利用虚拟和真实数据集训练模型时容易产生过拟合现象的缺点。以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于实例分割的半虚拟数据集自动生成方法,其特征在于,包括如下步骤:
S1,通过数字孪生体作为实例分割图片数据集的来源,并对实例分割数据集进行标注,形成实例分割数据集;
步骤S1具体为:
S1.1,获取实例分割数据集图像;根据数字孪生体的虚拟场景和数字孪生体的虚拟摄像头获取到数字孪生体视频流,将获取到的数字孪生虚拟对象的仿真动画视频,进行视频取帧,将视频制作成一帧一帧格式统一、像素大小相同的图片;
S1.2,对视频取帧产生的图片进行预处理,删除不符合要求的数据集图片;在收集到的数字孪生体数据集放入网络前,根据图像质量评价算法对数据集质量进行评价,删除不符合要求的图片;其中,图像质量评估算法使用客观无参考图像质量评价中的QAC进行图像质量评估;首先对输入的待评价图像y进行子块分解,将其划分为N个重叠的子块y i ,并使用高通滤波器h σ 提取子块的特征向量,记为f i y ,其中i=1,2,...,N;并寻找到与特征向量f i y 最相近的图心m 1,ki ,求出特征向量和图心的距离δ l,i =||f i y -m 1,ki ||2;根据求出的距离δ l,i 使用公式(1)所示的加权平均的方式确定y i 最终的质量得分;其中,λ表示控制权重exp(-δ l,i /λ)衰减率的参数;
(1)
在获得每个子块的质量得分z i 后,就得到待评价图像y的最终质量得分z,如公式(2)所示:
(2)
根据得到的最终质量得分z和预设的质量得分阈值比较,当大于得分阈值时,保留数据集,反之删除数据集;
S1.3,利用Labelme软件对收集到的实例分割虚拟数据图片进行标注,将图片中需要检测的目标进行轮廓标注;每标注一张图片会自动生成图片对应的同名json文件,json文件内容包括图片中目标物体的类别和该目标对应的轮廓坐标点信息;
S2,使用实例分割虚拟数据集对Mask R-CNN网络,进行训练并将迭代训练的模型进行实例分割算法的评估;
步骤S2具体为:
S2.1,将标注好的实例分割数据集json文件转化为实例分割网络可训练的源图片、实例分割掩模图片、标签中的各个类别的名称、源图片与实例分割掩模图片融合的图片;
S2.2,将实例分割数据集图片和标签文件放入到实例分割网络中进行网络训练,将batch size数量的样本放入到实例分割网络中进行预测,并计算预测结果损失,损失总共有五个损失函数,分别是RPN网络的两个损失,最终分类回归的两个损失,以及mask分支的损失函数,根据得到的五个损失计算平均损失,并进行一次参数更新,生成参数更新的实例分割网络,最后,利用上述训练步骤进行多次迭代训练;
S2.3,将迭代训练的模型进行实例分割算法的评估,根据训练好的网络模型和测试集计算模型的MIoU和MPA
S3,利用训练好的实例分割模型检测虚拟对象产生mask图片以及目标的位置坐标和类别信息;
步骤S3具体为:
S3.1,将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测,根据仿真动画视频流得到的帧画面放入到特征提取网络中获得特征图,并根据特征图获得ROI区域,将获取到的ROI区域送入RPN网络中进行分类和回归,最后将经过RPN网络处理的ROI区域进行多类别分类和候选框回归,并生成Mask图片,每检测一帧视频流画面,产生一张带有目标信息的Mask图片;
S3.2,根据实例分割检测结果获取到检测目标的位置和类别信息,在将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测时,会检测出目标的坐标和类别信息,为下一步的目标检测的数据集标注文件提供信息;
S4,利用目标的位置坐标和类别信息自动生成半虚拟数据集标注XML文件,根据S3获取到的目标坐标和类别信息,通过代码自动生成半虚拟数据集图像对应的标注文件;标注文件内容包括图片中目标物体的位置和类别信息;
S5,根据mask图片得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片,并将两者相互叠加生成半虚拟图片数据集;
步骤S5具体为:
S5.1,通过可二次开发的摄像头获取到一帧数字孪生体物理对象场景画面,作为半虚拟数据集的背景图;
S5.2,将得到的虚拟目标Mask图片分别对数字孪生体物理对象背景图和数字孪生体虚拟对象视频流图片进行处理,得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片,并将两者相互叠加生成半虚拟图片数据集;
S5.3,对半虚拟图片数据集进行预处理,对不符合要求的数据集图片进行删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211460573.3A CN115937626B (zh) | 2022-11-17 | 2022-11-17 | 基于实例分割的半虚拟数据集自动生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211460573.3A CN115937626B (zh) | 2022-11-17 | 2022-11-17 | 基于实例分割的半虚拟数据集自动生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115937626A CN115937626A (zh) | 2023-04-07 |
CN115937626B true CN115937626B (zh) | 2023-08-08 |
Family
ID=86655068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211460573.3A Active CN115937626B (zh) | 2022-11-17 | 2022-11-17 | 基于实例分割的半虚拟数据集自动生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115937626B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116258821A (zh) * | 2023-05-15 | 2023-06-13 | 北京科技大学 | 一种基于数字孪生的虚拟带标签图像数据生成方法及装置 |
CN117690064B (zh) * | 2024-02-04 | 2024-04-16 | 广东电网有限责任公司广州供电局 | 输电线路检测方法、装置、电子设备和计算机可读介质 |
CN117953334A (zh) * | 2024-03-26 | 2024-04-30 | 中国计量科学研究院 | 一种视觉检测设备用量传溯源计量装置及其方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110490978A (zh) * | 2019-07-01 | 2019-11-22 | 浙江工业大学 | 基于混合现实技术的实景骑行训练方法 |
CN112017159A (zh) * | 2020-07-28 | 2020-12-01 | 中国科学院西安光学精密机械研究所 | 一种遥感场景下的地面目标真实感仿真方法 |
CN112346572A (zh) * | 2020-11-11 | 2021-02-09 | 南京梦宇三维技术有限公司 | 一种虚实融合实现方法、***和电子设备 |
CN114077891A (zh) * | 2020-08-07 | 2022-02-22 | 北京达佳互联信息技术有限公司 | 风格转换模型的训练方法及虚拟建筑检测模型的训练方法 |
CN114282360A (zh) * | 2021-12-15 | 2022-04-05 | 郑州轻工业大学 | 数字孪生环境下本体驱动的车间不安全状态语义推理方法 |
CN115169855A (zh) * | 2022-06-29 | 2022-10-11 | 郑州轻工业大学 | 一种基于数字孪生车间混合数据集的不安全状态检测方法 |
CN115249306A (zh) * | 2022-09-13 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 图像分割模型训练方法、图像处理方法、装置及存储介质 |
-
2022
- 2022-11-17 CN CN202211460573.3A patent/CN115937626B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110490978A (zh) * | 2019-07-01 | 2019-11-22 | 浙江工业大学 | 基于混合现实技术的实景骑行训练方法 |
CN112017159A (zh) * | 2020-07-28 | 2020-12-01 | 中国科学院西安光学精密机械研究所 | 一种遥感场景下的地面目标真实感仿真方法 |
CN114077891A (zh) * | 2020-08-07 | 2022-02-22 | 北京达佳互联信息技术有限公司 | 风格转换模型的训练方法及虚拟建筑检测模型的训练方法 |
CN112346572A (zh) * | 2020-11-11 | 2021-02-09 | 南京梦宇三维技术有限公司 | 一种虚实融合实现方法、***和电子设备 |
CN114282360A (zh) * | 2021-12-15 | 2022-04-05 | 郑州轻工业大学 | 数字孪生环境下本体驱动的车间不安全状态语义推理方法 |
CN115169855A (zh) * | 2022-06-29 | 2022-10-11 | 郑州轻工业大学 | 一种基于数字孪生车间混合数据集的不安全状态检测方法 |
CN115249306A (zh) * | 2022-09-13 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 图像分割模型训练方法、图像处理方法、装置及存储介质 |
Non-Patent Citations (1)
Title |
---|
Automatic generation of synthetic datasets from a city digital twin for use in the instance segmentation of building facades;Jiaxin Zhang 等;Journal of Computational Design and Engineering;第1737–1755页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115937626A (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115937626B (zh) | 基于实例分割的半虚拟数据集自动生成方法 | |
CN109299274B (zh) | 一种基于全卷积神经网络的自然场景文本检测方法 | |
CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
CN110276264B (zh) | 一种基于前景分割图的人群密度估计方法 | |
CN113240691A (zh) | 一种基于u型网络的医学图像分割方法 | |
CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN111611861B (zh) | 一种基于多尺度特征关联的图像变化检测方法 | |
CN113111947B (zh) | 图像处理方法、装置和计算机可读存储介质 | |
CN112801047B (zh) | 缺陷检测方法、装置、电子设备及可读存储介质 | |
CN116091551B (zh) | 一种基于多模态融合的目标检索跟踪方法及*** | |
CN112819008B (zh) | 实例检测网络的优化方法、装置、介质及电子设备 | |
CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
CN114998251A (zh) | 一种基于联邦学***台地面异常检测方法 | |
CN111832616A (zh) | 利用多类深度表示图的遥感图像飞机型号识别方法及*** | |
CN115841557B (zh) | 基于数字孪生技术的智能起重机操作环境构建方法 | |
CN117788810A (zh) | 一种无监督语义分割的学习*** | |
WO2024011873A1 (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN113283578B (zh) | 一种基于标记风险控制的数据去噪方法 | |
CN113012158B (zh) | 基于深度稠密网络与边缘距离图加权的图像协同分割方法 | |
CN115358981A (zh) | 胶水缺陷的确定方法、装置、设备及存储介质 | |
CN111914751B (zh) | 一种图像人群密度识别检测方法及*** | |
CN112199984B (zh) | 一种大尺度遥感图像的目标快速检测方法 | |
CN114882298B (zh) | 一种对抗互补学习模型的优化方法及装置 | |
CN117953589B (zh) | 一种交互动作检测方法、***、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |