CN113887737B - 一种基于机器学习的样本集自动生成方法 - Google Patents

Abstract

本发明公开了一种基于机器学***衡扩充样本集，生成新增样本标注文件，得到扩充样本集。本发明从原始图像的处理出发，实现了样本自动切割与目标定位，并辅以样本增强方法平衡样本数量，为样本集的构建提供了自动化解决方案，提高了样本集构建效率，有较高的应用价值和推广价值。

Description

一种基于机器学习的样本集自动生成方法

技术领域

本发明涉及样本集的自动生成，具体涉及一种基于机器学习的样本集自动生成方法，属于机器学习与人工智能应用领域。

背景技术

随着人工智能的快速发展，机器学习模型越来越广泛的应用于社会生产生活的各个领域。机器学习模型的开发一般可以分为样本集制作、模型结构设计、模型训练、模型评估四步。其中样本集制作是模型训练的基础，样本集的数量和质量都对模型的性能起着决定性影响。现有的样本集制作工作量大且严重依赖于人工，耗费研究人员大量精力，浪费公司大量资金，是机器学习领域面临的共同问题。因此实现样本集的自动化构建对提高模型训练质量以及缩短模型制作周期至关重要，并且将为机器学习模型的研发提供极大的便利。

现有的样本集制作主要采用使用辅助工具对原始图像进行人工标注的方式。专利CN113160231A首先通过人工获取目标物体的至少一张物体图像，然后基于所述目标物体，分别对各张物体图像进行目标分割，得到至少一张分割图像，最后基于至少一张分割图像与预设的背景图像，生成训练样本集。通过更换背景的方式生成的样本集，存在样本中目标形态单调、图像像素不连贯、样本干扰因素少等缺点，将会影响模型训练质量。并且制作过程中初始目标的定位、分割依然采取人工识别的方式，并没有真正实现样本集的自动生成。

目前基于机器学习的模式匹配方法经过调参可以准确、快速的在原始图像中定位目标进行自动标注，无需人工识别，且标注后的样本集通过样本增强的扩充，可以获得样本形态丰富、像素连贯的优质样本集。

发明内容

本发明的目的在于实现一种基于机器学***衡扩充样本集，生成新增样本标注文件，得到扩充样本集；具体来说，本发明的方法包括下列步骤：

A.根据目标分布特性切分原始图像，得到切分小图，具体步骤如下：

A1.通过物理设备或者计算手段生成样本集所需要的原始图像；

A2.根据目标的纵向分布特性，横向切分原始图像，得到切分大图，具体步骤如下：

A2.1观察原始图像内目标纵向位置分布情况，确定完全包含目标的最小区域，称为切分区域；

A2.2提取切分区域上下边界的像素坐标，称为边界坐标；

A2.3根据边界坐标切分原始图像，得到包含目标的图像区域，将切分区域保存为切分图像目录下的图像文件，称为切分大图；

A3.根据目标横向分布特性切分原始图像，得到切分小图，具体步骤如下：

A3.1根据目标在原始图像中的横向分布特性，确定完全包含目标的纵向切分规则；

A3.2按照纵向切分规则，提取纵向切分位置的像素坐标，称为纵向坐标；

A3.3读取切分图像目录下的每张切分大图，并根据纵向坐标进行切分，将切分后的图像，称为切分小图，保存在匹配目录下；

B.选择待识别目标图像区域作为模式，调整参数列表进行模式匹配，自动生成样本标注文件，得到标注好的样本集，具体步骤如下：

B1.在原始图像中为每类待识别目标寻找一个目标图像区域，将其切分出来作为该类目标的匹配模板(简称模式)，并保存在模式目录下；

B2.读取模式目录下的每个模式，提取模式信息，构建模式匹配的参数列表；

其中，参数列表中每一行对应一个模式的参数，包括区域id、目标编码、模式编码、目标位置限制范围、匹配度阈值；

B3.根据目标特征增加模式与限制条件，调整模式匹配的参数列表，具体步骤如下：

B3.1针对同一类目标存在外观特征差异比较大的情况，对差异较大的目标在模式目录下增加模式；

B3.2针对具有特殊位置的目标，更改目标坐标范围限制，使其完全包含目标；

B3.3根据更改后的模式参数，更新模式匹配的参数列表；

B4.遍历模式目录下的每种模式，根据参数列表中对应的模式参数，对匹配目录下的每张切分小图进行模式匹配，具体步骤如下：

B4.1以模式的边框作为候选框，从左到右、从上到下在切分小图中以步长T，滑动候选框，得到待检测图像；滑动过程中的待检测图像的左上角在切分小图中的位置，记为(x,y)；其中，0≤x≤W-w,0≤y≤H-h，w、h分别为模式的行数和列数,W、H分别为待检测图像的行数和列数；

B4.2运用归一化相关系数匹配法，计算模式与每个待检测图像的匹配度，记为R(x,y)，计算公式如下：

其中，T(x′,y′)表示在模式中的像素坐标(x′,y′)处的像素值，I(x+x′,y+y′)表在待检测图像中的像素坐标(x+x′,y+y′)处的像素值；表示模式中所有像素值的平均值；/>表示待检测图像中所有像素值的平均值；

表示对模式中每个像素值与待检测图像中对应点像素值的归一化值乘积求和；

表示对模式中所有像素值平方和与待检测图像中所有像素值平方和的乘积开平方；

B5.筛选出匹配度大于阈值的待检测图像，作为该切片小图上的目标，其对应的候选框位置作为该样本上标注框的位置；生成与样本图片名称相同的VOC格式的xml文件，将xml文件与样本图片保存在样本集目录下；

C.利用样本增强方法，平衡扩充样本集，生成新增样本标注文件，得到扩充样本集，具体步骤如下：

C1.选择增强随机光学扰动、增加随机噪声、几何变换三种增强方法生成扩充样本；

C2.统计样本集目录下各类样本的数量，根据每类样本现有数量，设置扩充阈值表Thr1、Thr2、Thr3，分别包含三种方法对应每类样本的扩充数量；

C3.遍历模式目录下的每类样本，根据扩充阈值表Thr1，利用增强随机光学扰动来扩充样本集，具体步骤如下：

C3.1在RGB色彩空间下，以P1作为采样概率,在所有样本点中随机取一些点,为选取点加上一个指定区间内的随机值R1，为图像增加随机亮度扰动；

C3.2在RGB色彩空间下，以P2作为采样概率,在所有样本点中随机取一些点,为选取点乘上一个指定区间内的随机值R2，为图像增加随机对比度扰动；

C3.3在HSV色彩空间下，以P3作为采样概率,在所有样本点中随机取一些点,为选取点H通道的取值加上一个指定区间内的随机值R3，然后以概率P4作为采样概率，在所有样本点中随机取一些点,为选取点S通道的取值乘上一个指定区间内的随机值R4，为图像增加随机色相与饱和度扰动；

C4.遍历模式目录下的每类样本，根据扩充阈值表Thr2，利用增加随机噪声来扩充样本集，具体步骤如下：

C4.1根据样本大小设置随机噪声块大小，其中每个随机噪声块为黑色噪点按照一定密度随机分布的像素块；

C4.2在RGB色彩空间下，以P5作为采样概率,在所有样本点中随机取一些点,以选取点为随机噪声块左上角坐标，在图像边界内为图像增加随机噪声块；

C5.遍历模式目录下的每类样本，根据扩充阈值表Thr3，利用几何变换方法来扩充样本集，具体步骤如下：

C5.1在指定区间内选取宽高比M，对图像进行随机裁剪，得到裁剪子图；

C5.2若裁剪子图中至少有一个目标与原图中目标的交并比大于指定阈值且该目标的中心位于子图范围内则予以保留，否则重新进行随机裁剪；

C5.3将裁剪子图缩放到固定尺寸S，并以概率P6对缩放后的图像进行左右翻转；

C6.为上述新增图像生成标注信息xml文件，并将xml文件与图像保存在样本集目录下，得到扩充样本集。

本发明的优点是将原始图像中的目标根据分布特性设置切割规则进行样本自动切割，以模式匹配的方式在样本中定位目标，利用样本增强方法平衡样本数量、扩充样本集规模，自动生成样本标注文件；为样本集的构建提供了自动化解决方案，提高样本集构建效率，有较高的应用价值和推广价值。

附图说明

图1：基于机器学习的样本集自动生成方法流程图

图2：地铁隧道扫描图

图3：匹配模板图

图4：样本原图

图5：随机镜像图

图6：增加光学扰动图

图7：增加随机噪声图

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

方法流程图如图1所示，本发明方法包括：1)根据目标分布特性切分原始图像，得到切分小图；2)选择待识别目标图像区域作为模式，调整参数列表进行模式匹配，自动生成样本标注文件，得到标注好的样本集；3)利用样本增强方法，平衡扩充样本集，生成新增样本标注文件，得到扩充样本集；

下面按照步骤，结合一个地铁隧道设施识别的数据示例，对本发明做进一步描述，以某隧道的某区间的一段数据作为示例：

1.根据目标分布特性切分原始图像，得到切分小图，具体步骤如下：

1.1通过物理设备或者计算手段生成样本集所需要的原始图像,得到部分原始图像数据如图2所示；图中的左上角坐标为(0，0)，右下角坐标为(40380，6000)；

1.2根据目标的纵向分布特性，横向切分原始图像，得到切分大图，得到部分切分位置的数据如下：

横向切分位置1	(0,1232)
		横向切分位置2	(0,1921)
横向切分位置3	(0,4277)
		横向切分位置4	(0,5232)

1.3根据目标横向分布特性切分原始图像，得到切分小图，得到部分切分位置的数据如下所示：

2.选择待识别目标图像区域作为模式，调整参数列表进行模式匹配，自动生成样本标注文件，得到标注好的样本集，具体步骤如下：

2.1在原始图像中为每类待识别目标寻找一个目标图像区域，将其切分出来作为该类目标的匹配模板(简称模式)，得到部分模式的数据如图3所示；

2.2读取模式目录下的每个模式，提取模式信息，构建模式匹配的参数列表，得到部分参数列表的数据如下：

区域id	设备编码	模板编码	安装位置范围	识别阈值设置
					2	EQB_2	EQB_2-a	460；1000	0.7
2	EQB_3	EQB_3-b	460；1000	0.7
					2	EQB_4	EQB_4-a	460；1000	0.7
2	SFM	SFM-a	460；1000	0.7
					2	SZM	SZM-a	460；1000	0.7
2	SZM	SZM-b	460；1000	0.7
					2	EQB_1	EQB_1-a	460；1000	0.7
1	LED	LED-a	430；1300	0.7
					…	…	…	…	…

2.3根据目标特征增加模式与限制条件，调整模式匹配的参数列表，得到部分参数列表的数据如下：

2.4遍历模式目录下的每种模式，根据参数列表中对应的模式参数，对匹配目录下的每张切分小图进行模式匹配；

2.5筛选出匹配度大于阈值的待检测图像，作为该切片小图上的目标，其对应的候选框位置作为该样本上标注框的位置；生成与样本图片名称相同的VOC格式的xml文件，将xml文件与样本图片保存在样本集目录下，得到部分xml文件的数据如下：

3.利用样本增强方法，平衡扩充样本集，生成新增样本标注文件，得到扩充样本集，具体步骤如下：

3.1选择增强随机光学扰动、增加随机噪声、几何变换三种增强方法生成扩充样本；

3.2统计样本集目录下各类样本的数量，根据每类样本现有数量，设置扩充阈值表Thr1、Thr2、Thr3，分别包含三种方法对应每类样本的扩充数量，得到部分扩充阈值表的参数如下：

3.3遍历模式目录下的每类样本，根据扩充阈值表Thr1，利用增强随机光学扰动来扩充样本集，得到利用光学扰动扩充样本的参数如下：

3.4遍历模式目录下的每类样本，根据扩充阈值表Thr2，利用增加随机噪声来扩充样本集，得到利用增加随机噪声扩充样本的参数如下：

3.5遍历模式目录下的每类样本，根据扩充阈值表Thr3，利用几何变换方法来扩充样本集，得到利用几何变换扩充样本的参数如下：

3.6为上述样本增强后的图像生成xml文件，并将xml文件与图像保存在样本集目录下，得到部分扩充样本的数据如图4至图7所示。

本发明从原始图像的处理出发，实现了样本自动切割与目标定位，并辅以样本增强方法平衡样本数量，为样本集的构建提供了自动化解决方案，提高了样本集构建效率，有较高的应用价值和推广价值。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (5)

1.一种基于机器学习的样本集自动生成方法，其步骤包括：

A.根据目标分布特性切分原始图像，得到切分小图；

A1.通过物理设备或者计算手段生成样本集所需要的原始图像；

A2.根据目标的纵向分布特性，横向切分原始图像，得到切分大图；

A3.根据目标横向分布特性切分原始图像，得到切分小图；

B.选择待识别目标图像区域作为模式，调整参数列表进行模式匹配，自动生成样本标注文件，得到标注好的样本集；

B1.在原始图像中为每类待识别目标寻找一个目标图像区域，将其切分出来作为该类目标的匹配模板，并保存在模式目录下；

B2.读取模式目录下的每个模式，提取模式信息，构建模式匹配的参数列表；

其中，参数列表中每一行对应一个模式的参数，包括区域id、目标编码、模式编码、目标位置限制范围、匹配度阈值；

B3.根据目标特征增加模式与限制条件，调整模式匹配的参数列表；

B4.遍历模式目录下的每种模式，根据参数列表中对应的模式参数，对匹配目录下的每张切分小图进行模式匹配；具体步骤如下：

B4.1以模式的边框作为候选框，从左到右、从上到下在切分小图中以步长T，滑动候选框，得到待检测图像；滑动过程中的待检测图像的左上角在切分小图中的位置，记为(x，y)；其中，0≤x≤W-w，0≤y≤H-h，w、h分别为模式的行数和列数，W、H分别为待检测图像的行数和列数；

B4.2运用归一化相关系数匹配法，计算模式与每个待检测图像的匹配度，记为R(x，y)，计算公式如下：

其中，T(x′，y′)表示在模式中的像素坐标(x′，y′)处的像素值，I(x+x′，y+y′)表示在待检测图像中的像素坐标(x+x′，y+y′)处的像素值；表示模式中所有像素值的平均值；/>表示待检测图像中所有像素值的平均值；

表示对模式中每个像素值与待检测图像中对应点像素值的归一化值乘积求和；

表示对模式中所有像素值平方和与待检测图像中所有像素值平方和的乘积开平方；

B5.筛选出匹配度大于阈值的待检测图像，作为该切分小图上的目标，其对应的候选框位置作为样本上标注框的位置；生成与样本图片名称相同的VOC格式的xml文件，将xml文件与样本图片保存在样本集目录下；

C.利用样本增强方法，平衡扩充样本集，生成新增样本标注文件，得到扩充样本集；

C1.选择增强随机光学扰动、增加随机噪声、几何变换三种增强方法生成扩充样本；

C2.统计样本集目录下各类样本的数量，根据每类样本现有数量，设置扩充阈值表Thr1、Thr2、Thr3，分别包含三种方法对应每类样本的扩充数量；

C3.遍历模式目录下的每类样本，根据扩充阈值表Thr1，利用增强随机光学扰动来扩充样本集；

C4.遍历模式目录下的每类样本，根据扩充阈值表Thr2，利用增加随机噪声来扩充样本集；

C5.遍历模式目录下的每类样本，根据扩充阈值表Thr3，利用几何变换方法来扩充样本集；

C6.为上述样本增强后的图像生成标注信息xml文件，并将xml文件与图像保存在样本集目录下，得到扩充样本集。

2.如权利要求1所述的基于机器学习的样本集自动生成方法，其特征在于，根据目标特征增加模式与限制条件，调整模式匹配的参数列表，具体步骤如下：

B3.1针对同一类目标存在外观特征差异比较大的情况，对差异较大的目标在模式目录下增加模式；

B3.2针对具有特殊位置的目标，更改目标坐标范围限制，使其完全包含目标；

B3.3根据更改后的模式参数，更新模式匹配的参数列表。

3.如权利要求1所述的基于机器学习的样本集自动生成方法，其特征在于，遍历模式目录下的每类样本，根据扩充阈值表Thr1，利用增强随机光学扰动来扩充样本集，具体步骤如下：

C3.1在RGB色彩空间下，以P1作为采样概率,在所有样本点中随机取一些点,为选取点加上一个指定区间内的随机值R1，为图像增加随机亮度扰动；

C3.2在RGB色彩空间下，以P2作为采样概率,在所有样本点中随机取一些点,为选取点乘上一个指定区间内的随机值R2，为图像增加随机对比度扰动；

C3.3在HSV色彩空间下，以P3作为采样概率,在所有样本点中随机取一些点,为选取点H通道的取值加上一个指定区间内的随机值R3，然后以概率P4作为采样概率，在所有样本点中随机取一些点,为选取点S通道的取值乘上一个指定区间内的随机值R4，为图像增加随机色相与饱和度扰动。

4.如权利要求1所述的基于机器学习的样本集自动生成方法，其特征在于，遍历模式目录下的每类样本，根据扩充阈值表Thr2，利用增加随机噪声来扩充样本集，具体步骤如下：

C4.1根据样本大小设置随机噪声块大小，其中每个随机噪声块为黑色噪点按照一定密度随机分布的像素块；

C4.2在RGB色彩空间下，以P5作为采样概率,在所有样本点中随机取一些点,以选取点为随机噪声块左上角坐标，在图像边界内为图像增加随机噪声块。

5.如权利要求1所述的基于机器学习的样本集自动生成方法，其特征在于，遍历模式目录下的每类样本，根据扩充阈值表Thr3，利用几何变换方法来扩充样本集，具体步骤如下：

C5.1在指定区间内选取宽高比M，对图像进行随机裁剪，得到裁剪子图；

C5.2若裁剪子图中至少有一个目标与原图中目标的交并比大于指定阈值且该目标的中心位于子图范围内则予以保留，否则重新进行随机裁剪；

C5.3将裁剪子图缩放到固定尺寸S，并以概率P6对缩放后的图像进行左右翻转。