CN108596223A - 一种自动生成物体数据集的方法 - Google Patents

Abstract

本发明旨在提供一种降低人工成本、效率高的自动生成物体数据集的方法。本发明方法本发明用摄像头对物体进行拍照，获得待测物体图像，对获得的待测物体图像进行处理，提取图像中的物***置和角度信息，生成标签信息，生成具有不同格式的物体数据集；本发明利用图像处理技术，自动对单个物体或含有多个物体的图片进行分析，生成相应的标签，并得到数据集，得到的数据集可以直接用于深度学习的物体识别模型训练；与实拍的数据集训练得到的模型相比，本方法训练得到的模型其识别精度无明显改变，极大提高了获取数据集的效率，也极大减少了获取数据集的成本。本发明应用于图片处理领域。

Description

一种自动生成物体数据集的方法

技术领域

本发明涉及图片处理领域，特别涉及一种自动生成物体数据集的方法。

背景技术

攒了若干年的图片，有时候想要找一张图片真的是非常困难，需要花费大量的时间去翻查，只能根据大致的时间去找，但常常无法找到。为了更快地查找到需要的照片，目前一般是通过人工对每张照片中进行逐一标注，但人工标注难免出错，需要对标注结果进行交叉检查。这样一来，需要耗费大量的人力和时间，耗时持久且时常出错。

随着科技的发展，深度学习方法的发展使得各种图片内容识别技术越来越成熟。但深度学习高度依赖数据，丰富的训练数据将极大提升模型的准确性和泛化能力。为训练物体识别模型，需要包含有物体照片、物体名称和位置的数据集。物体名称和位置称为标签。目前，未有一种较好的方法能够快速地生成物体的图像数据集来训练物体识别模型。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种降低人工成本、效率高的自动生成物体数据集的方法。

本发明所采用的技术方案是：本发明方法包括以下步骤：

（1）用摄像头对物体进行拍照，获得待测物体图像；

（2）对获得的待测物体图像进行处理，提取图像中的物***置和角度信息，生成标签信息，生成具有不同格式的物体数据集。

进一步地，上述步骤（2）中的像中的物***置和角度信息的提取过程如下：对采集的照片进行中值滤波，对处理后的图片做大津二值化处理，进行连通域单集求解，将图片转换成凸变形，以最小外接矩形的左上角、右下角、中心点坐标和角度作为图像中的物***置和角度信息。

再进一步地，所述步骤（2）还包括图片拼接的步骤：在完成对待测物体图像进行处理后，将物体图片随机放到黑色画布上，拼接后生成多物体图像，提取多物体图像中的物***置和角度信息，生成各个物体的标签信息，自动标注，生成具有不同格式的多物体数据集。

又进一步地，图像中的多物***置和角度信息的提取过程如下：对采集的照片进行中值滤波，对处理后的图片做大津二值化处理，进行连通域单集求解，再进行连通域并集求解，将图片转换成凸变形，以最小外接矩形的左上角、右下角、中心点坐标和角度作为图像中的物***置和角度信息。

进一步地，对采集的照片进行中值滤波，对处理后的图片做大津二值化处理，进行连通域单集求解，将图片转换成凸变形的过程中，其中，

（1）中值滤波过程采用如下公式进行：

g（x,y）=med{f(x-k,y-l),(k,l∈W)，其中， f(x,y)，g(x,y)分别为原始图像和处理后图像，W 为二维模板，为圆形或者正方形；

（2）大津二值化处理的过程如下：设定最佳阈值t，该阈值t把图像分为前景和背景，具体如下：

设图象包含L个灰度级(0,1…,L-1)，灰度值为i的象素点数为Ni ，图象总的象素点数为N=N0+N1+...+N(L-1)，灰度值为i的点的概为：

P(i) = N(i)/N，

阈值t将整幅图象分为暗区c1和亮区c2两类，则类间方差σ是t的函数：σ=a1*a2(u1-u2)^2 (2)，

式中，aj 为类cj的面积与图象总面积之比，a1 = sum(P(i)) i->t, a2 = 1-a1； uj为类cj的均值，u1 = sum(i*P(i))/a1 0->t, u2 = sum(i*P(i))/a2, t+1->L-1，其中j取值1或2；

令Δu=u1-u2，σb = max{a1(t)*a2(t)Δu^2}，当类间方差σ最大时，得到最佳阈值t；

（3）求解图像中具有相同像素值且位置相邻的前景像素点组成的图像区域，进行连通域单集求解；

（4）最后将连通域的形状转换为凸变形。

再又进一步地，在拼接后生成的多物体图像中，如物体与物体之间的重叠面积大于20％，则重新调整分割的物体图像在黑色画布上的位置。

其中，所述标签信息包括但不限于图片的名称、长度、宽度、通道数、图片中物体的类别标签名、图片中物体的坐标信息。

本发明的有益效果是：本发明用摄像头对物体进行拍照，获得待测物体图像，对获得的待测物体图像进行处理，提取图像中的物***置和角度信息，生成标签信息，生成具有不同格式的物体数据集；本发明利用图像处理技术，自动对单个物体或含有多个物体的图片进行分析，生成相应的标签，并得到数据集，得到的数据集可以直接用于深度学习的物体识别模型训练；与实拍的数据集训练得到的模型相比，本方法训练得到的模型其识别精度无明显改变；本发明方法极大提高了获取数据集的效率，也极大减少了获取数据集的成本。

附图说明

图1是第一种单物体的图片示意图；

图2是第二种单物体的图片示意图；

图3是第三种单物体的图片示意图；

图4是拼接生成的多物体图片示意图；

图5是真实拍摄数据集精度表；

图6是拼接数据集精度表。

具体实施方式

本发明方法包括以下步骤：

（1）用摄像头对物体进行拍照，获得待测物体图像；

（2）对获得的待测物体图像进行处理，提取图像中的物***置和角度信息，生成标签信息，生成具有不同格式的物体数据集。其中，所述标签信息包括但不限于图片的名称、长度、宽度、通道数、图片中物体的类别标签名、图片中物体的坐标信息。

具体地，图像中的物***置和角度信息的提取过程如下：对采集的照片进行中值滤波，对处理后的图片做大津二值化处理，进行连通域单集求解，将图片转换成凸变形，以最小外接矩形的左上角、右下角、中心点坐标和角度作为图像中的物***置和角度信息。

针对在一张图片中具有多物体的情况，还包括图片拼接的步骤：在完成对待测物体图像进行处理后，将物体图片随机放到黑色画布上，拼接后生成多物体图像，提取多物体图像中的物***置和角度信息，生成各个物体的标签信息，自动标注，生成具有不同格式的多物体数据集。其中的图像中的多物***置和角度信息的提取过程如下：对采集的照片进行中值滤波，对处理后的图片做大津二值化处理，进行连通域单集求解，再进行连通域并集求解，将图片转换成凸变形，以最小外接矩形的左上角、右下角、中心点坐标和角度作为图像中的物***置和角度信息。

上述对采集的照片进行中值滤波，对处理后的图片做大津二值化处理，进行连通域单集求解，将图片转换成凸变形的过程中，其中，中值滤波过程采用如下公式进行：

g（x,y）=med{f(x-k,y-l),(k,l∈W)，其中， f(x,y)，g(x,y)分别为原始图像和处理后图像，W 为二维模板，为圆形或者正方形；

大津二值化处理的过程如下，设定最佳阈值t，该阈值t把图像分为前景和背景，具体如下：

设图象包含L个灰度级(0,1…,L-1)，灰度值为i的象素点数为Ni ，图象总的象素点数为N=N0+N1+...+N(L-1)，灰度值为i的点的概为：

P(i) = N(i)/N，

阈值t将整幅图象分为暗区c1和亮区c2两类，则类间方差σ是t的函数：σ=a1*a2(u1-u2)^2 (2)，

式中，aj 为类cj的面积与图象总面积之比，a1 = sum(P(i)) i->t, a2 = 1-a1； uj为类cj的均值，u1 = sum(i*P(i))/a1 0->t, u2 = sum(i*P(i))/a2, t+1->L-1，其中j取值1或2；

令Δu=u1-u2，σb = max{a1(t)*a2(t)Δu^2}，当类间方差σ最大时，得到最佳阈值t。

求解图像中具有相同像素值且位置相邻的前景像素点组成的图像区域，进行连通域单集求解。

最后将连通域的形状转换为凸变形。

在拼接后生成的多物体图像中，如物体与物体之间的重叠面积大于20％，则重新调整分割的物体图像在黑色画布上的位置。

为展示本方法相对人工处理的优势，我们对1000张单物体图片分别进行本方法标注和人工标注，生成数据集。所需时间结果如下(分钟)：

对于含有多物体图片，做如下试验：

（1）准备了13类物品的单物体图片，进行拼接生成多物体数据集；

（2）对上述13类物品，实拍相同数量的多物体图片，并通过人工进行打标签；

（3）加入相同数量相同比例的单物体数据集，与1和2分别混合，生成数据集A和B；

（4）用相同的神经网络和训练参数，用数据集A和B分别训练，生成两个模型；

（5）用同一个的测试集对生成的模型进行测试。

测试结果如图5和图6所示。其中图5是真实拍摄数据集精度表；图6是拼接数据集精度表。

其中，在测试精度方面，真实数据集测试结果的mAP 为 0.9820；而拼接数据集测试结果的mAP 为 0.9822。其中AP 为 Average Precision的缩写，意指平均精确度。而mAP是mean Average Precision的缩写，这里计算的是所有类别的平均精确度。 而在测试时间方面：自动生成数据集，耗时4分钟；人工生成数据集，耗时2107分钟。

由上述实验结果可知：

拼接的多物体数据集对模型的训练没有产生识别的精确度降低的影响，并且大大缩短了数据集的准备时间。

通过上述说明可知，本发明用包含单个物品或多个物体的图片数据集，自动生成可用于深度学习训练的多物体数据集。与实拍的数据集相比，生成的数据集所训练的模型，其识别精度无明显改变。本发明方法极大提高了获取数据集的效率，且对模型的准确性没有明显影响。

本发明应用于图片处理领域。

Claims (7)

1.一种自动生成物体数据集的方法，其特征在于，该方法包括以下步骤：

（1）用摄像头对物体进行拍照，获得待测物体图像；

（2）对获得的待测物体图像进行处理，提取图像中的物***置和角度信息，生成标签信息，生成具有不同格式的物体数据集。

2.根据权利要求1所述的一种自动生成物体数据集的方法，其特征在于，图像中的物***置和角度信息的提取过程如下：对采集的照片进行中值滤波，对处理后的图片做大津二值化处理，进行连通域单集求解，将图片转换成凸变形，以最小外接矩形的左上角、右下角、中心点坐标和角度作为图像中的物***置和角度信息。

3.根据权利要求1所述的一种自动生成物体数据集的方法，其特征在于，所述步骤（2）还包括图片拼接的步骤：在完成对待测物体图像进行处理后，将物体图片随机放到黑色画布上，拼接后生成多物体图像，提取多物体图像中的物***置和角度信息，生成各个物体的标签信息，自动标注，生成具有不同格式的多物体数据集。

4.根据权利要求3所述的一种自动生成物体数据集的方法，其特征在于，图像中的多物***置和角度信息的提取过程如下：对采集的照片进行中值滤波，对处理后的图片做大津二值化处理，进行连通域单集求解，再进行连通域并集求解，将图片转换成凸变形，以最小外接矩形的左上角、右下角、中心点坐标和角度作为图像中的物***置和角度信息。

5.根据权利要求2或4所述的一种自动生成物体数据集的方法，其特征在于，对采集的照片进行中值滤波，对处理后的图片做大津二值化处理，进行连通域单集求解，将图片转换成凸变形的过程中，其中，

（1）中值滤波过程采用如下公式进行：

g（x,y）=med{f(x-k,y-l),(k,l∈W)，其中， f(x,y)，g(x,y)分别为原始图像和处理后图像，W 为二维模板，为圆形或者正方形；

（2）大津二值化处理的过程如下：设定最佳阈值t，该阈值t把图像分为前景和背景，具体如下：

设图象包含L个灰度级(0,1…,L-1)，灰度值为i的象素点数为Ni ，图象总的象素点数为N=N0+N1+...+N(L-1)，灰度值为i的点的概为：

P(i) = N(i)/N，

阈值t将整幅图象分为暗区c1和亮区c2两类，则类间方差σ是t的函数：σ=a1*a2(u1-u2)^2 (2)，

式中，aj 为类cj的面积与图象总面积之比，a1 = sum(P(i)) i->t, a2 = 1-a1； uj为类cj的均值，u1 = sum(i*P(i))/a1 0->t, u2 = sum(i*P(i))/a2, t+1->L-1，其中j取值1或2；

令Δu=u1-u2，σb = max{a1(t)*a2(t)Δu^2}，当类间方差σ最大时，得到最佳阈值t；

（3）求解图像中具有相同像素值且位置相邻的前景像素点组成的图像区域，进行连通域单集求解；

（4）最后将连通域的形状转换为凸变形。

6.根据权利要求4所述的一种自动生成物体数据集的方法，其特征在于：在拼接后生成的多物体图像中，如物体与物体之间的重叠面积大于20％，则重新调整分割的物体图像在黑色画布上的位置。

7.根据权利要求1所述的一种自动生成物体数据集的方法，其特征在于：所述标签信息包括但不限于图片的名称、长度、宽度、通道数、图片中物体的类别标签名、图片中物体的坐标信息。