CN114119695A - 一种图像标注方法、装置及电子设备 - Google Patents

Abstract

本申请涉及图像检测技术领域，提供了一种图像标注方法、装置及电子设备，该方法包括：获取背景图像和包含前景的深度图像；利用深度图像和背景图像获取前景图像，并提取所述前景图像的前景轮廓以确定所述前景轮廓的最小外接矩形；赋予所述前景图像标签信息，并根据所述标签信息和所述最小外接矩形的坐标信息生成所述深度图像对应的标注文件，其中，所述标签信息指的是前景的类别信息；将所述深度图像转换为伪彩色图像，并基于所述伪彩色图像对所述标注文件进行修正，得到修正后的标注数据集。本实施例提高了图像标注效率。

Description

一种图像标注方法、装置及电子设备

技术领域

本申请涉及图像检测技术领域，尤其涉及一种图像标注方法、装置及电子设备。

背景技术

近年来，深度学习技术凭借其强大的特征学习能力，在图像目标检测领域的应用越来越广泛。制备训练数据是进行深度学习的前提之一。

目前，制备训练数据大多依靠人工进行数据标注，标注人员需要进行大量的重复性判断和操作以完成图像的数据标注。数据标注是一件非常繁琐和耗时的工作，需要投入大量的人力成本和时间成本。因此，急需一种标注效率更高的方案。

发明内容

有鉴于此，本申请实施例提供了一种图像标注方法、装置及电子设备，能够解决相关技术中的一个或多个技术问题。

第一方面，本申请一实施例提供了一种图像标注方法，包括：

获取背景图像和包含前景的深度图像；

利用所述深度图像和所述背景图像获取前景图像，并提取所述前景图像的前景轮廓以确定所述前景轮廓的最小外接矩形；

赋予所述前景图像标签信息，并根据所述标签信息和所述最小外接矩形的坐标信息生成所述深度图像对应的标注文件，其中，所述标签信息指的是前景的类别信息；

将所述深度图像转换为伪彩色图像，并基于所述伪彩色图像对所述标注文件进行修正，得到修正后的标注数据集。

本实施例，一方面，利用所述深度图像和所述背景图像获取前景图像，再确定前景的最小外接矩形及其坐标信息，减少人工标注候选框，大大提高了数据集的标注效率。另一方面，将深度图像转换为伪彩色图像方便用户对标注文件进行复检，提高了复检效率，也提高了标注的准确度，获得了置信度更高的数据集。再一方面，可以将标注文件应用于深度图像中，实现了快速标注深度图像的标注方法，便于在深度图像上标注进而进行训练学习，能够快速开展对深度图像的研究，促进3D相关技术的开发。

作为第一方面的一实现方式，所述将所述深度图像转换为伪彩色图像，包括：

获取色度图，所述色度图包括颜色值与像素值的映射关系；

对所述深度图像进行归一化，得到所述深度图像对应的归一化图像；

根据所述色度图将每个所述归一化图像映射成伪彩色图像。

作为第一方面的一实现方式，所述提取所述前景图像的前景轮廓以确定所述前景轮廓的最小外接矩形，包括：

对所述前景图像进行形态学操作和二值化处理，得到二值化图像；

提取所述二值化图像中的前景轮廓，确定所述前景轮廓的最小外接矩形。

作为第一方面的一实现方式，所述标注文件还包括深度图像的图像信息，所述图像信息包括图像的长、宽、通道、路径和图像名称。

作为第一方面的一实现方式，所述根据前景的标签信息和所述最小外接矩形的坐标信息生成所述深度图像对应的标注文件，包括：

将所述深度图像的前景对应的标签信息、所述深度图像的图像信息以及所述最小外接矩形的坐标信息写入预设格式的标注文件，得到所述深度图像对应的标注文件。

作为第一方面的一实现方式，所述得到修正后的标注数据集，包括：

利用所述伪彩色图像对所述标注文件中包括的所述标签信息和所述坐标信息进行一一校对，获得修正后的数据集。

作为第一方面的一实现方式，利用所述伪彩色图像对所述标注文件中包括的所述标签信息和所述坐标信息进行一一校对，包括：

利用标注工具对所述标注文件进行修正，获取修正后的标注数据集；其中，所述标注工具通过判断所述伪彩色图像显示的所述标注文件包括的标签信息与坐标信息是否正确对所述标注文件进行修正。

第二方面，本申请一实施例提供了一种图像标注装置，包括：

采集模块，用于采集背景图像和包含前景的深度图像；

提取模块，用于利用所述深度图像和所述背景图像获取前景图像，并提取所述前景图像的前景轮廓以确定所述前景轮廓的最小外接矩形；

文件生成模块，用于赋予所述前景图像标签信息，并根据所述标签信息和所述最小外接矩形的坐标信息生成所述深度图像对应的标注文件，其中，所述标签信息为前景的类别信息；

转换模块，用于将所述深度图像转换为伪彩色图像；

标注模块，用于基于所述伪彩色图像对所述标注文件进行修正，得到修正后的标注数据集。

第三方面，本申请一实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面任一实现方式所述图像标注方法的步骤。

第四方面，本申请一实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方向任一实现方式所述图像标注方法的步骤。

第五方面，本申请一实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备可实现上述第一方面或第一方面任一实现方式所述图像标注方法的步骤。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种电子设备的结构示意图；

图2是本申请一实施例提供的一种图像标注方法的实现流程示意图；

图3是本申请一实施例提供的一种图像标注方法中步骤S160的具体实现流程示意图；

图4是本申请一实施例提供的一种图像标注装置的结构示意图；

图5是本申请一实施例提供的另一种图像标注装置的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本申请说明书中描述的“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

此外，在本申请的描述中，“多个”的含义是两个或两个以上。

还应当理解，除非另有明确的规定或限定，术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

目前人工进行数据标注的方法耗时耗力，成本高，效率低。另外，市面上多数数据标注方法适用于彩色图像，很少考虑到深度图像的数据标注。

因此，本申请实施例提供一种图像标注方法，可实现图像的快速标注，进而可实现快速标注深度图像以获得具有标注信息的深度图像，从而便于开展对深度图像的研究，促进三维(3D)相关技术的开发。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

图1为本申请一实施例提供的一种电子设备的结构示意图。其中，电子设备包括但不限于计算机、平板、笔记本电脑、上网本、服务器等电子设备，本申请实施例对电子设备的具体类型不作任何限制。

在本申请一些实施例中，电子设备可以包括一个或多个处理器10(图1中仅示出一个)，存储器11以及存储在存储器11中并可在一个或多个处理器10上运行的计算机程序12，例如，进行图像标注的程序。一个或多个处理器10执行计算机程序12时可以实现后述图像标注方法实施例中的各个步骤。或者，一个或多个处理器10执行计算机程序12时可以实现后述各图像标注装置实施例中各模块/单元的功能。

示例性的，计算机程序12可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器11中，并由处理器10执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序12在处理单元中的执行过程。例如，计算机程序12可以被分割成如下几个模块。各模块具体功能如下：

获取模块，用于获取背景图像和包含前景的深度图像；

提取模块，用于利用所述深度图像和所述背景图像获取前景图像，并提取所述前景图像的前景轮廓以确定所述前景轮廓的最小外接矩形；

文件生成模块，用于赋予所述前景图像标签信息，并根据所述标签信息和所述最小外接矩形的坐标信息生成所述深度图像对应的标注文件，其中，所述标签信息为前景的类别信息；

转换模块，用于将所述深度图像转换为伪彩色图像；

标注模块，用于基于所述伪彩色图像对所述标注文件进行修正，得到修正后的标注数据集。

本领域技术人员可以理解，图1仅仅是电子设备的示例，并不构成对电子设备的限定。电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器11可以是处理单元的内部存储单元，例如处理单元的硬盘或内存。存储器11也可以是处理单元的外部存储设备，例如处理单元上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，存储器11还可以既包括处理单元的内部存储单元也包括外部存储设备。存储器11用于存储计算机程序以及处理单元所需的其他程序和数据。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。

本申请一实施例还提供了电子设备的另一种优选的实施例，在本实施例中，电子设备包括一个或多个处理器，该一个或多个处理器用于执行存在存储器的以下程序模块：

获取模块，用于获取背景图像和包含前景的深度图像；

提取模块，用于利用所述深度图像和所述背景图像获取前景图像，并提取所述前景图像的前景轮廓以确定所述前景轮廓的最小外接矩形；

文件生成模块，用于赋予所述前景图像标信息，并根据所述标签信息和所述最小外接矩形的坐标信息生成所述深度图像对应的标注文件，其中，所述标签信息为前景的类别信息；

转换模块，用于将所述深度图像转换为伪彩色图像；

标注模块，用于基于所述伪彩色图像对所述标注文件进行修正，得到修正后的标注数据集。

图2是本申请一实施例提供的一种图像标注方法的实现流程示意图。本实施例中的图像标注方法适用于需要对深度图像进行标注的情形。本实施例中的图像标注方法可由电子设备执行。作为示例而非限定，图像标注方法可应用于图1所示的电子设备。

如图2所示，图像标注方法可以包括：步骤S110至步骤S160。

S110，获取背景图像和包含前景的深度图像。

其中，具体地应用场景通常包括前景目标(或称前景，或称目标)和背景。

针对同一场景下的同一角度，利用采集模块可以拍摄至少一帧深度图像和至少一帧背景图像，至少一帧深度图像包含前景目标和背景，即为深度全景图像，至少一帧背景图像仅包含背景RGB图像或深度图像。通过改变拍摄的场景和/或相机角度，可以获得大量的图像。

作为一实现方式，先在某一场景下，在各个不同采集模块角度下分别拍摄多帧背景图像和多帧深度图像，然后换一个拍摄场景，在各个不同采集模块角度下分别拍摄多帧背景图像和多帧深度图像，可以更换多个场景。

作为另一实现方式，先在某一场景下，在某一采集模块角度下拍摄多帧背景图像和多帧深度图像，然后换一个拍摄场景，在同一采集模块角度下拍摄多帧背景图像和多帧深度图像，可以更换多个场景。

在一些实施例中，在某一场景下某一采集模块角度下拍摄的多帧背景图像和多帧深度图像，可以形成一背景图像序列帧和一深度图像序列帧。背景图像可以置于深度图像之前，便于后续的背景建模，提高效率。

S120，基于背景图像和深度图像获取深度图像对应的前景图像。

更具体地，步骤S120进行的是目标前景提取，优选为基于背景建模的方法提取深度图像中的目标前景。

在一些实施例中，首先基于深度图像和背景图像进行背景的建模，然后利用背景相减的方法完成对序列帧中目标前景的检测。本申请实施例对背景建模的方法不予具体限制。

作为一非限制性示例，基于背景建模来提取目标前景可以包括如下步骤：

1)背景建模；背景建模的过程是对一背景图像序列帧的学习过程。在训练阶段，通过学习一背景图像序列帧来提取这一序列帧中的背景特征，从而建立一个数学模型来描述这个背景，形成背景模型。

2)检测阶段；将检测图像(即深度图像)和背景模型进行相减运算，得到前景目标。具体地，用背景模型对需要检测的图像，即深度全景图像进行处理，处理一般采用背景相减法，提取出检测图像与背景模型中性质不同的像素点，这些像素点组成的图像就是前景目标，即前景图像。

在一些实施例中，若所获取的前景图像是前景灰度图，则可以直接进入后续步骤S130，或者，可以将灰度图转换成二值图后，再进入后续步骤S130。在其他一些实施例中，若所获取的前景图像是前景二值图，则可以直接进入后续步骤S130。

应理解，可以采用其他方式基于深度图像和背景图像提取前景图像，本申请实施例对此不予具体限制。例如，可以将任一深度图像减去背景图像来提取该深度图像的前景图像。

S130，对前景图像进行形态学操作，得到二值化图像。

在一些实施例中，可以采用形态学操作去除噪点，减少背景干扰，以提高后续标注结果的精度，从而提供置信度更高的训练数据。其中，形态学操作包括但不限于膨胀(Dilation)、腐蚀(Erosion)、开运算或闭运算等，本申请对形态学操作的方式不予限制。

作为一非限制性示例，基于步骤S120得到前景软分割图像，即前景二值图像的基础上，选取3*3的结构矩阵，结构矩阵内的元素均为1，以1为步长，扫描前景软分割图像中的每个像素，利用结构矩阵与前景软分割图像进行逻辑与运算，如果结构矩阵与前景软分割图像的值均为1，则输出图像的该点像素为1，其余情况输出图像的像素为0，该过程称为腐蚀过程，可使前景软分割图像减小一圈。

作为另一非限制性示例，基于步骤S61得到前景软分割图像的基础上，选取3*3的结构矩阵，结构矩阵内的元素均为1，利用结构矩阵与前景软分割图像进行逻辑与运算，如果结构矩阵与前景软分割图像的值均为0，则输出图像的该点像素为0，其余情况输出图像的像素为1，该过程称为膨胀过程，可使前景软分割图像扩大一圈。

应当理解的是，基于上述的先腐蚀后膨胀的过程称为开运算，开运算可用于消除噪点，在纤细点分离物体、平滑较大物体的边界的同时不明显改变其面积。

S140，提取二值化图像中的前景轮廓，确定前景轮廓的最小外接矩形。

在一些实施例中，对二值化图像进行边缘检测，以提取前景轮廓。在其他一些实施例中，先对二值化图像进行平滑滤波，消除部分噪声，再进行边缘检测，以提取精度更高的前景轮廓。

在一些实现方式中，图像平滑滤波的方法包括但不限于：插值方法，线性平滑方法或卷积法等，可以根据实际图像噪声的不同选择不同的平滑滤波方法，例如，针对椒盐噪声，采用线性平滑方法。需要说明的是，本申请实施例对平滑滤波方法不予限制。

在一些实现方式中，可以基于边缘检测算子进行边缘检测，边缘检测算子包括但不限于索贝尔(Sobel)算子、罗伯茨(Roberts)算子、Prewitt算子、Canny算子、拉氏算子等。需要说明的是，本申请实施例对边缘检测的方法不予限制。

在提取前景轮廓后，确定前景轮廓的最小外接矩形。最小外接矩形可以包括最小面积外接矩形和最小周长外接矩形。

在一些实施例中，可以采用直接计算方法、等间隔旋转搜索方法、或它们的改进方法等确定前景轮廓的最小外接矩形。本申请对确定最小外接矩形的方式不予具体限制。

进一步地，还可先对找到的所有轮廓进行条件判断，去除不符合条件的干扰轮廓，然后寻找轮廓最小外接矩形。其中，条件为基于轮廓的周长、轮廓的面积、轮廓的质心、轮廓的长宽比等中的一种或多种参数预先设定的判定条件。参数满足预先设定的判定条件则保留，不满足则去除。

应该理解的是，在其他一些实施例中，外接矩形还可以选择其他形状。此处仅为示例性描述，不能解释为对本申请的具体限制。

S150，赋予前景图像标签信息，并基于标签信息和最小外接矩形的坐标信息生成各深度图像对应的标注文件。

其中，标签信息指的是前景或目标的类别信息。可以由标注人员输入标签信息。

最小外接矩形的坐标信息指的是前景或目标的候选框的坐标信息。可以选择前景图像中最小外接矩形上任一像素点对应的像素坐标作为坐标信息。例如，前景图像中最小外接矩形上任一像素点可以选择矩形左上角、右上角、左下角或右下角像素点。此处仅为示例性描述，不能解释为对本申请的具体限制。

为了方便描述本申请实施例的方案，在本申请实施例中以人体作为前景目标的示例，以制备用于人体检测的训练数据为例进行描述。应理解，示例性描述不能解释为对本申请的具体限制。在其他实施例中，前景目标还可以包括物体和/或动物等。

作为一非限制性示例，制备用于人体检测的训练数据，人体检测模型是二分类模型，标签信息可以包括人体(或person)或非人体。应理解，若某一深度图像中存在人体目标，则该人体目标对应的标签信息是人体，则该人体目标对应的最小外接矩形的坐标信息为具体的坐标信息；若某一深度图像中不存在人体目标而存在非人体目标，则该深度图像中的标签信息和坐标信息为空，或不存在。

作为另一非限制性示例，制备用于人体检测的训练数据，人体检测模型是三分类以上的模型，标签信息可以包括人体、动物、物体等。应理解，若某一深度图像中存在人体目标，则该人体目标对应的标签信息是人体，该人体目标对应的最小外接矩形的坐标信息为具体的坐标信息；若某一深度图像中不存在人体目标而存在动物或物体等，则该深度图像中的标签信息和坐标信息为空，或不存在。需要说明的是，在三分类以上的模型中，可以对人体或非人体作进一步细分，本申请实施例对此不予限制。

在一些实施例中，将深度图像对应的标签信息、深度图像对应的前景图像中最小外接矩形的坐标信息写入预设格式标注文件，得到标注文件。需要说明的是，预设格式标注文件可以包括VOC的xml标注文件、yolo的txt标注文件、或coco的json标注文件。本申请实施例对标注文件的格式不予具体限制。

在其他一些实施例中，将深度图像对应的标签信息和图像信息、深度图像对应的前景图像中最小外接矩形的坐标信息写入预设格式标注文件，得到标注文件。

更具体地，获取相机拍摄的深度图像时，每个深度图像可以自带图像信息。图像信息包括但不限于图像的长、宽、通道、路径和图像名称等中的一种或多种的组合。因此，在一些实施例中，将图像信息也写入标注文件。

S160，将深度图像转换为伪彩色图像。

对于深度图像，人眼很难识别出其中的目标，也很难感知到深度的变化。因此，可将各深度图像转换为伪彩色图像，实现较好的可视化效果，便于后续人工复检。

在一些实施例中，如图3所示，将深度图像转换为伪彩色图像，包括步骤S161至步骤S163。

S161，获取色度图(colormap)，色度图包括颜色值与像素值的映射关系。

在本申请实施例中，色度图有很多种，选择适合应用场景的色度图即可。在本申请实施例中，色度图选择能够较大程度的区分人体与背景的色度图。

在一些实现方式中，选择适合人体检测场景的色度图，色度图可以选择如colormap_jet。

在一些实现方式中，颜色值可以为RGB值。

S162，对深度图像进行归一化，得到深度图像对应的归一化图像；

将深度图像中各像素值归一化至0至255范围，0至255范围可以为闭区间[0，8000]。即，原来深度图中各像素值的范围为0至8000范围，通过归一化操作，将这些像素值范围归一化至0至255范围。

作为一非限制性示例，若某一深度图像中像素值最大为a，该深度图像中某一像素点j的深度值为z，则该像素点j进行归一化至[0,225]之间，则：

其中，G(j)表示像素点j归一化后的值。

S163，根据色度图将归一化图像映射成伪彩色图像。

由于色度图包括颜色值和像素值的对应关系，因此，根据色图度可以确定每个归一化图像中各像素的像素值(即对深度值进行归一化后的值)对应的颜色值，从而将归一化图像映射成伪彩色图像。

S170，利用深度图像的伪彩色图像对每个深度图像对应的标注文件进行修正，获得修正后的标注数据集。

在一些实施例中，先将深度图像对应的标注文件与该深度图像的伪彩色图像进行一一对应，获取对齐的所述标注文件和所述伪彩色图像，再基于该深度图像的伪彩色图像对每个深度图像对应的标注文件包括的标签信息和最小外接矩阵的坐标信息进行修正，得到修正后的标注数据集。

在一些实施例中，步骤S170还包括：可利用标注工具对标注数据集进行修正，获取修正后的标注数据集；其中，标注工具可用于同时展示标注图像和标注文件，以进一步通过判断所述伪彩色图像显示的所述标注文件包括的标签信息与坐标信息是否正确对所述标注文件进行修正。

通过寻找前景轮廓的最小外接矩形并赋予标签信息对深度图像实现自动标注完成后，会存在候选框的位置(即目标或前景的坐标信息)不够准确、漏标、或误标等情况，因此需要进行人工复检，对标注框进行修正，提高标注框的准确度。由于深度图像可视化效果差，因此利用可视化效果好的与各深度图像对应的伪彩色图像进行人工复检，可以让用户快速友好的感知目标，方便用户进行人工复检，提高复检的效率与准确性，得到标注准确率高的深度图像数据集。

作为一非限制性示例，标注工具通过显示屏展示每对一一对应的标注文件和标注伪彩色图像，即标注文件中的标签信息和最小外接矩形显示于伪彩色图像上，方便用户(即标注人员)进行复检，用户可以通过比对伪彩色图像和标注文件检查标签信息和目标坐标信息，当发现错误时，用户可以通过外接设备的诸如麦克风、鼠标、键盘等输入设备输入人工复检数据，标注工具根据用户输入的人工复检数据对标注文件进行修正，从而得到经修正的标注文件，获得修正后的标注数据集，即标注好的深度图像集。进一步地，在人工复检后将获得准确的标注好的数据集，可将标注深度图像转换为标注伪彩色图像，得到与深度图像、伪彩色图像均对应的标注文件，形成标注好的深度图像数据集。例如，将标注深度图像数据集作为训练数据，得到基于深度图像的人体检测模型。

需要说明的是，若经用户人工复检，发现标注文件中的信息不需要修改，则保留原标注文件信息。

在一些实施例中，可以同屏显示一对或多对一一对应的标注文件和伪彩色图像。

作为一非限制性示例，标注工具为labelimg软件，通过对每帧与标注文件一一对应的伪彩色图像进行批量标注修正。

具体地，用户打开标注工具labelimg软件之后，需要检查的主要是标注文件中的标签信息和最小外接矩形的坐标信息，对于图像信息，labelimg软件会自动读取原始图像信息，如果与标注文件中的图像信息存在出入，会对图像信息自动修改并写入标注文件。

在本申请实施例，一方面，基于深度图像和背景图像提取前景图像，再确定前景的最小外接矩形及其坐标信息，减少人工标注候选框，大大提高了数据集的标注效率。另一方面，将深度图像转换为伪彩色图像方便用户对标注文件进行复检，提高了复检效率，也提高了标注的准确度，获得了置信度更高的数据集。再一方面，可以将标注文件应用于深度图像中，实现了快速标注深度图像的标注方法，进而进行训练学习，能够快速开展对深度图像的研究，促进3D相关技术的开发。

需要说明的是，图2所示实施例的步骤编号，不能解释为各步骤的时间顺序的限制。应理解，在其他一些实施例中，步骤之间的前后顺序可以根据步骤间的逻辑关系进行调换，而不影响本方案的实施。作为一非限制性示例，步骤S160在步骤S110之后，在步骤S170之前的任一时间执行。

对应于上文的图像标注方法，本申请一实施例还提供一种图像标注装置。该图像标注装置中未详细描述之处请详见前述方法的描述。

图4是本申请一实施例提供的一种图像标注装置的结构示意图。所述图像标注装置包括：采集模块51、提取模块52、文件生成模块53、转换模块54和标注模块55。

采集模块51，用于采集背景图像和包含前景的深度图像；

提取模块52，用于利用所述深度图像和所述背景图像获取前景图像，并提取所述前景图像的前景轮廓以确定所述前景轮廓的最小外接矩形；

文件生成模块53，用于赋予所述前景图像标签信息，并根据所述标签信息和所述最小外接矩形的坐标信息生成各所述深度图像对应的标注文件，其中，所述标签信息为前景的类别信息；

转换模块54，用于将每个所述深度图像转换为伪彩色图像；

标注模块55，用于基于所述伪彩色图像对所述标注文件进行修正，得到修正后的标注数据集。

在一个实施例中，采集模块51用于采集多个场景的图像，图像包括包含前景的深度图像和不包含前景的背景图像，其中，背景图像可为深度图像或彩色图像。需要说明的是，采集模块51包括深度相机，深度相机可为但不限于基于诸如间接飞行时间(indirecttime-of-flight，iToF)或直接飞行时间(direct time-of-flight，dToF)等光飞行时间法(time-of-flight，TOF)、基于双目视觉、或基于结构光等的相机；在另一实施例中，采集模块51还可为彩色相机，用于采集仅包含背景的彩色图像(即背景图像)，此处不作限制。

为采集足够数量的图像数据用于深度学习，可多次改变拍摄的场景，并针对每一个场景，采集多帧深度图像和背景图像，这样就可以获得多个不同场景下的训练数据。

作为一非限制性示例，采集模块51启动后，使用采集模块51拍摄图像，即采集深度图像和背景图像。在采集图像时，对于每一个场景下的任一相机角度，可以先采集少量背景图像，例如50帧背景图像，再采集多帧深度图像。需要说明的是，背景图像是指深度图像中不包含人体而包含背景的图像，深度图像是指包含人体和背景的图像；在采集图像时，可以将多帧深度图像和背景图像分别保存为序列帧，以便于后续计算处理，此处不作限制。

在一些实施例中，所述转换模块54，具体用于：

获取色度图，色度图包括颜色值与像素值的映射关系；

对每个所述深度图像进行归一化，得到每个所述深度图像对应的归一化图像；

根据色度图将每个所述归一化图像映射成伪彩色图像。

在一实现方式中，所述获取色度图包括：获取人体检测场景的色度图。

在一些实施例中，所述提取模块52，具体用于：

对所述前景图像进行形态学操作，得到二值化图像；

提取所述二值化图像中的前景轮廓，确定所述前景轮廓的最小外接矩形。

在一些实施例中，在图4所示实施例的基础上，如图5所示为本申请一实施例提供的一种图像标注装置。如图5所示，所述图像标注装置还包括：对应模块56。应理解，其他未详细描述之处请参见图4所示实施例。

对应模块56，用于将所述深度图像对应的标注文件与所述深度图像的伪彩色图像一一对应，获取对齐的所述标注文件和所述伪彩色图像。

在一些实施例中，所述文件生成模块53，具体用于：

将每个所述深度图像的前景对应的标签信息和所述最小外接矩形的坐标信息写入预设格式的标注文件，得到所述深度图像对应的标注文件。

在一些实施例中，所述文件生成模块53，具体用于：

将每个所述深度图像的前景对应的标签信息、所述深度图像的图像信息以及所述最小外接矩形的坐标信息写入预设格式的标注文件，得到每个所述深度图像对应的标注文件。

在一些实施例中，所述进一步获取标注数据集，包括：将所述标注深度图像转换为标注伪彩色图像，得到标注深度图像数据集。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种电子设备，该电子设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意图像标注方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个图像标注方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备可实现上述各个图像标注方法实施例中的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像标注方法，其特征在于，包括：

获取背景图像和包含前景的深度图像；

利用所述深度图像和所述背景图像获取前景图像，并提取所述前景图像的前景轮廓以确定所述前景轮廓的最小外接矩形；

赋予所述前景图像标签信息，并根据所述标签信息和所述最小外接矩形的坐标信息生成所述深度图像对应的标注文件，其中，所述标签信息指的是前景的类别信息；

将所述深度图像转换为伪彩色图像，并基于所述伪彩色图像修正所述标注文件，得到修正后的标注数据集。

2.如权利要求1所述的图像标注方法，其特征在于，所述将所述深度图像转换为伪彩色图像，包括：

获取色度图，所述色度图包括颜色值与像素值的映射关系；

对所述深度图像进行归一化，得到所述深度图像对应的归一化图像；

根据所述色度图将每个所述归一化图像映射成伪彩色图像。

3.如权利要求1所述的图像标注方法，其特征在于，所述提取所述前景图像的前景轮廓以确定所述前景轮廓的最小外接矩形，包括：

对所述前景图像进行形态学操作和二值化处理，得到二值化图像；

提取所述二值化图像中的前景轮廓，确定所述前景轮廓的最小外接矩形。

4.如权利要求1至3任一项所述的图像标注方法，其特征在于，所述根据所述标签信息和所述最小外接矩形的坐标信息生成所述深度图像对应的标注文件，包括：

将所述深度图像的前景对应的标签信息、所述深度图像的图像信息以及所述最小外接矩形的坐标信息写入预设格式的标注文件，得到所述深度图像对应的标注文件。

5.如权利要求4所述的图像标注方法，其特征在于，所述标注文件还包括深度图像的图像信息，所述图像信息包括图像的长、宽、通道、路径和图像名称。

6.如权利要求1所述的图像标注方法，其特征在于，所述得到修正后的标注数据集，包括：利用所述伪彩色图像对所述标注文件中包括的所述标签信息和所述坐标信息进行一一校对，获得修正后的数据集。

7.如权利要求6所述的图像标注方法，其特征在于，所述利用所述伪彩色图像对所述标注文件中包括的所述标签信息和所述坐标信息进行一一校对，包括：利用标注工具对所述标注文件进行修正，获取修正后的标注数据集；其中，所述标注工具通过判断所述伪彩色图像显示的所述标注文件包括的标签信息与坐标信息是否正确对所述标注文件进行修正。

8.一种图像标注装置，其特征在于，包括：

采集模块，用于采集背景图像和包含前景的深度图像；

提取模块，用于利用所述深度图像和所述背景图像获取前景图像，并提取所述前景图像的前景轮廓以确定所述前景轮廓的最小外接矩形；

文件生成模块，用于赋予所述前景图像标签信息，并根据所述标签信息和所述最小外接矩形的坐标信息生成所述深度图像对应的标注文件，其中，所述标签信息为前景的类别信息；

转换模块，用于将所述深度图像转换为伪彩色图像；

标注模块，用于基于所述伪彩色图像对所述标注文件进行修正，得到修正后的标注数据集。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的图像标注方法。

10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像标注方法。

Images