CN113657307A - 一种数据标注方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本公开提供了一种数据标注方法、装置、计算机设备及存储介质，其中，该方法包括：获取利用图像采集设备对目标设备的预设区域进行图像采集得到的视频；从所述视频中，确定包括所述预设区域的关键帧图像；响应于对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据，生成所述视频的属性标注数据；基于所述属性标注数据以及所述视频，生成目标采集数据。

Description

一种数据标注方法、装置、计算机设备及存储介质

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种数据标注方法、装置、计算机设备及存储介质。

背景技术

为了方便对实体设备的管理，如对机房中用电设备的管理等，当前会基于机房中的设备生成与设备对应的数字资产，这就涉及到数字资产的生成方式；当前通常采用创建设备管理表格，在设备管理表格中填写设备数据的方式，生成与设备对应的数字资产。但由于设备上的器件、接口、控制按钮等较多，在利用人工填写的方式记录设备的设备数据时，可能会在标注时出现遗漏，导致数字资产的缺失。

发明内容

本公开实施例至少提供一种数据标注方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种数据标注方法，包括：获取利用图像采集设备对目标设备的预设区域进行图像采集得到的视频；从所述视频中，确定包括所述预设区域的关键帧图像；响应于对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据，生成所述视频的属性标注数据；基于所述属性标注数据以及所述视频，生成目标采集数据。

这样，由于关键帧图像可以在示出目标设备的同时，相应的示出对应的标注数据，因此可以在进行数据标注时，可以更直观的显示出针对目标设备未完成数据标注的目标设备以及在关键帧图像中的位置，以更容易的得到视频的属性标注数据，从而生成目标采集数据。这样，可以减少在数据标注时出现遗漏的现象发生，从而避免机房中数字资产的缺失。同时，所生成的目标采集数据既包括了目标设备的属性标注数据，又包括了目标设备的视频，因此数据更具有全面性。

一种可选的实施方式中，所述对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据，包括：基于所述关键帧图像生成预览图像，并展示所述预览图像；其中，所述预览图像的分辨率低于所述关键帧图像的分辨率；响应于对所述预览图像中任一位置的触发，展示与该位置对应的属性配置控件；接收从所述属性配置控件输入的所述标注数据。

这样，由于预览图像的尺寸较小，因此在进行数据标注时数据传输量较小，传输效率也较高。另外，通过对预览图像任一位置触发的方式确定数据标注位置的方式也更加灵活。

一种可选的实施方式中，所述对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据，包括：对所述关键帧图像进行预设识别处理，得到所述关键帧图像中的待识别对象包含的属性信息；其中，所述待识别对象位于所述目标设备的预设区域；基于所述待识别对象在所述关键帧图像中的位置信息、以及所述图像采集设备采集所述关键帧图像时的位姿，确定所述待识别对象在所述目标设备对应的三维实体模型中的位置信息；基于所述待识别对象、所述待识别对象在所述目标设备对应的三维实体模型中的位置信息、以及所述待识别对象包含的属性信息，对所述关键帧图像进行标注处理，得到所述标注数据。

这样，通过预设识别处理，可以更快速的确定待识别对象的相关信息，而较少的需要人工干预或者人工操作，效率更高。

一种可选的实施方式中，所述待识别对象包括图标；其中，所述图标包括下述至少一种：定位角标、以及标识码；所述对所述关键帧图像进行预设识别处理，得到所述关键帧图像中的待识别对象包含的属性信息，包括：对所述关键帧图像进行对象识别，确定所述关键帧图像中与所述目标设备的预设区域对应的图标。

一种可选的实施方式中，所述待识别对象包括文字；所述对所述关键帧图像进行预设识别处理，得到所述关键帧图像中的待识别对象包含的属性信息，包括：对所述关键帧图像进行光学字符OCR识别，确定所述关键帧图像中与所述目标设备的预设区域对应的文字。

这样，由于对待识别对象进行识别较为便捷，因此可以有效的提高数据标注的效率。

一种可选的实施方式中，所述获取利用图像采集设备对目标设备的预设区域进行图像采集得到的视频，包括：控制所述图像采集设备对所述目标设备的预设区域进行图像采集，得到第一视频；基于所述第一视频、以及所述图像采集设备采集所述第一视频时的位姿，确定所述目标设备对应的存在待补充采集的补采区域；基于所述补采区域，控制所述图像采集设备对所述目标设备进行补采，得到第二视频。

这样，同步确认补采区域并进行对补采区域的补采操作，可以利用第二视频补充第一视频中采集缺失的部分，使得得到的视频更完整的显示出目标设备的预设区域对应的不同位置的图像。

一种可选的实施方式中，所述基于所述第一视频、以及所述图像采集设备采集所述第一视频时的位姿，确定所述目标设备对应的存在待补充采集的补采区域，包括：基于所述第一视频以及所述图像采集设备采集所述第一视频时的位姿，对所述目标设备进行三维重建，生成所述目标设备的三维实体模型；基于所述三维实体模型，确定所述目标设备对应的存在待补充采集的补采区域。

这样，通过利用三维重建确定的三维场景模型确定补采区域的方式，可以更明确地确定出未能建立三维实体模型的部分，以更准确的确定目标设备对应的补采区域。

一种可选的实施方式中，基于所述补采区域，控制所述图像采集设备对所述目标设备进行补采，得到第二视频，包括：基于所述图像采集设备的当前位姿，以及所述补采区域在所述三维实体模型中对应的位置，控制所述图像采集设备对所述补采区域进行补采，得到所述第二视频。

这样，通过确定的第二视频、以及确定的图像采集设备的当前位姿，可以更准确且更高效的确定补采区域的采集策略，并得到针对补采区域的第二视频。

一种可选的实施方式中，所述基于所述三维实体模型，确定所述目标设备对应的存在待补充采集的补采区域，包括：基于所述三维实体模型中各个稠密点云点在所述目标设备中的三维位置信息，检测所述三维实体模型中是否存在未完成建模的区域；若存在未完成建模的区域，则将所述未完成建模的区域确定为所述补采区域。

这样，通过稠密点云点的三维位置信息，可以更准确的反应出补采区域的准确位置，以更准确的确定需要进行数据补采的区域。

一种可选的实施方式中，所述基于所述三维实体模型，确定所述目标设备对应的存在待补充采集的补采区域，包括：展示所述三维实体模型；响应于用户对所述三维实体模型中任一区域的触发操作，将被触发的区域确定为所述补采区域。

这样，可以响应于用户的触发操作，可以更加灵活的对补采区域进行选定。

一种可选的实施方式中，所述方法还包括：获取所述图像采集设备采集所述视频时的位姿；所述基于所述属性标注数据以及所述视频，生成目标采集数据，包括：基于所述属性标注数据、所述视频、以及所述位姿，生成所述目标采集数据。

一种可选的实施方式中，所述目标设备包括机柜；所述目标设备的预设区域包括下述至少一种：机柜内侧面、以及机柜外侧面。

第二方面，本公开实施例还提供一种数据标注装置，包括：第一获取模块，用于获取利用图像采集设备对目标设备的预设区域进行图像采集得到的视频；确定模块，用于从所述视频中，确定包括所述预设区域的关键帧图像；生成模块，用于响应于对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据，生成所述视频的属性标注数据；处理模块，用于基于所述属性标注数据以及所述视频，生成目标采集数据。

第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

关于上述数据标注装置、计算机设备、及计算机可读存储介质的效果描述参见上述数据标注方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种数据标注方法的流程图；

图2示出了本公开实施例所提供的一种机柜的示意图；

图3示出了本公开实施例所提供的一种生成三维实体模型的具体实施例对应的流程图；

图4示出了本公开实施例所提供的一种进行数据补采时的具体实施例的流程图；

图5示出了本公开实施例所提供的一种在图形显示界面上显示视频帧图像时的示意图；

图6示出了本公开实施例所提供的一种在图形显示界面上显示出的视频帧图像以及三维实体模型时的示意图；

图7示出了本公开实施例所提供的一种展示关键帧图像以及标注控件时的图形显示界面的示意图；

图8示出了本公开实施例所提供的另一种展示关键帧图像以及标注控件时的图形显示界面的示意图；

图9示出了本公开实施例所提供的一种进行数据标注时的具体实施例的流程图；

图10示出了本公开实施例所提供的一种对机柜进行数据标注的实施例对应的流程图；

图11示出了本公开实施例所提供的一种数据标注装置的示意图；

图12示出了本公开实施例所提供的一种计算机设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

基于上述对背景技术的研究，本公开提供了一种数据标注方法，通过图像采集设备对目标设备的预设区域进行图像采集得到视频，并利用视频中确定的关键帧图像进行标注。由于关键帧图像可以在示出目标设备的同时，相应的示出对应的标注数据，因此可以在进行数据标注时，可以更直观的显示出针对目标设备未完成数据标注的目标设备以及在关键帧图像中的位置，以更容易的得到视频的属性标注数据，从而生成目标采集数据。这样，可以减少在数据标注时出现遗漏的现象发生，从而避免机房中数字资产的缺失。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种数据标注方法进行详细介绍，本公开实施例所提供的数据标注方法的执行主体一般为具有一定计算能力的数据处理设备，该数据处理设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备(例如平板电脑，或者下述示例中说明的手机)、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一种可能的情况下，还可以为目标空间配备专用的数据处理设备，例如机房中的管理计算机、或者便携式手持管理设备。具体地可以根据实际情况确定，在此不再赘述。另外，在一些可能的实现方式中，该数据标注方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的一种数据标注方法的流程图，所述方法包括步骤S101～S104，其中：

S101：获取利用图像采集设备对目标设备的预设区域进行图像采集得到的视频；

S102：从所述视频中，确定包括所述预设区域的关键帧图像；

S103：响应于对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据，生成所述视频的属性标注数据；

S104：基于所述属性标注数据以及所述视频，生成目标采集数据。

下面对上述S101～S104加以详细说明。

针对上述S101，图像采集设备例如可以包括手机等移动设备上自携带的摄像头。具体地，由于手机等移动设备体积小，且较为轻便，因此更适用于对机柜上的设备结构进行图像采集。

此处，在具体实施中，例如可以将机柜作为目标设备，并将机柜上的不同设备结构所在的位置，作为目标设备的预设区域，例如机柜内侧面、以及机柜外侧面。在一种可能的情况下，若机柜上安装有多个待标注的设备结构，则相应的将该多个待标注的设备结构所在的位置，逐一作为目标设备的预设区域进行图像采集。

示例性的，在本公开实施例中还提供了一种数据标注的具体场景。在该具体场景中，图像采集设备在进行图像采集时，具体的目标设备例如可以参见图2所示，图2为本公开实施例提供的一种机柜的示意图。其中，图2中(a)示出了机柜外侧面的正面、右侧面、以及上面三个平面上的设备结构；相应的，在图2中(b)示出了在机柜打开时，机柜内侧面的左侧面、以及后面两个平面上的设备结构。

具体地，针对上述图2中(a)示出的机柜，在机柜外侧面的正面所在平面上示出了机柜的文字标识“1号机柜”以及条形二维码，并相应的示出了三个按钮，包括按钮1、按钮2、以及按钮3；同时，示出了四个信号接口，包括信号接口1、信号接口2、信号接口3、以及信号接口4；另外，示出了与信号1对应的信号1显示屏、以及与信号2对应的信号2显示屏。在机柜外侧的右侧面，示出了机柜的四个接口，包括接口1、接口2、接口3、以及接口4。在机柜外侧的上面，示出了机柜的两个拨动开关，包括拨动开关1以及拨动开关2。

针对图2中(b)示出的机柜，在机柜内侧面的左侧面，使出了两个接口，包括接口5以及接口6。在机柜内侧的后面，示出了与信号3对应的信号3显示屏、以及与信号4对应的信号4显示屏，并示出了两个数据线组，包括数据线组1以及数据线组2，其中每个数据线组中都包含有多根数据线。

具体地，图像采集设备在进行图像采集获取视频时，例如可以通过控制搭载有图像采集设备的机器人对目标设备进行图像采集，以获取视频；或者，也可以通过查勘人员等工作人员持图像采集设备对目标设备进行图像采集，以获取视频。其中，视频例如可以包括下述说明的第一视频，或者包括下述说明的第一视频以及第二视频。

此处，图像采集设备在对目标设备进行图像采集时，例如可以得到目标设备对应的多张视频帧图像，也可以相应的得到目标空间对应的视频。在具体实施中，数据处理设备在控制图像采集设备进行图像采集以获取视频时，例如可以采用下述方式：控制所述图像采集设备对所述目标设备的预设区域进行图像采集，得到第一视频；基于所述第一视频、以及所述图像采集设备采集所述第一视频时的位姿，确定所述目标设备对应的存在待补充采集的补采区域；基于所述补采区域，控制所述图像采集设备对所述目标设备进行补采，得到第二视频。

其中，数据处理设备在控制图像采集设备采集第一视频时，目标设备的预设区域处例如包含有待标注的设备结构，则相应的控制图像采集设备对该预设区域进行图像采集，以获取第一视频。

由于在利用图像采集设备对目标对象进行图像采集时，可能出现采集不完整的情况，例如缺少对目标对象的边角位置处等部分区域的采集图像，因此数据处理设备例如还可以控制图像采集设备采集第二视频。

针对数据处理设备控制图像采集设备采集第二视频的情况，在具体实施中，在基于所述第一视频、以及所述图像采集设备采集所述第一视频时的位姿，确定所述目标设备对应的存在待补充采集的补采区域时，例如可以采用下述方式：基于所述第一视频以及所述图像采集设备采集所述第一视频时的位姿，对所述目标设备进行三维重建，生成所述目标设备的三维实体模型；基于所述三维实体模型，确定所述目标设备对应的存在待补充采集的补采区域。

具体地，由于可以确定图像采集设备在采集所述第一视频时的位姿，以及图像采集设备在采集目标设备后，可以在第一视频中确定多个稠密点云点，因此利用第一视频、以及图像采集设备采集第一视频时的位姿，能够对目标设备进行三维重建，以生成目标设备的三维实体模型。

在具体实施中，在确定目标设备对应的三维实体模型时，例如可以根据第一视频中的稠密点云点、以及图像采集设备在对目标设备进行采集时的位姿，为目标设备确定对应的三维实体模型。

在获取图像采集设备采集第一视频时的位姿时，例如可以获取图像采集设备在采集第一视频时惯性测量单元(Inertial Measurement Unit，IMU)的相关数据。示例性的，在图像采集设备的惯性测量单元IMU中，例如可以包含有三个单轴的加速度计和三个单轴的陀螺仪，加速度计可以检测图像采集设备在目标设备中采集第一视频时的加速度，陀螺仪可以检测图像采集设备在目标设备中采集第一视频时的角速度。这样，通过对图像采集设备中惯性测量单元IMU的相关数据进行采集，可以准确地确定图像采集设备采集第一视频时的位姿。

此处，在具体应用中，以手机上的摄像头为例，由于摄像头直接部署在手机上，因此手机可以直接获取到摄像机的相关数据，也即图像采集设备的相关数据可以由数据处理设备直接获取，无需依赖于其他网络连接或无线传输等数据传输方式。

在数据处理设备确定三维实体模型时，例如可以采用同步定位与建图(Simultaneous Localization And Mapping，SLAM)和实时稠密重建中至少一种算法。示例性的，在图像采集设备采集第一视频时，可以随着图像采集设备逐渐移动采集到第一视频，逐渐生成覆盖目标设备的三维实体模型；又或者，在图像采集设备结束对第一视频的采集后，利用得到的完整的第一视频生成目标设备对应的三维实体模型。

在本公开另一实施例中，还提供了一种采用SLAM算法和实时稠密重建算法为目标设备生成三维实体模型的具体实施例。其中，图像采集设备选取手机上设置的两个摄像头；两个摄像头在手机上以预设位姿安置，以获取完整的目标设备对应的视频。此处，数据采集设备为手机，也即下述步骤中的执行主体为手机，参见图3所示，为本公开实施例提供的一种生成三维实体模型的具体实施例对应的流程图，其中：

S301：获取两个摄像头实时采集时间同步的两个视频。

其中，两个视频中分别包括多帧视频帧图像。由于两个摄像头实时采集时间同步的两个视频，因此两个视频中分别包括的多帧视频帧图像的时间戳分别对应。

另外，还可以根据两个摄像头的具体器械参数确定时间戳的精度、以及在采集视频中的视频帧图像时采集频率。例如，设置采集视频帧图像时的时间戳精确到纳秒；采集视频中的视频帧图像时采集频率不低于30赫兹(Hz)。

S302：获取两个摄像头在分别获取视频时的惯性测量单元IMU的相关数据。

以两个摄像头中的任一个为例，在其采集视频中的视频帧图像时，可以相应的观测获取相邻两帧视频帧之间的惯性测量单元IMU的相关数据、以及获取该相关数据时的时间戳。具体地，还可以为摄像头确定对应的手机坐标系(该手机坐标系例如可以由X轴、Y轴、以及Z轴构成)，以确定惯性测量单元IMU在手机坐标系上的相关数据，例如在手机坐标系的X轴、Y轴、以及Z轴下的加速度以及角速度。

另外，还可以根据两个摄像头的具体器械参数，确定获取惯性测量单元IMU的相关数据时的时间戳。示例性的，可以确定获取惯性测量单元IMU的相关数据的观测频率不低于400Hz。

S303：基于惯性测量单元IMU的相关数据，确定在世界坐标系下两个摄像头的位姿。

具体地，由于可以确定手机坐标系以及世界坐标系之间的坐标系转换关系，因此在获取到惯性测量单元IMU的相关数据后，可以根据该坐标系转换关系，确定在世界坐标系下两个摄像头的位姿，例如可以表示为6自由度(6-Degree Of Freedom，6DOF)位姿，具体在此不再赘述。

针对上述S301～S303，在采用SLAM算法时，由于视频中的视频帧图像均为深度图像，因此利用图像处理、提取关键点、追踪关键点、建立关键点之间的关联关系的处理步骤，可以精确地求解出图像采集设备的6DOF位姿，也即实现了实时对图像采集设备的6DOF位姿采集计算；并且，也可以得到目标设备对应的稠密点云点的坐标。

其中，在对视频中的视频帧图像进行处理时，还可以在视频中的对应的多帧视频帧图像中确定关键帧图像，以在保证SLAM算法具有足够数量的处理数据的同时，减少计算量，提高效率。具体从视频中确定关键帧图像的方式可以参见下述S102的描述，在此不进行详述。

这样，可以在SLAM算法后台存储关键帧图像地图，以便在控制图像采集设备重新返回已采集位置后，可以将该位置下的两帧视频帧图像进行对比，以对图像采集设备进行回环检测，从而修正图像采集设备在长时间、长距离作业下的定位累计误差。

S304：将摄像头分别获取得到的视频中的关键帧图像、以及摄像头的位姿作为实时稠密重建算法的输入数据进行处理。

示例性的，对于任一摄像头获取的视频，在利用上述S201～S203确定视频中的新的关键帧图像后，将当前得到的所有关键帧图像、以及新的关键帧图像对应的摄像头的位姿作为实时稠密重建算法的输入数据。

其中，由于在得到新的关键帧图像之前，针对已传输过的关键帧图像，已在将其作为实时稠密重建算法的输入数据时，将其对应的摄像头的位姿作为输入数据输入至实时稠密重建算法，因此在输入新的关键帧图像时，可以不再重复输入。

S305：利用实时稠密重建算法对输入数据进行处理，得到目标设备对应的三维实体模型。

示例性的，得到的三维实体模型例如可以包括可以以预设颜色示出的稠密点云。在生成该三维实体模型时，稠密点云例如可以随着采集视频的过程不断扩大更新。其中，更新频次例如可以根据在输入实时稠密重建算法时，关键帧图像、以及摄像头的位姿的输入频率确定。

针对上述S304～S305，在采用实时稠密重建算法时，可以利用新的关键帧图像估计场景三维模型的稠密深度图，并利用对应的摄像头的位姿将该稠密深度图融合至三维实体模型中，从而在对目标设备采集完毕后获取场景三维模型。在一种可能的情况下，对于已经过处理的关键帧图像，利用该关键帧图像对应的图像采集设备的位姿、以及与其相邻的新的关键帧图像对应的图像采集设备的位姿，可以确定图像采集设备在对目标设备进行采集时的位姿是否由有调整。若位姿并未出现调整，则相应的继续对目标设备的实时稠密重建，以得到三维实体模型；若位姿出现调整，则根据位姿的调整对稠密深度图进行相应的调整，从而得到准确的三维实体模型。

在生成目标设备对应的三维实体模型后，例如可以通过确定三维实体模型是否可以完整的表述目标设备的预设区域处安装的设备结构，确定目标设备的补采区域。

在一种可能的情况下，若确定三维实体模型可以完整的表述目标设备的预设区域处安装的设备结构，则确定不存在补采区域，并确定上述图像采集设备对目标设备进行图像采集得到的第一视频即为所需的视频。

在另一种可能的情况下，若确定三维实体模型不能完整的表述目标设备的预设区域处安装的设备结构，则确定存在补采区域。在该种情况下，确定进行数据补采，并获取第二视频，以利用第二视频补充目标设备中未完成图像采集的补采区域。此处，该第二视频也即补采视频。

在具体实施中，数据处理设备在利用三维实体模型，确定是否需要对目标设备中的补采区域进行数据补采时，例如可以采用包括但不限于下述(A1)或(A2)两种方式：

(A1)：基于所述三维实体模型中各个稠密点云点在所述目标设备中的三维位置信息，检测所述三维实体模型中是否存在未完成建模的区域；若存在未完成建模的区域，则将所述未完成建模的区域确定为所述补采区域。

在该种情况下，由于在生成三维实体模型时，三维实体模型包括多个稠密点云点，每个稠密点云点均对应在目标设备对应的预设区域的三维位置信息，因此通过对三维实体模型中稠密点云点的三维位置信息的确定，可以确定在三维实体模型中未分布稠密点云点的区域，并相应的确定该区域中是否存在未被采集的情况。例如，针对于目标设备边角位置处的预设区域，由于拍摄角度等的影响，可能无法在一次图像采集后获取到边角位置处的视频帧图像，因此生成的三维实体模型中会有该区域的缺失，也即该三维实体模型中不具有该边角位置处对应的稠密点云点。此时，可以将该边角位置处所在的区域作为未完成建模的补采区域。

在确定存在补采区域的情况下，确定需要对补采区域进行数据补采。

具体地，在确定需要对补采区域进行数据补采后，数据处理设备可以采用下述方式基于所述图像采集设备的当前位姿，以及所述补采区域在所述三维实体模型中对应的位置，控制所述图像采集设备对所述补采区域进行补采，得到所述第二视频。

示例性的，在利用搭载有图像采集设备的机器人进行数据补采的情况下，数据处理设备利用图像采集设备的当前位姿，可以确定机器人在目标设备中所处的位置。进一步的，利用补采区域在三维实体模型中的位置，数据处理设备可以确定机器人的移动策略，并依托于机器人在目标设备中的移动，使图像采集设备再次对补采区域进行采集。这样，可以还可以控制机器人在目标设备中有效率的直接移动至可以采集补采区域的位置，图像采集的效率相应的也较高。

另外，若由用户持图像采集设备进行数据补采，数据处理设备可以相似的根据图像采集设备的当前位姿、以及补采区域在三维实体模型中的位置，向用户发出对补采区域进行补采的相关提示信息。示例性的，相关提示信息例如可以包括语音提示信息、文字提示信息、图像提示信息中至少一种。例如，可以向用户发出语音提示信息“上移10厘米处存在补采区域”，或者文字提示信息“请上移约10厘米至下一补采区域”，或者图像提示信息，例如在向用户展示视频和/或三维实体模型时，用标记箭头指示用户移动图像采集设备5厘米。

其中，在向用户展示视频和/或三维实体模型时，例如可以在数据处理设备的图形显示界面中展示视频和/或三维实体模型。在一种可能的情况下，可以直接利用手机或专用采集设备相应的图形显示界面，例如手机屏幕或者于专用采集设备连接的显示屏，展示该视频和/或三维实体模型。具体地可以根据实际情况确定，在此不再赘述。

这样，可以自动完成确定补采区域的操作，这样能够较快的确定补采的区域，效率较高；并且由于无需用户确定补采区域，因此可以降低对工作人员的技术要求，辅助工作人员更便捷的完成相关的数据标注任务。

(A2)：展示所述三维实体模型；响应于用户对所述三维实体模型中任一区域的触发操作，将被触发的区域确定为所述补采区域。

在该种情况下，可以在数据处理设备上的图形用户界面中向用户展示三维实体模型，具体可以参见上述(A1)中的描述，在此不再赘述。

在一种可能的情况下，由于在建立三维实体模型时，可能存在利用第一视频确定的部分区域对应的稠密点云点较少，导致该部分区域的建模结果不准确的情况。因此，采用对三维实体模型自动检测的方式可能会忽略该部分区域的补采，进而导致得到的三维实体模型中部分区域对应的三维模型不准确。通过向用户展示三维实体模型的方式，可以使用户能够通过查看三维实体模型的方式，使得用户能够灵活的选定需要补采的区域，针对用户要求更细致进行采集的区域、或者在利用第一视频未能准确建立三维实体模型的区域，能够更完整、清晰的进行实体模型的补充，这样通过补采后得到的三维实体模型更完整，也符合用户的实际精度需求、以及用户的实际标注需求。

此处，控制图像采集设备对目标设备进行补采，以得到第二视频的方式可以参见上述(A1)中的说明，在此同样不再赘述。

在本公开另一实施例中，还提供了一种进行数据补采时的具体实施例。在该实施例中，数据处理设备例如为手机。手机通过手机上携带的图像采集设备进行视频的采集，并在手机上的图形显示界面上为用户展示相关的视频以及三维实体模型。具体地，参见图4所示，为本公开实施例提供的一种进行数据补采时的具体实施例的流程图，该具体实施例中执行主体为手机，其中：

S401：在图形显示界面上显示图像采集设备对目标设备进行图像采集得到的视频。

S402：响应于用户在图形显示界面对该视频的拖动动作，利用示出的视频中的视频帧图像，确定该帧视频帧图像对应的三维实体模型。

S403：在图形显示界面上为视频叠加展示三维实体模型、以及渲染图像。

在步骤S401～S403中，在显示视频时，例如可以为该视频帧图像叠加具有透明度的、以一定颜色示出的渲染图像。参见图5所示，为本公开实施例提供的一种在图形显示界面上显示视频帧图像时的示意图。用户在拖动至该帧视频帧图像时，图形显示界面显示出的机柜外侧的正面对应的采集图像以及灰色的渲染图像。

另外，在对视频帧图像进行数据处理后，可以得到该帧视频帧图像对应的三维实体模型并在图形显示界面上示出。其中，为建立三维实体模型的区域擦除渲染图像。参见图6所示，为本公开实施例提供的一种在图形显示界面上显示出的视频帧图像以及三维实体模型时的示意图；其中，在图中以虚线表示三维实体模型。另外，在图6可以根据未被擦除渲染图像的位置，也即示出的补采区域，确定该补采区域未建立对应的三维实体模型。

S404：响应于用户根据图形显示界面示出的补采区域的确认操作，确定是否对其进行数据补采。

在该步骤中，用户可以根据示出的补采区域，确定该补采区域未完成图像采集，并可以根据实际的数据采集需求确定是否对该区域进行补采。在一种可能的情况下，若用户根据示出的补采区域，确定需要对该补采区域进行补采时，可以相应的触发补采对应的确定按钮，此时用户的确认操作，表征需要对补采区域进行补采。在另一种可能的情况下，若用户根据示出的补采区域，确定不需要对该补采区域进行补采，则可以相应的触发确定无误的确定按钮，此时用于的确认操作，表示不需要对补采区域进行补采。

示例性的，用户根据图6中图形显示界面中示出的视频帧图像以及补采区域，可以确定该补采区域对应的位置，也即条形二维码所在的位置。响应于确定需要对该条形二维码进行数据标注，则因为当前未对其进行完整的图像采集，数据处理设备控制图像采集设备重新对该条形二维码所在的补采区域进行补采，也即图像采集设备完成第二视频的采集；响应于确定不需要对该条形二维码进行数据标注，数据处理设备则可以继续对视频中可以示出的其他区域进行三维实体模型的建立，也即数据处理设备不需要控制图像采集设备采集第二视频。

针对上述S102，在利用第一视频确定视频，或者利用第一视频以及第二视频确定视频后，可以从视频中确定关键帧图像。

具体地，在从视频中确定关键帧图像时，例如可以采用但不限于下述(B1)和(B2)两种方式中任一种：

(B1)：直接根据视频中包含的视频帧图像的数量、以及实际的数据标注需求，确定预设数量的关键帧图像。

示例性的，在视频中包含有100帧视频帧图像，并确定对10帧关键帧图像进行标注时，可以有效且准确的确定视频中所有的100帧视频帧图像中的标注数据的情况下，可以确定关键帧图像的预设数量为10帧，并在100帧视频帧图像中以相同的帧数间隔确定10帧关键帧图像，例如第1帧、第11帧、第21帧、……、第81帧、第91帧共10帧关键帧图像。

这样，可以更容易、更简便的从视频中包含的多帧视频帧图像中确定关键帧图像，且关键帧图像的数量可以满足后续的实际数据标注需求。

(B2)：响应于用户对视频中视频帧图像的选择，确定视频中的关键帧图像。

在具体实施中，例如可以响应于用户对其中的部分视频帧的选定操作，将用户选定的该部分视频帧作为视频中的关键帧图像。

示例性的，在向用户展示视频时，例如可以向用户显示选定关键帧图像的提示信息。具体地，例如可以响应于用户的长按、双击等具体操作对视频中的视频帧图像进行选定，并将选定的视频帧图像作为关键帧图像。示例性的，图形显示界面可以向用户展示提示信息，例如向用户展示包含文字“请长按以选定该帧视频帧图像”，并在用户长按视频中的任一帧视频帧图像的情况下，将该帧视频帧图像作为关键帧图像。这样，用户可以更加灵活的从视频中选定关键帧图像。

在一种可能的情况下，若存各个设备结构在目标设备上的分布不集中的情况，则在视频中可能出现连续的多帧视频帧中不存在设备结构，而是集中的出现在其他帧视频帧中，因此采用人工选定视频帧图像的方式可以避免将不存在设备结构的视频帧作为关键帧的情况出现，从而提高后续利用关键帧进行数据标注时的效率。在另一种可能的情况下，若存在视频帧中的部分视频帧不清晰或数据损坏的情况，采用人工选定视频帧图像的方式同样可以避免将该种视频帧作为关键帧的情况出现。

针对上述S103，在确定视频中的关键帧图像的情况下，例如可以对关键帧图像中的目标设备进行属性标注。具体地，在对关键帧图像中的目标设备进行属性标注时，例如可以采用包括但不限于下述(C1)与(C2)中任一种所述的方式：

(C1)：基于所述关键帧图像生成预览图像，并展示所述预览图像；其中，所述预览图像的分辨率低于所述关键帧图像的分辨率；响应于对所述预览图像中任一位置的触发，展示与该位置对应的属性配置控件；接收从所述属性配置控件输入的所述标注数据。

其中，由于关键帧图像的尺寸较大，而用户在进行数据标注时对图像清晰度的要求并不高，因此，也可以合理的减小视频中关键帧图像的尺寸，例如采用降低分辨率的方式生成该关键帧图像对应的预览图像，并通过数据处理设备上的图形显示界面向用户展示该预览图像，以在保证用户能够通过图形显示界面清晰的辨识预览图像中的各个设备结构的同时，减少对预览图像进行数据标注后的数据传输量以及数据处理量，进一步提高传输效率以及数据处理效率。

具体地，在向用户展示关键帧图像时，例如还可以同时向用户提供对关键帧图像进行第一标注操作时所需的标注控件。示例性的，参见图7所示，为本公开实施例提供的一种展示关键帧图像以及标注控件时的图形显示界面的示意图。

示例性的，数据处理设备例如可以响应于用户在图形显示界面上的点击操作确定数据标注的位置。具体地，对于用户而言，参见图7所示，在关键帧图像71中，用户可以通过点击操作对位置72处进行选定，并相应的在该关键帧图像71对应的数据标注区域73内进行相关标注数据的填写。

针对数据标注区域73，示例性的，在图7中示出了其中可能包含的部分标注数据类型，例如设备名称、使用年限、具体功能、设备负责人、设备生产厂家、设备尺寸规格、相关文本备注等。其中，在对不同的数据类型对应的数据进行填写时，参见图7中数据标注区域73所示，例如可以直接通过输入文字的方式进行填写，例如在设备名称下的文本输入框内输入“按钮1”的文字，或者在具体功能下的文本输入框内输入“设备启动按钮”的文字。又例如，可以向用户提供多个可选的输入选项，数据处理设备则可以响应于用户对使用年限下选择框的点击操作，向用户展示包括多个不同年限的下拉菜单，在下拉菜单中包括“1年”、“2年”、“3年”的选择项，以使用户可以通过对该选择项的选择确定使用年限下的输入数据。

在一种可能的情况下，在数据标注区域73中还可以包括自定义标注段，例如数据标注区域73中示出的“自定义标注段1”。响应于用户对该自定义标注段的编辑，可以确定新的标注数据类型并生成新的输入框。这样，在进行数据标注时的灵活性更高。在一种可能的情况下，由于图形显示界面上可显示的内容有限，因此在数据标注区域73中还包括有可供用户使用的滑动条74。响应于用户在图形显示界面中上下滑动屏幕，滑动条74也可以随之显示上下滑动的效果，以提示用户当前对数据标注区域中的数据进行标注时的进度。这样，通过滑动屏幕的方式，可以摆脱图形显示界面大小的限制，向用户提供更多可写入标注数据的空间。

在另一种可能的情况下，关键帧图像71例如也可以作为数据标注区域73的一部分。示例性的，例如可以在数据标注区域73中显示对应“是否将关键帧图像作为标注数据”的选择框，响应于用户对该选择框的选定操作，可以自动将该关键帧图像作为标注数据。这样，在标注数据中还可以保留原始的关键帧图像，以便于之后通过调用该关键帧图像，回查标注数据是否存在标注错误并及时更正。

这样，数据处理设备即可以响应于用户的标注操作，生成与该标注操作对应的标注数据。

(C2)：对所述关键帧图像进行预设识别处理，得到所述关键帧图像中的待识别对象包含的属性信息；其中，所述待识别对象位于所述目标设备的预设区域；基于所述待识别对象在所述关键帧图像中的位置信息、以及所述图像采集设备采集所述关键帧图像时的位姿，确定所述待识别对象在所述目标设备对应的三维实体模型中的位置信息；基于所述待识别对象、所述待识别对象在所述目标设备对应的三维实体模型中的位置信息、以及所述待识别对象包含的属性信息，对所述关键帧图像进行标注处理，得到所述标注数据。

其中，关键帧图像上示出的待识别对象包括下述至少一种：图标、文字；其中，所述图标包括下述至少一种：定位角标、以及标识码。

此处，针对关键帧图像上示出的待识别对象，其例如可以包括上述说明的设备结构，作为待标注的对象；或者，也可以包括区别于目标设备上具有设备结构的可识别对象，利用该待识别对象，例如可以进行针对于目标设备整体的数据标注。

另外，定位角标也可用于从关键帧图像中截取目标设备对应的区域，并将目标设备对应的区域也作为标注信息的一种。

示例性的，参见图8所示，为本公开实施例提供的另一种展示关键帧图像以及标注控件时的图形显示界面的示意图。具体地，在图8中示出了在关键帧图像81中的两个待识别对象，包括虚线标注框82对应的识别二维码、以及虚线标注框83对应的文字“按钮1”。

此处，在进行属性标注时，由于对目标设备进行图像采集获取的视频中包含可以进行属性标注的关键帧图像，因此在对关键帧图像进行标注，也可以认为是对视频进行属性标注的过程。

在具体实施中，在对关键帧图像进行预设识别处理，得到关键帧图像中的待识别对象包含的属性信息时，例如可以采用包括但不限于下述(D1)和(D2)两种方式：

(D1)：对所述关键帧图像进行对象识别，确定所述关键帧图像中与所述目标设备的预设区域对应的图标。

具体地，在进行对象识别时，例如可以对关键帧图像进行语义分割处理，可以采用的算法例如可以包括下述至少一种：卷积神经网络(Convolutional Neural Networks，CNN)以及深度自注意力变换网络(Transformer)。

在对关键帧图像进行对象识别后，例如可以确定该区域对应的设备结构类型信息，例如对图8中示出的虚线标注框82对应的区域进行对象识别后，可以确定该区域中包含一个条形二维码。

(D2)：对所述关键帧图像进行光学字符OCR识别，确定所述关键帧图像中与所述目标设备的预设区域对应的文字。

具体地，在进行光学字符OCR识别后，例如可以确定该区域对应的文字信息，例如对图8中示出的虚线标注框83对应的区域进行对象识别后，可以确定该区域中标注有文字“按钮1”。

另外，在一种可能的情况下，在进行对象识别或者光学字符OCR识别前，还可以相应的在识别标注区域84中选择识别类型。参见图8所示，在识别标注区域84中还示出了可以进行识别类型选择的区域85，该区域85中包括有对象识别的选择按钮、以及文字识别的选择按钮，图8中示出了选定对象识别的选择按钮的示意图。

示例性的，例如可以响应于用户选定“对象识别”，以更有针对性的对关键帧图像中的设备结构进行识别，具体例如包括对关键帧图像81中的不同按钮、信号接口、以及信号显示屏进行对象识别；或者，也可以响应于用户选定“文字识别”，以更有针对性的对关键帧图像中示出的文字进行识别。

在另一种可能的情况下，也可以在对关键帧图像同时进行对象识别或者光学字符OCR识别。这样基于对象识别的结果、光学字符OCR识别的结果、以及待识别对象在关键帧图像中的位置信息，可以相应的将对象与文字相关联，以得到更准确的识别结果。例如，对于图8中关键帧图像中示出的区域83、以及待识别对象86，通过文字识别可以确定区域83对应的文字为“按钮1”，通过对象识别可以确定与区域83临近的待识别对象86为按钮，则可以相应的关联确定该待识别对象86为按钮1。

此处，仅列举出可能的部分示例，具体地可以根据实际情况确定，在此不再赘述。

另外，在对关键帧图像进行预设识别处理后，识别结果中例如还可以包括有待识别对象包含的属性信息。在一种可能的情况下，在待识别对象包括待标注的对象时，例如可以直接调用该待识别对象对应的属性信息，如二维码的使用年限以及具体功能。在另一种可能的情况下，若在对待识别对象进行针对于目标设备整体的数据标注时，对应的属性信息则可以相应的更改为针对目标设备整体的属性信息，例如机柜的设备名称以及使用年限。

另外，在对关键帧图像进行识别后，可以相应的根据待识别对象的识别结果，相应的调取待识别对象的属性信息，作为识别结果中的一部分。

示例性的，在对图8中待识别对象86进行识别后，可以相应的确定待识别对象对应的属性信息包括设备名称、使用年限、以及具体功能，则相应的在识别标注区域84显示待识别对象86对应的该属性信息。

在利用上述(D1)或(D2)中任一种方式确定关键帧图像中待识别对象包含的属性信息的同时，还可以基于待识别对象在关键帧图像中的位置信息、以及图像采集设备采集关键帧图像时的位姿，确定待识别对象在目标设备对应的三维实体模型中的位置信息。由于待识别对象在关键帧图像中的位置信息、以及图像采集设备在采集关键帧图像时的位姿均可以直接确定，因此可以反算出待识别对象在三维实体模型中的位置信息。

这样，由于针对于目标设备而言，其对应的标注数据可能较多，因此利用与三维实体模型关联标注数据的方式，可以在利用其他关键帧图像对目标设备上的其他设备结构进行标注时，通过在拖动至其他关键帧图像时，三维实体模型随之移动，其上关联的标注数据也相应的可以在图形显示界面中移动显示的方式，保证较少的因为临近的区域内存在较多的标注数据而产生漏标、错标的情况出现，从而可以在提高数据标注的效率的同时，减少数字资产的缺失。

在确定待识别对象在目标设备对应的三维实体模型中的位置信息、以及待识别对象包含的属性信息的情况下，即可以完成对关键帧图像的标注处理，以得到标注数据。

在完成对视频中的所有非关键帧图像的视频帧图像的标注数据同步后，即可以得到完成数据标注的视频。

在本公开另一实施例中，还提供了一种数据处理设备在进行数据标注时的具体实施例。参见图9所示，为本公开实施例提供的一种进行数据标注时的具体实施例的流程图，其中：

S901：开启数据标注环境。

具体地，本公开实施例提供的数据标注方法可以应用于应用程序(application，APP)。在用户打开APP后，可以相应的开启数据标注环境，例如提供数据采集、标注的入口；在启动入口后，调用软件开发工具包(Software Development Kit，SDK)。

S902：数据处理设备获取站点数据，确定该站点对应的采集任务列表。

其中，站点例如是一个安装有许多设备的场所；该站点中例如可以包含但不限于至少一个机房、以及部署在机房中的室内控制柜设备、安装在机房天面上的杆塔和户外控制柜中的至少一种。

在调用SDK后，可以相应的获取站点数据。其中，一个站点中也可能包括有多个不同的目标设备，同时不同的目标设备对应的站点可能不同，例如在一号站点中包括1号机柜，在二号站点中包括2号机柜。因此在进行数据标注时，例如可以对一个站点中的多个目标设备进行标注。

具体地，对应于不同的站点，可以利用站点对应的标识(Identity Document，ID)作为唯一辨别标识，并通过输入标识、扫描该站点的二维码等方式，确定进行数据标注的站点，并将于该站点对应所需的资产平台、生成平台需要的数据传入，以创建当前的采集任务列表。在对该站点进行数据标注时，即可以根据采集任务列表中的相关任务，确定需要对该站点进行标注的数据。

S903：数据处理设备通过网络请求属性平台，确定最新数据标注属性包。

具体地，在创建当前的采集任务列表后，可以先通过网络请求属性平台，确定数据标注属性包是否有更新。在有更新的数据标注属性包的情况下，例如可以利用APP更新的方式下载最新的数据标注属性包，以便后续在数据标注的具体过程中调用数据标注属性包中的标注属性等数据。在不存在更新的数据标注属性包的情况下，可以继续执行S904，也即正常进行采集流程。

S904：数据处理设备控制图像采集设备对目标设备进行图像采集，得到视频。

其中，该步骤的具体说明可以参见上述对S101的说明，在此不再重复赘述。

S905：数据处理设备利用数据标注属性包，对视频中包含的视频帧图像进行数据标注，得到视频的属性标注数据。

其中，该步骤的具体说明可以参见上述对S102以及S103的说明，在此同样不再重复赘述。

此处，针对步骤S904以及S905，在进行图像采集以及数据标注时，均可以在不依赖于网络连接，例如采用图像采集设备在离线状态下完成图像采集和/或在离线状态下使用数据标注属性包进行属性标注。

S906：数据处理设备确认属性标注数据是否正确；若是，执行步骤S907；若否，执行步骤S908；

S907：数据处理设备上传属性标注数据。

其中，在上传属性标注数据时，例如可以等待网络连接，并在网络连接成功后将属性标注数据顺序上传。具体地上传属性标注数据的方式，可以参见下文中对S104的描述，在此不再详细说明。

S908：数据处理设备确定是否存在图像采集错误；若是，返回至步骤S904；若否，返回步骤S905。

通过上述过程，即可实现对目标设备的数据采集过程。

针对上述S104，在本公开另一实施例中，还可以获取图像采集设备采集视频时的位姿；另外，在基于所述属性标注数据以及所述视频，生成目标采集数据时，例如可以采用下述方式：基于所述属性标注数据、所述视频、以及所述位姿，生成所述目标采集数据。

具体地，例如可以将属性标注数据、视频、以及位姿按照时间戳中至少一种对应的生成不同时间戳下对应的目标采集数据；或者，可以直接将属性标注数据、视频、以及位姿按照时间戳中至少一种进行数据打包处理，得到最终需要提交的采集数据包，并将该采集数据包作为目标采集数据。

另外，在一种可能的情况下，由于视频中包含的视频帧数量可能较多，并且视频中的视频帧图像的尺寸较大，在进行数据传输时传输的数据量也较大，因此若将完整的视频进行上传时，所需花费的时间也较长，这样就会造成传输效率低的问题。因此，还可以对采集得到的原始视频进行抽帧处理，并将抽取出部分帧后的视频数据作为目标采集数据中的部分数据，以有效的减少所需传输的数据量，从而提高数据传输的效率。

在本公开另一实施例中，还提供了一种采用手机对机柜进行数据标注的具体实施例；在该具体实施例中，数据处理设备为手机，图像采集设备为手机上的摄像头，由于摄像头设置在手机上，因此直接以手机作为执行主体进行说明，并对图像采集设备进行图像采集时的步骤加以说明。将本公开实施例提供的数据标注方式应用于该实施例中，可以划分为三个阶段，包括阶段I：数据采集阶段，阶段II：数据标注阶段，以及阶段III：数据上传阶段。参见图10所示，为本公开实施例提供的一种对机柜进行数据标注的实施例对应的流程图，其中，

针对阶段I：数据采集阶段，包括下述步骤S1001～S1014。其中，

S1001：进入机柜采集。

S1002：启动采集。

在该步骤S1002中，例如可以相应的开启图像采集环境以及数据标注环境。

S1003：图像采集设备实时采集视频。

在该步骤S1003中，执行主体为图像采集设备，也即手机上的摄像头。

S1004：持续生成数据。

在该步骤S1004中，例如可以生成在实时采集视频时获取的实时采集视频以及手机上摄像头的位姿；生成的数据也即图10中标注的数据a.实时采集的视频以及位姿。

S1005：SLAM实时计算。

S1006：实时稠密重建。

S1007：根据SLAM实时计算、以及实时稠密重建的结果，实时生成可视化重建结果。

S1008：图形显示界面显示可视化重建结果的实时预览结果。

在该步骤S1008中，图形显示界面例如包括手机上配置的图形显示界面。

S1009：完成采集。

在该步骤S1009中，例如可以生成采集得到的视频以及位姿；生成的数据也即图10中标注的数据b.采集的视频和位姿。

S1010：人工确定采集覆盖区域。

S1011：确定是否需要补采；若是，执行步骤S1012；若否，执行步骤S1014。

S1012：确认补采区域。

S1013：启动补采；跳转至步骤S1002。

在该步骤S1013中，例如可以根据数据b.采集的视频和位姿，相应的生成采集的视频集以及位姿集；生成的数据也即图10中标注的数据c.采集的视频级和位姿集。

S1014：结束采集。

针对阶段II：数据标注阶段，包括下述步骤S1015～S1018；其中，

S1015：响应于工作人员查看预览视频集的操作，确认结束采集。

S1016：对关键帧图像进行数据标注。

S1017：标记已完成数据标注的设备结构。

在该步骤S1017中，由于机柜上待标注对象可能较多，通过标记已完成数据标注的设备结构，可以帮助更直观的确定下一待标注对象。

S1018：同步标注数据至视频。

在该步骤S1018中，例如可以得到图10中标注的数据d.与视频匹配的标注数据。

针对阶段III：数据上传阶段，包括下述步骤S1019～S1019；其中，

S1019：响应于用户对需要上传的标注数据的选择操作，确定需要上传的数据。

S1020：根据站点、时间、目标设备中至少一项修改文件名。

此处说明的文件，例如可以是包括存储标注数据、站点、视频等的文件。

S1021：对采集的视频进行抽帧。

在该步骤S1021中，例如可以得到图中示出的数据：e.抽帧后的视频、位姿、以及标注数据。

S1022：打包全部文件。

S1023：确定上传进度。

S1024：确定上传完成。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与数据标注方法对应的数据标注装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据标注方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图11所示，为本公开实施例提供的一种数据标注装置的示意图，所述装置包括：第一获取模块111、确定模块112、生成模块113、以及处理模块114；其中，

第一获取模块111，用于获取利用图像采集设备对目标设备的预设区域进行图像采集得到的视频；确定模块112，用于从所述视频中，确定包括所述预设区域的关键帧图像；生成模块113，用于响应于对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据，生成所述视频的属性标注数据；处理模块114，用于基于所述属性标注数据以及所述视频，生成目标采集数据。

一种可选的实施方式中，所述生成模块113在对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据时，用于：基于所述关键帧图像生成预览图像，并展示所述预览图像；其中，所述预览图像的分辨率低于所述关键帧图像的分辨率；响应于对所述预览图像中任一位置的触发，展示与该位置对应的属性配置控件；接收从所述属性配置控件输入的所述标注数据。

一种可选的实施方式中，所述生成模块113在对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据时，用于：对所述关键帧图像进行预设识别处理，得到所述关键帧图像中的待识别对象包含的属性信息；其中，所述待识别对象位于所述目标设备的预设区域；基于所述待识别对象在所述关键帧图像中的位置信息、以及所述图像采集设备采集所述关键帧图像时的位姿，确定所述待识别对象在所述目标设备对应的三维实体模型中的位置信息；基于所述待识别对象、所述待识别对象在所述目标设备对应的三维实体模型中的位置信息、以及所述待识别对象包含的属性信息，对所述关键帧图像进行标注处理，得到所述标注数据。

一种可选的实施方式中，所述待识别对象包括图标；其中，所述图标包括下述至少一种：定位角标、以及标识码；所述生成模块113在对所述关键帧图像进行预设识别处理，得到所述关键帧图像中的待识别对象包含的属性信息时，用于：对所述关键帧图像进行对象识别，确定所述关键帧图像中与所述目标设备的预设区域对应的图标。

一种可选的实施方式中，所述待识别对象包括文字；所述生成模块113在对所述关键帧图像进行预设识别处理，得到所述关键帧图像中的待识别对象包含的属性信息时，用于：对所述关键帧图像进行光学字符OCR识别，确定所述关键帧图像中与所述目标设备的预设区域对应的文字。

一种可选的实施方式中，所述第一获取模块111在获取利用图像采集设备对目标设备的预设区域进行图像采集得到的视频时，用于：控制所述图像采集设备对所述目标设备的预设区域进行图像采集，得到第一视频；基于所述第一视频、以及所述图像采集设备采集所述第一视频时的位姿，确定所述目标设备对应的存在待补充采集的补采区域；基于所述补采区域，控制所述图像采集设备对所述目标设备进行补采，得到第二视频。

一种可选的实施方式中，所述第一获取模块111在基于所述第一视频、以及所述图像采集设备采集所述第一视频时的位姿，确定所述目标设备对应的存在待补充采集的补采区域时，用于：基于所述第一视频以及所述图像采集设备采集所述第一视频时的位姿，对所述目标设备进行三维重建，生成所述目标设备的三维实体模型；基于所述三维实体模型，确定所述目标设备对应的存在待补充采集的补采区域。

一种可选的实施方式中，所述第一获取模块111在基于所述补采区域，控制所述图像采集设备对所述目标设备进行补采，得到第二视频时，用于：基于所述图像采集设备的当前位姿，以及所述补采区域在所述三维实体模型中对应的位置，控制所述图像采集设备对所述补采区域进行补采，得到所述第二视频。

一种可选的实施方式中，所述第一获取模块111在基于所述三维实体模型，确定所述目标设备对应的存在待补充采集的补采区域时，用于：基于所述三维实体模型中各个稠密点云点在所述目标设备中的三维位置信息，检测所述三维实体模型中是否存在未完成建模的区域；若存在未完成建模的区域，则将所述未完成建模的区域确定为所述补采区域。

一种可选的实施方式中，所述第一获取模块111在基于所述三维实体模型，确定所述目标设备对应的存在待补充采集的补采区域时，用于：展示所述三维实体模型；响应于用户对所述三维实体模型中任一区域的触发操作，将被触发的区域确定为所述补采区域。

一种可选的实施方式中，所述数据标注装置还包括第二获取模块115，用于：获取所述图像采集设备采集所述视频时的位姿；所述处理模块114在基于所述属性标注数据以及所述视频，生成目标采集数据时，用于：基于所述属性标注数据、所述视频、以及所述位姿，生成所述目标采集数据。

一种可选的实施方式中，所述目标设备包括机柜；所述目标设备的预设区域包括下述至少一种：机柜内侧面、以及机柜外侧面。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种计算机设备，如图12所示，为本公开实施例提供的计算机设备结构示意图，包括：

处理器10和存储器20；所述存储器20存储有处理器10可执行的机器可读指令，处理器10用于执行存储器20中存储的机器可读指令，所述机器可读指令被处理器10执行时，处理器10执行下述步骤：

获取利用图像采集设备对目标设备的预设区域进行图像采集得到的视频；从所述视频中，确定包括所述预设区域的关键帧图像；响应于对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据，生成所述视频的属性标注数据；基于所述属性标注数据以及所述视频，生成目标采集数据。

上述存储器20包括内存210和外部存储器220；这里的内存210也称内存储器，用于暂时存放处理器10中的运算数据，以及与硬盘等外部存储器220交换的数据，处理器10通过内存210与外部存储器220进行数据交换。

上述指令的具体执行过程可以参考本公开实施例中所述的数据标注方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的数据标注方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的数据标注方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种数据标注方法，其特征在于，包括：

获取利用图像采集设备对目标设备的预设区域进行图像采集得到的视频；

从所述视频中，确定包括所述预设区域的关键帧图像；

响应于对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据，生成所述视频的属性标注数据；

基于所述属性标注数据以及所述视频，生成目标采集数据。

2.根据权利要求1所述的数据标注方法，其特征在于，所述对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据，包括：

基于所述关键帧图像生成预览图像，并展示所述预览图像；其中，所述预览图像的分辨率低于所述关键帧图像的分辨率；

响应于对所述预览图像中任一位置的触发，展示与该位置对应的属性配置控件；

接收从所述属性配置控件输入的所述标注数据。

3.根据权利要求1或2所述的数据标注方法，其特征在于，所述对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据，包括：

对所述关键帧图像进行预设识别处理，得到所述关键帧图像中的待识别对象包含的属性信息；其中，所述待识别对象位于所述目标设备的预设区域；

基于所述待识别对象在所述关键帧图像中的位置信息、以及所述图像采集设备采集所述关键帧图像时的位姿，确定所述待识别对象在所述目标设备对应的三维实体模型中的位置信息；

基于所述待识别对象、所述待识别对象在所述目标设备对应的三维实体模型中的位置信息、以及所述待识别对象包含的属性信息，对所述关键帧图像进行标注处理，得到所述标注数据。

4.根据权利要求3所述的数据标注方法，其特征在于，所述待识别对象包括图标；其中，所述图标包括下述至少一种：定位角标、以及标识码；

所述对所述关键帧图像进行预设识别处理，得到所述关键帧图像中的待识别对象包含的属性信息，包括：

对所述关键帧图像进行对象识别，确定所述关键帧图像中与所述目标设备的预设区域对应的图标。

5.根据权利要求3或4所述的数据标注方法，其特征在于，所述待识别对象包括文字；

所述对所述关键帧图像进行预设识别处理，得到所述关键帧图像中的待识别对象包含的属性信息，包括：

对所述关键帧图像进行光学字符OCR识别，确定所述关键帧图像中与所述目标设备的预设区域对应的文字。

6.根据权利要求1-5任一项所述的数据标注方法，其特征在于，所述获取利用图像采集设备对目标设备的预设区域进行图像采集得到的视频，包括：

控制所述图像采集设备对所述目标设备的预设区域进行图像采集，得到第一视频；

基于所述第一视频、以及所述图像采集设备采集所述第一视频时的位姿，确定所述目标设备对应的存在待补充采集的补采区域；

基于所述补采区域，控制所述图像采集设备对所述目标设备进行补采，得到第二视频。

7.根据权利要求6所述的数据标注方法，其特征在于，所述基于所述第一视频、以及所述图像采集设备采集所述第一视频时的位姿，确定所述目标设备对应的存在待补充采集的补采区域，包括：

基于所述第一视频以及所述图像采集设备采集所述第一视频时的位姿，对所述目标设备进行三维重建，生成所述目标设备的三维实体模型；

基于所述三维实体模型，确定所述目标设备对应的存在待补充采集的补采区域。

8.根据权利要求6或7所述的数据标注方法，其特征在于，基于所述补采区域，控制所述图像采集设备对所述目标设备进行补采，得到第二视频，包括：

基于所述图像采集设备的当前位姿，以及所述补采区域在所述三维实体模型中对应的位置，控制所述图像采集设备对所述补采区域进行补采，得到所述第二视频。

9.根据权利要求7所述的数据标注方法，其特征在于，所述基于所述三维实体模型，确定所述目标设备对应的存在待补充采集的补采区域，包括：

基于所述三维实体模型中各个稠密点云点在所述目标设备中的三维位置信息，检测所述三维实体模型中是否存在未完成建模的区域；

若存在未完成建模的区域，则将所述未完成建模的区域确定为所述补采区域。

10.根据权利要求8所述的数据标注方法，其特征在于，所述基于所述三维实体模型，确定所述目标设备对应的存在待补充采集的补采区域，包括：

展示所述三维实体模型；

响应于用户对所述三维实体模型中任一区域的触发操作，将被触发的区域确定为所述补采区域。

11.根据权利要求1-10任一项所述的数据标注方法，其特征在于，所述方法还包括：

获取所述图像采集设备采集所述视频时的位姿；

所述基于所述属性标注数据以及所述视频，生成目标采集数据，包括：

基于所述属性标注数据、所述视频、以及所述位姿，生成所述目标采集数据。

12.根据权利要求1-11任一项所述的数据标注方法，其特征在于，所述目标设备包括机柜；所述目标设备的预设区域包括下述至少一种：机柜内侧面、以及机柜外侧面。

13.一种数据标注装置，其特征在于，包括：

第一获取模块，用于获取利用图像采集设备对目标设备的预设区域进行图像采集得到的视频；

确定模块，用于从所述视频中，确定包括所述预设区域的关键帧图像；

生成模块，用于响应于对所述关键帧图像中的所述预设区域进行标注处理得到的标注数据，生成所述视频的属性标注数据；

处理模块，用于基于所述属性标注数据以及所述视频，生成目标采集数据。

14.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至12任一项所述的数据标注方法的步骤。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至12任一项所述的数据标注方法的步骤。

Images