CN113660469A - 一种数据标注方法、装置、计算机设备及存储介质 - Google Patents
一种数据标注方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113660469A CN113660469A CN202110963206.4A CN202110963206A CN113660469A CN 113660469 A CN113660469 A CN 113660469A CN 202110963206 A CN202110963206 A CN 202110963206A CN 113660469 A CN113660469 A CN 113660469A
- Authority
- CN
- China
- Prior art keywords
- data
- frame image
- panoramic video
- video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 118
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims description 127
- 230000000295 complement effect Effects 0.000 claims description 124
- 238000005065 mining Methods 0.000 claims description 60
- 230000011218 segmentation Effects 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000001360 synchronised effect Effects 0.000 description 13
- 238000005259 measurement Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种数据标注方法、装置、计算机设备及存储介质,其中,该方法包括:获取利用图像采集设备对目标空间进行图像采集得到的全景视频;从所述全景视频中,确定包括待标注对象的关键帧图像;响应于对所述关键帧图像中所述待标注对象进行属性标注,基于属性标注得到的标注数据,生成所述全景视频的属性标注数据;基于所述属性标注数据以及所述全景视频,生成目标采集数据。这样,可以减少在数据标注时出现遗漏的现象发生,从而避免机房中数字资产的缺失。
Description
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种数据标注方法、装置、计算机设备及存储介质。
背景技术
在对机房中的数据进行标注时,通常采用人工标注的方式。例如,工作人员可以在机房中查看设备相关的资产信息,并将资产信息记录。而对于机房而言,其中所需标注的设备可能较多,并且针对不同的设备需要采集的数据也可能较多,因此采用人工标注的方式可能会产生遗漏,导致数字资产的缺失。
发明内容
本公开实施例至少提供一种数据标注方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种数据标注方法,包括:获取利用图像采集设备对目标空间进行图像采集得到的全景视频;从所述全景视频中,确定包括待标注对象的关键帧图像;响应于对所述关键帧图像中所述待标注对象进行属性标注,基于属性标注得到的标注数据,生成所述全景视频的属性标注数据;基于所述属性标注数据以及所述全景视频,生成目标采集数据。
这样,由于从全景视频中筛选出的关键帧图像包括在目标空间中的待标注对象以及关键帧图像中已完成的标注数据,因此可以在进行数据标注时,可以更直观的显示出目标空间中未完成数据标注的对象以及在关键帧图像中的位置,以更容易的得到全景视频的属性标注数据,从而生成目标采集数据。也即,通过关键帧图像可以直观的显示目标空间中的待标准对象,也可以展示出标注数据,以提示用户当前的数据标注情况,从而辅助用户进行进一步的标注,以减少在数据标注时出现遗漏的现象发生,从而避免机房中数字资产的缺失。
一种可选的实施方式中,所述图像采集设备包括:全景相机;所述获取利用图像采集设备对目标空间进行图像采集得到的全景视频,包括:控制所述全景相机对所述目标空间进行全景图像采集,得到第一全景视频;基于所述第一全景视频、以及所述全景相机采集所述第一全景视频时的位姿,确定所述目标空间中存在待补充采集的补采区域;基于所述补采区域,控制所述全景相机对所述目标空间进行补采,得到第二全景视频。
一种可选的实施方式中,所述基于所述第一全景视频、以及所述全景相机采集所述第一全景视频时的位姿,确定所述目标空间中存在待补充采集的补采区域,包括:基于所述第一全景视频以及所述全景相机采集所述第一全景视频时的位姿,对所述目标空间进行三维重建,生成所述目标空间的三维场景模型;基于所述三维场景模型,确定所述目标空间中存在待补充采集的补采区域。
一种可选的实施方式中,基于所述补采区域,控制所述全景相机对所述目标空间进行补采,得到第二全景视频,包括:基于所述全景相机在所述目标空间中的当前位姿,以及所述补采区域在三维场景模型中的位置,控制所述全景相机对所述补采区域进行补采,得到所述第二全景视频。
这样,通过确定的补采区域、以及确定的全景相机的当前位姿,可以更准确且更高效的确定补采区域的采集策略,并得到针对补采区域的第二全景视频。并且,可以利用第二全景视频补充第一全景视频中采集缺失的部分,使得得到的全景视频更完整的显示出目标空间不同位置的图像。
一种可选的实施方式中,所述基于所述三维场景模型,确定所述目标空间中存在待补充采集的补采区域,包括:基于所述三维场景模型中各个稠密点云点在所述目标空间中的三维位置信息,检测所述三维场景模型中是否存在未完成建模的区域;若存在未完成建模的区域,则将所述未完成建模的区域确定为所述补采区域。
这样,利用在三维重建时确定的三维场景模型中,稠密点云点的三维位置信息,可以更准确的反应出补采区域的准确位置,以更准确的确定需要进行数据补采的区域。
一种可选的实施方式中,所述基于所述三维场景模型,确定所述目标空间中存在待补充采集的补采区域,包括:展示所述三维场景模型;响应于用户对所述三维场景模型中任一区域的触发,将被触发的区域确定为所述补采区域。
这样,用户可以通过对三维场景模型中任一区域的触发,更加灵活的对补采区域进行选定,因此数据标注时也更具有灵活性。
一种可选的实施方式中,所述对所述关键帧图像中所述待标注对象进行属性标注,包括:展示所述关键帧图像;响应于对所述关键帧图像中待标注对象的第一标注操作,生成与所述第一标注操作对应的标注数据。
这样,可以通过在关键帧图像上完成数据标注的工作,实现较为简便的数据标注。
一种可选的实施方式中,所述对所述关键帧图像中所述待标注对象进行属性标注,包括:对所述关键帧图像进行语义分割处理,并基于所述语义分割处理的结果,生成对所述待标注对象的标注数据。
这样,通过语义分割处理的方式,可以实现自动对待标注对象的标注,更简便。
一种可选的实施方式中,所述对所述关键帧图像中所述待标注对象进行属性标注,包括:基于所述关键帧图像生成预览图像,并展示所述预览图像;其中,所述预览图像的分辨率低于所述关键帧图像的分辨率;响应于对所述预览图像中待标注对象的第二标注操作,生成与所述预览图像对应的标注数据;基于所述预览图像对应的标注数据,得到所述关键帧图像的标注数据。
这样,通过预览图像,可以减少数据传输量,并相应的加快数据标注的速度。
一种可选的实施方式中,所述基于属性标注得到的标注数据,生成所述全景视频的属性标注数据,包括:针对所述全景视频中的各帧视频帧图像,响应于该帧视频帧图像并非关键帧图像,从所述关键帧图像中确定与该帧视频帧图像匹配的目标关键帧图像;基于所述目标关键帧图像的标注信息,生成该帧视频帧图像的标注信息。
这样,通过为视频帧图像确定对应的目标关键帧图像,可以相应的将目标关键帧图像中的标注数据同步至全景视频中的其他视频帧图像中,因此所需标注的数据较少,但同时完成对全景视频中全部视频帧图像的数据标注也较快,效率较高。
一种可选的实施方式中,从所述关键帧图像中,为该帧视频帧图像确定目标关键帧图像,包括:基于所述关键帧图像在所述全景视频中的第一位置、以及该帧视频帧图像在所述全景视频中的第二位置,所述关键帧图像中确定与该帧视频帧图像匹配的所述目标关键帧图像。
这样,通过图像的位置确定目标关键帧图像的方式,可以在后续更准确的对非关键帧图像的视频帧图像进行数据的同步标注。
一种可选的实施方式中,所述方法还包括:获取所述图像采集设备采集所述全景视频时的位姿;所述基于所述属性标注数据以及所述全景视频,生成目标采集数据,包括:基于所述属性标注数据、所述全景视频、以及所述位姿,生成所述目标采集数据。
第二方面,本公开实施例还提供一种数据标注装置,包括:第一获取模块,用于获取利用图像采集设备对目标空间进行图像采集得到的全景视频;确定模块,用于从所述全景视频中,确定包括待标注对象的关键帧图像;处理模块,用于响应于对所述关键帧图像中所述待标注对象进行属性标注,基于属性标注得到的标注数据,生成所述全景视频的属性标注数据;生成模块,用于基于所述属性标注数据以及所述全景视频,生成目标采集数据。
第三方面,本公开可选实现方式还提供一种计算机设备,处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开可选实现方式还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述数据标注装置、计算机设备、及计算机可读存储介质的效果描述参见上述数据标注方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种数据标注方法的流程图;
图2示出了本公开实施例所提供的一种数据处理设备生成三维场景模型的具体实施例对应的流程图;
图3示出了本公开实施例所提供的一种数据处理设备进行数据补采时的具体实施例的流程图;
图4示出了本公开实施例所提供的一种在图形显示界面上显示视频帧图像时的示意图;
图5示出了本公开实施例所提供的一种在图形显示界面上显示出的视频帧图像以及三维场景模型时的示意图;
图6示出了本公开实施例所提供的一种展示关键帧图像以及标注控件时的图形显示界面的示意图;
图7示出了本公开实施例所提供的一种展示预览图像的图形显示界面的示意图;
图8示出了本公开实施例所提供的一种多帧视频帧图像的示意图;
图9示出了本公开实施例所提供的一种对非关键帧图像进行数据标注时的示意图;
图10示出了本公开实施例所提供的一种进行数据标注时的具体实施例的流程图;
图11示出了本公开实施例所提供的一种对机房进行数据标注的实施例对应的流程图;
图12示出了本公开实施例所提供的一种数据标注装置的示意图;
图13示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,机房的面积较大,其中的相关数字资产也较多。因此,在利用人工标注的方式对机房中的数字资产进行标注时,通常需要相关的工作人员在机房中巡查确定机房中多个需要标注数据的位置,并逐一进行相关的数据标注。这样人工标注的方式可能会产生遗漏,导致机房中数字资产的缺失。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种数据标注方法进行详细介绍,本公开实施例所提供的数据标注方法的执行主体一般为具有一定计算能力的数据处理设备,该数据处理设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备(例如平板电脑,或者下述示例中的手机)、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等;在一种可能的情况下,还可以为目标空间配备专用的数据处理设备,例如机房中的管理计算机、或者便携式手持管理设备。具体地可以根据实际情况确定,在此不再赘述。另外,在一些可能的实现方式中,该数据标注方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的一种数据标注方法的流程图,所述方法包括步骤S101~S104,其中:
S101:获取利用图像采集设备对目标空间进行图像采集得到的全景视频;
S102:从所述全景视频中,确定包括待标注对象的关键帧图像;
S103:响应于对所述关键帧图像中所述待标注对象进行属性标注,基于属性标注得到的标注数据,生成所述全景视频的属性标注数据;
S104:基于所述属性标注数据以及所述全景视频,生成目标采集数据。
下面对上述S101~S104加以详细说明。
针对上述S101,图像采集设备例如可以包括全景相机;示例性的,全景相机例如可以包括下述示例中的扫描仪上设置的鱼眼相机。具体地,由于全景相机在对目标空间进行拍摄时可以获得全景图像,因此其更适用于如机房、厂房等空间较大的目标空间中进行全方位的拍摄。其中,机房中例如可以存放有计算设备、数据存储设备、以及信号接收设备等;厂房例如可以存放有生产设备、装卸设备、以及运输设备等。机房和厂房均为实体空间。
示例性的,目标空间例如可以包括占地面积较大的机房,例如占地20平方米、30平方米、或者50平方米的机房。在以机房作为目标空间的情况下,可以利用图像采集设备对其中的场景进行拍摄。
在一种可能的情况下,在一个区域内可以进行数据采集的目标空间可以包括多个,例如在一个区域内包括有多个机房。由于进行数据采集的目标空间相似,因此本公开实施例提供的数据标注方法可以相应的在不同的多个目标空间中应用。示例性的,在对多个机房进行数据标注时,可以根据不同的多个机房分别对应的机房标识,确定是否对该机房进行数据标注,或者该机房是否已完成数据标注,或者该机房是否存在待标注的数据,从而确定该机房是否为当前需要进行数据标注的目标空间。
另外,在目标空间中,通常还安装有较多设备,例如在室内安置的与室外的铁塔连接的走线架,在机房地面上通常还摆放有室内机柜。具体地,全景相机在对目标空间进行全景图像采集时,具体可以通过搭载在机器人上,并由机器人在目标空间中移动,带动全景相机获取全景视频;或者,也可以通过查勘人员等工作人员手持全景相机的方式,对目标空间进行全景图像采集,以获取全景视频。其中,全景视频例如可以包括下述说明的第一全景视频,或者包括下述说明的第一全景视频以及第二全景视频。
此处,在对目标空间进行图像采集时,例如可以得到目标空间对应的多张视频帧图像(也即全景图像),也可以相应的得到目标空间对应的全景视频。
其中,由于全景相机进行图像采集得到的全景视频在进行数据处理时,例如会用于三维场景模型重建,因此可以确定全景相机的位姿。在该种情况下,例如还可以在全景相机对目标空间进行全景图像采集前,对全景相机的陀螺仪进行校准,以确定全景相机在目标空间中的位姿;示例性的,例如可以通过调整全景相机的光轴与目标空间的地面平行的方式实现。
在对全景相机的陀螺仪进行校准后,全景相机可以在视频模式下进行图像采集,并获取目标空间对应的第一全景视频。
在本公开另一实施例中,由于在利用图像采集设备对目标空间进行图像采集时,可能出现采集不完整的情况,例如缺少对目标空间内部的边角位置处等部分区域的采集图像,因此全景相机例如还可以采用下述方式获取第二全景视频:控制所述全景相机对所述目标空间进行全景图像采集,得到第一全景视频;基于所述第一全景视频、以及所述全景相机采集所述第一全景视频时的位姿,确定所述目标空间中存在待补充采集的补采区域;基于所述补采区域,控制所述全景相机对所述目标空间进行补采,得到第二全景视频。
在具体实施中,在基于所述第一全景视频、以及所述全景相机采集所述第一全景视频时的位姿,确定所述目标空间中的补采区域时,例如可以采用下述方式:基于所述第一全景视频以及所述全景相机采集所述第一全景视频时的位姿,对所述目标空间进行三维重建,生成所述目标空间的三维场景模型;基于所述三维场景模型,确定所述目标空间中存在待补充采集的补采区域。
具体地,由于确定的全景相机在采集所述第一全景视频时的位姿,可以反应全景相机在目标空间中的位姿,并且全景相机采集目标空间得到的第一全景视频中可以确定多个稠密点云点,因此利用第一全景视频、以及全景相机采集第一全景视频时的位姿,能够对目标空间进行三维重建,以生成目标空间的三维场景模型。示例性的,该三维场景模型可以反映出包括对目标空间、目标空间中的待标注对象等对象。
在具体实施中,在确定目标空间对应的三维场景模型时,例如可以采用包括但不限于下述(A1)以及(A2)两种方式:
(A1):图像采集设备仅承担图像采集的任务,并依赖于网络连接将采集得到的第一全景视频、以及在采集第一全景视频时全景相机的位姿传输至数据处理设备,以使数据处理设备建立目标空间对应的三维场景模型。
其中,可以依赖的网络连接例如可以包括光纤以太网适配器(Fiber EthernetAdapter)、移动通信技术(例如***移动通信技术(4G)、或者第五代移动通信技术(5G))、以及无线保真通信(Wireless Fidelity,WiFi);数据处理设备例如可以包括上述说明的计算机设备。数据处理设备对该第一全景视频进行处理时,例如根据第一全景视频中的稠密点云点、以及全景相机在目标空间中的位姿,为目标空间确定对应的三维场景模型。
在数据处理设备获取图像采集设备采集第一全景视频时的位姿时,例如可以获取图像采集设备在采集第一全景视频时惯性测量单元(Inertial Measurement Unit,IMU)的相关数据。示例性的,在图像采集设备的惯性测量单元IMU中,例如可以包含有三个单轴的加速度计和三个单轴的陀螺仪,加速度计可以检测图像采集设备在目标空间中采集第一全景视频时的加速度,陀螺仪可以检测图像采集设备在目标空间中采集第一全景视频时的角速度。这样,数据处理设备通过对图像采集设备中惯性测量单元IMU的相关数据进行采集,可以准确地确定图像采集设备采集第一全景视频时的位姿。
数据处理设备在确定三维场景模型时,例如可以采用同步定位与建图(Simultaneous Localization And Mapping,SLAM)和实时稠密重建中至少一种算法。示例性的,在图像采集设备采集第一全景视频时,可以随着图像采集设备逐渐移动采集到第一全景视频,并由数据处理设备逐渐生成覆盖目标空间的三维场景模型;又或者,在图像采集设备结束对第一全景视频的采集后,数据处理设备利用得到的完整的第一全景视频生成目标空间对应的三维场景模型。
在本公开另一实施例中,还提供了一种数据处理设备采用SLAM算法和实时稠密重建算法为目标空间生成三维场景模型的具体实施例。其中,全景相机选取扫描仪上前后位置设置的两个鱼眼相机;鱼眼相机在扫描仪上以预设位姿安置,以获取完整的目标空间对应的全景视频。参见图2所示,为本公开实施例提供的一种数据处理设备生成三维场景模型的具体实施例对应的流程图,其中:
S201:数据处理设备获取扫描仪前后两个鱼眼相机实时采集时间同步的两个全景视频。
其中,两个全景视频中分别包括多帧视频帧图像。由于两个鱼眼相机实时采集时间同步的两个全景视频,因此两个全景视频中分别包括的多帧视频帧图像的时间戳分别对应。
另外,数据处理设备还可以根据两个鱼眼相机的具体器械参数确定时间戳的精度、以及在采集全景视频中的视频帧图像时采集频率。例如,设置采集视频帧图像时的时间戳精确到纳秒;采集全景视频中的视频帧图像时采集频率不低于30赫兹(Hz)。
在鱼眼相机采集得到全景视频后,通过上述示例中说明中可以依赖的网络连接,将全景视频发送至数据处理设备,以使数据处理设备接收到该全景视频。
S202:数据处理设备确定两个鱼眼相机在分别获取全景视频时的惯性测量单元IMU的相关数据。
以两个鱼眼相机中的任一个为例,在其对目标空间进行采集获取视频帧图像时,数据处理设备可以相应的观测获取相邻两帧视频帧之间的惯性测量单元IMU的相关数据、以及获取该相关数据时的时间戳。
具体地,为了较为准确地获取惯性测量单元IMU的相关数据,还可以为鱼眼相机确定对应的扫描仪坐标系(该扫描仪坐标系例如可以由X轴、Y轴、以及Z轴构成),以确定惯性测量单元IMU在扫描仪坐标系上的相关数据,例如在扫描仪坐标系的X轴、Y轴、以及Z轴下的加速度以及角速度。
另外,还可以根据两个鱼眼相机的具体器械参数,确定获取惯性测量单元IMU的相关数据时的时间戳。示例性的,可以确定获取惯性测量单元IMU的相关数据的观测频率不低于400Hz。这样,数据处理设备也可以直接通过获取两个鱼眼相机的具体器械参数确定相关数据。
S203:数据处理设备基于惯性测量单元IMU的相关数据,确定在世界坐标系下两个鱼眼相机的位姿。
具体地,由于可以确定扫描仪坐标系以及世界坐标系之间的坐标系转换关系,因此数据处理设备在获取到惯性测量单元IMU的相关数据后,可以根据该坐标系转换关系,确定在世界坐标系下两个鱼眼相机的位姿,例如可以表示为6自由度(6-Degree Of Freedom,6DOF)位姿,具体在此不再赘述。
针对上述S201~S203,在采用SLAM算法时,由于全景视频中的视频帧图像均为全景图像,因此利用图像处理、提取关键点、追踪关键点、建立关键点之间的关联关系的处理步骤,可以精确地求解出图像采集设备的6DOF位姿,也即实现了实时对图像采集设备的6DOF位姿采集计算;并且,也可以得到目标空间中稠密点云点的坐标。
其中,在对全景视频中的视频帧图像进行处理时,还可以在全景视频中对应的多帧视频帧图像中确定关键帧图像,以在保证SLAM算法具有足够数量的处理数据的同时,减少计算量,提高效率。具体从全景视频中确定关键帧图像的方式可以参见下述S102的描述,在此不进行详述。
这样,可以在SLAM算法后台存储关键帧图像地图,以便在控制图像采集设备重新返回已采集位置后,可以将该位置下的两帧视频帧图像进行对比,以对图像采集设备进行回环检测,从而修正图像采集设备在长时间、长距离作业下的定位累计误差。
S204:数据处理设备将鱼眼相机分别获取得到的全景视频中的关键帧图像、以及鱼眼相机的位姿作为实时稠密重建算法的输入数据进行处理。
示例性的,对于任一鱼眼相机获取的全景视频,数据处理设备在利用上述S201~S203确定全景视频中的新的关键帧图像后,将当前得到的所有关键帧图像、以及新的关键帧图像对应的鱼眼相机的位姿作为实时稠密重建算法的输入数据。
其中,由于在得到新的关键帧图像之前,针对已传输过的关键帧图像,已在将其作为实时稠密重建算法的输入数据时,将其对应的鱼眼相机的位姿作为输入数据输入至实时稠密重建算法,因此在输入新的关键帧图像时,可以不再重复输入。
S205:数据处理设备利用实时稠密重建算法对输入数据进行处理,得到目标空间对应的三维场景模型。
示例性的,得到的三维场景模型例如可以包括可以以预设颜色示出的稠密点云。在生成该三维场景模型时,稠密点云例如可以随着采集全景视频的过程不断扩大更新。其中,更新频次例如可以根据在输入实时稠密重建算法时,关键帧图像、以及鱼眼相机的位姿的输入频率确定。
针对上述S204~S205,数据处理设备在采用实时稠密重建算法时,可以利用新的关键帧图像估计场景三维模型的稠密深度图,并利用对应的鱼眼相机的位姿将该稠密深度图融合至三维场景模型中,从而在对目标空间采集完毕后获取场景三维模型。在一种可能的情况下,对于已经过处理的关键帧图像,利用该关键帧图像对应的图像采集设备的位姿、以及与其相邻的新的关键帧图像对应的图像采集设备的位姿,可以确定图像采集设备在对目标空间进行采集时的位姿是否由有调整。若位姿并未出现调整,则相应的继续对目标空间的实时稠密重建,以得到三维场景模型;若位姿出现调整,则根据位姿的调整对稠密深度图进行相应的调整,从而得到准确的三维场景模型。
(A2):图像采集设备具有可以对全景视频进行数据处理的算力,并在采集得到第一全景视频后,即利用自身算力对第一全景视频进行数据处理,以得到目标空间对应的三维场景模型。
此处,图像采集设备确定三维场景模型的具体方式,可以参照上述(A1)中数据处理设备建立三维场景模型的描述,在此不再赘述。
在图像采集设备完成对三维场景模型的建立后,例如可以依赖于上述说明的网络连接,将建立得到的三维场景模型传输至数据处理设备,以由数据处理设备进行进一步的处理。
在数据处理设备或图像采集设备生成目标空间对应的三维场景模型后,例如数据处理设备可以通过确定三维场景模型是否可以完整的表述目标空间以及待标注对象中的任一种,确定目标空间中是否存在补采区域。
在一种可能的情况下,若确定三维场景模型可以完整的表述目标空间和待标注对象中的任一种,则数据处理设备确定不存在补采区域,并确定上述全景相机对目标空间进行全景图像采集得到的第一全景视频即为所需的全景视频。
在另一种可能的情况下,若确定三维场景模型不能完整的表述目标空间和待标注对象中的任一种,则数据处理设备确定存在补采区域。在该种情况下,确定进行数据补采,并获取第二全景视频,以利用第二全景视频补充目标空间中未完成图像采集的补采区域。此处,该第二全景视频也即补采视频。
此处,由于可以通过三维场景模型确定出补采区域,也即利用第一全景视频可以确定其中采集完整的区域对应的三维场景模型的同时,也确定出补采区域的具***置,因此可以直接针对于该补采区域进行补采,而不再重新进行对目标空间中其他区域的采集工作。也即,第二全景视频例如可以包括针对补采区域采集得到的一段视频,其中不包含已完成三维场景模型建立的区域,或者因为拍摄时不可避免的出现在目标空间中已建立三维场景模型的小部分区域。这样,可以直接利用第二全景视频完成建立补采区域的三维场景模型,而不需要将第一全景视频与第二全景视频对应位姿、图像等进行拼接,再重新利用拼接后的全景视频重新对三维场景模型进行重建,所需的算力更少,且效率更高。
在具体实施中,数据处理设备在利用三维场景模型,确定是否需要对目标空间中的补采区域进行数据补采时,例如可以采用包括但不限于下述(B1)或(B2)两种方式:
(B1):基于所述三维场景模型中各个稠密点云点在所述目标空间中的三维位置信息,检测所述三维场景模型中是否存在未完成建模的区域;若存在未完成建模的区域,则将所述未完成建模的区域确定为所述补采区域。
在该种情况下,由于在生成三维场景模型时,三维场景模型包括多个稠密点云点,每个稠密点云点均对应在目标空间中的三维位置信息,因此通过对三维场景模型中稠密点云点的三维位置信息的确定,可以确定在三维场景模型中未分布稠密点云点的区域,并相应的确定该区域中是否存在未被采集的情况。例如,针对于目标空间中的顶角位置处,由于拍摄角度等的影响,可能无法在一次图像采集后获取到该顶角位置处的视频帧图像,因此生成的三维场景模型中会有该区域的缺失,也即该三维场景模型中不具有该顶角位置处对应的稠密点云点。此时,可以将该顶角位置处所在的区域作为未完成建模的补采区域。
在确定存在补采区域的情况下,确定需要对补采区域进行数据补采。
具体地,在确定需要对补采区域进行数据补采后,数据处理设备可以采用下述方式控制全景相机对目标空间进行补采,以得到第二全景视频:基于所述全景相机在所述目标空间中的当前位姿,以及所述补采区域在三维场景模型中的位置,控制所述全景相机对所述补采区域进行补采,得到所述第二全景视频。
示例性的,在利用搭载有全景相机的机器人进行数据补采的情况下,数据处理设备例如可以利用全景相机在目标空间中的当前位姿,确定机器人在目标空间中所处的位置,进一步的,数据处理设备利用补采区域在三维场景模型中的位置,可以确定机器人的行走策略,并依托于机器人在目标空间中的移动,使全景相机再次对补采区域进行采集。这样,数据处理设备还可以控制机器人在目标空间中有效率的直接移动至可以采集补采区域的位置,图像采集的效率相应的也较高。
另外,若由用户持全景相机进行数据补采,数据处理设备可以相似的根据全景相机在目标空间中的当前位姿、以及补采区域在三维场景模型中的位置,向用户展示对补采区域进行补采的相关提示信息。示例性的,相关提示信息例如可以包括语音提示信息、文字提示信息、图像提示信息中至少一种。例如,数据处理设备可以向用户发出语音提示信息“前方直行5米处存在补采区域”,或者文字提示信息“请前进5米至下一补采区域”,或者图像提示信息,例如在向用户展示全景视频和/或三维场景模型时,用标记箭头指示用户前进5米。
其中,在数据处理设备向用户展示全景视频和/或三维场景模型时,例如可以在数据处理设备的图形显示界面中展示全景视频和/或三维场景模型。在一种可能的情况下,若用户选用手机、专用采集设备中任一种作为数据处理设备时,可以直接利用手机或专用采集设备相应的图形显示界面,例如手机屏幕或者于专用采集设备连接的显示屏,展示该全景视频和/或三维场景模型。具体地可以根据实际情况确定,在此不再赘述。
这样,数据处理设备可以自动完成确定补采区域的操作,这样能够较快的确定补采的区域,效率较高;并且由于无需用户确定补采区域,因此可以降低对工作人员的技术要求,辅助工作人员更便捷的完成相关的数据标注任务。
(B2):展示所述三维场景模型;响应于用户对所述三维场景模型中任一区域的触发,将被触发的区域确定为所述补采区域。
在该种情况下,可以在图形用户界面中向用户展示三维场景模型,具体可以参见上述(B1)中的描述,在此不再赘述。
在一种可能的情况下,由于在建立三维场景模型时,可能存在利用第一全景视频确定的部分区域对应的稠密点云点较少,导致该部分区域的建模结果不准确的情况。因此,采用对三维场景模型自动检测的方式可能会忽略该部分区域的补采,进而导致得到的三维场景模型中部分区域对应的三维模型不准确。通过向用户展示三维场景模型的方式,可以使用户能够通过查看三维场景模型的方式,使得用户能够灵活的选定需要补采的区域,针对用户要求更细致进行采集的区域、或者在利用第一全景视频未能准确建立三维场景模型的区域,能够更完整、清晰的进行三维场景模型的补充,这样通过补采后得到的三维场景模型更完整,也符合用户的实际精度需求、以及用户的实际标注需求。
此处,数据处理设备控制全景相机对目标空间进行补采,以得到第二全景视频的方式可以参见上述(B1)中的说明,在此同样不再赘述。
在本公开另一实施例中,还提供了一种数据处理设备进行数据补采时的具体实施例。在该实施例中,数据处理设备例如可以包括手机,并通过与手机无线连接的全景相机进行全景视频的采集,以及在手机的图形显示界面上为用户展示相关的全景视频以及三维场景模型。具体地,参见图3所示,为本公开实施例提供的一种数据处理设备进行数据补采时的具体实施例的流程图,其中:
S301:手机获取全景相机对目标空间进行图像采集得到的全景视频。
S302:在手机的图形显示界面上显示全景视频。
S303:响应于用户在手机的图形显示界面对该全景视频的拖动动作,利用示出的全景视频中的视频帧图像,确定该帧视频帧图像对应的三维场景模型。
S304:在手机的图形显示界面上为全景视频叠加展示三维场景模型、以及渲染图像。
在步骤S302~S304中,在手机的图形显示界面显示全景视频时,例如可以为该视频帧图像叠加具有透明度的、以一定颜色示出的渲染图像。参见图4所示,为本公开实施例提供的一种在图形显示界面上显示视频帧图像时的示意图。用户在拖动至该帧视频帧图像时,显示出三个设备以及三个机柜、与三个设备连接的天线、以及灰色的渲染图像。
另外,在手机对视频帧图像进行数据处理后,可以得到该帧视频帧图像对应的三维场景模型并在图形显示界面上示出。其中,还为建立三维场景模型的区域擦除渲染图像。参见图5所示,为本公开实施例提供的一种在图形显示界面上显示出的视频帧图像以及三维场景模型时的示意图;其中,在图中以虚线表示三维场景模型。另外,在图5可以根据未被擦除渲染图像的位置,也即示出的补采区域,确定该补采区域未建立对应的三维场景模型。
S305:响应于用户根据图形显示界面示出的补采区域的选择操作,确定是否对补采区域进行数据补采。
在该步骤中,图形显示界面可以示出补采区域,用户可以根据实际的数据采集需求确定是否对该区域进行补采。
具体地,用户例如可以根据图5中图形显示界面中示出的视频帧图像以及补采区域,可以确定该补采区域对应的设备,也即与三个设备连接的天线。若需要对该天线进行数据标注,则因为当前未对其进行图像采集,确定需要重新对该天线所在的补采区域进行补采,也即需要采集第二全景视频;若不需要对该天线进行数据标注,则可以继续对全景视频中可以示出的其他区域进行三维场景模型的建立,也即不需要采集第二全景视频。
示例性的,若用户确定需要对该天线进行数据标注,例如可以通过点击等操作在图形显示界面上对天线对应的补采区域进行选择,以使手机确定对该补采区域进行补采。
针对上述S102,数据处理设备在利用第一全景视频确定全景视频,或者利用第一全景视频以及第二全景视频确定全景视频后,可以从全景视频中确定关键帧图像。
具体地,数据处理设备在从全景视频中确定关键帧图像时,例如可以采用但不限于下述(C1)和(C2)两种方式中任一种:
(C1):根据直接根据全景视频中包含的视频帧图像的数量、以及实际的数据标注需求,确定预设数量的关键帧图像。
示例性的,在全景视频中包含有100帧视频帧图像,并确定对10帧关键帧图像进行标注时,可以有效且准确的确定全景视频中所有的100帧视频帧图像中的标注数据的情况下,可以确定关键帧图像的预设数量为10帧,并在100帧视频帧图像中以相同的帧数间隔确定10帧关键帧图像,例如第1帧、第11帧、第21帧、……、第81帧、第91帧共10帧关键帧图像。
这样,可以更容易、更简便的从全景视频中包含的多帧视频帧图像中确定关键帧图像,且关键帧图像的数量可以满足后续的实际数据标注需求。
(C2):响应于用户对全景视频中视频帧图像的选择,确定全景视频中的关键帧图像。
在具体实施中,在向用户展示全景视频时,例如响应于用户对其中的部分视频帧的选定操作,将用户选定的该部分视频帧作为全景视频中的关键帧图像。
示例性的,在向用户展示全景视频时,例如可以向用户显示选定关键帧图像的提示信息。具体地,例如可以通过用户的长按、双击等具体操作对全景视频中的视频帧图像进行选定,并将选定的视频帧图像作为关键帧图像。另外,还可以向用户展示提示信息,例如向用户展示包含文字“请长按以选定该帧视频帧图像”,并在用户长按全景视频中的任一帧视频帧图像的情况下,将该帧视频帧图像作为关键帧图像。
这样,数据处理设备可以响应于用户的选择,更加灵活的从全景视频中选定关键帧图像。在一种可能的情况下,若存各个设备在目标空间中的分布不集中的情况,则在全景视频中可能出现连续的多帧视频帧中不存在设备,而是集中的出现在其他帧视频帧中,因此数据处理设备响应于人工选定视频帧图像的方式,可以避免将不存在设备的视频帧作为关键帧的情况出现,从而提高后续利用关键帧进行数据标注时的效率。在另一种可能的情况下,若存在视频帧中的部分视频帧不清晰或数据损坏的情况,数据处理设备响应于人工选定视频帧图像的方式,同样可以避免将该种视频帧作为关键帧的情况出现。
针对上述S103,在确定全景视频中的关键帧图像的情况下,数据处理设备例如可以对关键帧图像中的待标注对象进行属性标注。具体地,数据处理设备在对关键帧图像中的待标注对象进行属性标注时,例如可以采用包括但不限于下述(D1)至(D3)所述的方式:
(D1):展示所述关键帧图像;响应于对所述关键帧图像中待标注对象的第一标注操作,生成与所述第一标注操作对应的标注数据。
其中,数据处理设备在向用户展示关键帧图像时,例如可以在数据处理设备的图形显示界面上向用户展示与全景视频相同尺寸(以像素为单位)的关键帧图像。
具体地,在向用户展示关键帧图像时,例如还可以同时向用户提供对关键帧图像进行第一标注操作时所需的标注控件。示例性的,参见图6所示,为本公开实施例提供的一种展示关键帧图像以及标注控件时的图形显示界面的示意图。
示例性的,用户例如可以在图形显示界面上通过点击操作确定进行数据标注的位置。参见图6所示,在关键帧图像61中,用户可以通过点击操作对位置62处进行选定,并相应的在该关键帧图像61对应的数据标注区域63内进行相关标注数据的填写。
针对数据标注区域63,示例性的,在图6中示出了其中可能包含的部分标注数据类型,例如设备名称、使用年限、具体功能、设备负责人、设备生产厂家、设备尺寸规格、相关文本备注等。其中,在对不同的数据类型对应的数据进行填写时,参见图6中数据标注区域63所示,例如可以直接通过输入文字的方式进行填写,例如在设备名称下的文本输入框内输入“机柜1摄像头”的文字,或者在具体功能下的文本输入框内输入“对机柜1前方区域进行图像采集”的文字。又例如,可以向用户提供多个可选的输入选项,例如响应于用户对使用年限下选择框的点击操作,向用户展示包括多个不同年限的下拉菜单,在下拉菜单中包括“1年”、“2年”、“3年”的选择项,以使用户可以通过对该选择项的选择确定使用年限下的输入数据。
在一种可能的情况下,在数据标注区域63中还可以包括自定义标注段,例如数据标注区域63中示出的“自定义标注段1”。响应于用户对该自定义标注段的编辑,可以确定新的标注数据类型并生成新的输入框。这样,在进行数据标注时的灵活性更高。在一种可能的情况下,由于图形显示界面上可显示的内容有限,因此在数据标注区域63中还包括有可供用户使用的滑动条64。响应于用户在图形显示界面中上下滑动屏幕,滑动条64也可以随之显示上下滑动的效果,以提示用户当前对数据标注区域中的数据进行标注时的进度。这样,通过滑动屏幕的方式,可以摆脱图形显示界面大小的限制,向用户提供更多可写入标注数据的空间。
在另一种可能的情况下,关键帧图像61例如也可以作为数据标注区域63的一部分。示例性的,例如可以在数据标注区域63中显示对应“是否将关键帧图像作为标注数据”的选择框,响应于用户对该选择框的选定操作,可以自动将该关键帧图像作为标注数据。这样,在标注数据中还可以保留原始的关键帧图像,以便于之后通过调用该关键帧图像,回查标注数据是否存在标注错误并及时更正。
这样,数据处理设备即可以响应于用户的第一标注操作,生成与该第一标注操作对应的标注数据。
(D2):对所述关键帧图像进行语义分割处理,并基于所述语义分割处理的结果,生成对所述待标注对象的标注数据。
其中,数据处理设备在对关键帧图像进行语义分割处理时,可以采用的算法例如可以包括下述至少一种:卷积神经网络(Convolutional Neural Networks,CNN)以及深度自注意力变换网络(Transformer)。
在对关键帧图像进行语义分割处理后,例如可以识别出关键帧图像中的多个设备,并确定多个设备的具体类型。具体地,例如可以参见下述(D3)中语义分割处理的描述,此处不再说明。
此处,在确定多个设备的具体类型后,可以相应的根据设备的具体类型从相应的数据库中调取该设备的相关信息,例如上述说明的设备名称、设备使用年限、设备具体功能、设备负责人、设备生产厂家、设备尺寸规格、相关文本备注中至少一种,并将确定的相关信息作为该待标注对象的标注数据。
这样,数据处理设备通过语义分割的方式可以更高效的对关键帧图像中的设备等进行数据标注,不需要人工干预,效率更高。
(D3):基于所述关键帧图像生成预览图像,并展示所述预览图像;其中,所述预览图像的分辨率低于所述关键帧图像的分辨率;响应于对所述预览图像中待标注对象的第二标注操作,生成与所述预览图像对应的标注数据;基于所述预览图像对应的标注数据,得到所述关键帧图像的标注数据。
其中,由于关键帧图像的尺寸较大,而用户在进行数据标注时对图像清晰度的要求并不高,因此,在向用户展示关键帧图像时,也可以合理的减小全景视频中关键帧图像的尺寸,例如生成该关键帧图像对应的预览图像,并直接向用户展示该预览图像,以在保证用户能够通过图形显示界面清晰的辨识预览图像中的各个设备的同时,减少对预览图像进行数据标注后的数据传输量以及数据处理量,进一步提高传输效率以及数据处理效率。
在一种可能的情况下,数据处理设备在响应于用户对预览图像中的待标注对象进行第二标注操作时,例如可以采用与上述(D1)相似的方式,在此不再赘述。在另一种可能的情况下,数据处理设备还可以结合上述(D2)中采用语义分割处理的方式进行第二标注操作。示例性的,参见图7所示,为本公开实施例提供的一种展示预览图像的图形显示界面的示意图。
示例性的,在图7中例如可以示出关键帧图像对应的预览图像71。数据处理设备通过上述(D2)说明的方式对关键帧图像进行语义分割处理后,可以确定预览图像71中,在区域72中的天线、在区域73中的一组设备、在区域74中的一组机柜。进一步的,数据处理设备还可以在区域73中识别出一组设备包括设备1、设备2、以及设备3;在区域74中识别出一组机柜包括机柜1、机柜2、以及机柜3。另外,针对区域74中的多个机柜,数据处理设备还可以通过语义分割处理确定不同机柜上安装的摄像头,例如机柜1上的摄像头741、机柜2上的摄像头742、机柜3上的摄像头743。
在得到语义分割结果后,例如数据处理设备还可以响应于用户对任一区域的选定操作,在预览图像71右侧的识别标注区域75中显示选定设备名称。以选定区域包括区域741(为便于识别,在图中将区域741部分添加了阴影)为例,由于该选定区域741的设备已通过语义分割的方式确定,因此在“选定设备名称”下方的文本框中可以直接显示该选定区域741对应的语义分割结果“机柜1摄像头”。
这样,在一种可能的情况下,用户通过预览图像71以及其对应的识别标注区域75中的选定设备名称,可以再次核对当前进行数据标注的对象,数据处理设备也可以响应于用户的核对操作,减少数据标注错误的产生;在另一种可能的情况下,若数据处理设备采用语义分割的方式未能得到正确的识别结果,则还可以响应于用户对该选定设备名称的修改调整,以保证数据标注的正确性。
另外,在识别标注区域75中还包括与上述图6中的数据标注区域63中相似的其他标注数据类型,并相应的设置了滑动条76,相应的可以参见上述图6对应的说明,在此不再重复赘述。
此处,在进行属性标注时,由于对目标对象进行图像采集获取的全景视频中包含可以进行属性标注的关键帧图像,因此数据处理设备在对关键帧图像进行标注,也可以认为是对全景视频进行属性标注的过程。
在对关键帧图像进行数据标注后,可以相应的基于属性标注得到的标注数据,生成全景视频的属性标注数据。具体地,例如可以采用下述方式:针对所述全景视频中的各帧视频帧图像,响应于该帧视频帧图像并非关键帧图像,从所述关键帧图像中确定与该帧视频帧图像匹配的目标关键帧图像;基于所述目标关键帧图像的标注信息,生成该帧视频帧图像的标注信息。
具体地,针对全景视频中包括的多帧视频帧图像,数据处理设备可以确定多帧关键帧在多帧视频帧图像中的具***置。为便于说明,以全景视频中包含10帧视频帧图像,并且其中第1帧、第4帧、第8帧为关键帧图像为例进行说明。针对全景视频中非关键帧图像的视频帧图像,包括第2帧、第3帧、第5帧至第7帧、第9帧、以及第10帧视频帧图像,共计7张视频帧图像。
在具体实施中,在为非关键帧图像的视频帧图像确定目标关键帧图像时,例如可以采用下述方式:基于所述关键帧图像在所述全景视频中的第一位置、以及该帧视频帧图像在所述全景视频中的第二位置,所述关键帧图像中确定与该帧视频帧图像匹配的所述目标关键帧图像。
示例性的,以上述说明的包括10帧视频帧图像的全景视频为例进行说明。其中,关键帧图像在全景视频中的第一位置,例如可以直接利用关键帧图像在全景视频中的帧数表征,例如在10帧视频帧图像中,第1帧关键帧图像对应的第一位置为第1帧。相似的,非关键帧的视频帧图像在全景视频的第二位置,也可以直接利用该帧视频帧图像在全景视频中的帧数表征,例如在10帧视频帧图像中,第2帧视频帧图像对应的第二位置为第2帧。
在确定全景视频中的各帧视频帧图像的位置后,数据处理设备可以为非关键帧图像的视频帧图像确定与其对应的目标关键帧图像。具体地,数据处理设备可以将位置在该帧视频帧图像之前的最近一帧关键帧图像,作为该帧视频帧图像对应的目标关键帧图像。
示例性的,在为第3帧视频帧图像确定目标关键帧图像时,可以在该第3帧视频帧图像之前确定的关键帧图像中确定目标关键帧图像。此处,第3帧视频帧图像之前仅包括一个关键帧图像,也即第1帧关键帧图像,则相应的将第1帧关键帧图像作为第3帧视频帧图像对应的目标关键帧图像。在为第9帧视频帧图像确定目标关键帧图像时,可以在该第9帧视频帧图像之前确定的关键帧图像中确定目标关键帧图像。此处,第9帧视频帧图像之前包括三个关键帧图像,其中与第9帧视频帧图像临近的关键帧图像为第8帧关键帧图像,则相应的将第8帧关键帧图像作为第9帧视频帧图像对应的目标关键帧图像。
此处,在一种可能的情况下,由于在确定全景视频中的关键帧图像时,可以将全景视频中首先示出当前未被示出的设备的视频帧图像,作为关键帧图像。参见图8所示,为本公开实施例提供的一种多帧视频帧图像的示意图,其中示出了连续的第1帧视频帧图像至第6帧视频帧图像的示意图,第1帧视频帧图像作为全景视频中的第一帧关键帧图像、第4帧视频帧图像作为全景视频中的第二帧关键帧图像。
具体地,由于第1帧视频帧图像首次示出了目标空间中的设备,也即设备1,因此将第1帧视频帧图像作为全景视频中的第一帧关键帧图像。而后,在第1帧视频帧图像至第3帧视频帧图像中均示出了设备1,而在第4帧视频帧图像中示出了设备2,因此将第4帧视频帧图像作为全景视频中的第二帧关键帧图像。相似的,在第4帧视频帧图像至第7帧视频帧图像(该部分在图8中未示出,仅进行文字说明)中均示出了设备2,而在第8帧视频帧图像中示出了设备3,因此将第8帧视频帧图像作为全景视频中的第三帧关键帧图像。
因此,对于在全景视频中非关键帧图像的视频帧图像,可以认为与该视频帧图像之前最近一帧的关键帧图像中包含的设备,与该视频帧图像中的示出的设备最相近,例如第7帧视频帧图像中包含有第4帧视频帧图像中示出的设备2,而并不包含与其最临近的一张关键帧图像(也即第8帧视频帧图像)中新示出的设备3。也即,在利用第1帧、第4帧、第8帧作为关键帧图像,对全景视频中的其他关键帧图像进行标注时,采用与非关键帧的视频帧图像之前最近一帧关键帧图像,作为与其对应的目标关键帧图像的方式,可以在后续更准确的对非关键帧图像的视频帧图像进行数据的同步标注。
具体地,数据处理设备在基于对目标关键帧图像的标注信息,生成该帧图像的标注信息时,例如可以采用对关键点追踪的方式,将目标关键帧图像中标注的数据同步至其他帧视频帧图像中。
示例性的,参见图9所示,为本公开实施例提供的一种对非关键帧图像进行数据标注时的示意图。针对第1张视频帧图像,例如为其中示出的设备1确定多个关键点,比如设备1的门把手位置处对应的关键点911,或者设备1的一个底角处对应的关键点912。相应的,由于在第2张视频帧图像中也示出了该设备1,则可以在对关键点911或者关键点912进行关键点追踪时,确定在第2张视频帧图像示出的设备1对应的关键点921和/或关键点922。
这样,由于已完成了对关键帧图像(例如图9中示出的第1张视频帧图像)的数据标注,因此根据关键点追踪的方式可以在非关键帧图像的其他视频帧图像(例如图9中示出的第2张视频帧图像)中相应的将数据进行同步。在一种可能的情况下,由于在对设备进行标注时,可能存在需要对其中的更细节的部分进行标注的情况,因此在前序的标注步骤中,例如可以对设备上的部分区域进行标注,并通过关键点追踪的方式,对其他视频帧图像中相同设备的相同部分区域进行标注,这样在进行数据标注时可以完成更细节的标注。
在完成对全景视频中的所有非关键帧图像的视频帧图像的标注数据同步后,即可以得到完成数据标注的全景视频。
在本公开另一实施例中,还提供了一种进行数据标注时的具体实施例。参见图10所示,为本公开实施例提供的一种进行数据标注时的具体实施例的流程图,其中:
S1001:开启数据标注环境。
具体地,本公开实施例提供的数据标注方法可以应用于应用程序(application,APP)。在用户打开APP后,可以相应的开启数据标注环境,例如提供数据采集、标注的入口;在启动入口后,调用软件开发工具包(Software Development Kit,SDK)。
S1002:数据处理设备获取站点数据,确定该站点对应的采集任务列表。
在调用SDK后,可以相应的获取站点数据。其中,站点例如是一个安装有许多设备的场所;该站点中例如可以包含但不限于至少一个机房、以及部署在机房中的室内控制柜设备、安装在机房天面上的杆塔和户外控制柜中的至少一种。
具体地,对应于不同的站点,可以利用站点对应的标识(Identity Document,ID)作为唯一辨别标识,并通过向数据处理设备输入标识、扫描该站点的二维码等方式,使数据处理设备确定进行数据标注的站点,并将于该站点对应所需的资产平台、生成平台需要的数据传入,以创建当前的采集任务列表。在对该站点进行数据标注时,即可以根据采集任务列表中的相关任务,确定需要对该站点进行标注的数据。
S1003:数据处理设备通过网络请求属性平台,确定最新数据标注属性包。
具体地,在创建当前的采集任务列表后,数据处理设备可以先通过网络请求属性平台,确定数据标注属性包是否有更新。在有更新的数据标注属性包的情况下,例如可以利用APP更新的方式下载最新的数据标注属性包,以便后续在数据标注的具体过程中调用数据标注属性包中的标注属性等数据。在不存在更新的数据标注属性包的情况下,可以继续执行S1004,也即正常进行采集流程。
S1004:数据处理设备获取全景视频。
其中,该步骤的具体说明可以参见上述对S101的说明,在此不再重复赘述。
S1005:数据处理设备利用数据标注属性包,对全景视频中包含的视频帧图像进行数据标注,得到全景视频的属性标注数据。
其中,该步骤的具体说明可以参见上述对S102以及S103的说明,在此同样不再重复赘述。
此处,针对步骤S1004以及S1005,在进行图像采集以及数据标注时,均可以在不依赖于网络连接,例如采用图像采集设备在离线状态下完成图像采集和/或在离线状态下使用数据标注属性包进行属性标注。
S1006:数据处理设备确认属性标注数据是否正确;若是,执行步骤S1007;若否,执行步骤S1008;
S1007:数据处理设备上传属性标注数据。
其中,在上传属性标注数据时,例如可以等待网络连接,并在网络连接成功后将属性标注数据顺序上传。具体地上传属性标注数据的方式,可以参见下文中对S104的描述,在此不再详细说明。
S1008:数据处理设备确定是否存在图像采集错误;若是,返回至步骤S1004;若否,返回步骤S1005。
针对上述S104,在本公开另一实施例中,还可以获取图像采集设备采集全景视频时的位姿;另外,在基于所述属性标注数据以及所述全景视频,生成目标采集数据时,例如可以采用下述方式:基于所述属性标注数据、所述全景视频、以及所述位姿,生成所述目标采集数据。
具体地,例如可以将属性标注数据、全景视频、以及位姿按照时间戳中至少一种对应的生成不同时间戳下对应的目标采集数据;或者,可以直接将属性标注数据、全景视频、以及位姿按照时间戳中至少一种进行数据打包处理,得到最终需要提交的采集数据包,并将该采集数据包作为目标采集数据。
另外,在一种可能的情况下,由于全景视频中包含的视频帧数量可能较多,并且全景视频中的视频帧图像的尺寸较大,在进行数据传输时传输的数据量也较大,因此若将完整的全景视频进行上传时,所需花费的时间也较长,这样就会造成传输效率低的问题。因此,还可以对采集得到的原始全景视频进行抽帧处理,并将抽取出部分帧后的视频数据作为目标采集数据中的部分数据,以有效的减少所需传输的数据量,从而提高数据传输的效率。
在本公开另一实施例中,还提供了一种采用全景相机以及手机对机房进行数据标注的具体实施例;在该具体实施例中,为便于说明全景相机以及手机两侧在数据标注过程中的具体过程,在具体说明以及图示中示出两端分别对应的在数据标注过程中对应的具体操作步骤。并且,将本公开实施例提供的数据标注方式应用于该实施例中,可以划分为三个阶段,包括阶段I:数据采集阶段、阶段II:数据标注阶段、以及阶段III:数据上传阶段。参见图11所示,为本公开实施例提供的一种对机房进行数据标注的实施例对应的流程图,其中,
阶段I:数据采集阶段,包括下述步骤S1101~S1124;其中,
S1101:手机开启数据标注环境。
S1102:手机连接全景相机。
S1103:全景相机与手机连接。
S1104:手机对全景相机进行陀螺仪校准。
S1105:手机启动采集。
S1106:全景相机实时采集全景视频。
S1107:全景相机持续生成数据。
在该步骤中,例如可以生成实时采集的预览全景视频,并相应的获取全景相机的位姿,也即图中示出的数据:a.实时采集的预览全景视频与位姿。另外,也可以生成全景视频,并相应的获取全景相机的位姿,也即图中示出的数据:b.全景视频与位姿。
S1108:全景相机停止采集。
S1109:全景相机通过网络传输向手机传输数据。
在该步骤中,全景相机例如可以向手机传输同步后的预览图像以及全景相机的位姿,也即图中示出的数据:c.同步后的预览图像与位姿。
S1110:手机完成SLAM实时计算。
S1111:手机完成三维场景模型重建。
S1112:手机实时生成可视化重建结果。
S1113:手机确定是否在采集时在图形显示界面预览;若是,执行步骤S1114,若否,执行步骤S1115。
在该步骤以及下述其他步骤中,图形显示界面包括手机的图形显示界面。
S1114:图形显示界面显示实时预览结果。
S1115:图形显示界面显示其他内容。
在该步骤中,图形显示界面例如可以显示提示信息,例如显示“请确定是否展示预览图像”的文字信息,并相应的提供查看预览图像的控件。
S1116:手机确定完成采集。
针对上述步骤S1108,在停止采集后,还可以相应的生成采集完成的预览视频,也即图中示出的数据:d.采集完成的预览视频。以及,相应的根据采集完成的预览视频确定预览视频集,也即图中示出的数据:e.采集完成的预览视频集。
另外,还可以获取采集完成后得到的全景视频与全景相机的位姿,也即图中示出的数据:f.采集完成的全景视频与位姿。以及,相应的根据得到的全景视频与全景相机的位姿确定采集完成的全景视频集与全景相机的位姿,也即图中示出的数据:g.采集完成的全景视频集与位姿。
另外,还可以获取同步后的预览视频,也即图中示出的数据:h.同步后的预览视频。以及,相应的根据预览视频得到同步后的预览视频集,也即图中示出的数据:i.同步后的预览视频集。
S1117:全景相机将数据f.采集完成的全景视频与位姿通过网络传输至手机。
此处,在将数据f.采集完成的全景视频与位姿通过网络传输至手机后,在手机中例如可以得到同步后的全景视频与位姿,也即图中示出的数据:j.同步后的全景视频与位姿。
S1118:全景相机将数据g.采集完成的全景视频集与位姿通过网络传输至手机。
此处,在将数据g.采集完成的全景视频集与位姿通过网络传输至手机后,在手机中例如可以得到同步后的全景视频集与位姿,也即图中示出的数据:k.同步后的全景视频集与位姿。
S1119:手机确定是否选取人工确定补采区域的方式;若是,执行步骤S1121;若否,执行步骤S1120。
S1120:手机自动检测三维场景模型中是否存在补采区域;跳转至步骤S1123。
S1121:手机的图形显示界面展示三维场景模型。
S1122:手机响应于人工确认操作,确定补采区域。
S1123:手机确认是否需要补采;若是,返回至步骤S1105;若否,执行阶段II:数据标注阶段中的S1125。
阶段II:数据标注阶段,包括下述步骤S1125~S1128;其中,
S1125:手机从预览视频集中确定关键帧图像。
S1126:手机对关键帧图像进行数据标注。
S1127:手机确定完成对关键帧图像的数据标注。
S1128:手机同步关键帧图像上的标注数据至全景视频。
在该步骤中,可以相应的生成与全景视频匹配的标注数据,也即图中示出的i.与全景视频匹配的标注数据。
此处,在生成数据i.与全景视频匹配的标注数据后,可以相应的执行阶段III:数据上传阶段中的步骤S1129;另外,在执行完毕S1128后,可以相应的执行步骤S1130。
阶段III:数据上传阶段,包括下述步骤S1129~S1134;其中,
S1129:手机根据站点和/或时间修改文件名。
此处说明的文件,例如可以是包括存储标注数据、站点、全景视频等的文件。
S1130:手机选择需要上传的文件。
S1131:手机对全景视频进行抽帧。
在该步骤中,例如可以得到图中示出的数据:m.抽帧后的全景视频以及位姿、以及n.与全景视频匹配的标注数据以及预览视频包。
S1132:手机打包全部文件。
S1133:查看上传进度。
S1134:上传完成。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与数据标注方法对应的数据标注装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据标注方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图12所示,为本公开实施例提供的一种数据标注装置的示意图,所述装置包括:第一获取模块121、确定模块122、处理模块123、以及生成模块124;其中,
第一获取模块121,用于获取利用图像采集设备对目标空间进行图像采集得到的全景视频;确定模块122,用于从所述全景视频中,确定包括待标注对象的关键帧图像;处理模块123,用于响应于对所述关键帧图像中所述待标注对象进行属性标注,基于属性标注得到的标注数据,生成所述全景视频的属性标注数据;生成模块124,用于基于所述属性标注数据以及所述全景视频,生成目标采集数据。
一种可选的实施方式中,所述图像采集设备包括:全景相机;所述第一获取模块121在获取利用图像采集设备对目标空间进行图像采集得到的全景视频时,用于:控制所述全景相机对所述目标空间进行全景图像采集,得到第一全景视频;基于所述第一全景视频、以及所述全景相机采集所述第一全景视频时的位姿,确定所述目标空间中存在待补充采集的补采区域;基于所述补采区域,控制所述全景相机对所述目标空间进行补采,得到第二全景视频。
一种可选的实施方式中,所述第一获取模块121在基于所述第一全景视频、以及所述全景相机采集所述第一全景视频时的位姿,确定所述目标空间中存在待补充采集的补采区域时,用于:基于所述第一全景视频以及所述全景相机采集所述第一全景视频时的位姿,对所述目标空间进行三维重建,生成所述目标空间的三维场景模型;基于所述三维场景模型,确定所述目标空间中存在待补充采集的补采区域。
一种可选的实施方式中,所述第一获取模块121在基于所述补采区域,控制所述全景相机对所述目标空间进行补采,得到第二全景视频时,用于:基于所述全景相机在所述目标空间中的当前位姿,以及所述补采区域在三维场景模型中的位置,控制所述全景相机对所述补采区域进行补采,得到所述第二全景视频。
一种可选的实施方式中,所述第一获取模块121在基于所述三维场景模型,确定所述目标空间中存在待补充采集的补采区域时,用于:基于所述三维场景模型中各个稠密点云点在所述目标空间中的三维位置信息,检测所述三维场景模型中是否存在未完成建模的区域;若存在未完成建模的区域,则将所述未完成建模的区域确定为所述补采区域。
一种可选的实施方式中,所述第一获取模块121在基于所述三维场景模型,确定所述目标空间中存在待补充采集的补采区域时,用于:展示所述三维场景模型;响应于用户对所述三维场景模型中任一区域的触发,将被触发的区域确定为所述补采区域。
一种可选的实施方式中,所述处理模块123在对所述关键帧图像中待标注对象进行属性标注时,用于:展示所述关键帧图像;响应于对所述关键帧图像中待标注对象的第一标注操作,生成与所述第一标注操作对应的标注数据。
一种可选的实施方式中,所述处理模块123在对所述关键帧图像中待标注对象进行属性标注时,用于:对所述关键帧图像进行语义分割处理,并基于所述语义分割处理的结果,生成对所述待标注对象的标注数据。
一种可选的实施方式中,所述处理模块123在对所述关键帧图像中待标注对象进行属性标注时,用于:基于所述关键帧图像生成预览图像,并展示所述预览图像;其中,所述预览图像的分辨率低于所述关键帧图像的分辨率;响应于对所述预览图像中待标注对象的第二标注操作,生成与所述预览图像对应的标注数据;基于所述预览图像对应的标注数据,得到所述关键帧图像的标注数据。
一种可选的实施方式中,所述处理模块123在基于属性标注得到的标注数据,生成所述全景视频的属性标注数据时,用于:针对所述全景视频中的各帧视频帧图像,响应于该帧视频帧图像并非关键帧图像,从所述关键帧图像中确定与该帧视频帧图像匹配的目标关键帧图像;基于所述目标关键帧图像的标注信息,生成该帧视频帧图像的标注信息。
一种可选的实施方式中,所述处理模块123在从所述关键帧图像中,为该帧视频帧图像确定目标关键帧图像时,用于:基于所述关键帧图像在所述全景视频中的第一位置、以及该帧视频帧图像在所述全景视频中的第二位置,所述关键帧图像中确定与该帧视频帧图像匹配的所述目标关键帧图像。
一种可选的实施方式中,所述数据标注装置还包括,第二获取模块125,用于:获取所述图像采集设备采集所述全景视频时的位姿;所述生成模块124在基于所述属性标注数据以及所述全景视频,生成目标采集数据时,用于:基于所述属性标注数据、所述全景视频、以及所述位姿,生成所述目标采集数据。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本公开实施例还提供了一种计算机设备,如图13所示,为本公开实施例提供的计算机设备结构示意图,包括:
处理器10和存储器20;所述存储器20存储有处理器10可执行的机器可读指令,处理器10用于执行存储器20中存储的机器可读指令,所述机器可读指令被处理器10执行时,处理器10执行下述步骤:
获取利用图像采集设备对目标空间进行图像采集得到的全景视频;从所述全景视频中,确定关键帧图像;响应于对所述关键帧图像中待标注对象进行属性标注,基于属性标注得到的标注数据,生成所述全景视频的属性标注数据;基于所述属性标注数据以及所述全景视频,生成目标采集数据。
上述存储器20包括内存210和外部存储器220;这里的内存210也称内存储器,用于暂时存放处理器10中的运算数据,以及与硬盘等外部存储器220交换的数据,处理器10通过内存210与外部存储器220进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的数据标注方法的步骤,此处不再赘述。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的数据标注方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的数据标注方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
本公开涉及增强现实领域,通过获取现实环境中的目标对象的图像信息,进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理,从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的,目标对象可涉及与人体相关的脸部、肢体、手势、动作等,或者与物体相关的标识物、标志物,或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景,还可以涉及与人相关的特效处理,比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络,实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (15)
1.一种数据标注方法,其特征在于,包括:
获取利用图像采集设备对目标空间进行图像采集得到的全景视频;
从所述全景视频中,确定包括待标注对象的关键帧图像;
响应于对所述关键帧图像中所述待标注对象进行属性标注,基于属性标注得到的标注数据,生成所述全景视频的属性标注数据;
基于所述属性标注数据以及所述全景视频,生成目标采集数据。
2.根据权利要求1所述的数据标注方法,其特征在于,所述图像采集设备包括:全景相机;所述获取利用图像采集设备对目标空间进行图像采集得到的全景视频,包括:
控制所述全景相机对所述目标空间进行全景图像采集,得到第一全景视频;
基于所述第一全景视频、以及所述全景相机采集所述第一全景视频时的位姿,确定所述目标空间中存在待补充采集的补采区域;
基于所述补采区域,控制所述全景相机对所述目标空间进行补采,得到第二全景视频。
3.根据权利要求2所述的数据标注方法,其特征在于,所述基于所述第一全景视频、以及所述全景相机采集所述第一全景视频时的位姿,确定所述目标空间中存在待补充采集的补采区域,包括:
基于所述第一全景视频以及所述全景相机采集所述第一全景视频时的位姿,对所述目标空间进行三维重建,生成所述目标空间的三维场景模型;
基于所述三维场景模型,确定所述目标空间中存在待补充采集的补采区域。
4.根据权利要求2或3所述的数据标注方法,其特征在于,所述基于所述补采区域,控制所述全景相机对所述目标空间进行补采,得到第二全景视频,包括:
基于所述全景相机在所述目标空间中的当前位姿,以及所述补采区域在三维场景模型中的位置,控制所述全景相机对所述补采区域进行补采,得到所述第二全景视频。
5.根据权利要求3所述的数据标注方法,其特征在于,所述基于所述三维场景模型,确定所述目标空间中存在待补充采集的补采区域,包括:
基于所述三维场景模型中各个稠密点云点在所述目标空间中的三维位置信息,检测所述三维场景模型中是否存在未完成建模的区域;
若存在未完成建模的区域,则将所述未完成建模的区域确定为所述补采区域。
6.根据权利要求3所述的数据标注方法,其特征在于,所述基于所述三维场景模型,确定所述目标空间中存在待补充采集的补采区域,包括:
展示所述三维场景模型;
响应于用户对所述三维场景模型中任一区域的触发,将被触发的区域确定为所述补采区域。
7.根据权利要求1-6任一项所述的数据标注方法,其特征在于,所述对所述关键帧图像中所述待标注对象进行属性标注,包括:
展示所述关键帧图像;
响应于对所述关键帧图像中所述待标注对象的第一标注操作,生成与所述第一标注操作对应的标注数据。
8.根据权利要求1-7任一项所述的数据标注方法,其特征在于,所述对所述关键帧图像中所述待标注对象进行属性标注,包括:
对所述关键帧图像进行语义分割处理,并基于所述语义分割处理的结果,生成对所述待标注对象的标注数据。
9.根据权利要求1-8任一项所述的数据标注方法,其特征在于,所述对所述关键帧图像中所述待标注对象进行属性标注,包括:
基于所述关键帧图像生成预览图像,并展示所述预览图像;其中,所述预览图像的分辨率低于所述关键帧图像的分辨率;
响应于对所述预览图像中所述待标注对象的第二标注操作,生成与所述预览图像对应的标注数据;
基于所述预览图像对应的标注数据,得到所述关键帧图像的标注数据。
10.根据权利要求1-9任一项所述的数据标注方法,其特征在于,所述基于属性标注得到的标注数据,生成所述全景视频的属性标注数据,包括:
针对所述全景视频中的各帧视频帧图像,响应于该帧视频帧图像并非关键帧图像,从所述关键帧图像中确定与该帧视频帧图像匹配的目标关键帧图像;
基于所述目标关键帧图像的标注信息,生成该帧视频帧图像的标注信息。
11.根据权利要求10所述的数据标注方法,其特征在于,所述从所述关键帧图像中,为该帧视频帧图像确定目标关键帧图像,包括:
基于所述关键帧图像在所述全景视频中的第一位置、以及该帧视频帧图像在所述全景视频中的第二位置,所述关键帧图像中确定与该帧视频帧图像匹配的所述目标关键帧图像。
12.根据权利要求1-11任一项所述的数据标注方法,其特征在于,所述方法还包括:
获取所述图像采集设备采集所述全景视频时的位姿;
所述基于所述属性标注数据以及所述全景视频,生成目标采集数据,包括:
基于所述属性标注数据、所述全景视频、以及所述位姿,生成所述目标采集数据。
13.一种数据标注装置,其特征在于,包括:
第一获取模块,用于获取利用图像采集设备对目标空间进行图像采集得到的全景视频;
确定模块,用于从所述全景视频中,确定包括待标注对象的关键帧图像;
处理模块,用于响应于对所述关键帧图像中所述待标注对象进行属性标注,基于属性标注得到的标注数据,生成所述全景视频的属性标注数据;
生成模块,用于基于所述属性标注数据以及所述全景视频,生成目标采集数据。
14.一种计算机设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至12任一项所述的数据标注方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机设备运行时,所述计算机设备执行如权利要求1至12任一项所述的数据标注方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110963206.4A CN113660469A (zh) | 2021-08-20 | 2021-08-20 | 一种数据标注方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110963206.4A CN113660469A (zh) | 2021-08-20 | 2021-08-20 | 一种数据标注方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113660469A true CN113660469A (zh) | 2021-11-16 |
Family
ID=78491877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110963206.4A Withdrawn CN113660469A (zh) | 2021-08-20 | 2021-08-20 | 一种数据标注方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113660469A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114529621A (zh) * | 2021-12-30 | 2022-05-24 | 北京城市网邻信息技术有限公司 | 户型图生成方法、装置、电子设备及介质 |
CN114973056A (zh) * | 2022-03-28 | 2022-08-30 | 华中农业大学 | 基于信息密度的快速视频图像分割标注方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110705405A (zh) * | 2019-09-20 | 2020-01-17 | 阿里巴巴集团控股有限公司 | 目标标注的方法及装置 |
CN110866936A (zh) * | 2018-08-07 | 2020-03-06 | 阿里巴巴集团控股有限公司 | 视频标注方法、跟踪方法、装置、计算机设备及存储介质 |
CN112598805A (zh) * | 2020-12-24 | 2021-04-02 | 浙江商汤科技开发有限公司 | 一种提示信息展示方法、装置、设备及存储介质 |
CN112927349A (zh) * | 2021-02-22 | 2021-06-08 | 北京市商汤科技开发有限公司 | 三维虚拟特效的生成方法、装置、计算机设备及存储介质 |
CN113141498A (zh) * | 2021-04-09 | 2021-07-20 | 深圳市慧鲤科技有限公司 | 信息生成方法、装置、计算机设备及存储介质 |
-
2021
- 2021-08-20 CN CN202110963206.4A patent/CN113660469A/zh not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110866936A (zh) * | 2018-08-07 | 2020-03-06 | 阿里巴巴集团控股有限公司 | 视频标注方法、跟踪方法、装置、计算机设备及存储介质 |
CN110705405A (zh) * | 2019-09-20 | 2020-01-17 | 阿里巴巴集团控股有限公司 | 目标标注的方法及装置 |
CN112598805A (zh) * | 2020-12-24 | 2021-04-02 | 浙江商汤科技开发有限公司 | 一种提示信息展示方法、装置、设备及存储介质 |
CN112927349A (zh) * | 2021-02-22 | 2021-06-08 | 北京市商汤科技开发有限公司 | 三维虚拟特效的生成方法、装置、计算机设备及存储介质 |
CN113141498A (zh) * | 2021-04-09 | 2021-07-20 | 深圳市慧鲤科技有限公司 | 信息生成方法、装置、计算机设备及存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114529621A (zh) * | 2021-12-30 | 2022-05-24 | 北京城市网邻信息技术有限公司 | 户型图生成方法、装置、电子设备及介质 |
CN114529621B (zh) * | 2021-12-30 | 2022-11-22 | 北京城市网邻信息技术有限公司 | 户型图生成方法、装置、电子设备及介质 |
CN114973056A (zh) * | 2022-03-28 | 2022-08-30 | 华中农业大学 | 基于信息密度的快速视频图像分割标注方法 |
CN114973056B (zh) * | 2022-03-28 | 2023-04-18 | 华中农业大学 | 基于信息密度的快速视频图像分割标注方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zollmann et al. | Augmented reality for construction site monitoring and documentation | |
US9760987B2 (en) | Guiding method and information processing apparatus | |
US10482659B2 (en) | System and method for superimposing spatially correlated data over live real-world images | |
JP6329343B2 (ja) | 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法 | |
KR101841668B1 (ko) | 입체 모델 생성 장치 및 방법 | |
US9576183B2 (en) | Fast initialization for monocular visual SLAM | |
US20160269631A1 (en) | Image generation method, system, and apparatus | |
KR102289745B1 (ko) | 실시간 현장 작업 모니터링 방법 및 시스템 | |
US10013795B2 (en) | Operation support method, operation support program, and operation support system | |
CN113657307A (zh) | 一种数据标注方法、装置、计算机设备及存储介质 | |
WO2023093217A1 (zh) | 数据标注方法、装置、计算机设备、存储介质和程序 | |
CN104484033A (zh) | 基于bim的虚拟现实展示方法和*** | |
CN113660469A (zh) | 一种数据标注方法、装置、计算机设备及存储介质 | |
CN104268939A (zh) | 基于三维全景视图的变电站虚拟现实管理***及其实现方法 | |
JP2020098568A (ja) | 情報管理装置、情報管理システム、情報管理方法および情報管理プログラム | |
CN113345108B (zh) | 增强现实数据展示方法、装置、电子设备及存储介质 | |
CN112348933A (zh) | 动画生成方法、装置、电子设备及存储介质 | |
KR20120076175A (ko) | 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템 | |
US11395102B2 (en) | Field cooperation system and management device | |
JP6110780B2 (ja) | 付加情報表示システム | |
CN114565849B (zh) | 一种基于数字孪生的资产ai识别与定位方法和*** | |
CN113838193A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
KR101169590B1 (ko) | 사용자 스케치를 통한 이동통신 단말기에서의 3차원 파노라마 공간 재구성 방법 | |
KR20150028533A (ko) | 실내 공간 정보 구축을 위한 이동식 정보수집 장치 | |
CN114299271A (zh) | 三维建模方法、三维建模装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211116 |
|
WW01 | Invention patent application withdrawn after publication |