CN111325984B - 样本数据的获取方法、装置和电子设备 - Google Patents
样本数据的获取方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111325984B CN111325984B CN202010192073.0A CN202010192073A CN111325984B CN 111325984 B CN111325984 B CN 111325984B CN 202010192073 A CN202010192073 A CN 202010192073A CN 111325984 B CN111325984 B CN 111325984B
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- background
- augmented reality
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000003190 augmentative effect Effects 0.000 claims abstract description 201
- 238000002372 labelling Methods 0.000 claims abstract description 73
- 238000009877 rendering Methods 0.000 claims abstract description 50
- 230000007613 environmental effect Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000005286 illumination Methods 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 17
- 238000012549 training Methods 0.000 description 14
- 230000036544 posture Effects 0.000 description 9
- 238000013136 deep learning model Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Atmospheric Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例提供了一种样本数据的获取方法、装置和电子设备，可用于自动驾驶，尤其是自主泊车技术领域。所述方法包括：先分别获取背景图像和标注有背景图像的属性信息的背景标注图像；并对目标对象的3D模型和背景图像进行渲染，得到增强现实图像；对目标对象的3D模型进行渲染，得到标注有目标对象的属性信息的目标对象标注图像；该增强现实图像、背景标注图像以及目标对象标注图像即为需要获取的包括目标对象的样本数据。可以看出，本申请实施例在获取样本数据时，是基于增强现实技术，并使用背景图像和目标对象的3D模型最终生成包括目标对象的样本数据，这样可以降低样本数据的采集耗时和标注耗时，提高了样本数据的获取效率。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及自动驾驶技术领域。
背景技术
在自动驾驶场景中，通常基于深度学习模型进行视觉感知，深度学习模型的获取需要以大量的训练样本。在获取训练样本时，会存在难采集、多姿态、标注成本高等问题，使得有些训练样本，例如小样本数据很难获取到，这样会因为用于训练的大量的训练样本中缺乏小样本数据，从容导致训练得到的深度学习模型的准确度较低。
为了提高训练得到的深度学习模型的准确度，现有技术中，通常直接采集、标注训练样本中缺乏的小样本数据。但是，采集数据、标注数据要耗费大量的时间成本和较高的经济成本，而且对于某些小样本，比如警车、消防车等物体，由于日常生活中本身就不常见到，所以很难采集到大量不同场景下的警车、消防车的相关样本数据。
因此，采用现有的样本数据获取方法，使得样本数据的获取效率较低。
发明内容
本申请实施例提供一种样本数据的获取方法、装置和电子设备，在获取样本数据时，提高了样本数据的获取效率。
第一方面，本申请实施例提供一种样本数据的获取方法，该样本数据的获取方法可以包括：
分别获取背景图像和背景标注图像；其中，所述背景标注图像中标注有背景的属性信息。
对目标对象的3D模型和所述背景图像进行渲染，得到增强现实图像。
对所述目标对象的3D模型进行渲染，得到目标对象标注图像；其中，所述目标对象标注图像中标注有所述目标对象的属性信息，样本数据包括所述增强现实图像、所述背景标注图像以及所述目标对象标注图像。
可以看出，与现有技术不同的是，本申请实施例在获取样本数据时，是基于增强现实技术，并使用背景图像和目标对象的3D模型最终生成包括目标对象的样本数据，这样可以在短时间内大量生成现有技术中无法大量采集到的小样本数据，降低了样本数据的采集耗时和标注耗时，不仅提高了样本数据的获取效率，而且与将目标对象直接与背景图像贴图合成的并不平滑的样本数据相比，提高了获取到的样本数据的准确度。
在一种可能的实现方式中，所述对目标对象的3D模型和所述背景图像进行渲染，得到增强现实图像，可以包括：
获取影响渲染效果的关键信息；其中，所述关键信息包括所述目标对象的3D模型的模型参数、采集所述背景图像时的拍摄参数、或所述采集所述背景图像时的环境参数中的至少一种。
对所述目标对象的3D模型、所述关键信息及所述背景图像进行渲染，得到所述增强现实图像。
可以看出，对目标对象的3D模型和背景图像进行渲染得到所述增强现实图像时，通过将会影响样本数据的关键信息，与目标对象的3D模型和背景图像一并进行渲染，这样获取到的增强现实图像更加真实化、生动化和多样化。
在一种可能的实现方式中，所述关键信息包括所述目标对象的3D模型的模型参数，所述对所述目标对象的3D模型、所述关键信息及所述背景图像进行渲染，得到所述增强现实图像，可以包括：
对所述目标对象的3D模型、所述模型参数及所述背景图像进行渲染，得到所述增强现实图像；其中，所述模型参数包括坐标系参数和/或旋转角度。
对应的，所述对所述目标对象的3D模型进行渲染，得到目标对象标注图像，包括：
对所述目标对象的3D模型和所述模型参数进行渲染，得到所述目标对象标注图像。
由此可见，在该种可能的场景中，在渲染得到增强现实图像时，通过对包括坐标系参数和/或旋转角度的模型参数，与目标对象的3D模型和背景图像一并进行渲染，可以得到包括不同姿态下的目标对象和道路背景的增强现实图像，使得获取到的增强现实图像更加多样化。
在一种可能的实现方式中，所述拍摄参数包括拍摄焦距和/或机变系数。
由此可见，在该种可能的场景中，在渲染得到增强现实图像时，通过对包括拍摄焦距和/或机变系数的拍摄参数，与目标对象的3D模型和背景图像一并进行渲染，可以得到包括不同拍摄视角下的目标对象和道路背景的增强现实图像，使得获取到的增强现实图像更加多样化。
在一种可能的实现方式中，所述环境参数包括光照强度和/或空气质量。
由此可见，在该种可能的场景中，在渲染得到增强现实图像时，通过对包括光照强度和/或空气质量的环境参数，与目标对象的3D模型和背景图像一并进行渲染，可以得到包括不同光照强度和/或空气质量下的目标对象和道路背景的增强现实图像，使得获取到的增强现实图像更加真实化、生动化和多样化。
在一种可能的实现方式中，该样本数据的获取方法还可以包括：
判断所述增强现实图像中是否存在图像被遮挡。
根据判断结果生成所述增强现实图像对应的增强现实标注图像；其中，所述增强现实标注图像标注有所述增强现实图像中背景的属性信息和目标对象的属性信息，这样可以提高获取到的样本数据的准确度。
在一种可能的实现方式中，所述根据判断结果生成所述增强现实图像对应的增强现实标注图像，可以包括：
若所述增强现实图像中不存在图像被遮挡，说明当前的背景标注图像就是增强现实图像中背景的标注数据，目标对象标注图像就是增强现实图像中目标对象的标注数据。因此，在该种情况下，在获取增强现实图像对应的增强现实标注图像时，可以直接对背景标注图像和目标对象标注图像进行合成处理，这样就可以得到增强现实图像对应的增强现实标注图像。其中，增强现实标注图像标注有该增强现实图像中背景的属性信息和目标对象的属性信息。
若所述增强现实图像中存在图像被遮挡，说明当前背景标注图像不再是增强现实图像中背景的标注数据，需要在背景标注图像中删除被遮挡的图像的属性信息，得到的新的背景标注图像才是增强现实图像中背景的标注数据。因此，在该种情况下，在获取增强现实图像对应的增强现实标注图像时，需要先在背景标注图像中删除被遮挡的图像的属性信息，得到新的背景标注图像；然后对新的背景标注图像和目标对象标注图像进行合成处理，这样就可以得到增强现实图像对应的增强现实标注图像，这样可以避免背景标注图像中包括被遮挡的图像的标注数据，进一步提高获取到的样本数据的准确度。
在一种可能的实现方式中，该样本数据的获取方法还可以包括：
获取3D模型集，在所述3D模型集中查找所述目标对象的3D模型，从而获取到目标对象的3D模型。
第二方面，本申请实施例还提供一种样本数据的获取装置，该样本数据的获取方法可以包括：
获取模块，用于分别获取背景图像和背景标注图像；其中，所述背景标注图像中标注有背景的属性信息。
处理模块，用于对目标对象的3D模型和所述背景图像进行渲染，得到增强现实图像；并对所述目标对象的3D模型进行渲染，得到目标对象标注图像；其中，所述目标对象标注图像中标注有所述目标对象的属性信息，样本数据包括所述增强现实图像、所述背景标注图像以及所述目标对象标注图像。
在一种可能的实现方式中，所述处理模块，具体用于获取影响渲染效果的关键信息；并对所述目标对象的3D模型、所述关键信息及所述背景图像进行渲染，得到所述增强现实图像；其中，所述关键信息包括所述目标对象的3D模型的模型参数、采集所述背景图像时的拍摄参数、或所述采集所述背景图像时的环境参数中的至少一种。
在一种可能的实现方式中，所述关键信息包括所述目标对象的3D模型的模型参数，所述处理模块，具体用于：
对所述目标对象的3D模型、所述模型参数及所述背景图像进行渲染，得到所述增强现实图像；其中，所述模型参数包括坐标系参数和/或旋转角度。
对应的，所述处理模块，还具体用于：
对所述目标对象的3D模型和所述模型参数进行渲染，得到所述目标对象标注图像。
在一种可能的实现方式中，所述拍摄参数包括拍摄焦距和/或机变系数。
在一种可能的实现方式中，所述环境参数包括光照强度和/或空气质量。
在一种可能的实现方式中，所述处理模块，还用于判断所述增强现实图像中是否存在图像被遮挡；并根据判断结果生成所述增强现实图像对应的增强现实标注图像；其中，所述增强现实标注图像标注有所述增强现实图像中背景的属性信息和目标对象的属性信息。
在一种可能的实现方式中，所述处理模块，具体用于若所述增强现实图像中不存在图像被遮挡，则对所述背景标注图像和所述目标对象标注图像进行合成处理，得到所述增强现实图像对应的增强现实标注图像；若所述增强现实图像中存在图像被遮挡，则在所述背景标注图像中删除被遮挡的图像的属性信息，得到新的背景标注图像；并对所述新的背景标注图像和所述目标对象标注图像进行合成处理，得到所述增强现实图像对应的增强现实标注图像。
在一种可能的实现方式中，所述获取模块，具体用于获取3D模型集；并在所述3D模型集中查找所述目标对象的3D模型。
第三方面，本申请实施例还提供一种电子设备，该电子设备可以包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面任一种可能的实现方式中所述的样本数据的获取方法。
第四方面，本申请实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述第一方面任一种可能的实现方式中所述的样本数据的获取方法。
上述申请中的一个实施例具有如下优点或有益效果：在获取样本数据时，先分别获取背景图像和标注有背景的属性信息的背景标注图像；并对目标对象的3D模型和背景图像进行渲染，得到增强现实图像；对目标对象的3D模型进行渲染，得到标注有目标对象的属性信息的目标对象标注图像；得到的增强现实图像、背景标注图像以及目标对象标注图像即为需要获取的包括目标对象的样本数据。可以看出，与现有技术不同的是，本申请实施例在获取样本数据时，是基于增强现实技术，并使用背景图像和目标对象的3D模型最终生成包括目标对象的样本数据，这样可以在短时间内大量生成现有技术中无法大量采集到的小样本数据，降低了样本数据的采集耗时和标注耗时，提高了样本数据的获取效率。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是可以实现本申请实施例的样本数据的获取方法的一种场景图；
图2是根据本申请第一实施例提供的样本数据的获取方法的流程示意图；
图3为本申请第一实施例提供的停车场的背景标注图像的示意图；
图4为本申请第一实施例提供的警车的3D模型的示意图；
图5为本申请第一实施例提供的渲染器的内部截图的示意图；
图6为本申请第一实施例提供的增强现实图像的示意图；
图7是根据本申请第二实施例提供的增强现实图像的获取方法的流程示意图；
图8为本申请第二实施例提供的获取增强现实图像和目标对象标注图像的示意图；
图9为本申请第二实施例提供的第一姿态的警车的3D模型和增强现实图像的示意图；
图10为本申请第二实施例提供的第二姿态的警车的3D模型和增强现实图像的示意图；
图11是根据本申请第三实施例提供的增强现实图像对应的增强现实标注图像的获取方法的流程示意图；
图12是根据本申请第四实施例提供的样本数据的获取装置的结构示意图；
图13是根据本申请实施例的样本数据的获取方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本申请的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本申请的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。
可以理解的是，本申请实施例提供的样本数据的获取方法可以应用于自动驾驶的场景中。为了保证车辆行驶的安全性，需要对行驶前方的路况进行感知，通常情况下，是基于深度学习模型进行视觉感知。但是，构建深度学习模型需要大量的训练样本，尤其是对于某些小样本数据，例如，目标对象为警车，背景为停车场的样本数据，示例的，请参见图1所示，图1是可以实现本申请实施例的样本数据的获取方法的一种场景图，在获取警车停留在停车场中的样本数据时，由于日常生活中本身就不常见到警车，这会使得样本数据的获取效率较低。
为了提高样本数据的获取效率，可以尝试通过贴图的手段，从包含警车的图像中将警车抠出来，贴到另一张停车场图像中，以通过此方式合成警车停留在停车场中的样本数据。但是采用该方法，在获取样本数据时，虽然可以在一定程度上提高样本数据的获取效率，但是由于该方法只能将已有图像中的警车抠出来，并直接贴图合成警车停留在停车场的图像，使得合成的警车停留在停车场的图像并不平滑，与真实采集到的数据相差很大，从而导致获取到的样本数据的准确度较低。
基于上述论述，为了提高样本数据的获取效率，本申请实施例提供了一种样本数据的获取方法，在获取样本数据时，先分别获取背景图像和标注有背景的属性信息的背景标注图像；并对目标对象的3D模型和背景图像进行渲染，得到增强现实图像；对目标对象的3D模型进行渲染，得到标注有目标对象的属性信息的目标对象标注图像；得到的增强现实图像、背景标注图像以及目标对象标注图像即为需要获取的包括目标对象的样本数据。可以看出，与现有技术不同的是，本申请实施例在获取样本数据时，是基于增强现实技术，并使用背景图像和目标对象的3D模型最终生成包括目标对象的样本数据，这样可以在短时间内大量生成现有技术中无法大量采集到的小样本数据，降低了样本数据的采集耗时和标注耗时，不仅提高了样本数据的获取效率，而且与将目标对象直接与背景图像贴图合成的并不平滑的样本数据相比，提高了获取到的样本数据的准确度。
其中，目标对象和背景的类型与样本数据的应用场景有关。示例的，当应用场景为自动驾驶场景时，示例的，目标对象可以为警车或者消防车，背景可以为停车场或者道路。当目标对象为警车时，目标对象的属性信息可以为警车的位置和警车的尺寸等信息；当目标对象为消防车时，目标对象的属性信息可以为消防车的位置和消防车的尺寸等信息。当背景为停车场时，背景的属性信息可以为停车场的位置和车位的大小等信息；当背景为道路时，背景的属性信息可以为道路的位置、道路的车道数和道路的车道宽度等信息；当然，也可以应用于其他场景中，例如，房屋装修的场景中，目标对象可以为的桌子，背景图像为不同的房型。在后续的描述中，将以目标对象可以为警车，背景可以为停车场为例，对本申请实施例提供的样本数据的获取方法进行说明，但并不代表本申请实施例仅局限于此。
通常情况下，在获取用于训练深度学习模型的样本数据时，不仅需要获取到样本图像数据，而且需要获取该样本图像数据对应的标注数据，该样本图像数据和其对应的标注数据为一组完整的样本数据。在本申请实施例中，对目标对象的3D模型和背景图像进行渲染，得到的增强现实图像可以理解为样本图像数据，背景标注图像和对目标对象的3D模型进行渲染，得到的目标对象标注图像可以理解为该样本图像数据对应的标注数据，增强现实图像、背景标注图像和目标对象标注图像为一组完整的包括目标对象的样本数据。
需要说明的是，在本申请实施例中，只是因为在样本数据采集和标注过程中，小样本数据比较难采集和标注，因此，采用本申请实施例提供的样本数据的获取方法获取小样本数据，但并不表示本申请实施例提供的样本数据的获取方法仅局限于获取一些小样本数据，当然，也可以获取一些大样本数据，即包括常见的目标对象小汽车的样本数据，在此，本申请实施例只是以采用本申请实施例提供的样本数据的获取方法获取小样本数据为例进行说明，但并不代表本申请实施例仅局限于此。
下面，将通过具体的实施例对本申请提供的样本数据的获取方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
实施例一
图2是根据本申请第一实施例提供的样本数据的获取方法的流程示意图，该样本数据的获取方法可以由软件和/或硬件装置执行，例如，该硬件装置可以为样本数据的获取装置，该样本数据的获取装置可以设置在电子设备中。示例的，请参见图2所示，该样本数据的获取方法可以包括：
S201、分别获取背景图像和背景标注图像。
其中，背景标注图像中标注有背景的属性信息。示例的，背景可以为停车场或者道路。当背景为停车场时，背景的属性信息可以为停车场的位置和车位的大小等信息；当背景为道路时，背景的属性信息可以为道路的位置、道路的车道数和道路的车道宽度等信息。
示例的，在获取背景图像时，结合图1所示，以背景为停车场为例，在获取停车场图像时，可以通过采集设备(例如相机)采集该停车场图像，也可以接收其它设备发送的停车场图像，当然，还可以通过其它方式获取该停车场图像，在此，对于停车场图像的获取方式，本申请实施例不做具体限制。可以理解的是，在本申请实施例中，在获取该停车场图像之后，可以将该停车场图像给专业标注人员进行标注，从而获取到该停车场的背景标注图像。示例的，请参见图3所示，图3为本申请第一实施例提供的停车场的背景标注图像的示意图。
在分别获取到背景图像和背景标注图像之后，就可以执行下述S202：
S202、对目标对象的3D模型和背景图像进行渲染，得到增强现实图像。
示例的，目标对象可以为警车或者消防车，当目标对象为警车时，目标对象的属性信息可以为警车的位置和警车的尺寸等信息；当目标对象为消防车时，目标对象的属性信息可以为消防车的位置和消防车的尺寸等信息。
可以理解的是，在对目标对象的3D模型和背景图像进行渲染之前，需要先获取该目标对象的3D模型。示例的，结合图1所示，以目标对象为警车为例，在获取警车的3D模型时，可以先获取3D模型集，并在该3D模型集中查找该警车的3D模型，从而获取到该警车的3D模型，示例的，请参见图4所示，图4为本申请第一实施例提供的警车的3D模型的示意图。
在分别获取到警车的3D模型和停车场图像之后，就可以将该警车的3D 模型和停车场图像输入至渲染器中，示例的，渲染器的内部截图可参见图5 所示，图5为本申请第一实施例提供的渲染器的内部截图的示意图，并对该警车的3D模型和停车场图像进行渲染，得到2D增强现实图像，该2D增强现实图像可以理解为需要获取的样本数据中的样本图像数据。可以理解的是，该2D增强现实图像中既包括目标对象警车，也包括背景停车场。示例的，请参见图6所示，图6为本申请第一实施例提供的增强现实图像的示意图。
由于在获取包括警车的样本数据时，不仅需要获取包括警车的增强现实图像，而且还需要获取该包括警车的增强现实图像对应的标注数据，该标注图像即为本申请实施例中的警车标注图像和停车场标注图像，由于在上述 S201中，在获取停车场图像时，已经一并获取到了该停车场图像对应的停车场标注图像，因此，还需要再获取警车标注图像，即执行下述S203：
S203、对目标对象的3D模型进行渲染，得到目标对象标注图像。
其中，目标对象标注图像中标注有目标对象的属性信息。示例的，目标对象的属性信息可以包括目标对象的位置和目标对象的尺寸等信息。
在获取到警车的3D模型之后，就可以将警车的3D模型输入至渲染器中进行渲染，得到警车标注图像，可参见上述图6所示，去除掉图6所示的增强现实图像中的停车场图像，得到的就是警车标注图像，再结合上述S201得到的停车场标注图像和上述S202得到的包括警车的增强现实图像，这三个合起来即为包括警车的一组样本数据。
需要说明的是，在本申请实施例中，上述S202和S203之间并无先后顺序，可以先执行S202，再执行S203；也可以先执行S203，再执行S202；当然，也可以同时执行S202和S203，具体可以根据实际需要进行设置，在此，本申请实施例只是以先执行S202，再执行S203为例进行说明，但并不代表本申请实施例仅局限于此。
可以看出，与现有技术不同的是，本申请实施例在获取样本数据时，是基于增强现实技术，并使用背景图像和目标对象的3D模型最终生成包括目标对象的样本数据，这样可以在短时间内大量生成现有技术中无法大量采集到的小样本数据，降低了样本数据的采集耗时和标注耗时，不仅提高了样本数据的获取效率，而且与将目标对象直接与背景图像贴图合成的并不平滑的样本数据相比，提高了获取到的样本数据的准确度。
可以看出，上述图2所示的实施例详细描述了在本申请实施例中，如何获取样本数据的技术方案。在后续的描述中，继续以目标对象为警车，背景为停车场为例，在真实场景中，在采集包括警车的图像数据时，警车的位置角度是多变的，可以通过警车的3D模型的模型参数实现；同理，在采集的包括停车场的图像数据时，采集停车场的图像数据时的拍摄参数、和/或环境参数也是多变的，因此，为了使得获取到的包括警车的样本数据更加多样化，更加真实化，可以在渲染时，考虑到这些会影响样本数据的关键信息，即在上述S202对目标对象的3D模型和背景图像进行渲染，得到增强现实图像时，可以对关键信息、目标对象模型对应的3D和背景图像一并进行渲染，以得到增强现实图像。示例的，该关键信息可以包括目标对象的3D模型的模型参数、采集背景图像时的拍摄参数、或采集背景图像时的环境参数中的至少一种。下面，将分别结合该关键信息对如何获取增强现实图像进行详细描述，可参照下述实施例二。
实施例二
图7是根据本申请第二实施例提供的增强现实图像的获取方法的流程示意图，示例的，请参见图7所示，该增强现实图像的获取方法可以包括：
S701、获取影响渲染效果的关键信息。
其中，关键信息包括目标对象的3D模型的模型参数、采集背景图像时的拍摄参数、或采集背景图像时的环境参数中的至少一种，当然，还可以包括其它参数，具体可以根据实际需要进行设置，在此，本申请实施例只是以关键信息包括目标对象的3D模型的模型参数、采集背景图像时的拍摄参数、或采集背景图像时的环境参数中的至少一种为例进行说明，但并不代表本申请实施例仅局限于此。可以理解的是，关键信息包括的参数越多，后续在将该关键信息，与目标对象的3D模型和背景图像一起进行渲染，渲染得到的增强现实图像的多样化程度，真实化程度越高。
示例的，在本申请实施例中，上述模型参数包括坐标系参数和/或旋转角度；拍摄参数可以包括拍摄焦距和/或机变系数等相机内参；环境参数可以包括光照强度和/或空气质量；当然，也可以包括其它参数，具体可以根据实际需要进行设置，在此，本申请实施例不做进一步地限制。
在获取到影响渲染效果的关键信息之后，就可以将该关键信息，与目标对象的3D模型和背景图像一起进行渲染，即执行下述S702：
S702、对目标对象的3D模型、关键信息及背景图像进行渲染，得到增强现实图像。
示例的，在一种可能的场景中，当关键信息为目标对象的3D模型的模型参数时，在渲染得到增强现实图像时，可以将目标对象的3D模型、包括坐标系参数和/或旋转角度的模型参数以及背景图像一并输入至渲染器中，对目标对象的3D模型、包括坐标系参数和/或旋转角度的模型参数以及背景图像进行渲染，从而得到增强现实图像。值得注意的是，在渲染包括目标对象的增强现实图像时，若加入了包括坐标系参数和/或旋转角度的模型参数，为了使得该增强现实图像对应的目标对象标注图像与该增强现实图像中的目标对象的标注数据一致，增强现实图像中的目标对象和目标对象标注图像中的目标对象需要保持一致的姿态角度，并且大小远近也要一致，因此，在渲染得到目标对象标注图像时，同样可以将目标对象的3D模型和包括坐标系参数和/或旋转角度的模型参数一并输入至渲染器中，对目标对象的3D模型和包括坐标系参数和/或旋转角度的模型参数进行渲染，从而得到目标对象标注图像。
可以理解的是，在对包括坐标系参数和/或旋转角度的模型参数，与目标对象的3D模型和背景图像一并进行渲染，得到增强现实图像，并对包括坐标系参数和/或旋转角度的模型参数和目标对象的3D模型一并进行渲染，得到目标对象标注图像时，模型参数的取值不同，基于该模型参数生成的图像中的目标对象的姿态不同。
由此可见，在该种可能的场景中，在渲染得到增强现实图像时，通过对包括坐标系参数和/或旋转角度的模型参数，与目标对象的3D模型和背景图像一并进行渲染，可以得到包括不同姿态下的目标对象和道路背景的增强现实图像，使得获取到的增强现实图像更加多样化。
在另一种可能的实现方式中，当关键信息为拍摄参数时，在渲染得到增强现实图像时，可以将目标对象的3D模型、包括拍摄焦距和/或机变系数的拍摄参数以及背景图像一并输入至渲染器中，对目标对象的3D模型、包括拍摄焦距和/或机变系数的拍摄参数以及背景图像进行渲染，从而得到增强现实图像。
可以理解的是，在对目标对象的3D模型、包括拍摄焦距和/或机变系数的拍摄参数以及背景图像一并进行渲染，得到增强现实图像时，拍摄参数的取值不同，基于该拍摄参数生成的图像中的目标对象的姿态不同。
由此可见，在该种可能的场景中，在渲染得到增强现实图像时，通过对包括拍摄焦距和/或机变系数的拍摄参数，与目标对象的3D模型和背景图像一并进行渲染，可以得到包括不同拍摄视角下的目标对象和道路背景的增强现实图像，使得获取到的增强现实图像更加多样化。
在又一种可能的实现方式中，当关键信息为环境参数时，在渲染得到增强现实图像时，可以将目标对象的3D模型、包括光照强度和/或空气质量的环境参数以及背景图像一并输入至渲染器中，对目标对象的3D模型、包括光照强度和/或空气质量的环境参数以及背景图像进行渲染，从而得到增强现实图像。
可以理解的是，在对目标对象的3D模型、包括光照强度和/或空气质量的环境参数以及背景图像一并进行渲染，得到增强现实图像时，环境参数的取值不同，基于该环境参数生成的图像中的目标对象的姿态不同。
由此可见，在该种可能的场景中，在渲染得到增强现实图像时，通过对包括光照强度和/或空气质量的环境参数，与目标对象的3D模型和背景图像一并进行渲染，可以得到包括不同光照强度和/或空气质量下的目标对象和道路背景的增强现实图像，使得获取到的增强现实图像更加真实化、生动化和多样化。
可以理解的是，在上述三种可能的场景中，是分别描述当关键信息为目标对象的3D模型的模型参数、采集背景图像时的拍摄参数、或采集背景图像时的环境参数时，如何对目标对象的3D模型、关键信息以及背景图像进行渲染，得到增强现实图像的技术方案。当然，可以在获取增强现实图像时，关键信息包括目标对象的3D模型的模型参数、采集背景图像时的拍摄参数以及采集背景图像时的环境参数这三种参数，并对目标对象的3D模型、这三种参数以及背景图像进行渲染，得到增强现实图像；此外，同样可以将目标对象的3D模型和包括坐标系参数和/或旋转角度的模型参数一并输入至渲染器中，对目标对象的3D模型和包括坐标系参数和/或旋转角度的模型参数进行渲染，从而得到目标对象标注图像。示例的，请参见图8所示，图8为本申请第二实施例提供的获取增强现实图像和目标对象标注图像的示意图。这样可以的使得获取到的增强现实图像更加真实化、生动化和多样化。需要说明的是，在本申请实施例中，对目标对象的3D模型、这三种参数以及背景图像进行渲染的渲染方法，与上述三种可能的场景中，分别对目标对象的 3D模型、这三种参数中的任一种参数以及背景图像进行渲染的渲染方法类似，可参见上述三种可能的实现方式中的描述，在此，本申请实施例不再进行赘述。
示例的，继续以目标对象为警车，背景为停车场为例，当关键信息包括坐标系参数、旋转角度、拍摄焦距及光照强度，且该关键信息中参数取值为第一数值时，警车的3D模型和基于该3D模型生成的增强现实图像中警车的姿态可以为第一姿态，示例的，参见图9所示，图9为本申请第二实施例提供的第一姿态的警车的3D模型和增强现实图像的示意图。当关键信息包括坐标系参数、旋转角度、拍摄焦距及光照强度，且该关键信息中参数取值为第二数值时警车的3D模型和基于该3D模型生成的增强现实图像中警车的姿态可以为第二姿态，示例的，参见图10所示，图10为本申请第二实施例提供的第二姿态的警车的3D模型和增强现实图像的示意图。结合图9和图10可以明显看出，当关键信息中的参数取值不同时，基于该关键信息生成的图像中的警车的姿态不同。
在通过上述图2所示的实施例，或者上述图7所示的实施例，由于在对目标对象的3D模型和背景图像进行渲染处理时，得到的包括目标对象的增强现实图像中，可能会存在部分背景被目标对象遮挡，若不做进一步地的标注数据处理，会使得获取到的样本数据的准确度不高。因此，为了提高获取到的样本数据的准确度，在分别获取到增强现实图像和背景标注图像之后，还可以进一步判断增强现实图像中是否存在图像被遮挡，并根据判断结果生成增强现实图像对应的增强现实标注图像，从而得到增强现实图像对应的增强现实标注图像，可参见下述实施例三。
实施例三
图11是根据本申请第三实施例提供的增强现实图像对应的增强现实标注图像的获取方法的流程示意图，示例的，请参见图11所示，该样本数据的获取方法还可以包括：
S1101、判断增强现实图像中是否存在图像被遮挡。
S1102、若增强现实图像中不存在图像被遮挡，则对背景标注图像和目标对象标注图像进行合成处理，得到增强现实图像对应的增强现实标注图像。
经过判断之后，若增强现实图像中不存在图像被遮挡，说明当前的背景标注图像就是增强现实图像中背景的标注数据，目标对象标注图像就是增强现实图像中目标对象的标注数据。因此，在该种情况下，在获取增强现实图像对应的增强现实标注图像时，可以直接对背景标注图像和目标对象标注图像进行合成处理，这样就可以得到增强现实图像对应的增强现实标注图像。其中，增强现实标注图像标注有该增强现实图像中背景的属性信息和目标对象的属性信息。
S1103、若增强现实图像中存在图像被遮挡，则在背景标注图像中删除被遮挡的图像的属性信息，得到新的背景标注图像；并对新的背景标注图像和目标对象标注图像进行合成处理，得到增强现实图像对应的增强现实标注图像。
经过判断之后，若增强现实图像中存在图像被遮挡，说明当前背景标注图像不再是增强现实图像中背景的标注数据，需要在背景标注图像中删除被遮挡的图像的属性信息，得到的新的背景标注图像才是增强现实图像中背景的标注数据。因此，在该种情况下，在获取增强现实图像对应的增强现实标注图像时，需要先在背景标注图像中删除被遮挡的图像的属性信息，得到新的背景标注图像；然后对新的背景标注图像和目标对象标注图像进行合成处理，这样就可以得到增强现实图像对应的增强现实标注图像，这样可以避免背景标注图像中包括被遮挡的图像的标注数据，进一步提高获取到的样本数据的准确度。
需要说明的是，样本数据中标注数据的生成和样本数据的应用是对应的，若样本数据是用于训练检测模型，则需要根据增强现实图像和背景标注图像生成障碍物的边界框标注数据，且需要考虑增强现实图像中是否有图像被遮挡的问题；生成边界框标注数据之后，可以再用增强现实图像和边界框标注数据训练图像检测模型。若样本数据用于训练分割模型，则需要根据增强现实图像和背景标注图像生成分割标注数据，然后再使用增强现实图像和分割标注数据训练图像分割模型。若样本数据用于训练分类模型，则需要确定增强现实图像的一个分类标注数据即可，然后再使用该增强现实图像和分类标注数据训练图像分类模型。
实施例四
图12是根据本申请第四实施例提供的样本数据的获取装置120的结构示意图，示例的，请参见图12所示，该样本数据的获取装置120可以包括：
获取模块1201，用于分别获取背景图像和背景标注图像；其中，背景标注图像中标注有背景的属性信息。
处理模块1202，用于对目标对象的3D模型和背景图像进行渲染，得到增强现实图像；并对目标对象的3D模型进行渲染，得到目标对象标注图像；其中，目标对象标注图像中标注有目标对象的属性信息，样本数据包括增强现实图像、背景标注图像以及目标对象标注图像。
可选的，处理模块1202，具体用于获取影响渲染效果的关键信息；并对目标对象的3D模型、关键信息及背景图像进行渲染，得到增强现实图像；其中，关键信息包括目标对象的3D模型的模型参数、采集背景图像时的拍摄参数、或采集背景图像时的环境参数中的至少一种。
可选的，关键信息包括目标对象的3D模型的模型参数，处理模块1202，具体用于：
对目标对象的3D模型、模型参数及背景图像进行渲染，得到增强现实图像；其中，模型参数包括坐标系参数和/或旋转角度。
对应的，处理模块1202，还具体用于：
对目标对象的3D模型和模型参数进行渲染，得到目标对象标注图像。
可选的，拍摄参数包括拍摄焦距和/或机变系数。
可选的，环境参数包括光照强度和/或空气质量。
可选的，处理模块1202，还用于判断增强现实图像中是否存在图像被遮挡；并根据判断结果生成增强现实图像对应的增强现实标注图像；其中，增强现实标注图像标注有增强现实图像中背景的属性信息和目标对象的属性信息。
可选的，处理模块1202，具体用于若增强现实图像中不存在图像被遮挡，则对背景标注图像和目标对象标注图像进行合成处理，得到增强现实图像对应的增强现实标注图像；若增强现实图像中存在图像被遮挡，则在背景标注图像中删除被遮挡的图像的属性信息，得到新的背景标注图像；并对新的背景标注图像和目标对象标注图像进行合成处理，得到增强现实图像对应的增强现实标注图像。
可选的，获取模块1201，具体用于获取3D模型集；并在3D模型集中查找目标对象的3D模型。
本申请实施例提供的样本数据的获取装置120，可以执行上述任一实施例中的样本数据的获取方法的技术方案，其实现原理以及有益效果与样本数据的获取方法的实现原理及有益效果类似，可参见样本数据的获取方法的实现原理及有益效果，此处不再进行赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图13所示，图13是根据本申请实施例的样本数据的获取方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图13所示，该电子设备包括：一个或多个处理器1301、存储器1302，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图13中以一个处理器1301为例。
存储器1302即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的样本数据的获取方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的样本数据的获取方法。
存储器1302作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的样本数据的获取方法对应的程序指令/模块(例如，附图12所示的获取模块模块1201和处理模块1202)。处理器1301通过运行存储在存储器1302 中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的样本数据的获取方法。
存储器1302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据样本数据的获取方法的电子设备的使用所创建的数据等。此外，存储器 1302可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1302可选包括相对于处理器1301远程设置的存储器，这些远程存储器可以通过网络连接至样本数据的获取方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
样本数据的获取方法的电子设备还可以包括：输入装置1303和输出装置1304。处理器1301、存储器1302、输入装置1303和输出装置1304可以通过总线或者其他方式连接，图13中以通过总线连接为例。
输入装置1303可接收输入的数字或字符信息，以及产生与样本数据的获取方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1304可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和 /或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，在获取样本数据时，先分别获取背景图像和标注有背景的属性信息的背景标注图像；并对目标对象的3D模型和背景图像进行渲染，得到增强现实图像；对目标对象的3D模型进行渲染，得到标注有目标对象的属性信息的目标对象标注图像；得到的增强现实图像、背景标注图像以及目标对象标注图像即为需要获取的包括目标对象的样本数据。可以看出，与现有技术不同的是，本申请实施例在获取样本数据时，是基于增强现实技术，并使用背景图像和目标对象的3D模型最终生成包括目标对象的样本数据，这样可以在短时间内大量生成现有技术中无法大量采集到的小样本数据，降低了样本数据的采集耗时和标注耗时，不仅提高了样本数据的获取效率，而且与将目标对象直接与背景图像贴图合成的并不平滑的样本数据相比，提高了获取到的样本数据的准确度。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (12)
1.一种样本数据的获取方法，其特征在于，包括：
分别获取不同场景下的背景图像和背景标注图像；其中，所述背景标注图像中标注有背景的属性信息；
获取影响渲染效果的关键信息；其中，所述关键信息包括目标对象的3D模型的模型参数，所述模型参数包括坐标系参数和/或旋转角度；
对所述目标对象的3D模型、所述关键信息及所述背景图像进行渲染，得到增强现实图像；
对所述目标对象的3D模型和所述模型参数进行渲染，得到目标对象标注图像；其中，所述目标对象标注图像中标注有所述目标对象的属性信息，样本数据包括所述增强现实图像、所述背景标注图像以及所述目标对象标注图像；
所述方法还包括：
判断所述增强现实图像中是否存在图像被遮挡；
若所述增强现实图像中不存在图像被遮挡，则对所述背景标注图像和所述目标对象标注图像进行合成处理，得到所述增强现实图像对应的增强现实标注图像；
若所述增强现实图像中存在图像被遮挡，则在所述背景标注图像中删除被遮挡的图像的属性信息，得到新的背景标注图像；并对所述新的背景标注图像和所述目标对象标注图像进行合成处理，得到所述增强现实图像对应的增强现实标注图像；其中，所述增强现实标注图像标注有所述增强现实图像中背景的属性信息和目标对象的属性信息。
2.根据权利要求1所述的方法，其特征在于，
所述关键信息还包括采集所述背景图像时的拍摄参数、所述采集所述背景图像时的环境参数中的至少一种。
3.根据权利要求2所述的方法，其特征在于，
若所述关键信息包括采集所述背景图像时的拍摄参数，所述拍摄参数包括拍摄焦距和/或机变系数。
4.根据权利要求2所述的方法，其特征在于，
若所述关键信息包括采集所述背景图像时的环境参数，所述环境参数包括光照强度和/或空气质量。
5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取3D模型集；
在所述3D模型集中查找所述目标对象的3D模型。
6.一种样本数据的获取装置，其特征在于，包括：
获取模块，用于分别获取不同场景下的背景图像和背景标注图像；其中，所述背景标注图像中标注有背景的属性信息；
处理模块，用于获取影响渲染效果的关键信息；其中，所述关键信息包括目标对象的3D模型的模型参数，所述模型参数包括坐标系参数和/或旋转角度；
对所述目标对象的3D模型、所述关键信息及所述背景图像进行渲染，得到增强现实图像；
并对所述目标对象的3D模型和所述模型参数进行渲染，得到目标对象标注图像；其中，所述目标对象标注图像中标注有所述目标对象的属性信息，样本数据包括所述增强现实图像、所述背景标注图像以及所述目标对象标注图像；
所述处理模块，还用于判断所述增强现实图像中是否存在图像被遮挡；若所述增强现实图像中不存在图像被遮挡，则对所述背景标注图像和所述目标对象标注图像进行合成处理，得到所述增强现实图像对应的增强现实标注图像；
若所述增强现实图像中存在图像被遮挡，则在所述背景标注图像中删除被遮挡的图像的属性信息，得到新的背景标注图像；并对所述新的背景标注图像和所述目标对象标注图像进行合成处理，得到所述增强现实图像对应的增强现实标注图像；其中，所述增强现实标注图像标注有所述增强现实图像中背景的属性信息和目标对象的属性信息。
7.根据权利要求6所述的装置，其特征在于，
所述关键信息还包括采集所述背景图像时的拍摄参数、所述采集所述背景图像时的环境参数中的至少一种。
8.根据权利要求7所述的装置，其特征在于，
若所述关键信息包括采集所述背景图像时的拍摄参数，所述拍摄参数包括拍摄焦距和/或机变系数。
9.根据权利要求7所述的装置，其特征在于，
若所述关键信息包括采集所述背景图像时的环境参数，所述环境参数包括光照强度和/或空气质量。
10.根据权利要求6或7所述的装置，其特征在于，
所述获取模块，具体用于获取3D模型集；并在所述3D模型集中查找所述目标对象的3D模型。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述权利要求1-5中任一项所述的样本数据的获取方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行上述权利要求1-5中任一项所述的样本数据的获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010192073.0A CN111325984B (zh) | 2020-03-18 | 2020-03-18 | 样本数据的获取方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010192073.0A CN111325984B (zh) | 2020-03-18 | 2020-03-18 | 样本数据的获取方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111325984A CN111325984A (zh) | 2020-06-23 |
| CN111325984B true CN111325984B (zh) | 2023-05-05 |
Family
ID=71167674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010192073.0A Active CN111325984B (zh) | 2020-03-18 | 2020-03-18 | 样本数据的获取方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325984B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130019485A (ko) * | 2011-08-17 | 2013-02-27 | (주)인사이트앤드인스퍼레이션 | 마커를 기반으로 하는 증강현실 시스템 및 그 객체 증강방법 |
| CN108898678A (zh) * | 2018-07-09 | 2018-11-27 | 百度在线网络技术（北京）有限公司 | 增强现实方法和装置 |
| CN109377552A (zh) * | 2018-10-19 | 2019-02-22 | 珠海金山网络游戏科技有限公司 | 图像遮挡计算方法、装置、计算设备及存储介质 |
| CN110619674A (zh) * | 2019-08-15 | 2019-12-27 | 重庆特斯联智慧科技股份有限公司 | 用于事故和警情场景还原的三维增强现实设备及方法 |
| JP2020008917A (ja) * | 2018-07-03 | 2020-01-16 | 株式会社Ｅｉｄｅａ | 拡張現実表示システム、拡張現実表示方法、及び、拡張現実表示用コンピュータプログラム |
| CN110837764A (zh) * | 2018-08-17 | 2020-02-25 | 广东虚拟现实科技有限公司 | 图像处理方法、装置、电子设备及视觉交互*** |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6864888B1 (en) * | 1999-02-25 | 2005-03-08 | Lockheed Martin Corporation | Variable acuity rendering for a graphic image processing system |
| US6574360B1 (en) * | 1999-07-23 | 2003-06-03 | International Business Machines Corp. | Accelerated occlusion culling using directional discretized occluders and system therefore |
| CN101976341B (zh) * | 2010-08-27 | 2013-08-07 | 中国科学院自动化研究所 | 一种从交通图像中检测车辆位置、姿态和三维轮廓的方法 |
| CN102163340A (zh) * | 2011-04-18 | 2011-08-24 | 宁波万里电子科技有限公司 | 计算机***中实现三维动态几何图形数据信息标注的方法 |
| CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实***中基于虚拟模型预处理的虚实遮挡处理方法 |
| US9704055B2 (en) * | 2013-11-07 | 2017-07-11 | Autodesk, Inc. | Occlusion render mechanism for point clouds |
| CN107025642B (zh) * | 2016-01-27 | 2018-06-22 | 百度在线网络技术（北京）有限公司 | 基于点云数据的车辆轮廓检测方法和装置 |
| GB2551396B (en) * | 2016-06-17 | 2018-10-10 | Imagination Tech Ltd | Augmented reality occlusion |
| CN107689073A (zh) * | 2016-08-05 | 2018-02-13 | 阿里巴巴集团控股有限公司 | 图像集的生成方法、装置及图像识别模型训练方法、*** |
| CN106803286A (zh) * | 2017-01-17 | 2017-06-06 | 湖南优象科技有限公司 | 基于多视点图像的虚实遮挡实时处理方法 |
| JP6828587B2 (ja) * | 2017-05-22 | 2021-02-10 | トヨタ自動車株式会社 | 画像処理システム、画像処理方法、情報処理装置及び記録媒体 |
| US10692289B2 (en) * | 2017-11-22 | 2020-06-23 | Google Llc | Positional recognition for augmented reality environment |
| CN108564103A (zh) * | 2018-01-09 | 2018-09-21 | 众安信息技术服务有限公司 | 数据处理方法与装置 |
| US10867214B2 (en) * | 2018-02-14 | 2020-12-15 | Nvidia Corporation | Generation of synthetic images for training a neural network model |
| EP4254349A3 (en) * | 2018-07-02 | 2023-12-06 | MasterCard International Incorporated | Methods for generating a dataset of corresponding images for machine vision learning |
| CN109155078B (zh) * | 2018-08-01 | 2023-03-31 | 达闼机器人股份有限公司 | 样本图像的集合的生成方法、装置、电子设备和存储介质 |
| CN109166170A (zh) * | 2018-08-21 | 2019-01-08 | 百度在线网络技术（北京）有限公司 | 用于渲染增强现实场景的方法和装置 |
| CN109145489B (zh) * | 2018-09-07 | 2020-01-17 | 百度在线网络技术（北京）有限公司 | 一种基于概率图的障碍物分布仿真方法、装置以及终端 |
| CN109635853A (zh) * | 2018-11-26 | 2019-04-16 | 深圳市玛尔仕文化科技有限公司 | 基于计算机图形技术自动生成人工智能训练样本的方法 |
| CN109522866A (zh) * | 2018-11-29 | 2019-03-26 | 宁波视睿迪光电有限公司 | 裸眼3d图像处理方法、装置以及设备 |
| CN110084304B (zh) * | 2019-04-28 | 2021-04-30 | 北京理工大学 | 一种基于合成数据集的目标检测方法 |
| CN110288019A (zh) * | 2019-06-21 | 2019-09-27 | 北京百度网讯科技有限公司 | 图像标注方法、装置和存储介质 |
| CN110378336A (zh) * | 2019-06-24 | 2019-10-25 | 南方电网科学研究院有限责任公司 | 训练样本中目标物体的语义级标注方法、装置及存储介质 |
| CN110490960B (zh) * | 2019-07-11 | 2023-04-07 | 创新先进技术有限公司 | 一种合成图像生成方法及装置 |
| CN110428388B (zh) * | 2019-07-11 | 2023-08-08 | 创新先进技术有限公司 | 一种图像数据生成方法及装置 |
-
2020
- 2020-03-18 CN CN202010192073.0A patent/CN111325984B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130019485A (ko) * | 2011-08-17 | 2013-02-27 | (주)인사이트앤드인스퍼레이션 | 마커를 기반으로 하는 증강현실 시스템 및 그 객체 증강방법 |
| JP2020008917A (ja) * | 2018-07-03 | 2020-01-16 | 株式会社Ｅｉｄｅａ | 拡張現実表示システム、拡張現実表示方法、及び、拡張現実表示用コンピュータプログラム |
| CN108898678A (zh) * | 2018-07-09 | 2018-11-27 | 百度在线网络技术（北京）有限公司 | 增强现实方法和装置 |
| CN110837764A (zh) * | 2018-08-17 | 2020-02-25 | 广东虚拟现实科技有限公司 | 图像处理方法、装置、电子设备及视觉交互*** |
| CN109377552A (zh) * | 2018-10-19 | 2019-02-22 | 珠海金山网络游戏科技有限公司 | 图像遮挡计算方法、装置、计算设备及存储介质 |
| CN110619674A (zh) * | 2019-08-15 | 2019-12-27 | 重庆特斯联智慧科技股份有限公司 | 用于事故和警情场景还原的三维增强现实设备及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 徐维鹏 ; 王涌天 ; 刘越 ; 翁冬冬 ; .增强现实中的虚实遮挡处理综述.计算机辅助设计与图形学学报.2013,(第11期),全文. * |
| 李大成 ; 刘娜 ; .基于增强现实摄像机虚拟标签的设计与管理.现代计算机(专业版).2018,(第25期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111325984A (zh) | 2020-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200302241A1 (en) | Techniques for training machine learning | |
| KR20210097762A (ko) | 이미지 처리 방법, 장치 및 디바이스, 및 저장 매체 | |
| US20210383096A1 (en) | Techniques for training machine learning | |
| CN111860167B (zh) | 人脸融合模型获取及人脸融合方法、装置及存储介质 | |
| CN111739005B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN112132829A (zh) | 车辆信息的检测方法、装置、电子设备和存储介质 | |
| CN111753961B (zh) | 模型训练方法和装置、预测方法和装置 | |
| CN112270669B (zh) | 人体3d关键点检测方法、模型训练方法及相关装置 | |
| CN111832745B (zh) | 数据增广的方法、装置及电子设备 | |
| CN111722245B (zh) | 定位方法、定位装置和电子设备 | |
| CN111274974A (zh) | 定位元素检测方法、装置、设备和介质 | |
| CN111324945B (zh) | 传感器方案确定方法、装置、设备及存储介质 | |
| CN112001248B (zh) | 主动交互的方法、装置、电子设备和可读存储介质 | |
| CN111539347B (zh) | 用于检测目标的方法和装置 | |
| CN112581533B (zh) | 定位方法、装置、电子设备及存储介质 | |
| US20210374977A1 (en) | Method for indoor localization and electronic device | |
| CN111858996B (zh) | 室内定位方法、装置、电子设备及存储介质 | |
| CN111753739A (zh) | 物体检测方法、装置、设备以及存储介质 | |
| CN110866504B (zh) | 标注数据的获取方法、装置和设备 | |
| CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
| CN111597987B (zh) | 用于生成信息的方法、装置、设备和存储介质 | |
| CN111597986B (zh) | 用于生成信息的方法、装置、设备和存储介质 | |
| CN113129423B (zh) | 车辆三维模型的获取方法、装置、电子设备和存储介质 | |
| CN115008454A (zh) | 一种基于多帧伪标签数据增强的机器人在线手眼标定方法 | |
| CN111325984B (zh) | 样本数据的获取方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211022 Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085 Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd. Address before: 2 / F, *** building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |