CN111915672B - 一种基于3d虚拟驾驶场景的目标标注方法及设备 - Google Patents

一种基于3d虚拟驾驶场景的目标标注方法及设备 Download PDF

Info

Publication number
CN111915672B
CN111915672B CN202010695891.2A CN202010695891A CN111915672B CN 111915672 B CN111915672 B CN 111915672B CN 202010695891 A CN202010695891 A CN 202010695891A CN 111915672 B CN111915672 B CN 111915672B
Authority
CN
China
Prior art keywords
virtual
scene
virtual driving
driving
background picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010695891.2A
Other languages
English (en)
Other versions
CN111915672A (zh
Inventor
朱向雷
陈辰
任女尔
程旭
梅俊宇
陈荣杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Technology and Research Center Co Ltd
Automotive Data of China Tianjin Co Ltd
Original Assignee
China Automotive Technology and Research Center Co Ltd
Automotive Data of China Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Technology and Research Center Co Ltd, Automotive Data of China Tianjin Co Ltd filed Critical China Automotive Technology and Research Center Co Ltd
Priority to CN202010695891.2A priority Critical patent/CN111915672B/zh
Publication of CN111915672A publication Critical patent/CN111915672A/zh
Application granted granted Critical
Publication of CN111915672B publication Critical patent/CN111915672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于3D虚拟驾驶场景的目标标注方法及设备，所述目标标注方法通过搭建3D虚拟驾驶场景，并在虚拟驾驶场景预设位置处设置待标注的虚拟场景元素，获得与所述虚拟场景元素正面相切的最小外接矩形四个顶点的空间三维坐标，通过搭载有虚拟摄像头的虚拟车辆按照虚拟驾驶路线进行虚拟驾驶拍摄，将画面中包含待标注虚拟场景元素的图片定义为关键背景图片，并对关键背景图片中最小外接矩形内的虚拟场景元素进行批量标注。本发明依靠3D虚拟场景实现目标的批量标注、批量导出，提高了标注的效率与精度。

Description

一种基于3D虚拟驾驶场景的目标标注方法及设备
技术领域
本发明涉及汽车智能驾驶领域，具体涉及一种基于3D虚拟驾驶场景的目标标注方法及设备。
背景技术
目前，大部分的数据标注是针对视频图像的。传统标注方法一般要先提取出每一帧图像，并给出重点关注因素在图片中的坐标位置标志信息，效率较低且***CPU的资源消耗较高。
另外，专利CN106791937A提出了一种视频图像的标注方法和***，创建画布，画布像素点与待标注视频图像的像素点相对应，根据接收的标注命令和像素点对应关系在画布的指定位置绘制标注内容，对画布进行格式转换，得到第一标注图像，根据像素点对应关系将第一标注图像上的标注内容的像素值赋值到待标注视频图像上的对应位置，获得标注视频图像，以此完成对视频图像的标注。利用画布绘制标注内容，能降低视频图像标注时对***CPU的资源消耗，但标注的效率相对不高。
再有，智能驾驶作为未来汽车工业的发展方向，相关政策法规逐渐成型、行业内技术不断完善，发展前景可期。无论是智能驾驶实车实验还是仿真实验，都会通过车载摄像头获取驾驶过程中的路况图像来辅助驾驶决策。因此，对驾驶图像的数据标注成为机器感知世界的起点。而目前对驾驶图像的数据标注是对拍摄的大量路况图像进行逐个人工标注，标注后的数据用于车载摄像头的学习，这种方法需耗费大量的人力物力，效率较低。
当前的数据标注均是对二维图像进行处理，针对重构客观世界的3D虚拟场景中特定区域标注的成果较少，且现有标注方法中极少量化标注精度和标注效率。
有鉴于此，特提出本发明。
发明内容
本发明的目的在于提供一种基于3D虚拟驾驶场景的目标标注方法，依靠3D虚拟场景实现目标的批量标注、批量导出，提高了标注的效率与精度。
为实现上述目的，本发明提出如下技术方案：
第一方面，本发明提供了一种基于3D虚拟驾驶场景的目标标注方法，所述方法包括以下步骤：
步骤1：搭建3D虚拟驾驶场景，所述3D虚拟驾驶场景包括虚拟路面以及在所述虚拟路面构成的虚拟路径沿途多个预设位置处设置的第一虚拟场景元素；
步骤2：创建与所述第一虚拟场景元素模型正面相切的最小外接矩形，并将所述最小外接矩形的四个顶点的空间三维坐标Pin(Xin,Yin,Zin，其中i为整数，n＝1,2,3,4)定义为第一虚拟场景元素的四个槽点；
步骤3：在所述3D虚拟驾驶场景中，通过搭载有虚拟摄像头的虚拟车辆按照虚拟驾驶路线进行虚拟驾驶拍摄，确定每个所述第一虚拟场景元素进入所述虚拟摄像头拍摄画面的第一位置Li1和离开所述虚拟摄像头拍摄画面的第二位置Li2；
步骤4：设定所述虚拟车辆在所述虚拟驾驶路线上的预设运动速率，基于所述预设运动速率计算所述虚拟车辆通过所述第一位置Li1的第一时间节点Ti1和通过所述第二位置Li2的第二时间节点Ti2，从而得到各所述第一虚拟驾驶场景的标注配置表[Ti1,Ti2,Pi1,Pi2,Pi3,Pi4]；
步骤5：在所述3D虚拟驾驶场景中,所述虚拟车载摄像头以所述预设速率按照虚拟驾驶路线进行虚拟驾驶拍摄，将在所述第一时间节点Ti1和第二时间节点Ti2的时间区间内拍摄的背景图片定义为关键背景图片，并对所述关键背景图片中空间三维坐标Pin对应的四个槽点所构成的矩形内的所述第一虚拟场景元素进行标注，得到标注信息，将所述关键背景图片和标注信息进行存储；
优选地，步骤5中对所述关键背景图片中空间三维坐标Pin对应的四个槽点所构成的矩形内的所述第一虚拟场景元素进行标注，得到标注信息，具体包括以下步骤：
步骤5-1：将所述四个槽点在3D虚拟驾驶场景中的空间三维坐标Pin(Xin,Yin,Zin)通过坐标变换转换成所述关键背景图片中的视图坐标Sin(xin,yin)；
步骤5-2：设定所述关键背景图片的标注信息格式为[xi1,yi1,xi2,yi2,xi3,yi3,xi4,yi4，第一虚拟场景元素的类型文字说明]；
优选地，在步骤5-2之后还对所述第一虚拟场景元素的四个槽点的视图坐标Sin进行矫正，具体包括以下步骤：
步骤5-1-1：比较四个槽点的视图坐标Sin(xin,yin)，分别获得Min(xin)，Min(yin),Max(xin),Max(yin)，则四个槽点的视图矫正坐标分别为S′i1(ximin,yimin),S′i2(ximax,yimin),S′i3(ximax,yimax),S′i4(ximin,yimax)；
优选地，在步骤5-1-1之后还包括，若四个槽点的视图矫正坐标S′i1(ximin,yimin),S′i2(ximax,yimin),S′i3(ximax,yimax),S′i4(ximin,yimax)超出所述关键背景图片的边界，则将超出边界的槽点坐标修正为最小外接矩形与关键背景图片边界的交点坐标值；
优选地，所述第一虚拟场景元素包括多种不同的类别模型，根据3D虚拟驾驶场景多样化的要求，设置各所述类别模型在空间上的布置方位；
优选地，所述3D虚拟驾驶场景还包括多个其他虚拟场景元素，通过程序设置其他虚拟场景元素相对第一虚拟场景元素的配置关系。
另一方面，本发明提供了一种基于3D虚拟驾驶场景的目标标注设备，采用上述目标标注方法实现对3D虚拟驾驶场景的虚拟场景元素进行标注，所述目标标注设备包括，
场景搭建模块，用于搭建3D虚拟驾驶场景，所述3D虚拟驾驶场景包括虚拟路面以及在所述虚拟路面构成的虚拟路径沿途多个预设位置处设置的第一虚拟场景元素；
模型编辑模块，用于创建与所述第一虚拟场景元素正面相切的最小外接矩形，并将所述最小外接矩形的四个顶点的空间三维坐标Pin定义为第一虚拟场景元素的四个槽点，所述空间三维坐标Pin为Xin,Yin,Zin，其中i为整数，n＝1,2,3,4；
位置确定模块，用于在所述3D虚拟驾驶场景中，通过搭载有虚拟摄像头的虚拟车辆按照虚拟驾驶路线进行虚拟驾驶拍摄，确定每个所述第一虚拟场景元素进入所述虚拟摄像头拍摄画面的第一位置Li1和离开所述虚拟摄像头拍摄画面的第二位置Li2；
标注配置模块，用于设定所述虚拟车辆在所述虚拟驾驶路线上的预设运动速率，基于所述预设运动速率计算所述虚拟车辆通过所述第一位置Li1的第一时间节点Ti1和通过所述第二位置Li2的第二时间节点Ti2，从而得到各所述第一虚拟驾驶场景的标注配置表[Ti1,Ti2,Pi1,Pi2,Pi3,Pi4]；
图片标注模块，用于在所述3D虚拟驾驶场景中,所述虚拟车载摄像头以所述预设速率按照虚拟驾驶路线进行虚拟驾驶拍摄，将在所述第一时间节点Ti1和第二时间节点Ti2的时间区间内拍摄的背景图片定义为关键背景图片，并对所述关键背景图片中空间三维坐标Pin对应的四个槽点所构成的矩形内的所述第一虚拟场景元素进行标注，得到标注信息，将所述关键背景图片和标注信息进行存储；
所述场景搭建模块、模型编辑模块、位置确定模块、标注配置模块、图片标注模块依次双向通信连接。
优选地，所述目标标注设备还包括坐标矫正模块，用于对所述第一虚拟场景元素的四个槽点的视图坐标Sin进行矫正。
与现有技术相比，本发明具有以下有益的技术效果：
(1)相较于传统的实车采集大量路况图像进行逐个人工标注，本发明搭建3D虚拟驾驶场景，在3D虚拟驾驶场景中进行虚拟车载摄像头拍摄，进而实现图片的批量标注、批量导出，效率高，导出速度能达到100张/分钟；
(2)可通过程序方便地设置3D虚拟驾驶场景中虚拟场景元素配置，使得标注的图像集合更加丰富，更加贴近现实；
(3)数据标注精度高，通过最小外接矩形标注的特殊交通要素目标，坐标误差在在1个像素值以内；
(4)导出图片的分辨率高，每张图片均为3200*1800像素，大小在10MB左右。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明3D虚拟驾驶场景中虚拟车载摄像机拍摄的关键背景图片；
图2为本发明3D虚拟驾驶场景中虚拟车载摄像机非正面拍摄的交通标志牌。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
根据本发明的一个方面，提供了一种基于3D虚拟驾驶场景的目标标注方法，所述方法包括以下步骤：
步骤1：搭建3D虚拟驾驶场景，所述3D虚拟驾驶场景包括虚拟路面以及在所述虚拟路面构成的虚拟路径沿途的多个预设位置处设置的第一虚拟场景元素。
具体地，智能驾驶作为未来汽车工业的发展方向，相关政策法规逐渐成型、行业内技术不断完善，发展前景可期。无论是智能驾驶实车实验还是仿真实验，都会通过车载摄像头获取驾驶过程中的路况图像来辅助驾驶决策。因此，对驾驶图像的数据标注成为机器感知世界的起点。本实施例中，搭建3D虚拟驾驶场景，包括虚拟路面以及设置在所述虚拟路面构成的虚拟路径沿途的多个预设位置处的第一虚拟场景元素，其中，第一虚拟场景元素可以为任何可能出现在实际交通场景中的交通参与要素，包括但不限于交通标志牌、车辆、行人、建筑物等，在本实施例中，第一虚拟场景元素为交通标志牌。3D虚拟驾驶场景包括若干个虚拟路面，根据后续图片标注的需要，在多个虚拟路面的预设位置处布置交通标志牌，也就是说，交通标志牌在其所处的画面帧中的空间位置是人为设定且已知的。
步骤2：创建与所述第一虚拟场景元素模型正面相切的最小外接矩形，并将所述最小外接矩形的四个顶点的空间三维坐标Pin(Xin,Yin,Zin，其中i为整数，n＝1,2,3,4)定义为第一虚拟场景元素的四个槽点。
具体地，在3D虚拟驾驶场景的预设位置处布置好第一虚拟场景元素之后，人为手动地创建与第一虚拟场景元素模型正面相切的最小外接矩形，并将所述最小外接矩形的四个顶点的空间三维坐标Pin(Xin,Yin,Zin，其中i为整数，n＝1,2,3,4)定义为第一虚拟场景元素的四个槽点。后续位于最小外接矩形内部的图片内容即为机器需要学习的内容。
步骤3：在所述3D虚拟驾驶场景中，通过搭载有虚拟摄像头的虚拟车辆按照虚拟驾驶路线进行虚拟驾驶拍摄，确定每个所述第一虚拟场景元素进入所述虚拟摄像头拍摄画面的第一位置Li1和离开所述虚拟摄像头拍摄画面的第二位置Li2。
具体地，根据3D虚拟驾驶场景，设置虚拟的驾驶路线，虚拟驾驶路线可以根据3D虚拟驾驶场景的具体情况自行选定，选定原则包括但不限于虚拟驾驶路线中包括尽可能多的第一虚拟场景元素，在本实施例中，虚拟驾驶路线选择时，优选包含尽可能多的交通标志牌的路线作为虚拟驾驶路线；选定虚拟驾驶路线后，通过搭载有虚拟摄像头的虚拟车辆按照虚拟驾驶路线进行虚拟驾驶拍摄，在本发明中，虚拟摄像头拍摄的图片中出现交通标志牌的图片为后续需要进行标注的图片，将此类图片定义为关键背景图片，确定沿途设置的每个交通标志牌进入所述虚拟摄像头拍摄画面的第一位置Li1和离开所述虚拟摄像头拍摄画面的第二位置Li2，那么在第一位置Li1和第二位置Li2的位置区间内虚拟摄像头拍摄的图片均为关键背景图片，后续均需进行标注。
步骤4：设定所述虚拟车辆在所述虚拟驾驶路线上的预设运动速率，基于所述预设运动速率计算所述虚拟车辆通过所述第一位置Li1的第一时间节点Ti1和通过所述第二位置Li2的第二时间节点Ti2，从而得到各所述第一虚拟驾驶场景的标注配置表[Ti1,Ti2,Pi1,Pi2,Pi3,Pi4]；
具体地，在步骤3确定了每个交通标志牌对应的第一位置Li1和第二位置Li2后，设定虚拟车辆在所述虚拟驾驶路线上的预设运动速率，基于所述预设运动速率计算所述虚拟车辆通过所述第一位置Li1的第一时间节点Ti1和通过所述第二位置Li2的第二时间节点Ti2，从而得到各所述第一虚拟驾驶场景的标注配置表[Ti1,Ti2,Pi1,Pi2,Pi3,Pi4]。基于所述标注配置表的信息可知，所述虚拟车辆在所述虚拟驾驶路线上按照预设运动速率行驶时，位于(Ti1,Ti2)时间区间内拍摄的背景图片均为关键背景图片，其中空间三维坐标Pi1,Pi2,Pi3,Pi4对应的四个槽点所构成的矩形框内的图片内容即为该关键背景图片中需要标注的内容。
步骤5：在所述3D虚拟驾驶场景中,所述虚拟车载摄像头以所述预设速率按照虚拟驾驶路线进行虚拟驾驶拍摄，将在所述第一时间节点Ti1和第二时间节点Ti2的时间区间内拍摄的背景图片定义为关键背景图片，并对所述关键背景图片中空间三维坐标Pin对应的四个槽点所构成的矩形内的所述第一虚拟场景元素进行标注，得到标注信息，将所述关键背景图片和标注信息进行存储；
具体地，在3D虚拟驾驶场景中，通过虚拟车载摄像头按照虚拟驾驶路线进行虚拟驾驶拍摄，如图1所示，在所述第一时间节点Ti1和第二时间节点Ti2的时间区间内，虚拟车载摄像头拍摄的背景图片中包含交通标志牌，将包含交通标志牌的画面帧定义为关键背景图片，对虚拟车载摄像头拍摄的关键背景图片中空间三维坐标Pi1,Pi2,Pi3,Pi4对应的四个槽点所构成的矩形框内的交通标志牌进行标注，得到标注信息，将所述关键背景图片和标注信息进行存储。
优选地，步骤5中对所述关键背景图片中空间三维坐标Pin对应的四个槽点所构成的矩形内的所述第一虚拟场景元素进行标注，得到标注信息，具体包括以下步骤：
步骤5-1：将所述四个槽点在3D虚拟驾驶场景中的空间三维坐标Pin(Xin,Yin,Zin)通过坐标变换转换成所述关键背景图片中的视图坐标Sin(xin,yin)；
步骤5-2：设定所述关键背景图片的标注信息格式为(xi1,yi1,xi2,yi2,xi3,yi3,xi4,yi4，第一虚拟场景元素的类型文字说明)；
具体地，在本实施例中，第一虚拟场景元素为交通标志牌，交通标志牌有多种类别，比如最高行驶速度标志牌、最低行驶速度标志牌、禁止左转标志牌、警告标志牌等，那么对于包含交通标志牌的关键背景图片，其标注信息为交通标志牌四个槽点的视图坐标以及交通标志牌的类别，比如交通标志牌为车速不得超过50公里/小时，那么该关键背景图片的标注信息格式为[xi1,yi1,xi2,yi2,xi3,yi3,xi4,yi4，车速不得超过50公里/小时]。
优选地，在步骤5-2之后还对所述第一虚拟场景元素的四个槽点的视图坐标Sin进行矫正，具体包括以下步骤：
步骤5-1-1：比较四个槽点的视图坐标Sin(xin,yin)，分别获得Min(xin)，Min(yin),Max(xin),Max(yin)，则四个槽点的视图矫正坐标分别为S′i1(ximin,yimin),S′i2(ximax,yimin),S′i3(ximax,yimax),S′i4(ximin,yimax)；
优选地，在步骤5-1-1之后还包括，若四个槽点的视图矫正坐标S′i1(ximin,yimin),S′i2(ximax,yimin),S′i3(ximax,yimax),S′i4(ximin,yimax)超出所述关键背景图片的边界，则将超出边界的槽点坐标修正为最小外接矩形与关键背景图片边界的交点坐标值；
具体地，如图2所示，因为3D虚拟驾驶环境中虚拟车载摄像机拍摄角度的问题，步骤5-2中得到的四个槽点的视图坐标Sin(xin,yin)构成的四边形可能为不规则的四边形。为了使标注框的形状始终为最小外接矩形，比较四个槽点的视图坐标Sin(xin,yin)，分别获得Min(xin)，Min(yin),Max(xin),Max(yin)，则四个槽点的视图矫正坐标分别为S′i1(ximin,yimin),S′i2(ximax,yimin),S′i3(ximax,yimax),S′i4(ximin,yimax)；
优选地，在步骤5-1-1之后还包括，若四个槽点的视图矫正坐标S′i1(ximin,yimin),S′i2(ximax,yimin),S′i3(ximax,yimax),S′i4(ximin,yimax)超出所述关键背景图片的边界，则将超出边界的槽点坐标修正为最小外接矩形与关键背景图片边界的交点坐标值。
在本发明中，按照虚拟驾驶路线规划3D虚拟驾驶场景中虚拟车载摄像机的运动轨迹和运动速率。基于运动速率设定摄像机关键背景图片提取的数量和时间间隔，最终将标注后的关键背景图片和csv格式的标注信息以100张/分钟的效率同时批量导出，交通标志牌的标注坐标的误差在一个像素以内。
优选地，所述第一虚拟场景元素包括多种不同的类别模型，根据3D虚拟驾驶场景多样化的要求，合理设置各所述类别模型在空间上的布置方位；
具体地，在本实施例中，所述第一虚拟场景元素为交通标志牌，交通标志牌包括多种交通标识类型，比如最高行驶速度标志牌、最低行驶速度标志牌、禁止左转标志牌、警告标志牌等等，根据3D虚拟驾驶场景多样化的要求，在虚拟道路上合理配置多种类型的交通标志牌，同一类型的交通标志牌布置的方位角度不同；
优选地，所述3D虚拟驾驶场景还包括多个其他虚拟场景元素，通过程序设置其他虚拟场景元素相对第一虚拟场景元素的配置关系。
具体地，在本实施例中，3D虚拟驾驶场景中还可以包括树木、建筑物、行人、天气等交通参与物，场景中的天气设置根据不同的天气设置不同的光线效果，在配合粒子特效营造出与真实世界相近的环境效果。为了解决静态场景标注出来图像的场景单一性，实现标注图像的多样化，用于图像标注的场景，就要保证标注场景的多样化，在静态场景的基础上通过程序控制修改场景里的树木、建筑、行人等参与物的位置、方向、有无、模型的替换等，来实现场景的多样化从而来实现批量的导出不同的图片。同时还可以通过修改场景中的天气设置，从而在标注时体现不同的天气效果，使得标注图像集更加丰富，也更加贴近现实。
另一方面，本发明还提供了一种基于3D虚拟驾驶场景的目标标注设备，采用上述目标标注方法实现对3D虚拟驾驶场景的虚拟场景元素进行标注，所述目标标注设备包括，
场景搭建模块，用于搭建3D虚拟驾驶场景，所述3D虚拟驾驶场景包括虚拟路面以及在所述虚拟路面构成的虚拟路径沿途多个预设位置处设置的第一虚拟场景元素；
模型编辑模块，用于创建与所述第一虚拟场景元素正面相切的最小外接矩形，并将所述最小外接矩形的四个顶点的空间三维坐标Pin定义为第一虚拟场景元素的四个槽点，所述空间三维坐标Pin为Xin,Yin,Zin，其中i为整数，n＝1,2,3,4；
位置确定模块，用于在所述3D虚拟驾驶场景中，通过搭载有虚拟摄像头的虚拟车辆按照虚拟驾驶路线进行虚拟驾驶拍摄，确定每个所述第一虚拟场景元素进入所述虚拟摄像头拍摄画面的第一位置Li1和离开所述虚拟摄像头拍摄画面的第二位置Li2；
标注配置模块，用于设定所述虚拟车辆在所述虚拟驾驶路线上的预设运动速率，基于所述预设运动速率计算所述虚拟车辆通过所述第一位置Li1的第一时间节点Ti1和通过所述第二位置Li2的第二时间节点Ti2，从而得到各所述第一虚拟驾驶场景的标注配置表[Ti1,Ti2,Pi1,Pi2,Pi3,Pi4]；
图片标注模块，用于在所述3D虚拟驾驶场景中,所述虚拟车载摄像头以所述预设速率按照虚拟驾驶路线进行虚拟驾驶拍摄，将在所述第一时间节点Ti1和第二时间节点Ti2的时间区间内拍摄的背景图片定义为关键背景图片，并对所述关键背景图片中空间三维坐标Pin对应的四个槽点所构成的矩形内的所述第一虚拟场景元素进行标注，得到标注信息，将所述关键背景图片和标注信息进行存储；
所述场景搭建模块、模型编辑模块、位置确定模块、标注配置模块、图片标注模块依次双向通信连接。
优选地，所述目标标注设备还包括坐标矫正模块，用于对所述第一虚拟场景元素的四个槽点的视图坐标Sin进行矫正。
从以上的描述中，可以看出，本发明上述的实施例实现了如下技术效果：
(1)相较于传统的实车采集大量路况图像进行逐个人工标注，本发明搭建3D虚拟驾驶场景，在3D虚拟驾驶场景中进行虚拟车载摄像头拍摄，进而实现图片的批量标注、批量导出，效率高，导出速度能达到100张/分钟；
(2)可通过程序方便地设置3D虚拟驾驶场景中虚拟场景元素配置，使得标注的图像集合更加丰富，更加贴近现实；
(3)数据标注精度高，通过最小外接矩形标注的特殊交通要素目标，坐标误差在在1个像素值以内；
(4)导出图片的分辨率高，每张图片均为3200*1800像素，大小在10MB左右。
上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种基于3D虚拟驾驶场景的目标标注方法，其特征在于，所述方法包括以下步骤，
步骤1：搭建3D虚拟驾驶场景，所述3D虚拟驾驶场景包括虚拟路面以及在所述虚拟路面构成的虚拟路径沿途多个预设位置处设置的第一虚拟场景元素；
步骤2：创建与所述第一虚拟场景元素正面相切的最小外接矩形，并将所述最小外接矩形的四个顶点的空间三维坐标Pin定义为第一虚拟场景元素的四个槽点，所述空间三维坐标Pin为Xin,Yin,Zin，其中i为整数，n＝1,2,3,4；
步骤3：在所述3D虚拟驾驶场景中，通过搭载有虚拟摄像头的虚拟车辆按照虚拟驾驶路线进行虚拟驾驶拍摄，确定每个所述第一虚拟场景元素进入所述虚拟摄像头拍摄画面的第一位置Li1和离开所述虚拟摄像头拍摄画面的第二位置Li2；
步骤4：设定所述虚拟车辆在所述虚拟驾驶路线上的预设运动速率，基于所述预设运动速率计算所述虚拟车辆通过所述第一位置Li1的第一时间节点Ti1和通过所述第二位置Li2的第二时间节点Ti2，从而得到各第一虚拟驾驶场景的标注配置表[Ti1,Ti2,Pi1,Pi2,Pi3,Pi4]；
步骤5：在所述3D虚拟驾驶场景中,所述虚拟摄像头以所述预设运动速率按照虚拟驾驶路线进行虚拟驾驶拍摄，将在所述第一时间节点Ti1和第二时间节点Ti2的时间区间内拍摄的背景图片定义为关键背景图片，并对所述关键背景图片中空间三维坐标Pin对应的四个槽点所构成的矩形内的所述第一虚拟场景元素进行标注，得到标注信息，将所述关键背景图片和标注信息进行存储。
2.如权利要求1所述的基于3D虚拟驾驶场景的目标标注方法，其特征在于，步骤5中对所述关键背景图片中空间三维坐标Pin对应的四个槽点所构成的矩形内的所述第一虚拟场景元素进行标注，得到标注信息，具体包括以下步骤，
步骤5-1：将所述四个槽点在3D虚拟驾驶场景中的空间三维坐标Pin通过坐标变换转换成所述关键背景图片中的视图坐标Sin，所述视图坐标Sin为xin,yin；
步骤5-2：设定所述关键背景图片的标注信息格式为[xi1,yi1,xi2,yi2,xi3,yi3,xi4,yi4，第一虚拟场景元素的类型文字说明]。
3.如权利要求2所述的基于3D虚拟驾驶场景的目标标注方法，其特征在于，在步骤5-1之后还对所述第一虚拟场景元素的四个槽点的视图坐标Sin进行矫正，具体包括以下步骤，
步骤5-1-1：比较四个槽点的视图坐标Sin，分别获得Min(xin)，Min(yin),Max(xin),Max(yin)，则四个槽点的视图矫正坐标分别为S’i1(ximin,yimin),S’i2(ximax,yimin),S’i3(ximax,yimax),S’i4(ximin,yimax)。
4.如权利要求3所述的基于3D虚拟驾驶场景的目标标注方法，其特征在于，在步骤5-1-1之后还包括，若四个槽点的视图矫正坐标S’i1(ximin,yimin),S’i2(ximax,yimin),S’i3(ximax,yimax),S’i4(ximin,yimax)超出所述关键背景图片的边界，则将超出边界的槽点坐标修正为最小外接矩形与关键背景图片边界的交点坐标值。
5.如权利要求1-4任一所述的基于3D虚拟驾驶场景的目标标注方法，其特征在于，所述第一虚拟场景元素包括多种不同的类别模型，根据3D虚拟驾驶场景多样化的要求，设置各所述类别模型在空间上的布置方位。
6.如权利要求5所述的基于3D虚拟驾驶场景的目标标注方法，其特征在于，所述3D虚拟驾驶场景还包括多个其他虚拟场景元素，通过程序设置其他虚拟场景元素相对第一虚拟场景元素的配置关系。
7.一种基于3D虚拟驾驶场景的目标标注设备，其特征在于，采用权利要求1-6任意一项所述的目标标注方法实现对3D虚拟驾驶场景的虚拟场景元素进行批量标注，所述目标标注设备包括，
场景搭建模块，用于搭建3D虚拟驾驶场景，所述3D虚拟驾驶场景包括虚拟路面以及在所述虚拟路面构成的虚拟路径沿途多个预设位置处设置的第一虚拟场景元素；
模型编辑模块，用于创建与所述第一虚拟场景元素正面相切的最小外接矩形，并将所述最小外接矩形的四个顶点的空间三维坐标Pin定义为第一虚拟场景元素的四个槽点，所述空间三维坐标Pin为Xin,Yin,Zin，其中i为整数，n＝1,2,3,4；
位置确定模块，用于在所述3D虚拟驾驶场景中，通过搭载有虚拟摄像头的虚拟车辆按照虚拟驾驶路线进行虚拟驾驶拍摄，确定每个所述第一虚拟场景元素进入所述虚拟摄像头拍摄画面的第一位置Li1和离开所述虚拟摄像头拍摄画面的第二位置Li2；
标注配置模块，用于设定所述虚拟车辆在所述虚拟驾驶路线上的预设运动速率，基于所述预设运动速率计算所述虚拟车辆通过所述第一位置Li1的第一时间节点Ti1和通过所述第二位置Li2的第二时间节点Ti2，从而得到各第一虚拟驾驶场景的标注配置表[Ti1,Ti2,Pi1,Pi2,Pi3,Pi4]；
图片标注模块，用于在所述3D虚拟驾驶场景中,所述虚拟摄像头以所述预设运动速率按照虚拟驾驶路线进行虚拟驾驶拍摄，将在所述第一时间节点Ti1和第二时间节点Ti2的时间区间内拍摄的背景图片定义为关键背景图片，并对所述关键背景图片中空间三维坐标Pin对应的四个槽点所构成的矩形内的所述第一虚拟场景元素进行标注，得到标注信息，将所述关键背景图片和标注信息进行存储；
所述场景搭建模块、模型编辑模块、位置确定模块、标注配置模块、图片标注模块依次双向通信连接。
8.如权利要求7所述的基于3D虚拟驾驶场景的目标标注设备，其特征在于，还包括坐标矫正模块，用于对所述第一虚拟场景元素的四个槽点的视图坐标Sin进行矫正。
CN202010695891.2A 2020-07-20 2020-07-20 一种基于3d虚拟驾驶场景的目标标注方法及设备 Active CN111915672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010695891.2A CN111915672B (zh) 2020-07-20 2020-07-20 一种基于3d虚拟驾驶场景的目标标注方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010695891.2A CN111915672B (zh) 2020-07-20 2020-07-20 一种基于3d虚拟驾驶场景的目标标注方法及设备

Publications (2)

Publication Number Publication Date
CN111915672A CN111915672A (zh) 2020-11-10
CN111915672B true CN111915672B (zh) 2022-08-16

Family

ID=73281134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010695891.2A Active CN111915672B (zh) 2020-07-20 2020-07-20 一种基于3d虚拟驾驶场景的目标标注方法及设备

Country Status (1)

Country Link
CN (1) CN111915672B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819969A (zh) * 2021-02-08 2021-05-18 广东三维家信息科技有限公司 虚拟场景路径的生成方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739704A (zh) * 2016-02-02 2016-07-06 上海尚镜信息科技有限公司 基于增强现实的远程引导方法和***
CN108932749A (zh) * 2017-05-26 2018-12-04 上海为森车载传感技术有限公司 基于cg生成目标物样本的方法
CN111160261A (zh) * 2019-12-30 2020-05-15 北京每日优鲜电子商务有限公司 用于自动售货柜的样本图像标注方法、装置及存储介质
CN111274927A (zh) * 2020-01-17 2020-06-12 北京三快在线科技有限公司 一种训练数据的生成方法、装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10268201B2 (en) * 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739704A (zh) * 2016-02-02 2016-07-06 上海尚镜信息科技有限公司 基于增强现实的远程引导方法和***
CN108932749A (zh) * 2017-05-26 2018-12-04 上海为森车载传感技术有限公司 基于cg生成目标物样本的方法
CN111160261A (zh) * 2019-12-30 2020-05-15 北京每日优鲜电子商务有限公司 用于自动售货柜的样本图像标注方法、装置及存储介质
CN111274927A (zh) * 2020-01-17 2020-06-12 北京三快在线科技有限公司 一种训练数据的生成方法、装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PedX: Benchmark Dataset for Metric 3D Pose Estimation of Pedestrians in Complex Urban Intersections;Wonhui Kim et.al;《arXiv:1809.03605v1 [cs.CV]》;20180910;第1-8页 *
Synthesizing Image and Automated Annotation Tool for CNN based Under Water Object Detection;MyungHwan Jeon et.al;《Journal of Korea Robotics Society》;20191231;第14卷(第2期);第139-149页 *
基于道路消失点的远距离路面微小障碍物检测;俞骏威 等;《同济大学学报（自然科学版）》;20191231;第47卷;第213-216页 *

Also Published As

Publication number Publication date
CN111915672A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
Geyer et al. A2d2: Audi autonomous driving dataset
US20150138310A1 (en) Automatic scene parsing
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN102222341A (zh) 运动特征点检测方法及装置、运动目标检测方法及装置
CN113128507B (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN109544635B (zh) 一种基于枚举试探的相机自动标定方法
Ma et al. Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes
CN114821507A (zh) 一种用于自动驾驶的多传感器融合车路协同感知方法
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN113763569A (zh) 一种在三维仿真中使用的图像标注方法及装置、电子设备
CN116524364B (zh) 基于特征识别的异构多源数据处理***与方法
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN114972767A (zh) 一种基于高空无人机视频的车辆轨迹和航向角提取方法
CN111915672B (zh) 一种基于3d虚拟驾驶场景的目标标注方法及设备
CN114898353A (zh) 一种基于视频序列图像特征与信息的车牌识别方法
CN114648549A (zh) 一种融合视觉和激光雷达的交通场景目标检测及定位方法
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
CN114820931B (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
CN115565155A (zh) 神经网络模型的训练方法、车辆视图的生成方法和车辆
Babahajiani et al. Semantic parsing of street scene images using 3d lidar point cloud
Du et al. Validation of vehicle detection and distance measurement method using virtual vehicle approach
CN106856013A (zh) 一种增强现实识别图脱卡显示的方法及***
CN113269088A (zh) 基于场景特征提取的场景描述信息确定方法及装置
CN112101268A (zh) 一种基于几何投影的车辆压线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant