CN113947768A - 一种基于单目3d目标检测的数据增强方法和装置 - Google Patents

一种基于单目3d目标检测的数据增强方法和装置 Download PDF

Info

Publication number
CN113947768A
CN113947768A CN202111205373.9A CN202111205373A CN113947768A CN 113947768 A CN113947768 A CN 113947768A CN 202111205373 A CN202111205373 A CN 202111205373A CN 113947768 A CN113947768 A CN 113947768A
Authority
CN
China
Prior art keywords
image
pixel
monocular
new
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111205373.9A
Other languages
English (en)
Inventor
李耀波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Kunpeng Jiangsu Technology Co Ltd
Original Assignee
Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Kunpeng Jiangsu Technology Co Ltd filed Critical Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority to CN202111205373.9A priority Critical patent/CN113947768A/zh
Publication of CN113947768A publication Critical patent/CN113947768A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单目3D目标检测的数据增强方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收输入的多张原图像，对每张原图像进行随机剪裁缩放处理，得到多张新图像；对于每张新图像，基于每个像素的坐标在原图像和新图像之间的仿射变换关系，重新确定等效相机内参矩阵；将多张新图像、与每张新图像对应的等效相机内参矩阵，一同输入到单目3D目标检测模型中进行训练，以更新模型参数，得到训练后的单目3D目标检测模型。该实施方式使用随机剪裁缩放策略，解决了目标样本尺度分布的不均衡问题，可大幅度提升近处障碍物目标的检测性能。

Description

一种基于单目3D目标检测的数据增强方法和装置
技术领域
本发明涉及计算机技术中的自动驾驶领域，尤其涉及一种基于单目3D目标检测的数据增强方法和装置。
背景技术
单目3D目标检测是一类基于图像的检测方法，在2D视觉图像中识别出前景目标，并给出该目标的类别、位置和姿态的自动驾驶感知任务。相较于激光雷达和超声波识别技术，单目3D目标检测对环境感知具有较低的传感器成本，但同时也存在深度值感知不可靠的问题。
数据增强是提高模型检测性能最有效的方法之一，为提升单目3D目标检测的性能，可以对原图像进行数据增强处理。但受限于3D感知的物理空间几何投影关系的约束，在2D中大量有效的数据增强方法，如旋转、形变、随机裁剪、随机缩放，无法在单目3D目标检测中使用。
单目3D目标检测方法如Mono3D、SMOKE、Mono3D++，大多只能采用随机翻转这种简单的数据增强策略，但该类方法无法完成目标的多尺度大小的样本增强，样本在尺度区间内的不均衡问题依然严重，将严重限制单目3D目标检测模型对不同尺度大小目标的检测性能。
发明内容
有鉴于此，本发明实施例提供一种基于单目3D目标检测的数据增强方法和装置，至少能够解决现有单目3D目标检测无法实现对目标样本的多尺度增强现象。
为实现上述目的，根据本发明实施例的一个方面，提供了一种基于单目3D目标检测的数据增强方法，包括：
接收输入的多张原图像，对每张原图像进行随机剪裁缩放处理，得到多张新图像；
对于每张新图像，基于每个像素的坐标在原图像和新图像之间的仿射变换关系，重新确定等效相机内参矩阵；
将多张新图像、与每张新图像对应的等效相机内参矩阵，一同输入到单目3D目标检测模型中进行训练，以更新模型参数，得到训练后的单目3D目标检测模型。
可选的，所述对每张原图像进行随机剪裁缩放处理，得到多张新图像，包括：
使用抠图高度和抠图宽度，在原图像中进行位置随机的抠图操作，得到抠图区域；其中，抠图区域不超过原图像的边界；
按照单目3D目标检测模型的预设图像高度和预设图像宽度，对抠图区域进行大小缩放处理，得到多张新图像。
可选的，在所述使用抠图高度和抠图宽度之前，还包括：
接收从尺度系数范围中选择的一个数值，将所述数值作为抠图的尺度系数；
将所述预设图像高度和所述尺度系数的乘积作为抠图高度、所述预设图像宽度和所述尺度系数的乘积作为抠图宽度。
可选的，所述基于每个像素的坐标在原图像和新图像之间的仿射变换关系，重新确定等效相机内参矩阵，包括：
对抠图区域中每个像素的坐标进行等概率随机剪裁缩放的数学描述，将所述数学描述转换为行列式，得到每个像素的坐标在原图像和新图像之间的仿射变换关系；
将所述仿射变换关系，代入原图像的像素坐标系和相机坐标系的投影关系中，以针对所述新图像中的每个像素，重新建立像素坐标系和相机坐标系的投影关系，从新投影关系中获取等效相机内参矩阵。
可选的，所述对抠图区域中每个像素的坐标进行等概率随机剪裁缩放的数学描述，包括：
将所述尺度系数的倒数，作为对抠图区域进行大小缩放处理的缩放系数；
确定每个抠图区域的左上角顶点在原图像中的第一坐标、以及抠图区域中的每个像素在原图像中的第二坐标，将所述第二坐标减去第一坐标，得到抠图区域中的每个像素的坐标；
利用所述缩放系数，对每个像素在抠图区域中的坐标进行缩放处理，得到每个像素在新图像中的像素坐标。
可选的，所述基于每个像素的坐标在原图像和新图像之间的仿射变换关系，重新确定等效相机内参矩阵，包括：
将所述尺度系数的倒数，作为对抠图区域进行大小缩放处理的缩放系数，结合每个抠图区域的左上角顶点在原图像中的坐标，以计算得到等效相机内参矩阵。
可选的，原图像中的目标包含已标注的3D信息；
所述方法还包括：
获取针对焦距归一化预设的参考焦距值，利用单目3D目标检测模型，计算每张新图像中的目标在所述参考焦距值下的参考深度值；
确定与每张新图像对应的归一化焦距，计算每个归一化焦距和所述参考焦距值的比值，得到与每张新图像对应的焦距归一化系数；
将每个参考深度值与对应的焦距归一化系数相乘，得到每张新图像中的目标的推理深度值；其中，推理深度值用于单目3D目标检测模型在训练过程中，与对目标标注的真实深度值进行对比，以计算损失代价。
为实现上述目的，根据本发明实施例的另一方面，提供了一种基于单目3D目标检测的数据增强装置，包括：
裁剪缩放模块，用于接收输入的多张原图像，对每张原图像进行随机剪裁缩放处理，得到多张新图像；
矩阵确定模块，用于对于每张新图像，基于每个像素的坐标在原图像和新图像之间的仿射变换关系，重新确定等效相机内参矩阵；
模型训练模块，用于将多张新图像、与每张新图像对应的等效相机内参矩阵，一同输入到单目3D目标检测模型中进行训练，以更新模型参数，得到训练后的单目3D目标检测模型。
可选的，所述裁剪缩放模块，用于：
使用抠图高度和抠图宽度，在原图像中进行位置随机的抠图操作，得到抠图区域；其中，抠图区域不超过原图像的边界；
按照单目3D目标检测模型的预设图像高度和预设图像宽度，对抠图区域进行大小缩放处理，得到多张新图像。
可选的，所述裁剪缩放模块，还用于：
接收从尺度系数范围中选择的一个数值，将所述数值作为抠图的尺度系数；
将所述预设图像高度和所述尺度系数的乘积作为抠图高度、所述预设图像宽度和所述尺度系数的乘积作为抠图宽度。
可选的，所述矩阵确定模块，用于：
对抠图区域中每个像素的坐标进行等概率随机剪裁缩放的数学描述，将所述数学描述转换为行列式，得到每个像素的坐标在原图像和新图像之间的仿射变换关系；
将所述仿射变换关系，代入原图像的像素坐标系和相机坐标系的投影关系中，以针对所述新图像中的每个像素，重新建立像素坐标系和相机坐标系的投影关系，从新投影关系中获取等效相机内参矩阵。
可选的，所述矩阵确定模块，用于：
将所述尺度系数的倒数，作为对抠图区域进行大小缩放处理的缩放系数；
确定每个抠图区域的左上角顶点在原图像中的第一坐标、以及抠图区域中的每个像素在原图像中的第二坐标，将所述第二坐标减去第一坐标，得到抠图区域中的每个像素的坐标；
利用所述缩放系数，对每个像素在抠图区域中的坐标进行缩放处理，得到每个像素在新图像中的像素坐标。
可选的，所述矩阵确定模块，用于：
将所述尺度系数的倒数，作为对抠图区域进行大小缩放处理的缩放系数，结合每个抠图区域的左上角顶点在原图像中的坐标，以计算得到等效相机内参矩阵。
可选的，原图像中的目标包含已标注的3D信息；
所述装置还包括焦距归一化模块，用于：
获取针对焦距归一化预设的参考焦距值，利用单目3D目标检测模型，计算每张新图像中的目标在所述参考焦距值下的参考深度值；
确定与每张新图像对应的归一化焦距，计算每个归一化焦距和所述参考焦距值的比值，得到与每张新图像对应的焦距归一化系数；
将每个参考深度值与对应的焦距归一化系数相乘，得到每张新图像中的目标的推理深度值；其中，推理深度值用于单目3D目标检测模型在训练过程中，与对目标标注的真实深度值进行对比，以计算损失代价。
为实现上述目的，根据本发明实施例的再一方面，提供了一种基于单目3D目标检测的数据增强电子设备。
本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的基于单目3D目标检测的数据增强方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的基于单目3D目标检测的数据增强方法。
根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：单目3D目标检测模型需要2个输入：图像数据和相机内参矩阵，本方案在图像输入阶段做随机裁剪缩放处理实现数据增强，采用焦距归一化方法在网络模型的3D box回归后的深度解码阶段，引入焦距归一化系数解决不同焦距图像的深度推理问题，整体提升了后续单目3D目标检测模型的检测性能。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的一种基于单目3D目标检测的数据增强方法的主要流程示意图；
图2是根据本发明实施例的一种对原图像进行random_crop_resize方法的流程示意图；
图3是根据本发明实施例的一种可选的基于单目3D目标检测的数据增强方法的流程示意图；
图4是根据本发明实施例的一种基于单目3D目标检测的数据增强装置的主要模块示意图；
图5是本发明实施例可以应用于其中的示例性***架构图；
图6是适于用来实现本发明实施例的移动设备或服务器的计算机***的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
数据增强是提高模型检测性能最有效的方法之一，这不会带来推理期间的额外计算成本。随机缩放、随机裁剪、颜色失真和其他几何图形和颜色增强技术，在2D中被广泛用来检测模型。除了常用的数据增强之外，复制粘贴增强在2D检测和分割任务中也被广泛应用。
但由于违反了几何约束规则，没有一种单目3D目标检测方法采用这些数据增强方法，从而使水平翻转和颜色失真成为唯一使用的数据增强方法。单目原图像源自透视成像，单目图像中的目标的尺度分布存在严重的不均衡，模型的训练效果会受限。该类方法无法完成目标的多尺度的样本增强，样本在尺度上的不均衡问题依然严重，将严重限制单目3D目标检测模型对不同尺度大小目标的检测性能。
参见图1，示出的是本发明实施例提供的一种基于单目3D目标检测的数据增强方法的主要流程图，包括如下步骤：
S101：接收输入的多张原图像，对每张原图像进行随机剪裁缩放处理，得到多张新图像；
S102：对于每张新图像，基于每个像素的坐标在原图像和新图像之间的仿射变换关系，重新确定等效相机内参矩阵；
S103：将多张新图像、与每张新图像对应的等效相机内参矩阵，一同输入到单目3D目标检测模型中进行训练，以更新模型参数，得到训练后的单目3D目标检测模型。
上述实施方式中，对于步骤S101，单目3D目标检测主要适用于自动驾驶领域的障碍物3d目标检测场景，本方案应用于单目3D目标检测模型训练阶段的数据预处理场景。
单目相机只能获取平面图，现有以单目3D目标检测方法SMOKE为基础，将原图像和相机内参矩阵为输入，检测出障碍物目标(如车、人等)在相机坐标系下的物理位置(x,y,z)、物理尺寸长宽高(w,h,l)以及姿态角yaw，组成为3D信息(x,y,z,w,h,l,yaw)。SMOKE是一个基于关键点检测的一阶段单目3D目标检测算法。因此，本方案会对原图像中的目标标注3D信息。
现有通常会将原图像按照batch_size输入单目3D目标检测模型中进行训练，例如共10000张原图像，分10批次，每批次仅输入1000张原图像。这就存在测试图像与训练图像可能一致、或不同批次图片一致的情况，且每张原图像针对障碍物目标仅存在一种尺度的问题，无法更好的训练单目3D目标检测模型。
单目3D目标检测模型是基于原图像的3D目标检测，针对上述问题，本方案采用对原图像进行random_crop_resize(随机剪裁缩放)方式，具体参见图2所示：
S201：接收从尺度系数范围中选择的一个数值，将所述数值作为抠图的尺度系数；
S202：获取单目3D目标检测模型的预设图像高度和预设图像宽度，将所述预设图像高度和所述尺度系数的乘积作为抠图高度、所述预设图像宽度和所述尺度系数的乘积作为抠图宽度；
S203：使用抠图高度和抠图宽度，在每张原图像中进行位置随机的抠图操作，得到抠图区域；其中，抠图区域不超过原图像的边界；
S204：按照预设图像高度和预设图像宽度，对抠图区域进行大小缩放处理，得到多张新图像。
1)设置抠图最小比例min_scale(如0.7)和最大比例max_scale(如1.0)，从尺度系数范围[min_scale,max_scale)中随机选取一个数值，作为抠图的尺度系数scale。该过程可以为人为选择，也可以是工作人员编写程序后按照等概率方式自行选择，考虑本方案的自动化运行情况，优选编写程序自行等概率选择方式。
2)将单目3D目标检测模型的图像宽度和图像高度分别预设为infer_w、infer_h，因此计算得到抠图宽度为crop_w＝scale*infer_w、抠图高度为crop_h＝scale*infer_h。
3)基于crop_w和crop_h，在原始输入的单帧原图像中进行位置随机的抠图操作，且抠图区域不超过原图区域，因此抠出的图像不存在超出原图像边界而补零的问题，使得模型训练阶段和数据预处理阶段一致，有助于模型部署阶段性能的提升。
4)crop出的图像的尺寸为crop_w和crop_h，对crop出的图像进行resize处理，即可生成适合单目3D目标检测模型的新图像，新图像的宽高分别为infer_w、infer_h。
对于步骤S102，假设初始时，原图像的像素坐标系和相机坐标系的投影关系如下：
Figure BDA0003306628640000091
其中，u、v为原图像上的某个像素在像素坐标系下的水平坐标和垂直坐标(即第二坐标)，K为相机内参矩阵，Xc、Yc和Zc为该像素在相机坐标系下的坐标，即位置信息。
在对原图像进行random_crop_resize处理得到多个新图像后，原图像中每个像素的坐标发生了改变，导致相机坐标系3D空间中的像素若继续使用原来的内参投影矩阵投影到新图像上，存在坐标不对应的问题，即新图像中像素的坐标，在原像素坐标系与相机坐标系中无法再构成透视几何关系，为此本方案通过理论推导重新建立生成新的像素坐标系和相机坐标系的投影关系，以下进行具体阐述：
1、对抠图区域中每个像素的坐标，进行等概率随机剪裁缩放的数学描述：
u'＝s(u-u1)
v'＝s(v-v1)
其中，u'为新图像中的像素在像素坐标系下的水平坐标，v'为新图像中的像素在像素坐标系下的垂直坐标；s为缩放系数，与前述尺度系数scale互为倒数关系；u1、v1为抠图区域的左上角顶点在原图像中的第一坐标，该原图像以左上角顶点为原点。
将这两个公式转换为行列式形式，即可得出每个像素的坐标在原图像和新图像之间的仿射变换关系：
Figure BDA0003306628640000101
2、将上述“每个像素的坐标在原图像和新图像之间的仿射变换关系”代入“原图像的像素坐标系和相机坐标系的投影关系”中，即可重新推导出“新图像中每个像素的像素坐标系和相机坐标系的透视投影关系”。
Figure BDA0003306628640000102
Figure BDA0003306628640000103
其中，K'为与新图像对应的等效相机内参矩阵，在对原图像crop_resize时，可等效为对像素坐标进行仿射变换，新图像中像素的像素坐标系、新等效内参矩阵、相机坐标系三者又可重新建立几何透视关系。
对于步骤S103，将数据增强后的新图像、与每张新图像对应的等效相机内参矩阵，一同输入到单目3D目标检测模型中进行训练，以更新模型参数。训练后的单目3D目标检测模型，能够在推理阶段从单帧图像中正确推理出障碍物目标的位置、长宽高、yaw角这些3D信息(x,y,z,w,h,l,yaw)。
此处举一个具体实施例：
假设输入的原图像的像素为640*480，原始相机内参矩阵K为：
Figure BDA0003306628640000104
选取的抠图尺度系数scale＝0.8，因而新图像的尺寸512*384小于原图像的尺寸。通过random_crop_resize得到的参数包括：缩放系数s＝1/scale＝1.25、新图像左上角顶点在原图像中的坐标u1＝24、v1＝32；
将上述参数输入到新的相机内参矩阵公式内，得到K'：
Figure BDA0003306628640000111
之后依据上述K'针对新图像重新建立几何透视关系，以此实现对像素点的像素尺度、像素位置的数据增强作用，即生成的新图像相对于原图像，等同于在一个新相机的相同位置拍出来的。
上述实施例所提供的方法，主要针对模型训练时的数据预处理场景，通过对输入的原图像采用不超过图像边界的random_crop_resize策略，即可生成障碍物目标位置偏移、尺寸大小缩放的多张新图像，且这些新图像中的尺寸区间分布具备均衡性；同时根据上述K'更新新图像的等效相机内参矩阵，以重新建立投影关系。
参见图3，示出了根据本发明实施例的一种可选的基于单目3D目标检测的数据增强方法流程示意图，包括如下步骤：
S301：获取针对焦距归一化预设的参考焦距值，利用单目3D目标检测模型，计算每张新图像中的目标在所述参考焦距值下的参考深度值；其中，原图像中的目标包含已标注的3D信息；
S302：确定与每张新图像对应的归一化焦距，计算每个归一化焦距和所述参考焦距值的比值，得到与每张新图像对应的焦距归一化系数；
S303：将每个参考深度值与对应的焦距归一化系数相乘，得到每张新图像中的目标的推理深度值；其中，推理深度值用于单目3D目标检测模型在训练过程中，与对目标标注的真实深度值进行对比，以计算损失代价。
上述实施方式中，对于步骤S301～S303，本方案输入的原图像中，已对障碍物目标进行3D信息(x,y,z,w,h,l,yaw)标注。透视成像有近大远小的特点，原图像中目标的像素高度，实际反映了目标的深度值z的大小，故在监督信息(目标的3D信息)训练下，模型可以推理出目标的深度值z和其他3D信息。
有些新图像的焦距是不同的，例如图像1的焦距为6mm，图像2的焦距为12mm。这些图像在进行混合训练时，由于不同焦距图像上相同像素高度大小的目标的实际深度值位置不同，因此需做焦距归一化处理，使用根据透视原理的比例公式：
Figure BDA0003306628640000121
其中，n为预定义的目标在垂直高度方向上的像素个数，dy为相机传感器的像素大小，h为目标的高度，d为目标到相机的距离，即深度值depth。
对上述公式进行变换，即可得到新公式：
Figure BDA0003306628640000122
其中，fref为焦距归一化引入的一个常数参考焦距值，如fref＝720.0；fy为相机内参矩阵K中的归一化焦距，fy/fref为焦距归一化系数，不同图像该值不同；Fregress为SMOKE算法模型对障碍物目标在图像中像素高度大小为n时，在参考焦距值fref下回归处理得到的参考深度值。
每张新图像中目标的推理深度值为焦距系数fy/fref乘以Fregress，推理深度值用于单目3D目标检测模型在训练过程中，与对目标标注的真实深度值进行对比，以计算损失代价。
上述实施例所提供的方法，在数据增强得到多个新图像训练过程中，引申出图像焦距不同的技术问题，本方案采用焦距归一化方法解决了对不同焦距图像的训练推理问题，避免了相同目标在不同焦距相机下像素高度不同带来的深度值回归问题。
本发明实施例所提供的方法，相对于现有技术，至少存在如下有益效果：
1、对输入的原图像采用不超过图像边界的随机剪裁缩放策略，即可生成障碍物目标位置偏移、尺寸大小缩放的多张新图像，实现样本尺度增强目的，且极大缓解了目标样本在尺度区间的分布均衡性；
2、通过更新相机内参矩阵，使得即使改变目标样本尺寸也依然满足透视几何约束关系，从而大幅提升了单目3D目标检测模型的性能；
3、采用焦距归一化的深度估计方法，针对不同新图像的焦距不一致的问题，可有效解决多种焦距的图像混合训练时的监督信息冲突问题，使得模型部署支持不同焦距相机。
参见图4，示出了本发明实施例提供的一种基于单目3D目标检测的数据增强装置400的主要模块示意图，包括：
裁剪缩放模块401，用于接收输入的多张原图像，对每张原图像进行随机剪裁缩放处理，得到多张新图像；
矩阵确定模块402，用于对于每张新图像，基于每个像素的坐标在原图像和新图像之间的仿射变换关系，重新确定等效相机内参矩阵；
模型训练模块403，用于将多张新图像、与每张新图像对应的等效相机内参矩阵，一同输入到单目3D目标检测模型中进行训练，以更新模型参数，得到训练后的单目3D目标检测模型。
本发明实施装置中，所述裁剪缩放模块401，用于：
使用抠图高度和抠图宽度，在原图像中进行位置随机的抠图操作，得到抠图区域；其中，抠图区域不超过原图像的边界；
按照单目3D目标检测模型的预设图像高度和预设图像宽度，对抠图区域进行大小缩放处理，得到多张新图像。
本发明实施装置中，所述裁剪缩放模块401，还用于：
接收从尺度系数范围中选择的一个数值，将所述数值作为抠图的尺度系数；
将所述预设图像高度和所述尺度系数的乘积作为抠图高度、所述预设图像宽度和所述尺度系数的乘积作为抠图宽度。
本发明实施装置中，所述矩阵确定模块402，用于：
对抠图区域中每个像素的坐标进行等概率随机剪裁缩放的数学描述，将所述数学描述转换为行列式，得到每个像素的坐标在原图像和新图像之间的仿射变换关系；
将所述仿射变换关系，代入原图像的像素坐标系和相机坐标系的投影关系中，以针对所述新图像中的每个像素，重新建立像素坐标系和相机坐标系的投影关系，从新投影关系中获取等效相机内参矩阵。
本发明实施装置中，所述矩阵确定模块402，用于：
将所述尺度系数的倒数，作为对抠图区域进行大小缩放处理的缩放系数；
确定每个抠图区域的左上角顶点在原图像中的第一坐标、以及抠图区域中的每个像素在原图像中的第二坐标，将所述第二坐标减去第一坐标，得到抠图区域中的每个像素的坐标；
利用所述缩放系数，对每个像素在抠图区域中的坐标进行缩放处理，得到每个像素在新图像中的像素坐标。
本发明实施装置中，所述矩阵确定模块402，用于：
将所述尺度系数的倒数，作为对抠图区域进行大小缩放处理的缩放系数，结合每个抠图区域的左上角顶点在原图像中的坐标，以计算得到等效相机内参矩阵。
本发明实施装置中，原图像中的目标包含已标注的3D信息；
所述装置还包括焦距归一化模块，用于：
获取针对焦距归一化预设的参考焦距值，利用单目3D目标检测模型，计算每张新图像中的目标在所述参考焦距值下的参考深度值；
确定与每张新图像对应的归一化焦距，计算每个归一化焦距和所述参考焦距值的比值，得到与每张新图像对应的焦距归一化系数；
将每个参考深度值与对应的焦距归一化系数相乘，得到每张新图像中的目标的推理深度值；其中，推理深度值用于单目3D目标检测模型在训练过程中，与对目标标注的真实深度值进行对比，以计算损失代价。
另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。
图5示出了可以应用本发明实施例的示例性***架构500，包括终端设备501、502、503，网络504和服务器505(仅仅是示例)。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，安装有各种通讯客户端应用，用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。
网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
服务器505可以是提供各种服务的服务器，用于执行使用随机裁剪缩放策略获取新图像、针对新图像确定等效相机内参矩阵、利用两者训练单目3D目标检测模型操作。
需要说明的是，本发明实施例所提供的方法一般由服务器505执行，相应地，装置一般设置于服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机***600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机***600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的***中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括裁剪缩放模块、矩阵确定模块、模型训练模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，模型训练模块还可以被描述为“模型单目3D目标检测模型训练模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
接收输入的多张原图像，对每张原图像进行随机剪裁缩放处理，得到多张新图像；
对于每张新图像，基于每个像素的坐标在原图像和新图像之间的仿射变换关系，重新确定等效相机内参矩阵；
将多张新图像、与每张新图像对应的等效相机内参矩阵，一同输入到单目3D目标检测模型中进行训练，以更新模型参数，得到训练后的单目3D目标检测模型。
根据本发明实施例的技术方案，相对于现有技术，至少存在如下有益效果：
1、对输入的原图像采用不超过图像边界的随机剪裁缩放策略，即可生成障碍物目标位置偏移、尺寸大小缩放的多张新图像，实现样本尺度增强目的，且极大缓解了目标样本在尺度区间的分布均衡性；
2、通过更新相机内参矩阵，使得即使改变目标样本尺寸也依然满足透视几何约束关系，从而大幅提升了单目3D目标检测模型的性能；
3、采用焦距归一化的深度估计方法，针对不同新图像的焦距不一致的问题，可有效解决多种焦距的图像混合训练时的监督信息冲突问题，使得模型部署支持不同焦距相机。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于单目3D目标检测的数据增强方法，其特征在于，包括：
接收输入的多张原图像，对每张原图像进行随机剪裁缩放处理，得到多张新图像；
对于每张新图像，基于每个像素的坐标在原图像和新图像之间的仿射变换关系，重新确定等效相机内参矩阵；
将多张新图像、与每张新图像对应的等效相机内参矩阵，一同输入到单目3D目标检测模型中进行训练，以更新模型参数，得到训练后的单目3D目标检测模型。
2.根据权利要求1所述的方法，其特征在于，所述对每张原图像进行随机剪裁缩放处理，得到多张新图像，包括：
使用抠图高度和抠图宽度，在每张原图像中进行位置随机的抠图操作，得到抠图区域；其中，抠图区域不超过原图像的边界；
按照单目3D目标检测模型的预设图像高度和预设图像宽度，对抠图区域进行大小缩放处理，得到多张新图像。
3.根据权利要求2所述的方法，其特征在于，在所述使用抠图高度和抠图宽度之前，还包括：
接收从尺度系数范围中选择的一个数值，将所述数值作为抠图的尺度系数；
将所述预设图像高度和所述尺度系数的乘积作为抠图高度、所述预设图像宽度和所述尺度系数的乘积作为抠图宽度。
4.根据权利要求2或3所述的方法，其特征在于，所述基于每个像素的坐标在原图像和新图像之间的仿射变换关系，重新确定等效相机内参矩阵，包括：
对抠图区域中每个像素的坐标进行等概率随机剪裁缩放的数学描述，将所述数学描述转换为行列式，得到每个像素的坐标在原图像和新图像之间的仿射变换关系；
将所述仿射变换关系，代入原图像的像素坐标系和相机坐标系的投影关系中，以针对所述新图像中的每个像素，重新建立像素坐标系和相机坐标系的投影关系，从新投影关系中获取等效相机内参矩阵。
5.根据权利要求4所述的方法，其特征在于，所述对抠图区域中每个像素的坐标进行等概率随机剪裁缩放的数学描述，包括：
将所述尺度系数的倒数，作为对抠图区域进行大小缩放处理的缩放系数；
确定抠图区域的左上角顶点在原图像中的第一坐标、以及抠图区域中的每个像素在原图像中的第二坐标，将所述第二坐标减去第一坐标，得到抠图区域中的每个像素的坐标；
利用所述缩放系数，对每个像素在抠图区域中的坐标进行缩放处理，得到每个像素在新图像中的坐标。
6.根据权利要求2或3所述的方法，其特征在于，所述基于每个像素的坐标在原图像和新图像之间的仿射变换关系，重新确定等效相机内参矩阵，包括：
将所述尺度系数的倒数，作为对抠图区域进行大小缩放处理的缩放系数，结合每个抠图区域的左上角顶点在原图像中的坐标，以计算得到等效相机内参矩阵。
7.根据权利要求1所述的方法，其特征在于，原图像中的目标包含已标注的3D信息；
所述方法还包括：
获取针对焦距归一化预设的参考焦距值，利用单目3D目标检测模型，计算每张新图像中的目标在所述参考焦距值下的参考深度值；
确定与每张新图像对应的归一化焦距，计算每个归一化焦距和所述参考焦距值的比值，得到与每张新图像对应的焦距归一化系数；
将每个参考深度值与对应的焦距归一化系数相乘，得到每张新图像中的目标的推理深度值；其中，推理深度值用于单目3D目标检测模型在训练过程中，与对目标标注的真实深度值进行对比，以计算损失代价。
8.一种基于单目3D目标检测的数据增强装置，其特征在于，包括：
裁剪缩放模块，用于接收输入的多张原图像，对每张原图像进行随机剪裁缩放处理，得到多张新图像；
矩阵确定模块，用于对于每张新图像，基于每个像素的坐标在原图像和新图像之间的仿射变换关系，重新确定等效相机内参矩阵；
模型训练模块，用于将多张新图像、与每张新图像对应的等效相机内参矩阵，一同输入到单目3D目标检测模型中进行训练，以更新模型参数，得到训练后的单目3D目标检测模型。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202111205373.9A 2021-10-15 2021-10-15 一种基于单目3d目标检测的数据增强方法和装置 Pending CN113947768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111205373.9A CN113947768A (zh) 2021-10-15 2021-10-15 一种基于单目3d目标检测的数据增强方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111205373.9A CN113947768A (zh) 2021-10-15 2021-10-15 一种基于单目3d目标检测的数据增强方法和装置

Publications (1)

Publication Number Publication Date
CN113947768A true CN113947768A (zh) 2022-01-18

Family

ID=79330933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111205373.9A Pending CN113947768A (zh) 2021-10-15 2021-10-15 一种基于单目3d目标检测的数据增强方法和装置

Country Status (1)

Country Link
CN (1) CN113947768A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359880A (zh) * 2022-03-18 2022-04-15 北京理工大学前沿技术研究院 一种基于智能学习模型的乘车体验增强方法、装置及云端
CN116912621A (zh) * 2023-07-14 2023-10-20 浙江大华技术股份有限公司 图像样本构建方法、目标识别模型的训练方法及相关装置
WO2023201723A1 (zh) * 2022-04-22 2023-10-26 华为技术有限公司 目标检测模型的训练方法、目标检测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359880A (zh) * 2022-03-18 2022-04-15 北京理工大学前沿技术研究院 一种基于智能学习模型的乘车体验增强方法、装置及云端
CN114359880B (zh) * 2022-03-18 2022-05-24 北京理工大学前沿技术研究院 一种基于智能学习模型的乘车体验增强方法、装置及云端
WO2023201723A1 (zh) * 2022-04-22 2023-10-26 华为技术有限公司 目标检测模型的训练方法、目标检测方法及装置
CN116912621A (zh) * 2023-07-14 2023-10-20 浙江大华技术股份有限公司 图像样本构建方法、目标识别模型的训练方法及相关装置
CN116912621B (zh) * 2023-07-14 2024-02-20 浙江大华技术股份有限公司 图像样本构建方法、目标识别模型的训练方法及相关装置

Similar Documents

Publication Publication Date Title
CN113947768A (zh) 一种基于单目3d目标检测的数据增强方法和装置
CN109191512B (zh) 双目图像的深度估计方法及装置、设备、程序及介质
US10970821B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
CN109753971B (zh) 扭曲文字行的矫正方法及装置、字符识别方法及装置
EP4064176A1 (en) Image processing method and apparatus, storage medium and electronic device
US11004179B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
CN112733820B (zh) 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN110796664B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
CN111126108A (zh) 图像检测模型的训练和图像检测方法及装置
CN108597034B (zh) 用于生成信息的方法和装置
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN116343155A (zh) 一种bev视角下的可行驶区域的确定方法和装置
CN115104126A (zh) 图像处理方法、设备、装置和介质
CN114723640B (zh) 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN113724129B (zh) 一种图像虚化方法、存储介质以及终端设备
CN112929562B (zh) 视频抖动的处理方法、装置、设备以及存储介质
CN113077396B (zh) 直线段检测方法及装置、计算机可读介质和电子设备
JPH05256613A (ja) ステレオ画像からの視差演算方法と装置並びに奥行き測定装置
CN111260544A (zh) 数据处理方法及装置、电子设备和计算机存储介质
CN111563956A (zh) 一种二维图片的三维显示方法、装置、设备及介质
CN114845055B (zh) 图像采集设备的拍摄参数的确定方法、装置及电子设备
CN112991179B (zh) 用于输出信息的方法、装置、设备以及存储介质
CN113312979B (zh) 图像处理方法、装置、电子设备、路侧设备及云控平台
US20240202940A1 (en) Feature Detection for Image-Based Augmented Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination