CN109711472B

CN109711472B - 训练数据生成方法和装置

Info

Publication number: CN109711472B
Application number: CN201811628622.3A
Authority: CN
Inventors: 张屹峰; 周梦迪; 刘朋樟; 刘巍; 陈宇
Original assignee: Beijing Wodong Tianjun Information Technology Co Ltd
Current assignee: Beijing Wodong Tianjun Information Technology Co Ltd
Priority date: 2018-12-29
Filing date: 2018-12-29
Publication date: 2021-07-13
Anticipated expiration: 2038-12-29
Also published as: CN109711472A

Abstract

本公开公开了一种训练数据生成方法和装置，涉及图像处理领域。该方法包括：获取待放置到售货装置中进行识别的商品的3D模型；对商品的3D模型进行任意角度投影，获取多帧商品的2D投影图像；对商品的2D投影图像进行图像相关算法处理，将处理后的图像作为待放置到售货装置中进行识别的商品的训练数据。本公开减少了人工参与度，进而提高了训练数据的生成速度。

Description

训练数据生成方法和装置

技术领域

本公开涉及图像处理领域，尤其涉及一种训练数据生成方法和装置。

背景技术

为了识别出无人货柜中新增的商品需要预先进行模型训练。例如，在实验室环境下，工作人员模拟用户行为，通过不同角度、不同位置以及不同方式从货柜中反复拿取、放回商品，并利用摄像机拍摄该过程，从而得到原始图片。将原始图片上传到标注平台，标注人员手动框选出包含该商品的矩形区域，形成标注数据。然后工作人员将标注数据和原始图片输入至模型进行训练。

发明内容

本公开要解决的一个技术问题是提供一种训练数据生成方法和装置，能够提高训练数据的生成速度。

根据本公开一方面，提出一种训练数据生成方法，包括：获取待放置到售货装置中进行识别的商品的3D模型；对商品的3D模型进行多个任意角度的投影，获取多帧商品的2D投影图像；对商品的2D投影图像进行图像相关算法处理，将处理后的图像作为待放置到售货装置中进行识别的商品的训练数据。

在一个实施例中，对商品的2D投影图像进行图像相关算法处理包括：对商品的2D投影图像进行光照处理、畸变处理和手持处理中的至少一项处理。

在一个实施例中，对商品的2D投影图像进行光照处理包括：获取不同光照条件下的光照变换矩阵；基于光照变换矩阵对商品的2D投影图像中的每个像素点进行偏移缩放处理，获得商品在不同光照条件下的2D投影图像。

在一个实施例中，对商品的2D投影图像进行畸变处理包括：基于相机畸变参数确定相机畸变矩阵；基于相机畸变矩阵对商品在不同光照条件下的2D投影图像进行处理，得到商品在不同光照条件下具有畸变效果的2D投影图像。

在一个实施例中，对商品的2D投影图像进行手持处理包括：获取手型纹理贴图；基于手型纹理贴图对商品在不同光照条件下具有畸变效果的2D投影图像进行处理，得到处理后的图像。

在一个实施例中，该方法还包括：对处理后的图像进行添加售货装置环境背景处理。

在一个实施例中，对商品的2D投影图像进行图像相关算法处理，将处理后的图像作为待放置到售货装置中进行识别的商品的训练数据包括：对商品的2D投影图像进行添加售货装置环境背景处理，得到初始模拟图像；将初始模拟图像输入至训练好的生成式对抗网络中输出虚拟图像；将虚拟图像作为待放置到售货装置中进行识别的商品的训练数据。

在一个实施例中，该方法还包括：将初始模拟图像和目标域图像输入至生成式对抗网络的生成网络中，获得基于初始模拟图像的目标域虚拟图像；将目标域虚拟图像和目标域图像输入至生成式对抗网络的判定网络中，获取判定网络对目标域虚拟图像和目标域图像的相似程度的判定结果；计算生成式对抗网络的损失值；根据生成式对抗网络的损失值，对生成式对抗网络进行调整，以获得训练好的生成式对抗网络。

在一个实施例中，该方法还包括：确定商品的2D投影图像在不同背景中的相对坐标信息；将相对坐标信息作为商品的标注数据。

根据本公开的另一方面，还提出一种训练数据生成装置，包括：3D模型获取单元，被配置为待放置到售货装置中进行识别的获取商品的3D模型；2D投影图像获取单元，被配置为对商品的3D模型进行多个任意角度的投影，获取多帧商品的2D投影图像；图像处理单元，被配置为对商品的2D投影图像进行图像相关算法处理，将处理后的图像作为待放置到售货装置中进行识别的商品的训练数据。

在一个实施例中，图像处理单元被配置为对商品的2D投影图像进行光照处理、畸变处理和手持处理中的至少一项处理。

在一个实施例中，图像处理单元被配置为获取不同光照条件下的光照变换矩阵，基于光照变换矩阵对商品的2D投影图像中的每个像素点进行偏移缩放处理，获得商品在不同光照条件下的2D投影图像。

在一个实施例中，图像处理单元被配置为基于相机畸变参数确定相机畸变矩阵，基于相机畸变矩阵对商品在不同光照条件下的2D投影图像进行处理，得到商品在不同光照条件下具有畸变效果的2D投影图像。

在一个实施例中，图像处理单元被配置为获取手型纹理贴图，基于手型纹理贴图对商品在不同光照条件下具有畸变效果的2D投影图像进行处理，得到处理后的图像。

在一个实施例中，该训练数据生成装置还包括：图像处理单元还被配置为对处理后的图像进行添加售货装置环境背景处理。

在一个实施例中，图像处理单元被配置为对商品的2D投影图像进行添加售货装置环境背景处理，得到初始模拟图像，将初始模拟图像输入至训练好的生成式对抗网络中输出虚拟图像，将虚拟图像作为待放置到售货装置中进行识别的商品的训练数据。

在一个实施例中，该训练数据生成装置还包括：生成式对抗网络训练单元，被配置为将初始模拟图像和目标域图像输入至生成式对抗网络的生成网络中，获得基于初始模拟图像的目标域虚拟图像；将目标域虚拟图像和目标域图像输入至生成式对抗网络的判定网络中，获取判定网络对目标域虚拟图像和目标域图像的相似程度的判定结果；计算生成式对抗网络的损失值；根据生成式对抗网络的损失值，对生成式对抗网络进行调整，以获得训练好的生成式对抗网络。

在一个实施例中，该训练数据生成装置还包括：标注信息获取单元，被配置为确定商品的2D投影图像在不同背景中的相对坐标信息，将相对坐标信息作为商品的标注数据。

根据本公开的另一方面，还提出一种训练数据生成装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的训练数据生成方法。

根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的训练数据生成方法的步骤。

与现有技术相比，本公开实施例先获取待放置到售货装置中进行识别的商品的3D模型，再对商品的3D模型进行多个任意角度的投影，获取多帧商品的2D投影图像，然后对商品的2D投影图像进行图像相关算法处理，将处理后的图像作为待放置到售货装置中进行识别的商品的训练数据，减少了人工参与度，进而提高了训练数据的生成速度。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开训练数据生成方法的一个实施例的流程示意图。

图2为本公开训练数据生成方法的另一个实施例的流程示意图。

图3为本公开训练数据生成方法的再一个实施例的流程示意图。

图4为本公开训练数据生成装置的一个实施例的结构示意图。

图5为本公开训练数据生成装置的另一个实施例的结构示意图。

图6为本公开训练数据生成装置的再一个实施例的结构示意图。

图7为本公开训练数据生成装置的又一个实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

在相关技术中，在获取原始图像以及标注数据的过程都是人工完成，需要耗费大量时间，导致更新数据的周期长并且提高了成本。

图1为本公开训练数据生成方法的一个实施例的流程示意图。

在步骤110，获取待放置到售货装置中进行识别的商品的3D模型。售货装置例如为无人售货柜、货架等。

在一个实施例中，可以将商品放置在某一封闭环境的中心位置，使用三维扫描仪对准该商品，并进行环绕拍摄，可以得到该商品的3D模型。

在另一个实施例中，还可以利用单个或多个深度相机，通过调整商品或者相机角度的方式拍摄多个带深度的图像，从而得到该商品的3D模型。其中，深度相机可以是具有主动投影光斑结构的光深度相机，也可以是基于被动双目视觉原理的深度相机。

在步骤120，对商品的3D模型进行多个任意角度的投影，获取多帧商品的2D投影图像。即将3D模型转换为2D投影图像。

在步骤130，对商品的2D投影图像进行图像相关算法处理，将处理后的图像作为待放置到售货装置中进行识别的商品的训练数据。由于得到的商品的2D投影图像与真实环境中拍摄的商品图像信息有一定的差异，例如，光照差异、相机畸变差异、手持差异等，因此，需要对商品的2D投影图像进行光照处理、畸变处理和手持处理等图像处理，使得处理后的图像尽量接近于真实环境中拍摄的商品图像。

在该实施例中，先获取待放置到售货装置中进行识别的商品的3D模型，再对商品的3D模型进行多个任意角度的投影，获取多帧商品的2D投影图像，然后对商品的2D投影图像进行图像相关算法处理，将处理后的图像作为待放置到售货装置中进行识别的商品的训练数据，减少了人工参与度，进而提高了训练数据的生成速度。

在步骤210，将商品以一定的姿态摆放在置物台。

在步骤220，使用深度摄像头拍摄商品。

在步骤230，判断是否完成拍摄，若是，则执行步骤240，否则，继续执行步骤220。

在步骤240，生成商品的3D模型。

在步骤250，将商品的3D模型以任意角度投影到二维场景，得到商品的2D投影图像。由于对商品的3D模型进行多个任意角度的投影，因此能够得到多帧商品的2D投影图像。然后对各帧图像进行光照处理、畸变处理或手持处理，具体实现如步骤260-2110。

在步骤260，获取不同光照条件下的光照变换矩阵。

在步骤270，基于光照变换矩阵对商品的2D投影图像中的每个像素点进行偏移缩放处理，获得商品在不同光照条件下的2D投影图像。

在一个实施例中，可以利用公式(1)获得商品在不同光照条件下的2D投影图像。

其中，(x，y)为商品的2D投影图像的坐标，(x′，y′)为商品在不同光照条件下的2D投影图像的坐标，s_x、s_y表示缩放因子，d_x、d_y表示偏移量。

光照问题是影响无人货柜商品识别准确性的重要因素之一，不同光照条件下，拍摄图像的亮度会有一定的偏差。在实际情况中，若在不同的光照条件下对每个商品采集图像，既耗时又耗力，因此，可以将不同光照条件下的光照变换矩阵应用于不同角度投影生成的图像，对图像中的每个像素点颜色值进行偏移缩放，从而可得到同一商品在不同光照条件下的图像。

在一个实施例中，可以预先在真实光照条件下采集某一商品的图像信息，然后获得该商品的2D投影图像，根据图像间像素点之间的差异可以得到不同光照条件下的光照变换矩阵。在后续应用中，可以直接利用该光照变换矩阵对采集的商品的2D投影图像进行处理。

在步骤280，基于相机畸变参数确定相机畸变矩阵。

在将3D模型转换为2D图像时，会采用投影变换矩阵进行转换，但通过该方法得到的图像与不同角度拍摄的图像会有差异。投影变换矩阵是基于理想情况的前提下得到的，而在实际生活中，由于相机的构造、制作工艺等的不同，会导致相机拍摄的画面存在多种非线性畸变，因此只用投影变换矩阵不能准确描述最终成像关系，需要利用相机的畸变参数计算得到相机的畸变矩阵，然后对2D投影图像进行处理。

在步骤290，基于相机畸变矩阵对商品在不同光照条件下的2D投影图像进行处理，得到商品在不同光照条件下具有畸变效果的2D投影图像。

例如，利用公式(2)得到商品在不同光照条件下具有畸变效果的2D投影图像。

其中，(x_p，y_p)为不同光照条件下的2D投影图像的坐标，(x_d，y_d)为商品在不同光照条件下具有畸变效果的2D投影图像的坐标，k₁、k₂、k₃为径向畸变系数，p₁、p₂为切向畸变系数，r为离畸变中心的距离，其中，r²＝x²+y²。

在步骤2100，获取手型纹理贴图。

在步骤2110，基于手型纹理贴图对商品在不同光照条件下具有畸变效果的2D投影图像进行处理，得到处理后的图像。使用各种手型纹理贴图对2D投影图像进行处理，使得生成的图像具有人手拿商品的效果，从而使得图像更接近于真实环境中拍摄的商品图像。

在步骤2120，将处理后的图像作为待放置到货柜中进行识别的商品的训练数据。

在该实施例中，先获取商品的3D模型，再对商品的3D模型进行多个任意角度的投影，获取商品的2D投影图像，然后对商品的2D投影图像进行光照处理、畸变处理和手持处理等图像处理，将处理后的图像作为待放置到货柜中进行识别的商品的训练数据，能够提高训练数据的生成速度。

在一个实施例中，还可以对处理后的图像进行添加售货装置环境背景处理。即将处理后的图像放置到不同的背景里，使得处理后的图像尽量接近于真实环境中拍摄的商品图像。

在步骤310，获取商品的3D模型。

在步骤320，对商品的3D模型进行多个任意角度的投影，获取多帧商品的2D投影图像。

在步骤330，将商品的2D投影图像进行添加货柜环境背景处理，得到初始模拟图像。即将商品的2D投影图像放置到不同的环境背景里得到初始模拟图像。

在步骤340，将初始模拟图像输入至训练好的生成式对抗网络中输出虚拟图像。

在一个实施例中，需要先对生成式对抗网络进行训练。例如使用初始模拟图像和目标域图像对生成式对抗网络进行训练使得生成式对抗网络中输出虚拟图像尽量接近于真实图像，使得输出的虚拟图像具有类似光照、相机畸变以及手持商品的效果，其中，目标域图像为真实图像。

生成式对抗网络包括生成网络和判别网络。在一个实施例中，将初始模拟图像和目标域图像输入至生成式对抗网络的生成网络中，获得基于初始模拟图像的目标域虚拟图像；将目标域虚拟图像和目标域图像输入至生成式对抗网络的判定网络中，获取判定网络对目标域虚拟图像和目标域图像的相似程度的判定结果；计算生成式对抗网络的损失值；根据生成式对抗网络的损失值，对生成式对抗网络进行不断调整，直到生成式对抗网络模型收敛，以获得训练好的生成式对抗网络。

在步骤350，将虚拟图像作为待放置到货柜中进行识别的商品的训练数据。

在该实施例中，先获取商品的3D模型，再对商品的3D模型进行多个任意角度的投影，获取多帧商品的2D投影图像，然后将商品的2D投影图像进行背景处理，得到初始模拟图像，并将初始模拟图像输入至训练好的生成式对抗网络中输出虚拟图像，从而使得输出的虚拟图像接近于真实环境中拍摄的商品图像，减少了人工操作，提高了训练数据生成效率，降低了成本。

在另一个实施例中，确定商品的2D投影图像在不同背景中的相对坐标信息；将相对坐标信息作为商品的标注数据。例如，将商品的2D投影图像放置在不同的货柜环境背景中，由于2D投影图像仅包含商品，因此，在将2D投影图像与各种背景进行合成时，可以记下商品在背景中的坐标得到类似于人工标注的坐标，因此，省去了人工标注的步骤，能够更加自动化的获得标注数据。

图4为本公开训练数据生成装置的一个实施例的结构示意图。该训练数据生成装置包括3D模型获取单元410、2D投影图像获取单元420和图像处理单元430。

3D模型获取单元410被配置为获取待放置到售货装置中进行识别的商品的3D模型。例如，使用三维扫描仪拍摄商品获得商品的3D模型，或者使用单个或多个深度相机，通过调整商品或者相机角度的方式拍摄多个带深度的图像，从而得到该商品的3D模型。

2D投影图像获取单元420被配置为对商品的3D模型进行多个任意角度的投影，获取多帧商品的2D投影图像。

图像处理单元430被配置为对商品的2D投影图像进行图像相关算法处理，将处理后的图像作为待放置到售货装置中进行识别的商品的训练数据。由于得到的商品的2D投影图像与真实环境中拍摄的商品图像信息有一定的差异，例如，光照差异、相机畸变差异、手持差异等，因此，需要对商品的2D投影图像进行光照处理、畸变处理和手持处理等图像处理，使得处理后的图像尽量接近于真实环境中拍摄的商品图像。

在该实施例中，先获取商品的3D模型，再对商品的3D模型进行多个任意角度的投影，获取多帧商品的2D投影图像，然后对商品的2D投影图像进行图像处理，将处理后的图像作为待放置到售货装置中进行识别的商品的训练数据，减少了人工参与度，进而提高了训练数据的生成速度。

在本公开的另一个实施例中，图像处理单元430被配置为获取不同光照条件下的光照变换矩阵，基于光照变换矩阵对商品的2D投影图像中的每个像素点进行偏移缩放处理，获得商品在不同光照条件下的2D投影图像。

在另一个实施例中，图像处理单元430被配置为基于相机畸变参数确定相机畸变矩阵，基于相机畸变矩阵对商品在不同光照条件下的2D投影图像进行处理，得到商品在不同光照条件下具有畸变效果的2D投影图像。

在将3D模型转换为2D图像时，会采用投影变换矩阵进行转换，但通过该方法得到的图像与不同角度拍摄的图像会有差异。投影变换矩阵是基于理想情况的前提下得到的，而在实际生活中，由于相机的构造、制作工艺等的不同，会导致相机拍摄的画面存在多种非线性畸变，因此只用投影变换矩阵不能准确描述最终成像关系，需要利用相机的畸变参数计算得到相机的畸变矩阵，然后对2D投影图像进行处理，得到商品在不同光照条件下具有畸变效果的2D投影图像。

在另一个实施例中，图像处理单元430被配置为获取手型纹理贴图，基于手型纹理贴图对商品在不同光照条件下具有畸变效果的2D投影图像进行处理，得到处理后的图像。例如，使用各种手型纹理贴图对2D投影图像进行处理，使得生成的图像具有人手拿商品的效果，从而使得图像更接近于真实环境中拍摄的商品图像。

在该实施例中，先获取商品的3D模型，再对商品的3D模型进行多个任意角度的投影，获取多帧商品的2D投影图像，然后对商品的2D投影图像光照处理、畸变处理和手持处理等图像处理，将处理后的图像作为待放置到售货装置中进行识别的商品的训练数据，能够提高训练数据的生成速度。

在一个实施例中，图像处理单元430还被配置为对处理后的图像进行添加售货装置环境背景处理。即将处理后的图像放置到不同的背景里，使得处理后的图像尽量接近于真实环境中拍摄的商品图像。

图5为本公开训练数据生成装置的另一个实施例的结构示意图。该训练数据生成装置包括3D模型获取单元410、2D投影图像获取单元420和图像处理单元430外，还包括生成式对抗网络训练单元510。

该实施例中，图像处理单元430被配置为将商品的2D投影图像进行添加售货装置环境背景处理，得到初始模拟图像，将初始模拟图像输入至训练好的生成式对抗网络中输出虚拟图像，将虚拟图像作为待放置到售货装置中进行识别的商品的训练数据。

生成式对抗网络训练单元510被配置为将初始模拟图像和目标域图像输入至生成式对抗网络的生成网络中，获得基于初始模拟图像的目标域虚拟图像；将目标域虚拟图像和目标域图像输入至生成式对抗网络的判定网络中，获取判定网络对目标域虚拟图像和目标域图像的相似程度的判定结果；计算生成式对抗网络的损失值；根据生成式对抗网络的损失值，对生成式对抗网络进行调整，以获得训练好的生成式对抗网络。

在该实施例中，先获取商品的3D模型，再对商品的3D模型进行多个任意角度的投影，获取多帧商品的2D投影图像，然后将商品的2D投影图像进行背景处理，得到初始模拟图像，并将初始模拟图像输入至训练好的生成式对抗网络中输出虚拟图像，从而使得输出的虚拟图像接近于真实环境中拍摄的商品图像，减少了人工操作，提高了训练数据生成效率。

图6为本公开训练数据生成装置的再一个实施例的结构示意图。该训练数据生成装置还包括标注信息获取单元610，被配置为确定商品的2D投影图像在不同背景中的相对坐标信息，将相对坐标信息作为商品的标注数据。例如，将商品的2D投影图像放置在不同的货柜环境背景中，由于2D投影图像仅包含商品，因此，在将2D投影图像与各种背景进行合成时，可以记下商品在背景中的坐标得到类似于人工标注的坐标，因此，省去了人工标注的步骤，能够更加自动化的获得标注数据。

图7为本公开训练数据生成装置的又一个实施例的结构示意图。该训练数据生成装置包括存储器710和处理器720，其中，处理器720被配置为基于存储在存储器中的指令，执行前述任意一个实施例中的方法。

其中，存储器710例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序(Boot Loader)以及其他程序等。

本公开的一些实施例提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意一个实施例中的方法。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims

1.一种训练数据生成方法，包括：

获取待放置到售货装置中进行识别的商品的3D模型；

对所述商品的3D模型进行多个任意角度的投影，获取多帧所述商品的2D投影图像；

获取不同光照条件下的光照变换矩阵；

基于所述光照变换矩阵对所述商品的2D投影图像中的每个像素点进行偏移缩放处理，获得所述商品在不同光照条件下的2D投影图像；

基于相机畸变参数确定相机畸变矩阵；

基于所述相机畸变矩阵对所述商品在不同光照条件下的2D投影图像进行处理，得到所述商品在不同光照条件下具有畸变效果的2D投影图像；

获取手型纹理贴图；

基于所述手型纹理贴图对所述商品在不同光照条件下具有畸变效果的2D投影图像进行处理，得到处理后的图像；

将处理后的图像作为待放置到售货装置中进行识别的商品的训练数据，其中，确定所述商品的2D投影图像在不同背景中的相对坐标信息，将所述相对坐标信息作为所述商品的标注数据。

2.根据权利要求1所述的训练数据生成方法，还包括：

对所述处理后的图像进行添加售货装置环境背景处理。

3.根据权利要求1所述的训练数据生成方法，还包括：

对所述商品的2D投影图像进行添加售货装置环境背景处理，得到初始模拟图像；

将所述初始模拟图像输入至训练好的生成式对抗网络中输出虚拟图像；

将所述虚拟图像作为待放置到售货装置中进行识别的商品的训练数据。

4.根据权利要求3所述的训练数据生成方法，还包括：

将所述初始模拟图像和目标域图像输入至所述生成式对抗网络的生成网络中，获得基于初始模拟图像的目标域虚拟图像；

将所述目标域虚拟图像和目标域图像输入至所述生成式对抗网络的判定网络中，获取所述判定网络对目标域虚拟图像和目标域图像的相似程度的判定结果；

计算所述生成式对抗网络的损失值；

根据所述生成式对抗网络的损失值，对生成式对抗网络进行调整，以获得训练好的生成式对抗网络。

5.一种训练数据生成装置，包括：

3D模型获取单元，被配置为获取待放置到售货装置中进行识别的商品的3D模型；

2D投影图像获取单元，被配置为对所述商品的3D模型进行多个任意角度的投影，获取多帧所述商品的2D投影图像；

图像处理单元，被配置为获取不同光照条件下的光照变换矩阵，基于所述光照变换矩阵对所述商品的2D投影图像中的每个像素点进行偏移缩放处理，获得所述商品在不同光照条件下的2D投影图像，基于相机畸变参数确定相机畸变矩阵，基于所述相机畸变矩阵对所述商品在不同光照条件下的2D投影图像进行处理，得到所述商品在不同光照条件下具有畸变效果的2D投影图像，获取手型纹理贴图，基于所述手型纹理贴图对所述商品在不同光照条件下具有畸变效果的2D投影图像进行处理，得到处理后的图像，将处理后的图像作为待放置到售货装置中进行识别的商品的训练数据；

标注信息获取单元，被配置为确定所述商品的2D投影图像在不同背景中的相对坐标信息，将所述相对坐标信息作为所述商品的标注数据。

6.根据权利要求5所述的训练数据生成装置，还包括：

所述图像处理单元还被配置为对所述处理后的图像进行添加售货装置环境背景处理。

7.根据权利要求5所述的训练数据生成装置，其中，

所述图像处理单元被配置为对所述商品的2D投影图像进行添加售货装置环境背景处理，得到初始模拟图像，将所述初始模拟图像输入至训练好的生成式对抗网络中输出虚拟图像，将所述虚拟图像作为待放置到售货装置中进行识别的商品的训练数据。

8.根据权利要求7所述的训练数据生成装置，还包括：

生成式对抗网络训练单元，被配置为将所述初始模拟图像和目标域图像输入至所述生成式对抗网络的生成网络中，获得基于初始模拟图像的目标域虚拟图像；将所述目标域虚拟图像和目标域图像输入至所述生成式对抗网络的判定网络中，获取所述判定网络对目标域虚拟图像和目标域图像的相似程度的判定结果；计算所述生成式对抗网络的损失值；根据所述生成式对抗网络的损失值，对生成式对抗网络进行调整，以获得训练好的生成式对抗网络。

9.一种训练数据生成装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至4任一项所述的训练数据生成方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至4任一项所述的训练数据生成方法的步骤。