CN113256778A - 生成车辆外观部件识别样本的方法、装置、介质及服务器 - Google Patents

生成车辆外观部件识别样本的方法、装置、介质及服务器 Download PDF

Info

Publication number
CN113256778A
CN113256778A CN202110754155.4A CN202110754155A CN113256778A CN 113256778 A CN113256778 A CN 113256778A CN 202110754155 A CN202110754155 A CN 202110754155A CN 113256778 A CN113256778 A CN 113256778A
Authority
CN
China
Prior art keywords
vehicle
image
style
rendering
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110754155.4A
Other languages
English (en)
Other versions
CN113256778B (zh
Inventor
刘海龙
苏孝强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aibao Technology Co ltd
Original Assignee
Aibao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aibao Technology Co ltd filed Critical Aibao Technology Co ltd
Priority to CN202110754155.4A priority Critical patent/CN113256778B/zh
Publication of CN113256778A publication Critical patent/CN113256778A/zh
Application granted granted Critical
Publication of CN113256778B publication Critical patent/CN113256778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例涉及智能保险领域，公开了一种生成车辆外观部件识别样本的方法、装置、介质及服务器。该方法包括：获取待处理车辆的三维模型信息；根据三维模型信息获取车辆部件的ID贴图；设置渲染数据，渲染数据包括观测相机的内外参数、光源参数和背景图像；根据渲染数据及车辆部件的ID贴图将车辆三维模型渲染为二维车辆图像，并得到车辆图像上的车辆部件掩膜；用CycleGAN网络训练车辆图像风格转换器，在保持部件掩膜位置的同时将渲染的车辆图像进一步风格迁移为真实风格车辆图像。本发明的实施自动生成具有准确掩膜级部件标注的车辆图片样本，可以显著节省车辆部件识别任务的人工标注成本。

Description

生成车辆外观部件识别样本的方法、装置、介质及服务器
技术领域
本发明实施例涉及智能保险领域，特别涉及一种生成车辆外观部件识别样本的方法、装置、介质及服务器。
背景技术
基于图像识别的车辆定损已开始应用于车辆保险领域，通常使用深度神经网络（DNN）模型对拍摄的车辆外观损伤图像按部件进行分割，并对图像上各类车辆损伤区域进行检测或分割，然后将部件分割结果和损伤检测或分割的结果按图像位置进行融合，最终输出图像中每个车辆部件的损伤判定结果。
为了实现对车辆部件的分割，现有的常见分割网络如MaskRCNN的训练需要大量具有像素级标注的图片样本，标注人员需对图片中出现的所有车辆部件沿轮廓进行多边形标注，与只需要做简单外接矩形框标注的检测任务相比，前者所需的标注工作量超过后者的几倍。为了覆盖多达五十几种的车辆外观件，以及各种不同的车系车型，训练一个可用的车辆部件分割模型所需的图像样本往往要达到几十万张的量级，其标注成本巨大，单靠人工难以实现。
发明内容
本发明实施方式的目的在于提供一种生成车辆外观部件识别样本的方法、装置、介质及服务器，本发明中自动生成的车辆图片样本带有准确的掩膜级部件标注，可以显著节省车辆部件识别任务的人工标注成本。
人工智能领域的实践已经证明，模拟应用场景生成的样本对于深度神经网络的训练同样是有效的。车辆为刚性物体，同一车型的车辆其各部件在三维空间中的相对位置关系固定。这意味着该车型的众多车辆图片尽管颜色，拍摄设备、拍摄角度和距离、光照条件都有区别，但图片中车辆各部件的位置分布受到三维空间到二维图像平面的内在关系约束。
基于此，本发明的实施方式提供了以下解决方案：
一方面，一种生成车辆外观部件识别样本的方法，包括：
获取待处理车辆的三维模型信息；
根据三维模型信息获取每个车辆部件的ID贴图；
设置渲染数据，渲染数据包括观测相机的内外参数、光源参数和背景图像；
根据所述渲染数据和每个车辆部件的ID贴图对车辆三维模型渲染生成二维车辆图像，并得到所述二维车辆图像上的车辆部件掩膜位置；
用CycleGAN网络训练车辆图像风格转换器，所述车辆图像风格转换器在保持部件掩膜位置的同时将渲染的车辆图像进一步风格迁移为真实风格车辆图像，所述真实风格车辆图像和对应的车辆部件掩膜作为车辆外观部件识别任务的样本。
进一步可选的，所述三维模型信息包括顶点坐标、顶点法向量、顶点对应的纹理坐标、模型面片的顶点索引，以及用于反映车辆部件的颜色、材质、反射率的纹理贴图，根据三维模型信息获取每个车辆部件的ID贴图包括：
将材质纹理贴图按部件拆分生成一张反映车辆部件ID的贴图；
纹理贴图上每个像素的取值为该像素所属车辆部件ID的值。
进一步可选的，根据所述渲染数据和车辆部件的ID贴图将车辆三维模型渲染为二维车辆图像，并得到车辆图像上的车辆部件掩膜包括：
根据相机内外参数确定模型坐标系到屏幕坐标系的坐标变换矩阵；
根据相机内外参数、光源参数、背景图像，车辆3D模型中颜色、材质、反射率信息，使用真实感渲染3D引擎将车辆三维模型渲染为二维图片；
根据车辆三维模型、坐标变换矩阵以及车辆部件的ID贴图，得到二维车辆图像中的车辆部件掩膜位置。
进一步可选的，所述用CycleGAN网络训练车辆图像风格转换器，包括：
收集渲染车辆图像和真实车辆图像样本，训练CycleGAN网络，获得从渲染风格车辆图像到真实风格车辆图像的车辆图像风格转换器；
将所述渲染二维车辆图像输入所述车辆图像风格转换器，转换器输出真实风格车辆图像。将输出的真实风格车辆图像和对应的车辆部件掩膜作为车辆外观部件识别任务的标注样本。
进一步可选的，所述训练CycleGAN网络，获得从渲染风格车辆图像到真实风格车辆图像的车辆图像风格转换器包括：
准备训练样本，CycleGAN网络的X域对应为渲染车辆图像，由不同车型的3D车辆模型反复采样不同渲染参数渲染获得；CycleGAN网络的Y域对应为真实车辆图像，从真实场景中收集获得。
构建CycleGAN网络，所述CycleGAN网络包括第一图像生成器、第二图像生成器、第一判别器、第二判别器，所述第一图像生成器从X域渲染车辆图像生成伪真实图像，所述第二图像生成器从Y域真实图像生成伪渲染图像，所述第一判别器用于区分Y域真实图像和生成的伪真实图像，所述第二判别器用于区分X域渲染图像和生成的伪渲染图像；
构建CycleGAN网络的损失函数；
采用Adam优化器交替更新CycleGAN网络第一、第二图像生成器和第一、第二判别器的参数使得网络损失函数值下降，当网络达到纳什平衡状态即判别器无法区分真假X域或Y域图像时训练结束，此时获得的第一图像生成器即作为所述车辆图像风格转换器。
另一方面，一种生成车辆外观部件识别样本的装置，包括：
三维模型信息获取模块，获取待处理车辆的三维模型信息；
ID贴图获取模块，根据三维模型信息获取每个车辆部件的ID贴图；
渲染设置模块，设置渲染数据，渲染数据包括观测相机的内外参数、光源参数和背景图像；
渲染生成模块，根据所述渲染数据和每个车辆部件的ID贴图对车辆三维模型渲染生成二维车辆图像，并得到车辆图像上的车辆部件掩膜位置；
图像转换模块，用CycleGAN网络模型训练得到车辆图像风格转换器，所述车辆图像风格转换器在保持所述车辆部件掩膜位置的同时将渲染生的车辆图像进一步风格迁移为真实风格车辆图像，所述真实风格车辆图像和对应的车辆部件掩膜作为车辆外观部件识别任务的标注样本。
再一方面，一种服务器，包括：
至少一个处理器；以及，
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述生成车辆外观部件识别样本的方法。
又一方面，一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述生成车辆外观部件识别样本的方法。
本发明实施例提供的生成车辆外观部件识别样本的方法、装置、介质及服务器，获取待处理车辆的三维模型信息；根据三维模型信息获取每个车辆部件的ID贴图；设置渲染数据，渲染数据包括观测相机的内外参数、光源参数和背景图像；根据渲染数据、车辆部件的ID贴图将车辆三维模型渲染为二维车辆图像，并得到车辆图像上的车辆部件掩膜位置；训练CycleGAN网络模型得到车辆图像风格转换器，用该图像风格转换器将渲染车辆图像风格迁移为真实风格车辆图像，同时保持图像中车辆部件掩膜的位置。本发明通过自动生成有准确掩膜级部件标注的车辆图片样本，可以显著节省车辆部件识别任务的人工标注成本。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例中一种生成车辆外观部件识别样本的方法的流程示意图；
图2是本发明实施例中另一种生成车辆外观部件识别样本的方法的流程示意图；
图3是图2所示方法中步骤2051的流程示意图；
图4是本发明实施例中一种生成车辆外观部件识别样本的装置的功能结构示意图；
图5是本发明实施例中一种生成车辆外观部件识别样本的方法中的获取的三维车辆模型；
图6是本发明实施例中一种生成车辆外观部件识别样本的方法中的按部件分组的车辆3D模型；
图7是本发明实施例中一种生成车辆外观部件识别样本的方法中的车辆模型中的纹理贴图（左）和车辆部件的ID贴图（右）；
图8是本发明实施例中一种生成车辆外观部件识别样本的方法中的渲染参数示意图；
图9是本发明实施例中一种生成车辆外观部件识别样本的方法中的车辆部件掩膜图；
图10是本发明实施例中一种生成车辆外观部件识别样本的方法中的渲染车辆图像（左列）和对应车辆部件掩膜图（右列）；
图11是本发明实施例中一种生成车辆外观部件识别样本的方法中的CycleGAN网络示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种生成车辆外观部件识别样本的方法，其流程如图1所示，具体如下：
101：获取待处理车辆的三维模型信息。
102：根据所述三维模型信息获取每个车辆部件的ID贴图。
103：设置渲染数据，其中，渲染数据包括观测相机的内外参数、光源参数和背景图像。
104：根据所述渲染数据和每个车辆部件的ID贴图将车辆三维模型渲染为二维车辆图像，并得到车辆图像上的车辆部件掩膜位置。
105：用CycleGAN网络训练车辆图像风格转换器，对所述渲染生成的二维车辆图像进行风格迁移，在保持所述车辆部件掩膜的同时输出变换的真实风格车辆图像，所述输出的真实风格车辆图像和对应的车辆部件掩膜即作为车辆外观部件识别任务的标注样本。
作为上述实施例的一种改进，本发明实施例提供另一种生成车辆外观部件识别样本的方法，如图2所示：
201：获取待处理车辆的三维模型信息；如图5所示，所述三维模型中包含了顶点坐标v、顶点法向量vn、顶点对应的纹理坐标vt、模型面片的顶点索引、以及反映颜色、材质、反射率等信息的纹理贴图。另外，如图6所示，车辆三维模型中已按不同部件名称对模型中的顶点和面片进行了分组，即顶点v 已经含有了其所属部件的信息，表示为v(x,y,z,partId), 其中partId 指代不同车辆部件如车门、叶子板、保险杠、车灯等的标识ID。
202：根据材质纹理贴图和模型中的部件分组信息，将材质纹理贴图按部件拆分为一张反映车辆部件ID的贴图，在该贴图上每个像素的取值为该像素所属车辆部件ID，如图7所示。
203：设置渲染数据，所述渲染数据包括观测相机的内外参数、光源参数和背景图像；相机内参数由相机内参矩阵和镜头畸变参数组成，收集不同手机和数码相机公开的镜头生产参数，包括焦距、像素尺寸等构成相机内参矩阵；相机外参数由观测相机光心在世界坐标系中的位置决定，假设车辆模型放置于世界坐标系的原点，用观测相机光心相对于车辆模型中心的高度、角度、距离来描述外参；光源可以是来自各种方向、各种类型的点线面光源；另外，收集多种场景如街道、停车场的图像等作为渲染车辆模型的背景图像。实际渲染采样时，从事先已设定好的相机内外参数、光源参数和背景图像的候选集合中，采样得到一组相应的渲染参数值。
204：根据所述渲染参数值以及车辆部件的ID贴图，将车辆三维模型渲染生成二维车辆图像，同时得到所述二维车辆图像上的车辆部件掩膜位置。
在一些可选实施例中，步骤204可以包括但不限于以下步骤实现：
2041、根据所述相机的内外参数，计算从模型坐标系（3D）到屏幕坐标系（2D）的坐标变换矩阵T: (x,y,z) → (u,v)。
2042、如图8所示，根据相机内外参数、光源参数、背景图像，车辆3D模型中颜色、材质、反射率信息，使用真实感渲染3D引擎将3D车辆模型渲染为二维车辆图像。本步骤通过3D渲染引擎的可编程接口实现，无需人工在渲染软件界面中操作。
2043、根据车辆的三维模型、所述坐标变换矩阵T以及车辆部件的ID贴图，得到渲染二维车辆图像中各部件掩膜的位置，如图9所示。
205：用经过训练的CycleGAN网络模型对所述渲染生成的二维车辆图像进行风格迁移，在保持所述车辆部件掩膜的同时变换输出真实风格车辆图像。
2051、采用CycleGAN网络训练获得车辆图像风格转换器。
参见图3，步骤2051可以通过但不限于以下过程实现：
20511、准备训练样本：CycleGAN网络的X域对应为渲染车辆图像，可由不同车型的3D车辆模型按步骤201-204反复采样不同参数渲染获得，如图10所示就是同一车型模型多次渲染得到的图像；CycleGAN网络的Y域对应为真实车辆图像，可从真实场景中大量收集得到。
20512、构建CycleGAN网络，如图11所示，CycleGAN网络包括第一图像生成器G、第一判别器DY、第二图像生成器F、第二判别器DX，所述第一图像生成器从X域渲染车辆图像生成伪真实图像，所述第二图像生成器从Y域真实图像生成伪渲染图像，所述第一判别器用于区分Y域真实图像和生成的伪真实图像，所述第二判别器用于区分真正的X域渲染图像和生成的伪渲染图像。
在一种实施例中，图像生成器G和F可采用具有Encoder-Decoder结构的卷积神经网络，整个网络由编码模块、转换模块、解码模块三部分组成：编码模块由一个输入层和两个下采样卷积层组成；转换模块由若干个残差模块级联组成；解码模块包括两个反卷积层和一个输出层。
在一种实施例中，判别器DX和DY可采用Patch-GAN方法的策略，将输入图像裁剪为N*N个有交叠的patch子图像输入卷积神经网络，网络有5个卷积层，滤波器数量分别为64，128，256，512，1，padding均为1，激活函数均为LeakReLu；判别器最终输出一个N*N*1的预测映射，相当于为N*N个patch分别预测该patch图像属于X域或Y域的概率，N*N个概率的均值即作为判别器对整张输入图像的判别输出。
20513、构建CycleGAN网络的损失函数。
第一图像生成器G和第一判别器D Y 的对抗损失为：
Figure 401928DEST_PATH_IMAGE001
第二图像生成器F和第二判别器D X 的对抗损失为：
Figure 194435DEST_PATH_IMAGE002
循环一致性损失为：
Figure 911855DEST_PATH_IMAGE004
其中下标1表示1范数。
完整的损失函数为：
Figure DEST_PATH_IMAGE005
其中λ为循环一致性损失和对抗损失的相对权重系数，实施例中可取λ=10。
20514、采用Adam优化器，交替更新CycleGAN网络的第一、第二图像生成器和第一、第二判别器参数使得网络损失函数值下降，当网络达到纳什平衡状态即判别器无法区分真假X域或Y域图像时训练结束，此时的第一图像生成器作为车辆图像风格转换器。
2052、用所述的车辆图像风格转换器，对204步骤中渲染生成的二维车辆图像进行风格迁移，在保持所述车辆部件掩膜的同时变换输出真实风格车辆图像，所述输出的真实风格车辆图像和对应的车辆部件掩膜即作为车辆外观部件识别任务的标注样本。
本发明实施例提供一种生成车辆外观部件识别样本的装置，如图4所示，包括：
三维模型信息获取模块401，获取待处理车辆的三维模型信息。
ID贴图获取模块402，根据三维模型信息获取车辆部件的ID贴图。
渲染设置模块403，设置渲染数据，渲染数据包括观测相机的内外参数、光源参数和背景图像。
渲染生成模块404，根据渲染数据、车辆部件的ID贴图渲染车辆的三维图片，得到二维车辆图像，以及车辆图像上的车辆部件掩膜位置。
图像转换模块405，用CycleGAN网络模型训练得到车辆图像风格转换器，将所述的渲染车辆图像风格迁移为真实风格车辆图像，同时保持车辆部件掩膜的位置。输出的真实风格车辆图像和对应的车辆部件掩膜即作为车辆外观部件识别任务的样本。
本发明实施例提供一种服务器，包括：
至少一个处理器；以及，
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述生成车辆外观部件识别样本的方法。
本发明实施例提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述生成车辆外观部件识别样本的方法。
本发明实施例提供的生成车辆外观部件识别样本的装置、介质及服务器，获取待处理车辆的三维模型信息；根据三维模型信息获取每个车辆部件的ID贴图；设置渲染数据，渲染数据包括观测相机的内外参数、光源参数和背景图像；根据渲染数据和车辆部件的ID贴图渲染车辆的二维图像并得到车辆图像上的车辆部件掩膜位置；进一步用CycleGAN网络模型训练得到的车辆图像风格转换器将渲染车辆图像风格迁移为真实风格车辆图像。本发明通过自动生成有准确掩膜级部件标注的车辆图片样本，显著节省车辆部件识别任务的人工标注成本。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
不难发现，本实施方式为与第一实施方式相对应的装置、介质及设备实施例，本实施方式可与生成车辆外观部件识别样本的方法实施例互相配合实施。生成车辆外观部件识别样本的方法实施例中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在生成车辆外观部件识别样本的方法实施例中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1.一种生成车辆外观部件识别样本的方法，其特征在于，包括：
获取待处理车辆的三维模型信息；
根据所述三维模型信息获取车辆部件的ID贴图；
设置渲染数据，所述渲染数据包括观测相机的内外参数、光源参数和背景图像；
根据所述渲染数据和所述车辆部件的ID贴图将车辆三维模型渲染为二维车辆图像，并得到车辆图像上的车辆部件掩膜位置；
用CycleGAN网络训练车辆图像风格转换器，所述车辆图像风格转换器在保持部件掩膜位置的同时将渲染的车辆图像进一步风格迁移为真实风格车辆图像，所述真实风格车辆图像和对应的车辆部件掩膜作为车辆外观部件识别任务的标注样本。
2.根据权利要求1所述的生成车辆外观部件识别样本的方法，其特征在于，所述三维模型信息包括：顶点坐标、顶点法向量、顶点对应的纹理坐标、模型面片的顶点索引，还包括用于反映车辆部件的颜色、材质、反射率在内的纹理贴图，所述根据所述三维模型信息获取车辆部件的ID贴图包括：
将材质纹理贴图按部件拆分生成一张反映车辆部件ID的贴图；
纹理贴图上每个像素的取值为该像素所属车辆部件ID的值。
3.根据权利要求1所述的生成车辆外观部件识别样本的方法，其特征在于，所述根据所述渲染数据和所述车辆部件ID贴图将车辆三维模型渲染为二维车辆图像，并得到车辆图像上的车辆部件掩膜位置包括：
根据所述相机内外参数确定模型坐标系到屏幕坐标系的坐标变换矩阵；
根据所述相机内外参数、光源参数、背景图像，以及车辆3D模型中颜色、材质、反射率信息，使用真实感渲染3D引擎将车辆三维模型渲染为二维图片；
根据所述车辆的三维模型、坐标变换矩阵以及车辆部件的ID贴图，得到二维车辆图像中的车辆部件掩膜位置。
4.根据权利要求1所述的生成车辆外观部件识别样本的方法，其特征在于，所述用CycleGAN网络训练车辆图像风格转换器，包括：
收集渲染车辆图像和真实车辆图像样本，训练CycleGAN网络，获得从渲染风格车辆图像到真实风格车辆图像的车辆图像风格转换器；
将所述渲染二维车辆图像输入所述车辆图像风格转换器，转换器输出真实风格车辆图像，将输出的真实风格车辆图像和对应的车辆部件掩膜作为车辆外观部件识别任务的标注样本。
5.根据权利要求4所述的生成车辆外观部件识别样本的方法，其特征在于，所述训练CycleGAN网络，获得从渲染风格车辆图像到真实风格车辆图像的车辆图像风格转换器包括：
准备训练样本，CycleGAN网络的X域采用由不同车型三维模型渲染生成的车辆图像，CycleGAN网络的Y域采用收集的真实车辆图像；
构建CycleGAN网络，所述CycleGAN网络包括第一图像生成器、第二图像生成器、第一判别器、第二判别器，所述第一图像生成器由X域渲染车辆图像生成伪真实车辆图像，所述第二图像生成器由Y域真实图像生成伪渲染车辆图像，所述第一判别器用于区分真正的X域渲染车俩图像和生成的伪渲染车俩图像，所述第二判别器用于区分Y域真实车俩图像和生成的伪真实车俩图像；
构建CycleGAN网络的损失函数；
采用Adam优化器交替更新CycleGAN网络第一、第二图像生成器和第一、第二判别器的参数使得网络损失函数值下降，网络达到纳什平衡状态即判别器无法区分真假图像时的第一图像生成器作为所述车辆图像风格转换器。
6.一种生成车辆外观部件识别样本的装置，其特征在于，包括：
三维模型信息获取模块，获取待处理车辆的三维模型信息；
ID贴图获取模块，根据所述三维模型信息获取车辆部件的ID贴图；
渲染设置模块，设置渲染数据，所述渲染数据包括观测相机的内外参数、光源参数和背景图像；
渲染生成模块，根据所述渲染数据和所述每个车辆部件的ID贴图将车辆三维模型渲染生成二维车辆图像，并得到车辆图像上的车辆部件掩膜位置；
图像转换模块，用CycleGAN网络训练车辆图像风格转换器，所述车辆图像风格转换器在保持所述车辆部件掩膜位置的同时将渲染生的车辆图像进一步风格迁移为真实风格车辆图像，所述真实风格车辆图像和对应的车辆部件掩膜作为车辆外观部件识别任务的标注样本。
7.一种服务器，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的生成车辆外观部件识别样本的方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的生成车辆外观部件识别样本的方法。
CN202110754155.4A 2021-07-05 2021-07-05 生成车辆外观部件识别样本的方法、装置、介质及服务器 Active CN113256778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110754155.4A CN113256778B (zh) 2021-07-05 2021-07-05 生成车辆外观部件识别样本的方法、装置、介质及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110754155.4A CN113256778B (zh) 2021-07-05 2021-07-05 生成车辆外观部件识别样本的方法、装置、介质及服务器

Publications (2)

Publication Number Publication Date
CN113256778A true CN113256778A (zh) 2021-08-13
CN113256778B CN113256778B (zh) 2021-10-12

Family

ID=77190652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110754155.4A Active CN113256778B (zh) 2021-07-05 2021-07-05 生成车辆外观部件识别样本的方法、装置、介质及服务器

Country Status (1)

Country Link
CN (1) CN113256778B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187633A (zh) * 2021-12-07 2022-03-15 北京百度网讯科技有限公司 图像处理方法及装置、图像生成模型的训练方法及装置
CN114227722A (zh) * 2022-01-20 2022-03-25 北京史河科技有限公司 一种可精准识别生锈区域的船只内舱除锈机器人的定位机构
CN114419029A (zh) * 2022-03-11 2022-04-29 深圳艾灵网络有限公司 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置
CN114782620A (zh) * 2022-03-04 2022-07-22 清华大学 一种基于三维渲染的飞机图像生成方法和装置
CN115205707A (zh) * 2022-09-13 2022-10-18 阿里巴巴（中国）有限公司 样本图像生成方法、存储介质以及电子设备
CN116051705A (zh) * 2022-09-21 2023-05-02 北京数字力场科技有限公司 模型训练方法、3d服装渲染方法、电子设备及存储介质
WO2023105275A1 (en) * 2021-12-10 2023-06-15 Sensetime International Pte. Ltd. Data generation method and apparatus, electronic device and computer storage medium
AU2021290413A1 (en) * 2021-12-10 2023-06-29 Sensetime International Pte. Ltd. Data generation method and apparatus, electronic device and computer storage medium
CN116740334A (zh) * 2023-06-23 2023-09-12 河北大学 一种基于双目视觉和改进yolo的无人机入侵检测定位方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632530A (zh) * 2018-05-08 2018-10-09 阿里巴巴集团控股有限公司 一种车辆定损的数据处理方法、装置、处理设备及客户端
CN109657596A (zh) * 2018-12-12 2019-04-19 天津卡达克数据有限公司 一种基于深度学习的车辆外观部件识别方法
US20190228587A1 (en) * 2018-01-24 2019-07-25 Google Llc Image Style Transfer for Three-Dimensional Models
CN110211192A (zh) * 2019-05-13 2019-09-06 南京邮电大学 一种基于深度学习的三维模型到二维图像的渲染方法
CN110428388A (zh) * 2019-07-11 2019-11-08 阿里巴巴集团控股有限公司 一种图像数据生成方法及装置
CN110490960A (zh) * 2019-07-11 2019-11-22 阿里巴巴集团控股有限公司 一种合成图像生成方法及装置
US20200151938A1 (en) * 2018-11-08 2020-05-14 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN111242064A (zh) * 2020-01-17 2020-06-05 山东师范大学 基于摄像头风格迁移和单标注的行人重识别方法及***
CN111814660A (zh) * 2020-07-07 2020-10-23 集美大学 一种图像识别方法、终端设备及存储介质
CN112132113A (zh) * 2020-10-20 2020-12-25 北京百度网讯科技有限公司 车辆再识别的方法、装置、训练方法以及电子设备
CN112237739A (zh) * 2019-07-17 2021-01-19 厦门雅基软件有限公司 游戏角色渲染方法、装置、电子设备及计算机可读介质
CN112634444A (zh) * 2021-03-10 2021-04-09 北京智源人工智能研究院 一种基于三维信息的人体姿态迁移方法、装置、存储介质及终端
CN112669431A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 图像处理方法、装置、设备、存储介质以及程序产品
CN112907734A (zh) * 2021-03-09 2021-06-04 中南大学 基于虚拟crh380a模型和深度学习的teds故障检测方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190228587A1 (en) * 2018-01-24 2019-07-25 Google Llc Image Style Transfer for Three-Dimensional Models
CN108632530A (zh) * 2018-05-08 2018-10-09 阿里巴巴集团控股有限公司 一种车辆定损的数据处理方法、装置、处理设备及客户端
US20200151938A1 (en) * 2018-11-08 2020-05-14 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN109657596A (zh) * 2018-12-12 2019-04-19 天津卡达克数据有限公司 一种基于深度学习的车辆外观部件识别方法
CN110211192A (zh) * 2019-05-13 2019-09-06 南京邮电大学 一种基于深度学习的三维模型到二维图像的渲染方法
CN110490960A (zh) * 2019-07-11 2019-11-22 阿里巴巴集团控股有限公司 一种合成图像生成方法及装置
CN110428388A (zh) * 2019-07-11 2019-11-08 阿里巴巴集团控股有限公司 一种图像数据生成方法及装置
CN112237739A (zh) * 2019-07-17 2021-01-19 厦门雅基软件有限公司 游戏角色渲染方法、装置、电子设备及计算机可读介质
CN111242064A (zh) * 2020-01-17 2020-06-05 山东师范大学 基于摄像头风格迁移和单标注的行人重识别方法及***
CN111814660A (zh) * 2020-07-07 2020-10-23 集美大学 一种图像识别方法、终端设备及存储介质
CN112132113A (zh) * 2020-10-20 2020-12-25 北京百度网讯科技有限公司 车辆再识别的方法、装置、训练方法以及电子设备
CN112669431A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 图像处理方法、装置、设备、存储介质以及程序产品
CN112907734A (zh) * 2021-03-09 2021-06-04 中南大学 基于虚拟crh380a模型和深度学习的teds故障检测方法
CN112634444A (zh) * 2021-03-10 2021-04-09 北京智源人工智能研究院 一种基于三维信息的人体姿态迁移方法、装置、存储介质及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAN HU等: "Image Style Transfer based on Generative Adversarial Network", 《IEEE XPLORE》 *
蔡英凤等: "视觉车辆识别迁移学习算法", 《东南大学学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187633A (zh) * 2021-12-07 2022-03-15 北京百度网讯科技有限公司 图像处理方法及装置、图像生成模型的训练方法及装置
WO2023105275A1 (en) * 2021-12-10 2023-06-15 Sensetime International Pte. Ltd. Data generation method and apparatus, electronic device and computer storage medium
AU2021290413A1 (en) * 2021-12-10 2023-06-29 Sensetime International Pte. Ltd. Data generation method and apparatus, electronic device and computer storage medium
CN114227722A (zh) * 2022-01-20 2022-03-25 北京史河科技有限公司 一种可精准识别生锈区域的船只内舱除锈机器人的定位机构
CN114782620A (zh) * 2022-03-04 2022-07-22 清华大学 一种基于三维渲染的飞机图像生成方法和装置
CN114419029A (zh) * 2022-03-11 2022-04-29 深圳艾灵网络有限公司 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置
CN115205707A (zh) * 2022-09-13 2022-10-18 阿里巴巴（中国）有限公司 样本图像生成方法、存储介质以及电子设备
CN116051705A (zh) * 2022-09-21 2023-05-02 北京数字力场科技有限公司 模型训练方法、3d服装渲染方法、电子设备及存储介质
CN116051705B (zh) * 2022-09-21 2023-10-27 北京数字力场科技有限公司 模型训练方法、3d服装渲染方法、电子设备及存储介质
CN116740334A (zh) * 2023-06-23 2023-09-12 河北大学 一种基于双目视觉和改进yolo的无人机入侵检测定位方法
CN116740334B (zh) * 2023-06-23 2024-02-06 河北大学 一种基于双目视觉和改进yolo的无人机入侵检测定位方法

Also Published As

Publication number Publication date
CN113256778B (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
CN113256778B (zh) 生成车辆外观部件识别样本的方法、装置、介质及服务器
US10592780B2 (en) Neural network training system
CN109829849B (zh) 一种训练数据的生成方法、装置和终端
DE112019002589T5 (de) Tiefenlernsystem
CN108537876A (zh) 基于深度相机的三维重建方法、装置、设备及存储介质
CN110766038B (zh) 无监督式的地貌分类模型训练和地貌图构建方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
CN112465970B (zh) 导航地图构建方法、装置、***、电子装置和存储介质
CN110728295B (zh) 半监督式的地貌分类模型训练和地貌图构建方法
CN110060331A (zh) 一种基于全卷积神经网络的单目相机室外三维重建方法
CN110992366B (zh) 一种图像语义分割方法、装置及存储介质
CN113763231B (zh) 模型生成方法、图像透视图确定方法、装置、设备及介质
CN116343103B (zh) 一种基于三维gis场景与视频融合的自然资源监管方法
CN113066112B (zh) 一种基于三维模型数据的室内外融合方法及装置
Condorelli et al. A comparison between 3D reconstruction using nerf neural networks and mvs algorithms on cultural heritage images
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN112651881A (zh) 图像合成方法、装置、设备、存储介质以及程序产品
CN113378897A (zh) 基于神经网络的遥感图像分类方法、计算设备及存储介质
CN112053440A (zh) 单体化模型的确定方法及通信装置
CN114462486A (zh) 图像处理模型的训练方法、图像处理方法及相关装置
CN116258756B (zh) 一种自监督单目深度估计方法及***
CN116206068B (zh) 基于真实数据集的三维驾驶场景生成与构建方法及装置
US20230401837A1 (en) Method for training neural network model and method for generating image
CN111612894B (zh) 基于航拍图像与cim的植被模型辅助生成方法与***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant