CN110706328A - 一种基于gan网络的三维场景虚拟生成方法和*** - Google Patents

一种基于gan网络的三维场景虚拟生成方法和*** Download PDF

Info

Publication number
CN110706328A
CN110706328A CN201910775172.9A CN201910775172A CN110706328A CN 110706328 A CN110706328 A CN 110706328A CN 201910775172 A CN201910775172 A CN 201910775172A CN 110706328 A CN110706328 A CN 110706328A
Authority
CN
China
Prior art keywords
dimensional object
dimensional
matching
image
object image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910775172.9A
Other languages
English (en)
Other versions
CN110706328B (zh
Inventor
朱艳华
寇京珅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Terminus Technology Co Ltd
Original Assignee
Chongqing Terminus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Terminus Technology Co Ltd filed Critical Chongqing Terminus Technology Co Ltd
Priority to CN201910775172.9A priority Critical patent/CN110706328B/zh
Publication of CN110706328A publication Critical patent/CN110706328A/zh
Application granted granted Critical
Publication of CN110706328B publication Critical patent/CN110706328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/61Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于GAN网络的三维场景虚拟生成方法和***,该方法包括:获取二维场景图像,识别所述二维场景图像中所有物体的二维物体图像;根据所述所有物体的二维物体图像,生成所述所有物体的三维空间位置关系;所述二维物体图像利用GAN网络,生成三维物体图像;根据所述三维空间位置关系,对所述三维物体图像进行整合,生成三维场景图像。该方法利用GAN网络,将二维场景图像虚拟生成三维场景图像,大大减少了计算量,降低了计算过程中的错误率,提高了匹配率,优化了三维场景图像的仿真视觉效果。提高了用户体验。

Description

一种基于GAN网络的三维场景虚拟生成方法和***
技术领域
本发明涉及领域,具体是一种基于GAN网络的三维场景虚拟生成方法和***。
背景技术
随着虚拟现实(VR)、增强现实(AR)、裸眼3D等三维场景显示技术的发展,在智慧建筑、智慧旅游、智慧安保、智慧公安、智慧消防等很多的应用当中,希望能够获得并展示出三维场景图像,从而取得更好的仿真视觉效果。
但是,目前支持直接采集和生成三维场景图像的设备并不常见,大多数图像采集设备——例如手机、相机、摄像头所生成的是二维场景图像。另外以上应用一般涉及到网络传输,如果通过网络传输三维场景图像,由于数据量大,会导致通信负荷重、延迟大。因此,需要能够有一种三维场景虚拟生成方法和***,能够从采集的二维场景图像虚拟生成三维场景图像。
目前,从二维物体图像虚拟生成三维物体图像的方式是从三维模型库当中,查询选取与二维物体图像适配的三维物体模型(例如二维图像是一个人体,则查询选取人体三维模型;二维图像是一部汽车,则查询选取汽车三维模型);进而,将二维物体图像分割为一定数量的像素块,将三维物体模型分割为一定数量的模型块;建立每个像素块与对应的模型块之间的匹配向量集合,该匹配向量集合是一个稠密的向量集(例如,我们将人体的二维图像分割为10000个像素块,将对应的人体三维模型分割为10000个模型块;假设其中第i个像素块与第n个模型块之间具有匹配关系,即二者均对应于人体的同一个部位的置信度大于阈值,则建立从该第i个像素块到第n个模型块的一个匹配向量;由此,对于全部像素块和模型块之间的匹配关系,则可以建立一个匹配向量集合,该集合包含稠密的匹配向量)。进而,利用匹配向量集合,提取像素块的像素特征,再利用该像素特征对与该像素块匹配的模型块进行渲染;从而,通过完成对三维物体模型的全部模型块的渲染,使得三维物体模型转化为由二维物体图像生成的三维物体图像。
但是,以上现有的方式只是从二维物体图像到三维物体图像的虚拟生成,并不是二维场景图像到三维场景图像的虚拟生成(一个场景中可能包含多个物体,且二维场景图像中物体之间存在遮挡关系)。而且,更重要的是,现有方式中匹配向量集合的建立是一个非常复杂、错误率很高的过程,一般需要对像素块中每个图像像素的像素级特征进行识别,进而对每个模型块中的模型像素的像素级特征进行识别,对像素级特征进行匹配运算和置信度统计,才能够判断一个像素块和一个模型块之间的是否具有匹配关系从而可以建立匹配向量,加之匹配向量集合包含稠密的匹配向量,因此整个过程的计算量非常浩大,容错性低,一些局部的匹配错误就会导致失败。
因此,如何进行二维场景图像到三维场景图像的虚拟生成,并且减少计算量、提高匹配率是本领域技术人员亟待解决的问题。
发明内容
鉴于上述问题,本发明的目的是为了解决现有技术中只能将二维场景中的局部图像虚拟生成三维图像,计算量大、容错性低,整体图像匹配率低的问题。
本发明实施例提供一种基于GAN网络的三维场景虚拟生成方法,包括:
获取二维场景图像,识别所述二维场景图像中所有物体的二维物体图像;
根据所述所有物体的二维物体图像,生成所述所有物体的三维空间位置关系;
所述二维物体图像利用GAN网络,生成三维物体图像;
根据所述三维空间位置关系,对所述三维物体图像进行整合,生成三维场景图像。
在一个实施例中,,根据所述所有物体的二维物体图像,生成所述所有物体的三维空间位置关系,包括:
根据所述所有物体的二维物体图像,获取所述二维物体图像相互之间的遮挡关系与遮挡程度;
根据所述二维物体图像相互之间的遮挡关系与遮挡程度,生成所述所有物体的三维空间位置关系。
在一个实施例中,所述二维物体图像利用GAN网络,生成三维物体图像,包括:
查询选取与所述二维物体图像相匹配的三维物体模型;
将所述二维物体图像分割为一定数量的像素块,所述三维物体模型分割为一定数量的模型块;
利用GAN网络,建立所述像素块与所述模型块之间的匹配向量集合;
根据所述匹配向量集合,提取所述像素块的像素特征;
根据所述像素特征,对与所述像素块匹配的模型块进行渲染,生成三维物体图像。
在一个实施例中,将所述二维物体图像分割为一定数量的像素块,所述三维物体模型分割为一定数量的模型块,分割方式可以为以下任意一种:
均匀大小分割、自适应分割、自动识别不同部位属性分割。
在一个实施例中,利用GAN网络,建立所述像素块与所述模型块之间的匹配向量集合,包括:
获取步骤:获取初始匹配向量集合,将所述初始匹配向量集合输入生成器G;
调试步骤:所述生成器G对所述初始匹配向量集合进行调试,得到生成匹配向量集合;
建立步骤:根据所述生成匹配向量集合,建立所述像素块与所述模型块之间的匹配关系;
提取步骤:提取所述像素块的像素特征;
渲染步骤:根据所述匹配关系,利用所述像素特征,对与所述像素块相匹配的模型块进行渲染,生成三维物体图像;
判别步骤:将所述三维物体图像输入判别器D,对所述三维物体图像进行判别;如果判别结果为真,进行输出步骤;否则,进行调试步骤;
输出步骤:输出所述生成匹配向量集合,得到匹配向量集合。
第二方面,本发明还一种基于GAN网络的三维场景虚拟生成***,包括:
识别模块,用于获取二维场景图像,识别所述二维场景图像中所有物体的二维物体图像;
位置关系生成模块,用于根据所述所有物体的二维物体图像,生成所述所有物体的三维空间位置关系;
三维物体图像生成模块,用于所述二维物体图像利用GAN网络,生成三维物体图像;
三维场景图像生成模块,用于根据所述三维空间位置关系,对所述三维物体图像进行整合,生成三维场景图像。
在一个实施例中,所述位置关系生成模块,包括:
获取子模块,用于根据所述所有物体的二维物体图像,获取所述二维物体图像相互之间的遮挡关系与遮挡程度;
生成子模块,用于根据所述二维物体图像相互之间的遮挡关系与遮挡程度,生成所述所有物体的三维空间位置关系。
在一个实施例中,所述三维物体图像生成模块,包括:
查询选取子模块,用于查询选取与所述二维物体图像相匹配的三维物体模型;
分割子模块,用于将所述二维物体图像分割为一定数量的像素块,所述三维物体模型分割为一定数量的模型块;
建立子模块,用于利用GAN网络,建立所述像素块与所述模型块之间的匹配向量集合;
提取子模块,用于根据所述匹配向量集合,提取所述像素块的像素特征;
渲染子模块,用于根据所述像素特征,对与所述像素块匹配的模型块进行渲染,生成三维物体图像。
在一个实施例中,所述分割子模块中,分割方式可以为以下任意一种:
均匀大小分割、自适应分割、自动识别不同部位属性分割。
在一个实施例中,所述建立子模块,包括:
获取单元,用于获取初始匹配向量集合,将所述初始匹配向量集合输入生成器G;
调试单元,用于所述生成器G对所述初始匹配向量集合进行调试,得到生成匹配向量集合;
建立单元,用于根据所述生成匹配向量集合,建立所述像素块与所述模型块之间的匹配关系;
提取单元,用于提取所述像素块的像素特征;
渲染单元,用于根据所述匹配关系,利用所述像素特征,对与所述像素块相匹配的模型块进行渲染,生成三维物体图像;
判别单元,用于将所述三维物体图像输入判别器D,对所述三维物体图像进行判别;如果判别结果为真,进行输出步骤;否则,进行调试步骤;
输出单元,用于输出所述生成匹配向量集合,得到匹配向量集合。
本发明实施例提供的上述技术方案的有益效果至少包括:
本发明实施例提供的一种基于GAN网络的三维场景虚拟生成方法,该方法利用GAN网络,将二维场景图像虚拟生成三维场景图像,大大减少了计算量,降低了计算过程中的错误率,提高了匹配率,优化了三维场景图像的仿真视觉效果。提高了用户体验。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例提供的基于GAN网络的三维场景虚拟生成方法的流程图;
图2为本发明实施例提供的步骤S102的流程图;
图3为本发明实施例提供的步骤S103的流程图;
图4为本发明实施例提供的步骤S104的流程图;;
图5为本发明实施例提供的基于GAN网络的三维场景虚拟生成***的框图;
图6为本发明实施例提供的位置关系生成模块52的框图;
图7为本发明实施例提供的三维物体图像生成模块53的框图;
图8为本发明实施例提供的建立子模块533的框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1所示,本发明实施例提供的基于GAN网络的三维场景虚拟生成方法,该方法包括:步骤S101~S104;
S101、获取二维场景图像,识别所述二维场景图像中所有物体的二维物体图像;所述二维场景图像包含多个物体的二维物体图像;
S102、根据所述所有物体的二维物体图像,生成所述所有物体的三维空间位置关系;
S103、所述二维物体图像利用GAN网络,生成三维物体图像;
S104、根据所述三维空间位置关系,对所述三维物体图像进行整合,生成三维场景图像。
本实施例中,该方法利用GAN网络,将二维场景图像虚拟生成三维场景图像,大大减少了计算量,降低了计算过程中的错误率,提高了匹配率,优化了三维场景图像的仿真视觉效果。提高了用户体验。
在一个实施例中,参照图2所示,根据所述所有物体的二维物体图像,生成所述所有物体的三维空间位置关系,包括:
S1021、根据所述所有物体的二维物体图像,获取所述二维物体图像相互之间的遮挡关系与遮挡程度;
S1022、根据所述二维物体图像相互之间的遮挡关系与遮挡程度,生成所述所有物体的三维空间位置关系。
在一个实施例中,参照图3所示,所述二维物体图像利用GAN网络,生成三维物体图像,包括:
S1031、查询选取与所述二维物体图像相匹配的三维物体模型;
S1032、将所述二维物体图像分割为一定数量的像素块,所述三维物体模型分割为一定数量的模型块;
其中,分割方式可以为以下任意一种:
均匀大小分割、自适应分割、自动识别不同部位属性分割。
S1033、利用GAN网络,建立所述像素块与所述模型块之间的匹配向量集合;
S1034、根据所述匹配向量集合,提取所述像素块的像素特征;
S1035、根据所述像素特征,对与所述像素块匹配的模型块进行渲染,生成三维物体图像。
在步骤S1033中,参照图4所示,利用GAN网络,建立所述像素块与所述模型块之间的匹配向量集合,包括:
获取步骤:获取初始匹配向量集合,将所述初始匹配向量集合输入生成器G;
调试步骤:所述生成器G对所述初始匹配向量集合进行调试,得到生成匹配向量集合;
建立步骤:根据所述生成匹配向量集合,建立所述像素块与所述模型块之间的匹配关系;
提取步骤:提取所述像素块的像素特征;
渲染步骤:根据所述匹配关系,利用所述像素特征,对与所述像素块相匹配的模型块进行渲染,生成三维物体图像;
判别步骤:将所述三维物体图像输入判别器D,对所述三维物体图像进行判别;如果判别结果为真,进行输出步骤;否则,进行调试步骤;
输出步骤:输出所述生成匹配向量集合,得到匹配向量集合。
本实施例中,采用GAN网络,训练方式为判别器与生成器之间训练对抗方式,只要设置一个基准,由训练对抗的方式就可以产生更加清晰,真实的样本,大大降低了计算量,并且提高了计算的准确度,增强了匹配率,使得二位场景图像可以更加准确的虚拟生成三维场景图像。
下面通过一个完整的实施例来说明基于GAN网络的三维场景虚拟生成方法的。
实施例1:
基于GAN网络的三维场景虚拟生成方法的具体步骤1-7如下:
1、执行步骤S101,获得二维场景图像,并且识别该图像中包含的全部物体的二维物体图像;
2、执行步骤S102,根据所述全部物体的二维物体图像相互之间的遮挡关系和遮挡程度,转换为这些物体的三维空间位置关系;
3、执行步骤S1031、对于每个二维物体图像,从三维模型库当中,查询选取与二维物体图像适配的三维物体模型;
其中,三维模型库中包含预定义的大量的三维物体模型(例如,可以包含人体三维模型、汽车三维模型、建筑结构三维模型、动植物三维模型等,其中人体三维模型又可以包含各种身高、体型、性别的大量人体对应的人体三维模型,汽车三维模型又可以包括各种车型、品牌、外观的汽车三维模型),并且,每个三维物体模型附带该模型在各个角度下的二维化图像;将所述每个二维物体图像与三维物体模型附带的各个二维化图像进行匹配,如果与某个二维化图像匹配度最高,则选取该二维化图像对应的三维物体模型;
4、执行步骤S1032,将二维物体图像分割为一定数量的像素块,将三维物体模型分割为一定数量的模型块;
其中,对像素块和模型块的分割可以采用均匀大小分割,也可以自动识别二维物体图像和三维物体模型的不同部位属性(例如将人体二维图像和人体三维模型识别为头部、上身、下身、四肢等不同部位属性),然后针对每个部位采用不同的分割数量(例如头部分割为2000个像素块和模型块、上身分割为1000个像素块和模型块);对每个像素块的分割除了均匀大小分割,也可以采用自适应分割,即每个像素块内的像素相似度均大于阈值;
5、执行步骤S1033,利用GAN网络建立每个像素块与对应的模型块之间的匹配向量集合,上述匹配向量集合是一个稠密的向量集;
6、执行步骤S1034,按照GAN网络生成的匹配向量集合,提取像素块的像素特征,执行步骤S1035,利用该像素特征对与该像素块匹配的模型块进行渲染,完成对三维物体模型的全部模型块的渲染,使得三维物体模型转化为由二维物体图像生成的三维物体图像;
7、执行步骤S104,对于二维场景图像中全部物体的二维物体图像,按照上述步骤3-6将其生成三维物体图像之后,再根据步骤2获得的三维空间位置关系,对全部物体的三维物体图像进行空间组合,从而虚拟生成三维场景图像;该虚拟生成的三维场景图像可以用于通过虚拟现实(VR)、增强现实(AR)、裸眼3D等三维显示设备进行展示。
进一步的,利用GAN网络建立每个像素块与对应的模型块之间的匹配向量集合的具体步骤a-e如下:
a、执行获取步骤,生成一个初始的匹配向量集合,该初始的匹配向量集合中包含随机生成的匹配向量,将该随机生成的匹配向量集合输入GAN网络的生成器G,上述生成器G是一个神经网络;
b、执行调试步骤,由生成器G对匹配向量集合中的匹配向量进行调试,获得生成匹配向量,从而形成生成匹配向量集合;
c、执行建立步骤,根据生成匹配向量集合,建立上述步骤4中每个像素块i与对应的模型块n之间的匹配关系;执行提取步骤,提取像素块的像素特征;再执行渲染步骤,利用该像素特征对与该像素块匹配的模型块进行渲染;从而,通过完成对三维物体模型的全部模型块的渲染,使得三维物体模型转化为生成三维物体图像;
d、执行判别步骤,将生成三维物体图像输入到GAN网络的经训练之后的判别器D进行判别;
上述判别器D也是一个神经网络,且采用一定数量的、与所述三维物体模型对应的真实三维物体图像样本进行了训练,例如三维物体模型是人体三维模型,则采用一定数量的真实三维人体图像样本对判别器D进行了训练,从而使得该判别器对接近真实三维人体图像的生成三维物体图像输出为真,对不接近真实三维人体图像的生成三维物体图像输出为伪。训练之后,将前述生成三维物体图像输入到经训练之后的判别器D进行判别;
e、根据训练后的判别器D的判别结果,反馈给所述生成器G,生成器G的神经网络根据判别结果调节其隐藏层的神经元连接权重,然后由所述随机生成的匹配向量集合重新生成下一轮的生成匹配向量集合;按照下一轮的生成匹配向量集合实现对三维物体模型的渲染,并且将渲染后的下一轮的生成三维物体图像再次输入判别器D进行判别,如果判别结果还是伪则继续以上循环,直至D的判别结果为真,执行输出步骤,即将本轮的生成匹配向量集合作为GAN网络输出的匹配向量集合。
本实施例中,利用GAN网络,将二维场景图像虚拟生成三维场景图像,大大减少了计算量,降低了计算过程中的错误率,提高了匹配率,优化了三维场景图像的仿真视觉效果。提高了用户体验。
基于同一发明构思,本发明实施例还提供了一种基于GAN网络的三维场景虚拟生成***,由于该***所解决问题的原理与前述基于GAN网络的三维场景虚拟生成方法相似,因此该***的实施可以参见前述方法的实施,重复之处不再赘述。
本发明实施例提供了一种基于GAN网络的三维场景虚拟生成***,参照图5所示,包括:
识别模块51,用于获取二维场景图像,识别所述二维场景图像中所有物体的二维物体图像;
位置关系生成模块52,用于根据所述所有物体的二维物体图像,生成所述所有物体的三维空间位置关系;
三维物体图像生成模块53,用于所述二维物体图像利用GAN网络,生成三维物体图像;
三维场景图像生成模块54,用于根据所述三维空间位置关系,对所述三维物体图像进行整合,生成三维场景图像。
在一个实施例中,参照图6所示,位置关系生成模块52,包括:
获取子模块521,用于根据所述所有物体的二维物体图像,获取所述二维物体图像相互之间的遮挡关系与遮挡程度;
生成子模块522,用于根据所述二维物体图像相互之间的遮挡关系与遮挡程度,生成所述所有物体的三维空间位置关系。
在一个实施例中,所述三维物体图像生成模块53,包括:
查询选取子模块531,用于查询选取与所述二维物体图像相匹配的三维物体模型;
分割子模块532,用于将所述二维物体图像分割为一定数量的像素块,所述三维物体模型分割为一定数量的模型块;
建立子模块533,用于利用GAN网络,建立所述像素块与所述模型块之间的匹配向量集合;
提取子模块534,用于根据所述匹配向量集合,提取所述像素块的像素特征;
渲染子模块535,用于根据所述像素特征,对与所述像素块匹配的模型块进行渲染,生成三维物体图像。
在一个实施例中,所述分割子模块中532,分割方式可以为以下任意一种:
均匀大小分割、自适应分割、自动识别不同部位属性分割。
在一个实施例中,所述建立子模块533,包括:
获取单元5331,用于获取初始匹配向量集合,将所述初始匹配向量集合输入生成器G;
调试单元5332,用于所述生成器G对所述初始匹配向量集合进行调试,得到生成匹配向量集合;
建立单元5333,用于根据所述生成匹配向量集合,建立所述像素块与所述模型块之间的匹配关系;
提取单元5334,用于提取所述像素块的像素特征;
渲染单元5335,用于根据所述匹配关系,利用所述像素特征,对与所述像素块相匹配的模型块进行渲染,生成三维物体图像;
判别单元5336,用于将所述三维物体图像输入判别器D,对所述三维物体图像进行判别;如果判别结果为真,进行输出步骤;否则,进行调试步骤;
输出单元5337,用于输出所述生成匹配向量集合,得到匹配向量集合。
其中GAN网络包括获取单元5331、调试单元5332、建立单元5333、提取单元5334、渲染单元5335、判别单元5336、输出单元5337。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于GAN网络的三维场景虚拟生成方法,其特征在于,包括:
获取二维场景图像,识别所述二维场景图像中所有物体的二维物体图像;
根据所述所有物体的二维物体图像,生成所述所有物体的三维空间位置关系;
所述二维物体图像利用GAN网络,生成三维物体图像;
根据所述三维空间位置关系,对所述三维物体图像进行整合,生成三维场景图像。
2.如权利要求1所述的方法,其特征在于,根据所述所有物体的二维物体图像,生成所述所有物体的三维空间位置关系,包括:
根据所述所有物体的二维物体图像,获取所述二维物体图像相互之间的遮挡关系与遮挡程度;
根据所述二维物体图像相互之间的遮挡关系与遮挡程度,生成所述所有物体的三维空间位置关系。
3.如权利要求1所述的方法,其特征在于,所述二维物体图像利用GAN网络,生成三维物体图像,包括:
查询选取与所述二维物体图像相匹配的三维物体模型;
将所述二维物体图像分割为一定数量的像素块,所述三维物体模型分割为一定数量的模型块;
利用GAN网络,建立所述像素块与所述模型块之间的匹配向量集合;
根据所述匹配向量集合,提取所述像素块的像素特征;
根据所述像素特征,对与所述像素块匹配的模型块进行渲染,生成三维物体图像。
4.如权利要求3所述的方法,其特征在于,将所述二维物体图像分割为一定数量的像素块,所述三维物体模型分割为一定数量的模型块,分割方式可以为以下任意一种:
均匀大小分割、自适应分割、自动识别不同部位属性分割。
5.如权利要求3所述的方法,其特征在于,利用GAN网络,建立所述像素块与所述模型块之间的匹配向量集合,包括:
获取步骤:获取初始匹配向量集合,将所述初始匹配向量集合输入生成器G;
调试步骤:所述生成器G对所述初始匹配向量集合进行调试,得到生成匹配向量集合;
建立步骤:根据所述生成匹配向量集合,建立所述像素块与所述模型块之间的匹配关系;
提取步骤:提取所述像素块的像素特征;
渲染步骤:根据所述匹配关系,利用所述像素特征,对与所述像素块相匹配的模型块进行渲染,生成三维物体图像;
判别步骤:将所述三维物体图像输入判别器D,对所述三维物体图像进行判别;如果判别结果为真,进行输出步骤;否则,进行调试步骤;
输出步骤:输出所述生成匹配向量集合,得到匹配向量集合。
6.一种基于GAN网络的三维场景虚拟生成***,其特征在于,包括:
识别模块,用于获取二维场景图像,识别所述二维场景图像中所有物体的二维物体图像;
位置关系生成模块,用于根据所述所有物体的二维物体图像,生成所述所有物体的三维空间位置关系;
三维物体图像生成模块,用于所述二维物体图像利用GAN网络,生成三维物体图像;
三维场景图像生成模块,用于根据所述三维空间位置关系,对所述三维物体图像进行整合,生成三维场景图像。
7.如权利要求6所述的***,其特征在于,所述位置关系生成模块,包括:
获取子模块,用于根据所述所有物体的二维物体图像,获取所述二维物体图像相互之间的遮挡关系与遮挡程度;
生成子模块,用于根据所述二维物体图像相互之间的遮挡关系与遮挡程度,生成所述所有物体的三维空间位置关系。
8.如权利要求6所述的***,其特征在于,所述三维物体图像生成模块,包括:
查询选取子模块,用于查询选取与所述二维物体图像相匹配的三维物体模型;
分割子模块,用于将所述二维物体图像分割为一定数量的像素块,所述三维物体模型分割为一定数量的模型块;
建立子模块,用于利用GAN网络,建立所述像素块与所述模型块之间的匹配向量集合;
提取子模块,用于根据所述匹配向量集合,提取所述像素块的像素特征;
渲染子模块,用于根据所述像素特征,对与所述像素块匹配的模型块进行渲染,生成三维物体图像。
9.如权利要求8所述的***,其特征在于,所述分割子模块中,分割方式可以为以下任意一种:
均匀大小分割、自适应分割、自动识别不同部位属性分割。
10.如权利要求8所述的***,其特征在于,所述建立子模块,包括:
获取单元,用于获取初始匹配向量集合,将所述初始匹配向量集合输入生成器G;
调试单元,用于所述生成器G对所述初始匹配向量集合进行调试,得到生成匹配向量集合;
建立单元,用于根据所述生成匹配向量集合,建立所述像素块与所述模型块之间的匹配关系;
提取单元,用于提取所述像素块的像素特征;
渲染单元,用于根据所述匹配关系,利用所述像素特征,对与所述像素块相匹配的模型块进行渲染,生成三维物体图像;
判别单元,用于将所述三维物体图像输入判别器D,对所述三维物体图像进行判别;如果判别结果为真,进行输出步骤;否则,进行调试步骤;
输出单元,用于输出所述生成匹配向量集合,得到匹配向量集合。
CN201910775172.9A 2019-08-21 2019-08-21 一种基于gan网络的三维场景虚拟生成方法和*** Active CN110706328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910775172.9A CN110706328B (zh) 2019-08-21 2019-08-21 一种基于gan网络的三维场景虚拟生成方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910775172.9A CN110706328B (zh) 2019-08-21 2019-08-21 一种基于gan网络的三维场景虚拟生成方法和***

Publications (2)

Publication Number Publication Date
CN110706328A true CN110706328A (zh) 2020-01-17
CN110706328B CN110706328B (zh) 2020-12-18

Family

ID=69193292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910775172.9A Active CN110706328B (zh) 2019-08-21 2019-08-21 一种基于gan网络的三维场景虚拟生成方法和***

Country Status (1)

Country Link
CN (1) CN110706328B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539251A (zh) * 2020-03-16 2020-08-14 重庆特斯联智慧科技股份有限公司 一种基于深度学习的安检物品识别方法和***
CN112509129A (zh) * 2020-12-21 2021-03-16 神思电子技术股份有限公司 一种基于改进gan网络的空间视场图像生成方法
CN116091723A (zh) * 2022-12-29 2023-05-09 上海网罗电子科技有限公司 一种基于无人机的消防应急救援实景三维建模方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130135304A1 (en) * 2011-11-30 2013-05-30 International Business Machines Corporation Generating three-dimensional virtual scene
CN107507126A (zh) * 2017-07-27 2017-12-22 大连和创懒人科技有限公司 一种利用rgb图像还原3d场景的方法
CN109166144A (zh) * 2018-07-20 2019-01-08 中国海洋大学 一种基于生成对抗网络的图像深度估计方法
CN110097609A (zh) * 2019-04-04 2019-08-06 上海凌笛数码科技有限公司 一种基于样本域的精细化绣花纹理迁移方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130135304A1 (en) * 2011-11-30 2013-05-30 International Business Machines Corporation Generating three-dimensional virtual scene
CN107507126A (zh) * 2017-07-27 2017-12-22 大连和创懒人科技有限公司 一种利用rgb图像还原3d场景的方法
CN109166144A (zh) * 2018-07-20 2019-01-08 中国海洋大学 一种基于生成对抗网络的图像深度估计方法
CN110097609A (zh) * 2019-04-04 2019-08-06 上海凌笛数码科技有限公司 一种基于样本域的精细化绣花纹理迁移方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREW C. KELLIE: "Hard Copy to Digital Transfer: 3D Models that Match 2D Maps", 《ENGINEERING DESIGN GRAPHICS JOURNAL》 *
张怡 等: "基于二维人脸图像的三维建模研究", 《兰州工业学院学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539251A (zh) * 2020-03-16 2020-08-14 重庆特斯联智慧科技股份有限公司 一种基于深度学习的安检物品识别方法和***
CN111539251B (zh) * 2020-03-16 2021-03-19 重庆特斯联智慧科技股份有限公司 一种基于深度学习的安检物品识别方法和***
CN112509129A (zh) * 2020-12-21 2021-03-16 神思电子技术股份有限公司 一种基于改进gan网络的空间视场图像生成方法
CN116091723A (zh) * 2022-12-29 2023-05-09 上海网罗电子科技有限公司 一种基于无人机的消防应急救援实景三维建模方法及***
CN116091723B (zh) * 2022-12-29 2024-01-05 上海网罗电子科技有限公司 一种基于无人机的消防应急救援实景三维建模方法及***

Also Published As

Publication number Publication date
CN110706328B (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN110706328B (zh) 一种基于gan网络的三维场景虚拟生成方法和***
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
CN111054080B (zh) 智能检测透视外挂方法、装置、设备及其存储介质
CN110381268B (zh) 生成视频的方法,装置,存储介质及电子设备
CN102270275A (zh) 在虚拟环境中选择对象的方法
CN114331829A (zh) 一种对抗样本生成方法、装置、设备以及可读存储介质
CN111738280A (zh) 一种图像识别方法、装置、设备及可读存储介质
CN113220251B (zh) 物体显示方法、装置、电子设备及存储介质
CN110287848A (zh) 视频的生成方法及装置
CN112085031A (zh) 目标检测方法及***
CN107479715A (zh) 利用手势控制实现虚拟现实交互的方法和装置
CN114881841A (zh) 图像生成方法及其装置
CN113538704A (zh) 一种基于光源位置绘制虚拟对象光影的方法及设备
CN114022531A (zh) 图像处理方法、电子设备和存储介质
CN116704324A (zh) 基于水下图像的目标检测方法、***、设备以及存储介质
WO2019113215A1 (en) Disparity cache
US20220157016A1 (en) System and method for automatically reconstructing 3d model of an object using machine learning model
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
KR102299902B1 (ko) 증강현실을 제공하기 위한 장치 및 이를 위한 방법
CN106157302A (zh) 基于小波滤波的云端图像分割***
CN115965839A (zh) 图像识别方法、存储介质及设备
CN107545575A (zh) 基于小波滤波的云端图像分割***
CN113762053A (zh) 一种图像处理方法、装置、计算机及可读存储介质
CN105513050A (zh) 一种目标图像提取方法及装置
CN108960014B (zh) 图像处理方法、装置和***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant