CN112509109A - 一种基于神经网络模型的单视图光照估计方法 - Google Patents
一种基于神经网络模型的单视图光照估计方法 Download PDFInfo
- Publication number
- CN112509109A CN112509109A CN202011434315.9A CN202011434315A CN112509109A CN 112509109 A CN112509109 A CN 112509109A CN 202011434315 A CN202011434315 A CN 202011434315A CN 112509109 A CN112509109 A CN 112509109A
- Authority
- CN
- China
- Prior art keywords
- network model
- illumination
- dimensional
- neural network
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 57
- 238000003062 neural network model Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000000694 effects Effects 0.000 claims abstract description 12
- 238000009877 rendering Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000012546 transfer Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的基于神经网络模型的单视图光照估计方法，涉及光照估计技术领域，通过使用平面检测神经网络模型对输入的二维图像中的各个平面进行标注，投射至三维空间内，生成三维点云，基于平面三维模型构建相应的能量方程，利用增强拉格朗日求解器迭代并优化该能量方程，得到平面三维模型表面的总体光照向量。利用第一自编码神经网络模型提取平面三维模型的光照深度特征；利用第二自编码网络模型提取目标虚拟物体的光照深度特征；利用生成对抗神经网络模型将平面三维模型的光照深度特征通过领域适应的形式迁移至目标虚拟物体上，得到虚拟物体对应的光照渲染效果，提高了光照结果的准确度及虚拟物体与真实物体融合的效果。
Description
技术领域
本发明涉及光照估计技术技术领域，具体涉及一种基于神经网络模型的单视图光照估计方法。
背景技术
目前市面上的光照估计技术，均需要依靠单张二维图像去复原高动态全景图，而这类直接复原的方式具有极强的不适定性。即使由有监督学习的神经网络去实现，也因为训练数据的缺少而导致过拟合问题，从而导致在某些现实场景中得到的光照结果是错误的。
发明内容
为解决现有技术的不足，本发明实施例提供了一种基于神经网络模型的单视图光照估计方法，该方法包括以下步骤：
使用平面检测神经网络模型对输入的二维图像中的各个平面进行标注，得到所述二维图像对应的三维旋转平移矩阵；
从所述各个平面中选取面积最大的平面，根据所述三维旋转平移矩阵将所述二维图像的各个像素点投射至三维空间内，生成三维点云；
对所述三维点云做网格化处理，得到含有颜色信息的平面三维模型；
基于所述平面三维模型表面的明暗关系、各个像素点的法向量，以及光照分段平滑的特性，构建相应的能量方程；
利用增强拉格朗日求解器迭代并优化所述能量方程，得到所述平面三维模型表面的总体光照向量。
优选地，在得到所述平面三维模型表面的总体光照向量之后，所述方法还包括：
利用第一自编码神经网络模型提取所述平面三维模型的光照深度特征；
利用第二自编码网络模型提取目标虚拟物体的光照深度特征；
利用生成对抗神经网络模型将所述平面三维模型的光照深度特征通过领域适应的形式迁移至目标虚拟物体上。
优选地，在利用生成对抗神经网络模型将所述平面三维模型的光照深度特征通过领域适应的形式迁移至目标虚拟物体上之后，所述方法还包括：
将所述虚拟物体的光照深度特征为输入第一/二自编码神经网络模型，得到所述虚拟物体对应的光照渲染效果；
在所述二维图像中的任意位置上加入渲染后的虚拟物体，融合虚拟物体与所述二维图像。
优选地，所述第一自编码网络模型包括卷积层、转置层和全连接层。
优选地，所述第二自编码网络模型包括卷积层、转置层和全连接层。
本发明实施例提供的基于神经网络模型的单视图光照估计方法具有以下有益效果：
(1)通过采用生成对抗神经网络，将二维图像中真实的平面三维模型的光照效果迁移至目标虚拟物体上，实现了光照效果由真实平面到虚拟物体的迁移的效果；
(2)通过采用自编码神经网络对虚拟物体进行渲染，使其渲染结果表现出被真实二维图像中的光源所照亮的效果，能够提高虚拟物体与真实物体的融合效果。
具体实施方式
以下结合具体实施例对本发明作具体的介绍。
本发明实施例提供的基于神经网络模型的单视图光照估计方法，该方法包括以下步骤：
S101，使用平面检测神经网络模型对输入的二维图像中的各个平面进行标注，得到所述二维图像对应的三维旋转平移矩阵。
作为一个具体的实施例，该平面检测神经网络模型为PlaneRCNN神经网络模型。
S102，从所述各个平面中选取面积最大的平面，根据所述三维旋转平移矩阵将所述二维图像的各个像素点投射至三维空间内，生成三维点云。
S103，对所述三维点云做网格化处理，得到含有颜色信息的平面三维模型。
S104，基于所述平面三维模型表面的明暗关系、各个像素点的法向量，以及光照分段平滑的特性，构建相应的能量方程。
作为一个具体的实施例，该能量方程包括置信度、明暗关系、总变差、邻域平滑等损失函数。
S105，利用增强拉格朗日求解器迭代并优化所述能量方程，得到所述平面三维模型表面的总体光照向量。
可选地，在得到所述平面三维模型表面的总体光照向量之后，所述方法还包括：
利用第一自编码神经网络模型提取所述平面三维模型的光照深度特征；
利用第二自编码网络模型提取目标虚拟物体的光照深度特征；
利用生成对抗神经网络模型将所述平面三维模型的光照深度特征通过领域适应的形式迁移至目标虚拟物体上。
其中，对抗神经网络模型的生成器由多个卷积层构成，对抗神经网络模型的判别器由图卷积层构成。
可选地，在利用生成对抗神经网络模型将所述平面三维模型的光照深度特征通过领域适应的形式迁移至目标虚拟物体上之后，所述方法还包括：
将所述虚拟物体的光照深度特征为输入第一/二自编码神经网络模型，得到所述虚拟物体对应的光照渲染效果；
在所述二维图像中的任意位置上加入渲染后的虚拟物体，融合虚拟物体与所述二维图像。
可选地，所述第一自编码网络模型包括卷积层、转置层和全连接层。
可选地，所述第二自编码网络模型包括卷积层、转置层和全连接层。
本发明实施例提供的基于神经网络模型的单视图光照估计方法，通过使用平面检测神经网络模型对输入的二维图像中的各个平面进行标注，得到二维图像对应的三维旋转平移矩阵，从各个平面中选取面积最大的平面，根据三维旋转平移矩阵将二维图像的各个像素点投射至三维空间内，生成三维点云，对该三维点云做网格化处理，得到含有颜色信息的平面三维模型，基于平面三维模型表面的明暗关系、各个像素点的法向量，以及光照分段平滑的特性，构建相应的能量方程，利用增强拉格朗日求解器迭代并优化该能量方程，得到平面三维模型表面的总体光照向量。利用第一自编码神经网络模型提取所述平面三维模型的光照深度特征；利用第二自编码网络模型提取目标虚拟物体的光照深度特征；利用生成对抗神经网络模型将所述平面三维模型的光照深度特征通过领域适应的形式迁移至目标虚拟物体上，得到所述虚拟物体对应的光照渲染效果，提高了光照结果的准确度及虚拟物体与真实物体的融合效果。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (7)
1.一种基于神经网络模型的单视图光照估计方法，其特征在于，包括：
使用平面检测神经网络模型对输入的二维图像中的各个平面进行标注，得到所述二维图像对应的三维旋转平移矩阵；
从所述各个平面中选取面积最大的平面，根据所述三维旋转平移矩阵将所述二维图像的各个像素点投射至三维空间内，生成三维点云；
对所述三维点云做网格化处理，得到含有颜色信息的平面三维模型；
基于所述平面三维模型表面的明暗关系、各个像素点的法向量，以及光照分段平滑的特性，构建相应的能量方程；
利用增强拉格朗日求解器迭代并优化所述能量方程，得到所述平面三维模型表面的总体光照向量。
2.根据权利要求1所述的基于神经网络模型的单视图光照估计方法，其特征在于，在得到所述平面三维模型表面的总体光照向量之后，所述方法还包括：
利用第一自编码神经网络模型提取所述平面三维模型的光照深度特征；
利用第二自编码网络模型提取目标虚拟物体的光照深度特征；
利用生成对抗神经网络模型将所述平面三维模型的光照深度特征通过领域适应的形式迁移至目标虚拟物体上。
3.根据权利要求2所述的基于神经网络模型的单视图光照估计方法，其特征在于，在利用生成对抗神经网络模型将所述平面三维模型的光照深度特征通过领域适应的形式迁移至目标虚拟物体上之后，所述方法还包括：
将所述虚拟物体的光照深度特征为输入第一/二自编码神经网络模型，得到所述虚拟物体对应的光照渲染效果；
在所述二维图像中的任意位置上加入渲染后的虚拟物体，融合所述虚拟物体与所述二维图像。
4.根据权利要求2所述的基于神经网络模型的单视图光照估计方法，其特征在于，所述第一自编码网络模型包括卷积层、转置层和全连接层。
5.根据权利要求2所述的基于神经网络模型的单视图光照估计方法，其特征在于，所述第二自编码网络模型包括卷积层、转置层和全连接层。
6.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1-5所述的方法。
7.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1-5所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011434315.9A CN112509109A (zh) | 2020-12-10 | 2020-12-10 | 一种基于神经网络模型的单视图光照估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011434315.9A CN112509109A (zh) | 2020-12-10 | 2020-12-10 | 一种基于神经网络模型的单视图光照估计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112509109A true CN112509109A (zh) | 2021-03-16 |
Family
ID=74970482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011434315.9A Pending CN112509109A (zh) | 2020-12-10 | 2020-12-10 | 一种基于神经网络模型的单视图光照估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112509109A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052970A (zh) * | 2021-04-09 | 2021-06-29 | 杭州群核信息技术有限公司 | 一种基于神经网络的灯光光强颜色的设计方法、装置、***及存储介质 |
| CN113096228A (zh) * | 2021-06-09 | 2021-07-09 | 上海影创信息科技有限公司 | 基于神经网络的实时光照估计与渲染方法及*** |
| GB2605169A (en) * | 2021-03-24 | 2022-09-28 | Sony Interactive Entertainment Inc | Image rendering method and apparatus |
| US11908066B2 (en) | 2021-03-24 | 2024-02-20 | Sony Interactive Entertainment Inc. | Image rendering method and apparatus |
| US12020369B2 (en) | 2021-03-24 | 2024-06-25 | Sony Interactive Entertainment Inc. | Image rendering method and apparatus |
| US12045934B2 (en) | 2021-03-24 | 2024-07-23 | Sony Interactive Entertainment Inc. | Image rendering method and apparatus |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015154601A1 (zh) * | 2014-04-08 | 2015-10-15 | 中山大学 | 一种基于无特征提取的紧致sfm三维重建方法 |
| CN108416840A (zh) * | 2018-03-14 | 2018-08-17 | 大连理工大学 | 一种基于单目相机的三维场景稠密重建方法 |
| CN108734728A (zh) * | 2018-04-25 | 2018-11-02 | 西北工业大学 | 一种基于高分辨序列图像的空间目标三维重构方法 |
| US20190080455A1 (en) * | 2017-09-12 | 2019-03-14 | Beihang University | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation |
| CN110443885A (zh) * | 2019-07-18 | 2019-11-12 | 西北工业大学 | 基于随机人脸图像的三维人头脸模型重建方法 |
| CN111444811A (zh) * | 2020-03-23 | 2020-07-24 | 复旦大学 | 一种三维点云目标检测的方法 |
| WO2020206903A1 (zh) * | 2019-04-08 | 2020-10-15 | 平安科技（深圳）有限公司 | 影像匹配方法、装置及计算机可读存储介质 |
| CN111968235A (zh) * | 2020-07-08 | 2020-11-20 | 杭州易现先进科技有限公司 | 一种物体姿态估计方法、装置、***和计算机设备 |
-
2020
- 2020-12-10 CN CN202011434315.9A patent/CN112509109A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015154601A1 (zh) * | 2014-04-08 | 2015-10-15 | 中山大学 | 一种基于无特征提取的紧致sfm三维重建方法 |
| US20190080455A1 (en) * | 2017-09-12 | 2019-03-14 | Beihang University | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation |
| CN108416840A (zh) * | 2018-03-14 | 2018-08-17 | 大连理工大学 | 一种基于单目相机的三维场景稠密重建方法 |
| CN108734728A (zh) * | 2018-04-25 | 2018-11-02 | 西北工业大学 | 一种基于高分辨序列图像的空间目标三维重构方法 |
| WO2020206903A1 (zh) * | 2019-04-08 | 2020-10-15 | 平安科技（深圳）有限公司 | 影像匹配方法、装置及计算机可读存储介质 |
| CN110443885A (zh) * | 2019-07-18 | 2019-11-12 | 西北工业大学 | 基于随机人脸图像的三维人头脸模型重建方法 |
| CN111444811A (zh) * | 2020-03-23 | 2020-07-24 | 复旦大学 | 一种三维点云目标检测的方法 |
| CN111968235A (zh) * | 2020-07-08 | 2020-11-20 | 杭州易现先进科技有限公司 | 一种物体姿态估计方法、装置、***和计算机设备 |
Non-Patent Citations (3)
| Title |
|---|
| 周林颖;邢冠宇;: "一种基于高动态范围(HDR)人脸图片的室外光照估计算法", 现代计算机, no. 03, 25 January 2020 (2020-01-25) * |
| 李凤仪;金鑫;孙星;张晓昆;: "图像虚实光照结合***设计与实现", 北京电子科技学院学报, no. 03, 15 September 2019 (2019-09-15) * |
| 毋立芳;王涓涓;王颖;: "一种基于反射特性的人脸三维重建方法", 信号处理, no. 06, 25 June 2009 (2009-06-25) * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2605169A (en) * | 2021-03-24 | 2022-09-28 | Sony Interactive Entertainment Inc | Image rendering method and apparatus |
| GB2605169B (en) * | 2021-03-24 | 2023-08-02 | Sony Interactive Entertainment Inc | Image rendering method and apparatus |
| US11908066B2 (en) | 2021-03-24 | 2024-02-20 | Sony Interactive Entertainment Inc. | Image rendering method and apparatus |
| US12020369B2 (en) | 2021-03-24 | 2024-06-25 | Sony Interactive Entertainment Inc. | Image rendering method and apparatus |
| US12045934B2 (en) | 2021-03-24 | 2024-07-23 | Sony Interactive Entertainment Inc. | Image rendering method and apparatus |
| CN113052970A (zh) * | 2021-04-09 | 2021-06-29 | 杭州群核信息技术有限公司 | 一种基于神经网络的灯光光强颜色的设计方法、装置、***及存储介质 |
| CN113052970B (zh) * | 2021-04-09 | 2023-10-13 | 杭州群核信息技术有限公司 | 一种灯光光强颜色的设计方法、装置、***及存储介质 |
| CN113096228A (zh) * | 2021-06-09 | 2021-07-09 | 上海影创信息科技有限公司 | 基于神经网络的实时光照估计与渲染方法及*** |
| CN113096228B (zh) * | 2021-06-09 | 2021-08-31 | 上海影创信息科技有限公司 | 基于神经网络的实时光照估计与渲染方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112509109A (zh) | 一种基于神经网络模型的单视图光照估计方法 | |
| Jiang et al. | Neuman: Neural human radiance field from a single video | |
| Li et al. | Monocular real-time volumetric performance capture | |
| Aliev et al. | Neural point-based graphics | |
| Tretschk et al. | Demea: Deep mesh autoencoders for non-rigidly deforming objects | |
| CN110490959B (zh) | 三维图像处理方法及装置、虚拟形象生成方法以及电子设备 | |
| EP3533218B1 (en) | Simulating depth of field | |
| Chen et al. | Face swapping: realistic image synthesis based on facial landmarks alignment | |
| CN110751097A (zh) | 一种半监督的三维点云手势关键点检测方法 | |
| CN114898062A (zh) | 一种基于动态场景下slam的地图构建方法及装置 | |
| US10893252B2 (en) | Image processing apparatus and 2D image generation program | |
| Planche et al. | Seeing beyond appearance-mapping real images into geometrical domains for unsupervised cad-based recognition | |
| Pesavento et al. | Super-resolution 3D human shape from a single low-resolution image | |
| Norraji et al. | wARna—Mobile-based augmented reality colouring book | |
| CN117011493B (zh) | 基于符号距离函数表示的三维人脸重建方法、装置及设备 | |
| US11087525B2 (en) | Unsupervised learning of three dimensional visual alphabet | |
| Saint et al. | 3dbooster: 3d body shape and texture recovery | |
| CN117422851A (zh) | 虚拟换衣方法及其装置、电子设备 | |
| CN115393471A (zh) | 图像处理方法、装置及电子设备 | |
| KR102558095B1 (ko) | 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법 및 시스템 | |
| Koniarski et al. | Feature point cloud based registration in augmented reality | |
| CN113766147B (zh) | 视频中嵌入图像的方法、平面预测模型获取方法和装置 | |
| Fan et al. | Collaborative three-dimensional completion of color and depth in a specified area with superpixels | |
| CN116228850A (zh) | 物体姿态估计方法、装置、电子设备及可读存储介质 | |
| Chu et al. | Hole-filling framework by combining structural and textural information for the 3D Terracotta Warriors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |