CN113936117B - 基于深度学习的高频区域增强的光度立体三维重建方法 - Google Patents

基于深度学习的高频区域增强的光度立体三维重建方法 Download PDF

Info

Publication number
CN113936117B
CN113936117B CN202111524515.8A CN202111524515A CN113936117B CN 113936117 B CN113936117 B CN 113936117B CN 202111524515 A CN202111524515 A CN 202111524515A CN 113936117 B CN113936117 B CN 113936117B
Authority
CN
China
Prior art keywords
layer
surface normal
attention weight
network
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111524515.8A
Other languages
English (en)
Other versions
CN113936117A (zh
Inventor
举雅琨
董军宇
高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202111524515.8A priority Critical patent/CN113936117B/zh
Publication of CN113936117A publication Critical patent/CN113936117A/zh
Application granted granted Critical
Publication of CN113936117B publication Critical patent/CN113936117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

基于深度学习的高频区域增强的光度立体三维重建方法，包括利用光度立体***，拍摄若干张待重建物体的图像，利用深度学习算法输出准确的表面法向三维重建，包括表面法向生成网络被设计成从图像和光照中生成需要重建物体的表面法向；注意力权重生成网络从图像中生成需要重建物体的注意力权重图；注意力权重损失函数逐像素处理；之后将训练好的网络用于光度立体图像的表面法向重建。本发明通过提出的表面法向生成网络，注意力权重生成网络，分别学习表面法向和高频信息，并利用提出的注意力权重损失进行训练，可以改善褶皱边缘等高频区域表面的重建精度。相比先前传统光度立体方法，提高了三维重建精度，尤其是待重建物体表面的细节。

Description

基于深度学习的高频区域增强的光度立体三维重建方法
技术领域
本发明涉及一种基于深度学习的高频区域增强光度立体三维重建方法，属于多度立体三维重建领域。
背景技术
三维重建算法是计算机视觉中非常重要且基础的问题，光度立体算法是一种高精度的逐像素三维重建方法，其利用不同光照方向下的图像提供的灰度变化线索恢复物体表面法向。光度立体在许多高精度三维重建任务求中有着不可替代的位置，例如其在考古勘探，管道检测，海床精细测绘等方面有着重要的应用价值。
但现有的基于深度学习的光度立体方法在物体表面高频区域的误差很大，例如褶皱、边缘，现有方法在这些区域会生成模糊的三维重建结果，然而，这些区域正是重点关注并需要精确重建的地方。
发明内容
针对以上问题，本发明目的是提出了一种基于深度学习的高频区域增强光度立体三维重建方法，以克服现有技术的不足。
基于深度学习的高频区域增强光度立体三维重建方法，其特征是包括以下步骤：
1）利用光度立体***，拍摄若干张待重建物体的图像：
待重建物体在单个平行白色光源的照射下拍摄图像，以待重建物体中心为坐标轴原点，建立笛卡尔坐标系，则白光光源的位置由该笛卡尔坐标系中向量 l = [x, y, z]表示；
改变该光源位置，在另一光照方向下获得拍摄图像；通常需至少拍摄10张以上的在不同光照方向照射下的图像，记作m 1 , m 2 , ..., m j ，同时相对应的光源位置记作l 1 , l 2 , ...,l j ，j为大于等于10的自然数；
2）利用深度学习算法输入m 1 ,m 2 , ..., m j 和l 1 ,l 2 , ..., l j ，输出准确的表面法向三维重建：
所利用的深度学习算法分为以下四个部分：（1）表面法向生成网络，（2）注意力权重生成网络，（3）注意力权重损失函数联合训练,（4）网络训练；其中：
（1）表面法向生成网络被设计成从图像m 1 ,m 2 , ..., m j 和光照l 1 ,l 2 , ..., l j 中生成需要重建物体的表面法向
Figure DEST_PATH_IMAGE001
；
（2）注意力权重生成网络被设计成从图像m 1 , m 2 , ..., m j 中生成需要重建物体的注意力权重图P ；
（3）注意力权重损失L是一个逐像素处理的损失函数，它由每一个像素点的损失L k 平均计算得到，公式为
Figure DEST_PATH_IMAGE002
；p*q为图像m的分辨率，p、q≥2n，n≥4；
每一个像素位置的损失L k 包括两部分，第一部分是带有系数项的梯度损失L gradient ，第二部分是带有系数项的法向损失L normal ，即L k= P k L gradient +λ(1 – P k ) L normal ；
其中，
Figure DEST_PATH_IMAGE003
，
Figure DEST_PATH_IMAGE004
是待重建物体的真实表面法向n在位置k的梯度，ζ是计算梯度时使用的邻域像素范围，ζ设置范围为1、2、3、4、5，
Figure DEST_PATH_IMAGE005
是预测的表面法向
Figure DEST_PATH_IMAGE006
在位置k的梯度；
Figure DEST_PATH_IMAGE007
表示网络预测的表面法向，
Figure DEST_PATH_IMAGE008
表示真实表面法向；
梯度损失在网络中可以锐化表面法向的高频表达；P k 为注意力权重图上像素位置k上的值；
其次，
Figure DEST_PATH_IMAGE009
，●代表点乘操作，λ是一个超参，目的是为了梯度损失和法向损失，设置范围为{7、8、9、10}；
通过上述（3）注意力权重损失可将（1）表面法向生成网络和（2）注意力权重生成网络建立起联系；
（4）网络训练
训练网络时，利用反向传播算法不断调整优化，最小化上述损失函数，使其在达到设定的循环次数时停止训练，以达到最优效果；或者L normal 小于0.03时，即认为训练已经达到最有效果，停止训练；
3）将上述训练好的网络用于光度立体图像的表面法向重建：
先拍摄s张以上不同光照方向的图像， s≥10，将m 1 , m 2 , ..., m s 和l 1 , l 2 , ..., l s 输入训练好的网络，得到预测的表面法向
Figure 273068DEST_PATH_IMAGE001
。
所述（1）表面法向生成网络被设计成从图像m 1 ,m 2 , ..., m j 和光照l 1 ,l 2 , ..., l j 中生成需要重建物体的表面法向
Figure 799995DEST_PATH_IMAGE001
具体如下：
图像m的分辨率记为p*q，p、q≥2n，n≥4，则m∈ℝp*q*3，其中3表示RGB；表面法向生成网络首先按照m的分辨率p*q将光照l = [x, y, z] ∈ℝ3重复填充至ℝp*q*3的空间中，将填充后的光照记为h，则h∈ℝp*q*3，此时h与m有相同的空间大小，将h与m在第三组维度上连接融合，成为新的张量，新的张量属于ℝp*q*6，在输入j张图像和光照的情况下，得到了j个融合后的张量；
将这些张量分别进行4层卷积层操作，卷积层1、2、3、4的卷积核大小均为3*3，均采用“relu”激活函数，其中第2层和第4层是步长“stride”为2的卷积，第1层和第3层是步长“stride”为1的卷积，卷积层1、2、3、4的特征通道数分别为64，128，128，256；
之后，利用最大池化层从j个经过4层卷积的张量∈ℝp/4*q/4*256池化为一个ℝp/4*q/4*256中的张量；
再经过卷积层5、6、7、8计算，卷积层5、6、7、8的卷积核大小均为3*3，均采用“relu”激活函数，其中第5层和第7层为转置卷积，第6层和第8层是步长“stride”为1的卷积，卷积层5、6、7、8的特征通道数为128、128、64、3；
最后，对第8层卷积得到的张量进行规范化处理，使其模为1，得到需要重建物体的的表面法向
Figure 487722DEST_PATH_IMAGE001
。
所述（2）注意力权重生成网络被设计成从图像m 1 , m 2 , ..., m j 中生成需要重建物体的注意力权重图P具体如下：
注意力权重生成网络对图像m∈ℝp*q*3计算其梯度值，该梯度值也属于空间ℝp*q*3，并将其梯度与图像在第三组维度上连接融合，成为新的张量，新的张量属于ℝp*q*6，在输入j张图像和光照的情况下，得到了j个融合后的张量；
首先将这些融合后的张量分别进行3层的卷积层操作，这3层的卷积核大小均为3*3，均采用“relu”激活函数，其中第2层的步长“stride”为2，第1层和第3层的步长“stride”为1，四个卷积层的特征通道数分别为64、128、128；
之后，利用最大池化层从j个经过3层卷积的张量∈ℝp/2*q/2*128池化为一个ℝp/2*q/2*128中的张量；
再经过卷积层5、6、7计算，卷积层5、6、7的卷积核大小均为3*3，均采用“relu”激活函数，其中第6层为转置卷积，第5层和第7层是步长“stride”为1的卷积，卷积层5、6、7的特征通道数为128、64、1，从而得到需要重建物体的注意力权重图P 。
所述的基于深度学习的高频区域增强光度立体三维重建方法，其特征是所述图像m的分辨率p*q中，p取值16，32，48，64，q取值16，32，48，64。
所述的基于深度学习的高频区域增强光度立体三维重建方法，其特征是所述ζ设置为1。
所述的基于深度学习的高频区域增强光度立体三维重建方法，其特征是所述λ设置为8。
所述的基于深度学习的高频区域增强光度立体三维重建方法，其特征是所述的循环次数设定为30次epoch。
所述的基于深度学习的高频区域增强光度立体三维重建方法，其特征是所述p取值32，q取值32。
本发明提出的基于深度学习的高频区域增强的光度立体三维重建方法，通过提出的表面法向生成网络，注意力权重生成网络，分别学习表面法向和高频信息，并利用提出的注意力权重损失进行训练，可以改善褶皱边缘等高频区域表面的重建精度。相比先前传统光度立体方法，提高了三维重建精度，尤其是待重建物体表面的细节。
本发明提出的注意力权重损失，可以应用于多种底层视觉任务，提高任务精度，丰富图像的细节，例如深度估计，图像去模糊和图像去雾。
附图说明
图1是本发明的流程图。
图2是步骤2）中表面法向生成网络示意图。
图3是步骤2）中注意力权重生成网络示意图。
图4是本发明的应用效果示意图，其中第一行为输入图像，第二行为生成的权重图像，第三行为生成的表面法向。
具体实施方式
如图1，基于深度学习的高频区域增强光度立体三维重建方法，其特征是包括以下步骤：
1）利用光度立体***，拍摄若干张待重建物体的图像：
待重建物体在单个平行白色光源的照射下拍摄图像，以待重建物体中心为坐标轴原点，建立笛卡尔坐标系，则白光光源的位置由该笛卡尔坐标系中向量 l = [x, y, z]表示；
改变该光源位置，在另一光照方向下获得拍摄图像；通常需至少拍摄10张以上的在不同光照方向照射下的图像，记作m 1 , m 2 , ..., m j ，同时相对应的光源位置记作l 1 , l 2 , ...,l j ，j为大于等于10的自然数；
2）利用深度学习算法输入m 1 ,m 2 , ..., m j 和l 1 ,l 2 , ..., l j ，输出准确的表面法向三维重建：
所利用的深度学习算法分为以下四个部分：（1）表面法向生成网络，（2）注意力权重生成网络，（3）注意力权重损失函数联合训练，（4）网络训练；
（1）表面法向生成网络被设计成从图像m 1 ,m 2 , ..., m j 和光照l 1 ,l 2 , ..., l j 中生成需要重建物体的表面法向
Figure 164822DEST_PATH_IMAGE001
；
图像m的分辨率记为p*q，p、q≥2n，n≥4，则m∈ℝp*q*3，其中3表示RGB；如图2，表面法向生成网络首先按照m的分辨率p*q将光照l = [x, y, z] ∈ℝ3重复填充至ℝp*q*3的空间中，将填充后的光照记为h，则h∈ℝp*q*3，此时h与m有相同的空间大小，将h与m在第三组维度上连接融合，成为新的张量，新的张量属于ℝp*q*6，在输入j张图像和光照的情况下，得到了j个融合后的张量；
将这些张量分别进行4层卷积层操作，卷积层1、2、3、4的卷积核大小均为3*3，均采用“relu”激活函数，其中第2层和第4层是步长“stride”为2的卷积，第1层和第3层是步长“stride”为1的卷积，卷积层1、2、3、4的特征通道数分别为64，128，128，256；
之后，利用最大池化层从j个经过4层卷积的张量∈ℝp/4*q/4*256池化为一个ℝp/4*q/4*256中的张量；
再经过卷积层5、6、7、8计算，卷积层5、6、7、8的卷积核大小均为3*3，均采用“relu”激活函数，其中第5层和第7层为转置卷积，第6层和第8层是步长“stride”为1的卷积，卷积层5、6、7、8的特征通道数为128、128、64、3；
最后，对第8层卷积得到的张量进行规范化处理，使其模为1，得到预测的表面法向
Figure 884254DEST_PATH_IMAGE001
；
（2）注意力权重生成网络被设计成从图像m 1 , m 2 , ..., m j 中生成需要重建物体的注意力权重图：
注意力权重生成网络对图像m∈ℝp*q*3计算其梯度值，该梯度值也属于空间ℝp*q*3，并将其梯度与图像在第三组维度上连接融合，如图3，成为新的张量，新的张量属于ℝp*q*6，在输入j张图像和光照的情况下，得到了j个融合后的张量；
首先将这些融合后的张量分别进行3层的卷积层操作，这3层的卷积核大小均为3*3，均采用“relu”激活函数，其中第2层的步长“stride”为2，第1层和第3层的步长“stride”为1，四个卷积层的特征通道数分别为64、128、128；
之后，利用最大池化层从j个经过3层卷积的张量∈ℝp/2*q/2*128池化为一个ℝp/2*q/2*128中的张量；
再经过卷积层5、6、7计算，卷积层5、6、7的卷积核大小均为3*3，均采用“relu”激活函数，其中第6层为转置卷积，第5层和第7层是步长“stride”为1的卷积，卷积层5、6、7的特征通道数为128、64、1，从而得到待重建物体的注意力权重图P ；
（3）注意力权重损失L是一个逐像素处理的损失函数，它由每一个像素点的损失L k 平均计算得到，公式为
Figure 280950DEST_PATH_IMAGE002
；
每一个像素位置的损失L k 包括两部分，第一部分是带有系数项的梯度损失L gradient ，第二部分是带有系数项的法向损失L normal ，即L k= P k L gradient +λ(1 – P k ) L normal ；
其中，
Figure 564295DEST_PATH_IMAGE003
，
Figure 668255DEST_PATH_IMAGE004
是待重建物体的真实表面法向n在位置k的梯度，ζ是计算梯度时使用的邻域像素范围，ζ设置范围为1、2、3、4、5，本发明中默认设置为1，
Figure 386069DEST_PATH_IMAGE005
是预测的表面法向
Figure 989220DEST_PATH_IMAGE006
在位置k的梯度；
Figure 648609DEST_PATH_IMAGE007
表示网络预测的表面法向，
Figure 667512DEST_PATH_IMAGE008
表示真实表面法向；
梯度损失在网络中可以锐化表面法向的高频表达；P k 为注意力权重图上像素位置k上的值，也即注意力权重为逐像素的损失L k 提供第一个梯度损失分项L gradient 的权重，注意力权重值大的地方，梯度损失的权重就大；
其次，
Figure 358606DEST_PATH_IMAGE009
，●代表点乘操作，λ是一个超参，目的是为了梯度损失和法向损失，本文将其设置为8；一般可以设置为{7,8,9,10}，取8时可以获得较好的效果；
通过上述（3）注意力权重损失可将（1）表面法向生成网络和（2）注意力权重生成网络建立起联系；
（4）网络训练
训练网络时，利用反向传播算法不断调整优化，最小化上述损失函数，使其在达到30次epoch（循环）的时刻停止训练，以达到最优效果；或者L normal 小于0.03时，即认为训练已经达到最有效果，停止训练；
在本发明中，在30个epoch后结束结束网络的训练，此时即认为训练已经达到最优效果；
（5）将上述训练好的网络用于光度立体图像的表面法向重建：
先拍摄s张以上不同光照方向的图像， s≥10，将m 1 , m 2 , ..., m s 和l 1 , l 2 , ...,l s 输入训练好的网络，得到预测的表面法向
Figure 568877DEST_PATH_IMAGE001
。
其中p，q∈{16、32、48、64}，λ∈{7,8,910}，ζ可以取1，2，3，4，5。
重建效果如图4所示。第一行表示待重建物体拍摄的图像，第二行代表生成的注意力权重图P，第三行代表生成的表面法向
Figure 217027DEST_PATH_IMAGE001
。

Claims (8)

1.基于深度学习的高频区域增强的光度立体三维重建方法，其特征是包括以下步骤：
1）利用光度立体***，拍摄若干张待重建物体的图像：
待重建物体在单个平行白色光源的照射下拍摄图像，以待重建物体中心为坐标轴原点，建立笛卡尔坐标系，则白光光源的位置由该笛卡尔坐标系中向量l = [x, y, z]表示；
改变该光源位置，在另一光照方向下获得拍摄图像；通常需至少拍摄10张以上的在不同光照方向照射下的图像，记作m 1 , m 2 , ..., m j ，同时相对应的光源位置记作l 1 , l 2 , ...,l j ，j为大于等于10的自然数；
2）利用深度学习算法输入m 1 ,m 2 , ..., m j 和l 1 ,l 2 , ..., l j ，输出准确的表面法向三维重建：
所利用的深度学习算法分为以下四个部分：（1）表面法向生成网络，（2）注意力权重生成网络，（3）注意力权重损失函数联合训练,（4）网络训练；其中：
（1）表面法向生成网络被设计成从图像m 1 ,m 2 , ..., m j 和光照l 1 ,l 2 , ..., l j 中生成需要重建物体的表面法向
Figure 427731DEST_PATH_IMAGE001
；
（2）注意力权重生成网络被设计成从图像m 1 , m 2 , ..., m j 中生成需要重建物体的注意力权重图P ；
（3）注意力权重损失L是一个逐像素处理的损失函数，它由每一个像素点的损失L k 平均计算得到，公式为
Figure 282554DEST_PATH_IMAGE002
； p*q为图像m的分辨率，p、q≥2n，n≥4；
每一个像素位置的损失L k 包括两部分，第一部分是带有系数项的梯度损失L gradient ，第二部分是带有系数项的法向损失L normal ，即L k= P k L gradient +λ(1 – P k ) L normal ；
其中，
Figure 718084DEST_PATH_IMAGE003
；
Figure 801708DEST_PATH_IMAGE004
是待重建物体的真实表面法向n在位置k的梯度；
ζ是计算梯度时使用的邻域像素范围，ζ设置范围为1、2、3、4、5；
Figure 22605DEST_PATH_IMAGE005
是预测的表面法向
Figure 235281DEST_PATH_IMAGE006
在位置k的梯度；
Figure 659571DEST_PATH_IMAGE007
表示网络预测的表面法向，
Figure 514264DEST_PATH_IMAGE008
表示真实表面法向；
P k 为注意力权重图上像素位置k上的值；
其次，
Figure 386405DEST_PATH_IMAGE009
，●代表点乘操作，λ是一个超参，设置范围为{7、8、9、10}；
通过上述（3）注意力权重损失可将（1）表面法向生成网络和（2）注意力权重生成网络建立起联系；
（4）网络训练
训练网络时，利用反向传播算法不断调整优化，最小化上述损失函数，使其在达到设定的循环次数时停止训练，以达到最优效果；或者L normal 小于0.03时，即认为训练已经达到最有效果，停止训练；
3）将上述训练好的网络用于光度立体图像的表面法向重建：
先拍摄s张以上不同光照方向的图像， s≥10，将m 1 , m 2 , ..., m s 和l 1 , l 2 , ..., l s 输入训练好的网络，得到预测的表面法向
Figure 68184DEST_PATH_IMAGE006
。
2.如权利要求1所述的基于深度学习的高频区域增强的光度立体三维重建方法，其特征是（1）表面法向生成网络被设计成从图像m 1 ,m 2 , ..., m j 和光照l 1 ,l 2 , ..., l j 中生成需要重建物体的表面法向
Figure 760197DEST_PATH_IMAGE001
具体如下：
图像m的分辨率记为p*q，p、q≥2n，n≥4，则m∈ℝp*q*3，其中3表示RGB；表面法向生成网络首先按照m的分辨率p*q将光照l = [x, y, z] ∈ℝ3重复填充至ℝp*q*3的空间中，将填充后的光照记为h，则h∈ℝp*q*3，此时h与m有相同的空间大小，将h与m在第三组维度上连接融合，成为新的张量，新的张量属于ℝp*q*6，在输入j张图像和光照的情况下，得到了j个融合后的张量；
将这些张量分别进行4层卷积层操作，卷积层1、2、3、4的卷积核大小均为3*3，均采用“relu”激活函数，其中第2层和第4层是步长“stride”为2的卷积，第1层和第3层是步长“stride”为1的卷积，卷积层1、2、3、4的特征通道数分别为64，128，128，256；
之后，利用最大池化层从j个经过4层卷积的张量∈ℝp/4*q/4*256池化为一个ℝp/4*q/4*256中的张量；
再经过卷积层5、6、7、8计算，卷积层5、6、7、8的卷积核大小均为3*3，均采用“relu”激活函数，其中第5层和第7层为转置卷积，第6层和第8层是步长“stride”为1的卷积，卷积层5、6、7、8的特征通道数为128、128、64、3；
最后，对第8层卷积得到的张量进行规范化处理，使其模为1，得到需要重建物体的表面法向
Figure 684159DEST_PATH_IMAGE001
。
3.如权利要求1所述的基于深度学习的高频区域增强的光度立体三维重建方法，其特征是（2）注意力权重生成网络被设计成从图像m 1 , m 2 , ..., m j 中生成需要重建物体的注意力权重图P具体如下：
注意力权重生成网络对图像m∈ℝp*q*3计算其梯度值，该梯度值也属于空间ℝp*q*3，并将其梯度与图像在第三组维度上连接融合，成为新的张量，新的张量属于ℝp*q*6，在输入j张图像和光照的情况下，得到了j个融合后的张量；
首先将这些融合后的张量分别进行3层的卷积层操作，这3层的卷积核大小均为3*3，均采用“relu”激活函数，其中第2层的步长“stride”为2，第1层和第3层的步长“stride”为1，3个卷积层的特征通道数分别为64、128、128；
之后，利用最大池化层从j个经过3层卷积的张量∈ℝp/2*q/2*128池化为一个ℝp/2*q/2*128中的张量；
再经过卷积层5、6、7计算，卷积层5、6、7的卷积核大小均为3*3，均采用“relu”激活函数，其中第6层为转置卷积，第5层和第7层是步长“stride”为1的卷积，卷积层5、6、7的特征通道数为128、64、1，从而得到需要重建物体的注意力权重图P 。
4.如权利要求1所述的基于深度学习的高频区域增强的光度立体三维重建方法，其特征是所述图像m的分辨率p*q中，p取值16，32，48，64，q取值16，32，48，64。
5.如权利要求1所述的基于深度学习的高频区域增强的光度立体三维重建方法，其特征是所述ζ设置为1。
6.如权利要求1所述的基于深度学习的高频区域增强的光度立体三维重建方法，其特征是所述λ设置为8。
7.如权利要求1所述的基于深度学习的高频区域增强的光度立体三维重建方法，其特征是所述的循环次数设定为30次epoch。
8.如权利要求4所述的基于深度学习的高频区域增强的光度立体三维重建方法，其特征是所述p取值32，q取值32。
CN202111524515.8A 2021-12-14 2021-12-14 基于深度学习的高频区域增强的光度立体三维重建方法 Active CN113936117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111524515.8A CN113936117B (zh) 2021-12-14 2021-12-14 基于深度学习的高频区域增强的光度立体三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111524515.8A CN113936117B (zh) 2021-12-14 2021-12-14 基于深度学习的高频区域增强的光度立体三维重建方法

Publications (2)

Publication Number Publication Date
CN113936117A CN113936117A (zh) 2022-01-14
CN113936117B true CN113936117B (zh) 2022-03-08

Family

ID=79288969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111524515.8A Active CN113936117B (zh) 2021-12-14 2021-12-14 基于深度学习的高频区域增强的光度立体三维重建方法

Country Status (1)

Country Link
CN (1) CN113936117B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115098563B (zh) * 2022-07-14 2022-11-11 中国海洋大学 基于gcn和注意力vae的时序异常检测方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862741A (zh) * 2017-12-10 2018-03-30 中国海洋大学 一种基于深度学习的单帧图像三维重建装置及方法
CN109146934A (zh) * 2018-06-04 2019-01-04 成都通甲优博科技有限责任公司 一种基于双目立体和光度立体的人脸三维重建方法及***
CN110060212A (zh) * 2019-03-19 2019-07-26 中国海洋大学 一种基于深度学习的多光谱光度立体表面法向恢复方法
CN113538675A (zh) * 2021-06-30 2021-10-22 同济人工智能研究院(苏州)有限公司 一种为激光点云计算注意力权重的神经网络及训练方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510573B (zh) * 2018-04-03 2021-07-30 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
US11574413B2 (en) * 2020-02-03 2023-02-07 Nanotronics Imaging, Inc. Deep photometric learning (DPL) systems, apparatus and methods
CN113762358B (zh) * 2021-08-18 2024-05-14 江苏大学 一种基于相对深度训练的半监督学习三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862741A (zh) * 2017-12-10 2018-03-30 中国海洋大学 一种基于深度学习的单帧图像三维重建装置及方法
CN109146934A (zh) * 2018-06-04 2019-01-04 成都通甲优博科技有限责任公司 一种基于双目立体和光度立体的人脸三维重建方法及***
CN110060212A (zh) * 2019-03-19 2019-07-26 中国海洋大学 一种基于深度学习的多光谱光度立体表面法向恢复方法
CN113538675A (zh) * 2021-06-30 2021-10-22 同济人工智能研究院(苏州)有限公司 一种为激光点云计算注意力权重的神经网络及训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Constrained Independent Component Analysis Based Photometric Stereo for 3D Human Face Reconstruction;Cheng-Jian Lin等;《2012 International Symposium on Computer, Consumer and Control》;20120702;710-712 *
深度学习在基于单幅图像的物体三维重建中的应用;陈加等;《自动化学报》;20181128(第04期);23-34 *

Also Published As

Publication number Publication date
CN113936117A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
Chen et al. Point-based multi-view stereo network
CN106355570B (zh) 一种结合深度特征的双目立体视觉匹配方法
CN111325794A (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN111340944B (zh) 基于隐式函数和人体模板的单图像人体三维重建方法
Graber et al. Efficient minimal-surface regularization of perspective depth maps in variational stereo
CN112634149B (zh) 一种基于图卷积网络的点云去噪方法
Pottmann et al. The isophotic metric and its application to feature sensitive morphology on surfaces
CN112348959A (zh) 一种基于深度学习的自适应扰动点云上采样方法
EP4118619A1 (en) Pose estimation method and apparatus
CN113936117B (zh) 基于深度学习的高频区域增强的光度立体三维重建方法
CN107103610A (zh) 立体测绘卫星影像匹配可疑区域自动检测方法
CN114549669B (zh) 一种基于图像融合技术的彩色三维点云获取方法
CN115841422A (zh) 基于金字塔结构超分辨率网络的图像拼接方法
CN112991504B (zh) 一种改进的基于tof相机三维重建的补空洞方法
CN115631223A (zh) 基于自适应学习和聚合的多视图立体重建方法
JP2856661B2 (ja) 濃度変換装置
Gallardo et al. Using Shading and a 3D Template to Reconstruct Complex Surface Deformations.
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及***
US20220172421A1 (en) Enhancement of Three-Dimensional Facial Scans
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
Gong et al. Multi-view stereo point clouds visualization
CN112907733A (zh) 重建三维模型的方法及装置和三维模型采集及重建***
Tabb et al. Camera calibration correction in shape from inconsistent silhouette
EP4191526A1 (en) Apparatus and method with object posture estimating
JP7508673B2 (ja) コンピュータビジョン方法およびシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant