CN112785684B - 一种基于局部信息加权机制的三维模型重建方法 - Google Patents

一种基于局部信息加权机制的三维模型重建方法 Download PDF

Info

Publication number
CN112785684B
CN112785684B CN202011270682.XA CN202011270682A CN112785684B CN 112785684 B CN112785684 B CN 112785684B CN 202011270682 A CN202011270682 A CN 202011270682A CN 112785684 B CN112785684 B CN 112785684B
Authority
CN
China
Prior art keywords
dimensional
feature
local information
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011270682.XA
Other languages
English (en)
Other versions
CN112785684A (zh
Inventor
冷彪
杨量
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guoxin Hongsi Technology Co ltd
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011270682.XA priority Critical patent/CN112785684B/zh
Publication of CN112785684A publication Critical patent/CN112785684A/zh
Application granted granted Critical
Publication of CN112785684B publication Critical patent/CN112785684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于局部信息加权机制的三维模型重建方法，包括以下步骤：步骤一：利用主干网络对输入图片进行特征提取，得到二维图像特征；步骤二：将步骤一中得到的二维图像特征转换为三维特征；步骤三：利用基于注意力机制的分支网络生成能够衡量二维特征局部信息重要程度的权重分布图；步骤四：将步骤三得到的权重分布图作用于主干网络中提取到的二维图像特征，进而得到局部信息经过筛选后的二维强化特征；步骤五：将步骤四得到的二维强化特征进行维度转换操作，生成三维强化特征，之后与主干网络合并生成最终的三维体素模型预测结果。

Description

一种基于局部信息加权机制的三维模型重建方法
技术领域
本发明涉及一种基于局部信息加权机制的三维模型重建方法，属于深度学习以及计算机视觉领域。
背景技术
基于视图的三维模型重建技术是计算机视觉的一项基本技术，即根据物体的2D视图重建出物体的三维模型，作为环境感知的关键技术，其在智慧城市、3D打印、虚拟现实、运动目标检测、行为分析等领域有着广阔的应用前景。
基于视图的三维模型重建技术可分为传统的三维模型重建方法和基于深度学习的三维模型重建方法，传统的三维模型重建技术主要通过像素点的亮度变化和视差等几何信息来重建三维模型结构，大致分为纹理推导法、运动法和轮廓法。而基于深度学习的重建技术则利用图像信息直接进行三维模型的重建，更符合人类的视觉分析模式。近些年来，深度学习技术在图像处理领域的快速发展极大地提升了计算机对于图像信息的获取能力，进而也提升了基于视图所重建出的三维模型的准确度。将深度学习技术用于基于图像的三维模型重建任务中使重建效果得到了极大的提升。对于利用深度学习方法的三维模型重建技术而言，三维物体的表示形式至关重要，目前常用的三维模型表示模型有以下三种：点云模型、面片模型和体素模型，针对不同表示形式的三维模型其对应的神经网络模型和重建策略也是不同的。基于深度学习的三维模型重建网络往往采用编码-解码形式，将特征提取过程分为对二维图像信息的提取与三维几何特征的提取两个部分，并用一种空间转化操作将两个过程进行衔接，进而得到最终的三维模型预测结果。
但是上述现有三维模型重建方法，对二维图像信息提取不充分导致局部信息丢失进而容易造成预测模型细节缺失。
发明内容
本发明的技术解决问题是：克服现有三维模型重建方法因对二维图像信息提取不充分导致局部信息丢失进而造成预测模型细节缺失的问题，提供一种双分支网络结构可以对二维图像特征进行更为充分的利用进而预测出更精确的三维体素模型。
本发明的技术方案为：一种基于局部信息加权机制的三维模型重建方法，网络结构包含两个子网络，主干网络利用编码器-解码器网络结构生成粗略的三维特征，分支网络对主干网络中各层级二维图像特征进行提取和筛选，将筛选出的局部信息以三维特征的形式和主干网络结合，进而形成更精确的三维体素模型预测结果。
本发设计的算法应用深度神经网络，是一种基于局部信息加权机制的三维体素模型重建方法，步骤如下：
步骤一：利用主干网络提取图像特征
使用经过改良的3D-R2N2网络结构作为主干网络对待预测图片进行图像特征提取，3D-R2N2网络由二维图像特征提取与三维模型特征提取两个部分组成，二维图像特征提取部分包含6个卷积模块，并采用池化操作的方式对特征的尺寸进行缩减。图像I输入到网络后会在二维图像特征提取过程中产生很多不同尺寸的特征图，我们将尺寸最小、经历卷积操作次数最多的特征图F作为二维图像特征提取部分的最终输出，F的通道数为512，尺寸为输入图像尺寸的1/32。
步骤二：将二维图像特征转换为三维模型特征
步骤一中得到的特征F是一个二维特征，在进行特征维度转化时首先将F通过矩阵压缩操作变换为一个一维特征，之后经过两个全链接操作对一维特征进行进一步的信息提取，最后再通过矩阵尺寸重组操作将一维特征调整为三维特征，并将转换后的三维特征输入到主干网络的三维模型特征提取部分，利用4层3D卷积模块进行特征提取，同时利用反池化操作对三维特征的尺寸进行放大，最终生成相应尺寸的三维特征。
步骤三：设计基于注意力机制的分支网络
为了更好地利用二维图像特征之中所包含的物体局部信息，本方法设计了一个由8个2D卷积层所组成的分支网络，可以对主干网络中二维特征的重要局部信息进行强化和筛选，该分支网络对输入图像I进行编码并生成一个表示图像各区域局部信息敏感度的矩阵M＝{m1，m2，...，mk}，之后将M转换为表示图像各区域局部信息重要程度的权重分布图A＝{a1，a2，...，ak}，实现过程如下式所示：
Figure BDA0002777602970000021
其中mi表示特征图中每个区域对于局部信息的敏感度值，ai表示权重度分布图中每个区域所代表的局部信息重要性权重。
步骤四：对主干网络二维特征的局部信息进行加权
将步骤三计算得到的权重分布图A作用于主干网络中的中间二维特征图Fm，进而得到重要局部信息得到增强的特征F’，实现过程如下式：
Figure BDA0002777602970000031
上式中F’即为经过局部信息筛选后的二维特征，
Figure BDA0002777602970000032
代表点积。经过权重分布图A的加权后，F’中对模型重建贡献较大的局部信息区域得到了增强。
步骤五：将分支网络与主干网络结合
将步骤四中得到的强化特征F’按照步骤二中的维度转换方法转换为三维强化特征G’，并将G’与主干网络三维模型特征提取部分尺寸相对应的三维特征G相结合，进而对一些包含的局部信息更为重要的区域进行强化，生成包含的局部特征更全面更精确的三维特征，最后通过sigmoid函数操作生成最终的体素模型V。
实现过程如下：
V＝sigmoid(G+G)
其中sigmoid为sigmoid运算函数，V为最终预测的三维体素模型，G为主干网络生成的三维特征，G’为分支网络生成的三维强化特征。
本发明与现有技术相比的优点及功效在于：
(1)本发明在三维模型重建领域具有重要的应用。克服了传统三维模型重建网络对图像局部特征提取不够全面，进而导致预测模型精度缺失的问题。
(2)横向比较而言，本发明运用基于局部信息加权机制的双分支三维模型预测网络，两个分支以不同的方式对输入图片进行处理，使得网络能够获得更全面的局部信息，进而能够更好地感知一些难以预测的模型细节，提升了网络预测性能。
附图说明
图1为本发明所述方法的网络主体架构图；
图2为本发明中主干网络所采用的改进的3D-R2N2网络结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
1.深度神经网络是一个从图片映射到特征向量的多参数映射函数，用fθ(·)来表示。对于给定的数据集X＝{x1，x2，...，xn}及其对应的标签集合Y＝{y1，y2，...，yn}，通常用fi＝fθ(xi)来表示数据相对应的特征向量。
2.体素模型描述了三维模型在三维空间的位置分布情况，体素模型将三维空间切分为多个等体积的单位体素空间，进而将物体在空间中所处的位置表示为物体所占用的单位体素空间的集合，每个单位体素空间有相应的三维坐标以及物体的占用信息(1表示占用，0表示未占用)。由于体素模型具有其简洁规范的特性而被广泛运用于三维模型重建和生成工作中。
本发明一种基于局部信息加权机制的三维模型重建方法，如图1所示，该方法包括有下列实施步骤：
步骤一：利用主干网络提取图像特征
使用经过改良的3D-R2N2网络结构作为主干网络对待预测图片进行图像特征提取，如图2所示，改进的3D-R2N2网络由二维图像特征提取与三维模型特征提取两个部分组成，二维图像特征提取部分包含6个卷积模块，并采用池化操作的方式对特征的尺寸进行缩减。图像I输入到网络后会在二维图像特征提取过程中产生很多不同尺寸的特征图，我们将尺寸最小、经历卷积操作次数最多的特征F作为二维图像特征提取部分的最终输出，F的通道数为512，尺寸为输入图像尺寸的1/32。
步骤二：将二维图像特征转换为三维模型特征
步骤一中得到的特征F是一个二维特征，在进行特征维度转化时首先将F通过矩阵压缩操作变换为一个一维特征，之后经过两个全链接操作对一维特征进行进一步的信息提取，最后再通过矩阵尺寸重组操作将一维特征调整为三维特征，并将转换后的三维特征输入到主干网络的三维模型特征提取部分，利用4层3D卷积模块进行特征提取，同时利用反池化操作对三维特征的尺寸进行放大，最终生成相应尺寸的三维特征。
步骤三：设计基于注意力机制的分支网络
为了更好地利用二维图像特征之中所包含的物体局部信息，本方法设计了一个由8个2D卷积层所组成的分支网络，可以对主干网络中二维特征的重要局部信息进行强化和筛选，该分支网络对输入图像I进行编码并生成一个表示图像各区域局部信息敏感度的矩阵M＝{m1，m2，...，mk}，之后将M转换为表示图像各区域局部信息重要程度的权重分布图A＝{a1，a2，...，ak}，实现过程如下式所示：
Figure BDA0002777602970000041
其中mi表示特征图中每个区域对于局部信息的敏感度值，ai表示权重度分布图中每个区域所代表的局部信息重要性权重。
步骤四：对主干网络二维特征的局部信息进行加权
将步骤三计算得到的权重分布图A作用于主干网络中的中间二维特征图Fm，进而得到重要局部信息得到增强的特征F’，实现过程如下式：
Figure BDA0002777602970000051
上式中F’即为经过局部信息筛选后的二维特征，
Figure BDA0002777602970000052
代表点积。经过权重分布图A的加权后，F’中对模型重建贡献较大的局部信息区域得到了增强。
步骤五：将分支网络与主干网络结合
将步骤四中得到的强化特征F’按照步骤二中的维度转换方法转换为三维强化特征G’，并将G’与主干网络三维模型特征提取部分尺寸相对应的三维特征G相结合，进而对一些包含的局部信息更为重要的区域进行强化，生成包含的局部特征更全面更精确的三维特征，最后通过sigmoid函数操作生成最终的体素模型V。
实现过程如下：
V＝sigmoid(G+G)
其中sigmoid为sigmoid运算函数，V为最终预测的三维体素模型，G为主干网络生成的三维特征，G’为分支网络生成的三维强化特征。
本发明应用于单张图片的三维体素模型重建任务，利用了神经网络强大的特征提取能力，并结合一种新颖的特征局部信息提取方法，提升了网络模型对于物体局部信息的提取效率，并提高了三维体素模型的预测精度，使一些预测较为困难的模型细节得以重建。
本发明未详细描述的部分属于本领域公知技术。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (6)

1.一种基于局部信息加权机制的三维模型重建方法，其特征在于，包括以下步骤：
步骤一：利用主干网络对输入图片进行特征提取，得到二维图像特征；
步骤二：将步骤一中得到的二维图像特征转换为三维特征；
步骤三：利用基于注意力机制的分支网络生成能够衡量二维特征局部信息重要程度的权重分布图；
步骤四：将步骤三得到的权重分布图作用于主干网络中提取到的二维图像特征，进而得到局部信息经过筛选后的二维强化特征；
步骤五：将步骤四得到的二维强化特征进行维度转换操作，生成三维强化特征，之后与主干网络合并生成最终的三维体素模型预测结果。
2.根据权利要求1所述的一种基于局部信息加权机制的三维模型重建方法，其特征在于：所述步骤一中，具体如下：
使用经过改良的3D-R2N2网络作为主干网络对待预测图片进行图像特征提取，所述经过改良的3D-R2N2网络包括二维图像特征提取部分与三维模型特征提取部分，二维图像特征提取部分包含6个卷积模块，并采用池化操作的方式对特征的尺寸进行缩减；图像I输入到所述经过改良的3D-R2N2网络后会在二维图像特征提取过程中产生很多不同尺寸的特征图，将尺寸最小、经历卷积操作次数最多的特征F作为二维图像特征提取部分的最终输出，F的通道数为512，尺寸为输入图像尺寸的1/32。
3.根据权利要求1所述的一种基于局部信息加权机制的三维模型重建方法，其特征在于：所述步骤二中，二维图像特征转换为三维特征的特征维度转换过程如下：
步骤一中得到的特征F是一个二维特征，在进行特征维度转化时首先将F通过矩阵压缩操作变换为一个一维特征向量，之后经过两个全链接操作对一维特征向量进行进一步的信息提取，最后再通过矩阵尺寸重组操作将一维特征调整为三维特征，并将转换后的三维特征输入到主干网络的三维模型特征提取部分，利用4层3D卷积模块进行特征提取，同时利用反池化操作对三维特征的尺寸进行放大，最终生成相应尺寸的三维特征。
4.根据权利要求1所述的一种基于局部信息加权机制的三维模型重建方法，其特征在于：所述步骤三中，分支网络的运作过程如下：
所述的分支网络包括由8个2D卷积层所组成，用于对主干网络中二维特征的重要局部信息进行强化和筛选，该分支网络对输入图像I进行编码并生成一个表示图像各区域局部信息敏感度的矩阵M＝{m1，m2，...，mk}，k表示区域的数量，之后将M转换为表示图像各区域局部信息重要程度的权重分布图A＝{a1，a2，...，ak}，实现过程如下式所示：
Figure FDA0002777602960000021
其中mi表示特征图中每个区域对于局部信息的敏感度值，ai表示权重度分布图中每个区域所代表的局部信息重要性权重。
5.根据权利要求1所述的一种基于局部信息加权机制的三维模型重建方法，其特征在于：所述步骤四中，局部信息加权过程如下：
将步骤三计算得到的权重分布图A作用于主干网络中的二维图像特征Fm，进而得到重要局部信息得到增强的特征，即强化特征F’，实现过程如下式：
F’＝Fm⊙A
上式中F’即为经过局部信息筛选后的二维特征，⊙代表点积，经过权重分布图A的加权后，F’中对模型重建贡献较大的局部信息区域得到了增强。
6.根据权利要求1所述的一种基于局部信息加权机制的三维模型重建方法，其特征在于：所述步骤五中，主干网络与分支网络的合并过程如下：
将步骤四中得到的强化特征F’按照步骤二中的维度转换方法转换为三维强化特征G’，并将G’与主干网络三维模型特征提取部分尺寸相对应的三维特征G相结合，进而对一些包含的局部信息更为重要的区域进行强化，生成包含的局部特征更全面更精确的三维特征，最后通过sigmoid函数操作生成最终的体素模型V；
实现过程如下：
V＝sigmoid(G+G’)
其中sigmoid为sigmoid运算函数，V为最终预测的三维体素模型，G为主干网络生成的三维特征，G’为分支网络生成的三维强化特征。
CN202011270682.XA 2020-11-13 2020-11-13 一种基于局部信息加权机制的三维模型重建方法 Active CN112785684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011270682.XA CN112785684B (zh) 2020-11-13 2020-11-13 一种基于局部信息加权机制的三维模型重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011270682.XA CN112785684B (zh) 2020-11-13 2020-11-13 一种基于局部信息加权机制的三维模型重建方法

Publications (2)

Publication Number Publication Date
CN112785684A CN112785684A (zh) 2021-05-11
CN112785684B true CN112785684B (zh) 2022-06-14

Family

ID=75750510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011270682.XA Active CN112785684B (zh) 2020-11-13 2020-11-13 一种基于局部信息加权机制的三维模型重建方法

Country Status (1)

Country Link
CN (1) CN112785684B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822825B (zh) * 2021-11-25 2022-02-11 电子科技大学成都学院 基于3d-r2n2的光学建筑目标三维重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084093A (zh) * 2019-02-20 2019-08-02 北京航空航天大学 基于深度学习的遥感图像中目标检测与识别的方法及装置
CN110728219A (zh) * 2019-09-29 2020-01-24 天津大学 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111402405A (zh) * 2020-03-23 2020-07-10 北京工业大学 一种基于注意力机制的多视角图像三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006516440A (ja) * 2003-01-31 2006-07-06 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 三次元物体の再構築法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084093A (zh) * 2019-02-20 2019-08-02 北京航空航天大学 基于深度学习的遥感图像中目标检测与识别的方法及装置
CN110728219A (zh) * 2019-09-29 2020-01-24 天津大学 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111402405A (zh) * 2020-03-23 2020-07-10 北京工业大学 一种基于注意力机制的多视角图像三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于注意力机制的立体匹配网络研究;程鸣洋 等;《光学学报》;20200731;第40卷(第14期);全文 *

Also Published As

Publication number Publication date
CN112785684A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN111862101A (zh) 一种鸟瞰图编码视角下的3d点云语义分割方法
CN113569979B (zh) 一种基于注意力机制的三维物体点云分类方法
CN113792641B (zh) 一种结合多谱注意力机制的高分辨率轻量级的人体姿态估计方法
Zhang et al. Point cloud completion via skeleton-detail transformer
CN113436237B (zh) 一种基于高斯过程迁移学习的复杂曲面高效测量***
CN111028335B (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN113112583B (zh) 基于红外热成像的3d人体重构方法
CN114463511A (zh) 一种基于Transformer解码器的3D人体模型重建方法
CN113096239B (zh) 一种基于深度学习的三维点云重建方法
CN112258626A (zh) 基于图像级联生成稠密点云的三维模型生成方法及***
CN112634438A (zh) 基于对抗网络的单帧深度图像三维模型重建方法及装置
CN113362242A (zh) 基于多特征融合网络的图像修复方法
CN113822825B (zh) 基于3d-r2n2的光学建筑目标三维重建方法
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
CN112149802A (zh) 一种语义结构一致的图像内容转换方法
Wang et al. PACCDU: Pyramid attention cross-convolutional dual UNet for infrared and visible image fusion
CN112785684B (zh) 一种基于局部信息加权机制的三维模型重建方法
CN117115359B (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
Chen et al. Ground 3D object reconstruction based on multi-view 3D occupancy network using satellite remote sensing image
CN116597071A (zh) 一种基于可学习的k临近点采样的缺陷点云数据重建方法
CN116246010A (zh) 一种基于图像的人体三维重建方法
CN113593007B (zh) 一种基于变分自编码的单视图三维点云重建方法及***
CN110322548A (zh) 一种基于几何图像参数化的三维网格模型生成方法
CN115700763A (zh) 一种应用于高分辨率遥感图像的端到端语义分割方法
CN115115860A (zh) 一种基于深度学习的图像特征点检测匹配网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230823

Address after: Room 231, 2nd Floor, Zone C, No. 8 College, No.18 Xueqing Road, Haidian District, Beijing, 100083

Patentee after: Beijing Guoxin Hongsi Technology Co.,Ltd.

Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road

Patentee before: BEIHANG University

TR01 Transfer of patent right