CN110349087A - 基于适应性卷积的rgb-d图像高质量网格生成方法 - Google Patents
基于适应性卷积的rgb-d图像高质量网格生成方法 Download PDFInfo
- Publication number
- CN110349087A CN110349087A CN201910609314.4A CN201910609314A CN110349087A CN 110349087 A CN110349087 A CN 110349087A CN 201910609314 A CN201910609314 A CN 201910609314A CN 110349087 A CN110349087 A CN 110349087A
- Authority
- CN
- China
- Prior art keywords
- convolution
- network
- image
- adaptability
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000003321 amplification Effects 0.000 claims abstract description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于适应性卷积的RGB‑D图像高质量网格生成方法，包括步骤：1)构建训练数据集；2)数据扩增和归一化；3)构建适应卷积层；4)构建深度图像补全网络和超分辨率网络并进行训练；5)将测试数据依次输入两个训练好的网络中，输出修补好的高分辨率图片并进一步转化成高质量网格。本发明构建的数据集弥补了当前在深度图像补全领域缺乏高质量的大规模的数据集的问题；使用编码解码结构以及跨层连接结构，能够有效将数据中的低层特征和高层特征融合起来，同时避免了参数的冗余；使用适应性卷积结构能有效解决当前方法难以产生高质量的完整的深度图像的问题。本发明能解决当前kinect获取到的数据精度低，缺失区域大的问题。
Description
技术领域
本发明涉及高质量三维网格生成的技术领域，尤其是指一种基于适应性卷积的RGB-D图像高质量网格生成方法。
背景技术
随着深度传感器在自动驾驶、增强现实、室内导航、安全支付以及场景重建等领域的大量应用，对于高精度的深度信息的获取以及后续高质量三维重建结果的需求变得愈发重要。尽管最近在深度感应技术上已经取得很大的进展，但在一方面商品级RGB-D相机比如Microsoft Kinect，Intel RealSense和Google Tango等设备仍然存在当被采集表面过于光滑，高光，太过纤细，太过靠近或者远离相机等因素影响下，采集到的深度图像会经常出现深度数据的缺失。而这些情况又在较大的房间，条状物体和强光照射的场景下频繁出现。即使在家中，深度图像也通常缺少超过50％的像素。在另一方面，受限于深度摄像机较低的分辨率，通过传感器数据重建出的点云太过稀疏。这些深度传感器扫描所得到的原始数据可能不太适合上述如三维重建应用的使用。
高质量网格数据快速生成主要有两个关键部分：首先，数据补全，即恢复出因各种不利因素带来的深度数据的缺失。然后，数据超分辨率，即从上一步的到的低分辨率的完整的点云数据生成高分辨率的点云数据。最后，进一步由点云数据生成网格数据。
许多基于传统方法的室内RGB-D数据补全以及超分辨率的方法效果都不尽人意，而最近，少数基于深度学习的方法有一定的效果，但有以下几个主要缺点：1)非端到端的学习导致方法不能做到实时；2)卷积较大的感受野造成边缘信息的破坏。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于适应性卷积的RGB-D图像高质量网格生成方法，该方法利用深度学习策略，构建卷积神经网络，将局部特征以及全局特征结合，并在学习的过程中引入适应性卷积，避免了边缘信息被破坏的情况下有效实现高质量室内网格数据的快速生成。
为实现上述目的，本发明所提供的技术方案为：基于适应性卷积的RGB-D图像高质量网格生成方法，包括以下步骤：
1)构建训练数据集；
2)数据扩增和归一化；
3)构建适应性卷积层；
4)构建深度图像补全网络和超分辨率网络并进行训练；
5)将测试数据依次输入两个训练好的网络中，输出修补好的高分辨率图片并进一步转化成高质量网格。
在步骤1)中，获取基础数据，包括RGBD数据集NYU-DATASET和RGBD-SCENE-DATASET，NYU-DATASET、RGBD-SCENE-DATASET两个数据包含用kinect v1获取到的室内场景彩色图像IRGB和与之对应的带缺失的深度图像IDinc，并用基于泊松方程和稀疏矩阵的方法对带缺失的深度图像做修复，得到完整的深度图像IDc用于训练。
在步骤2)中，数据扩增包括水平翻转和对深度图像缺失区域进行膨胀操作，以得到不同缺失比例的训练数据；数据归一化是指对彩色图像，将所有图像像素值缩放到0-1之间，对深度图像，作如下处理：
其中，分别代表归一化之前的深度图像中像素的最小值和最大值。
在步骤3)中，构建适应性卷积层，其适应性卷积的操作如下：
其中，xi为张量中的某个点，xj为xi的邻域点，mj为xj对应的掩码，ω为标准卷积操作，b为偏差，⊙代表按元素想乘操作，Ψ(Mi)为权值正则项；
适应性卷积层给予图像不同区域不同的权重，能让深度网络更好的学习到图像中的有效特征；对于语义填充网络Netfill、边缘增强网络Netrefine以及超分辨率网络Netsr，mj的计算方式各不相同，具体如下：
对于语义填充网络Netfill：
其中，判断xj是否有效的依据是在当前特征中，xj的值是否为0；
对于边缘增强网络Netrefine：
其中，判断xj是否有效的依据是在当前RGB图像中，xj与相应滑动窗口中心的像素差异是否小于5个像素值；
对于超分辨率网络Netsr：
在步骤4)中，分别构建用于补全任务的深度图像补全网络和用于超分辨率任务的超分辨率网络并进行训练，具体如下：
a、深度图像补全网络
补全网络采用了多尺度编码解码网络进行构建，由语义填充网络Netfill以及边缘增强网络Netrefine两部分组成并依次顺序连接，其中，除最后一层之外所有的标准卷积由适应性卷积替换；
对于语义填充网络Netfill，输入带缺失的深度图像IDinc，其张量形式为H*W*1，其中，H为图像的高度，W为图像的宽度；经过Netfill语义补全之后得到完整深度图像IDout，然后将IDout以及彩色图像IRGB一并输入边缘增强网络Netrefine进行精炼调整，最终得到缺失修复结果Irepair,输出张量形式与输入图像尺寸相同；网络损失函数分别由缺失区域的损失和非缺失区域损失两部分构成，权值比例为10:1；
语义填充网络Netfill采用U型神经网络(U-Net)作为基础结构，网络包括编码器及解码器两部分，编码器用于对图像信息进行编码和特征空间的转换，解码器用于高位信息的解码，两部分均采用5层卷积神经网络架构；
编码器采用五层结构，每层分别包含适应性卷积以及批量正则化两个操作，并采用leaky-relu作为激活函数，卷积核尺寸分别为7*7、5*5、3*3、3*3、3*3，卷积步长全部为2，每经过一层特征高和宽都降为原来一半，并在输入图像的边界做补0处理；卷积核个数分别为16,32,64,128,128；通过不断地在不同尺寸提取特征以对缺失区域进行填补，最终所有的缺失区域都将被修复；
解码器同样为5层结构，每层包含上采样、特征拼接、适应性卷积以及批量正则化四个操作，采用leaky relu作为激活函数，编码器和解码器之间进行跨层连接，即每个编码器的输出都与解码器上采样后相同尺寸的特征图输出进行复制拼接，并作为解码器的输入，具体是：每个解码器层先将上一层的输入做上采样以后，和与之对应的尺寸相同的编码器特征进行拼接之后，输入当前适应性卷积进行特征学习，卷积核尺寸全部为3*3，步长全部为1*1，卷积核个数分别为128,64,32,16,1；
网络最后一层为卷积核尺寸为1*1的卷积层，用于特征的通道变换以及数值区间映射；
b、构建超分辨率网络
超分辨率任务采用了全局特征和局部特征相融合的方法，并使用曼哈顿距离作为损失函数进行优化；
对于超分辨率网络Netsr，采用密集连接块(dense block)为基础结构，通过亚像素卷积进行上采样，将所有标准卷积替换为适应性卷积，网络最后一层使用1*1卷积用于通道调整；网络使用五个密集连接块进行特征的提取，每个密集连接块都使用两次适应性卷积，卷积核的大小都为3*3，步长为1，并对输入四周进行补0以保持输入和输出的特征尺寸一致，卷积核的个数都为64；将密集连接块的输入与输出进行跨层连接，即把密集连接块的输入与输出进行特征维度的拼接之后作为下一个密集连接块的输入；通过不断融合从低维到高维的特征来使网络学习到更丰富的信息；亚像素卷积的上采样因子为4，在网络最后，有一个卷积核尺寸为1*1的标准卷积并以relu为激活函数；
c、对构建好的网络进行训练
对构建好的网络设计相应的损失函数，使用Adam方法对损失函数进行优化，最终得到训练完成的网络。
在步骤5)中，将经过神经网络修补好的高分辨率的点云数据，用滚球法BallPivoting方法生成高质量的室内场景网格数据。
本发明与现有技术相比，具有如下优点与有益效果：
1、针对目前缺失公开高质量RGB-D数据集的情况，提出构建“高-低”质量的室内场景RGB-D图像数据集的方法。
2、针对消费级别或移动设备的深度相机获取的缺失的深度信息图，提出一个利用RGB彩色图像特征结合融合卷积操作的深度信息图修复算法。
3、针对低质量、高噪音的深度图像，提出一个利用RGB彩色图像语义信息来进行去噪和增强特征的方法。
4、提出一个融合RGB彩色图像语义特征、基于点云的卷积网络进行深度图像超分辨率重建的方法。
附图说明
图1为本发明逻辑流程示意图。
图2为语义填充网络的架构图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所提供的基于适应性卷积的RGB-D图像高质量的网格生成方法，包含以下步骤：
步骤1、构建训练数据集
1.1构建室内场景补全数据集DatabaseCompletion
采用的纽约大学的开放数据集里有着超过十万组室内场景的RGBD图像，从https://cs.nyu.edu/～silberman/datasets/nyu_depth_v2.html网站中收集RGBD图像，9000≤NRGBD≤10000，其分辨率为640*480，其RGBD图像包含彩色图像IRGB、残缺的深度图像IDinc并用Anat Levin's的colorization方法对带缺失的深度图像做修复得到完整的深度图像IDc。首先对将深度图像和RGB图像对齐以及降噪之后对RGBD数据的四周进行裁切，得到557*423分辨率的图像。随后，对数据集内所有数据提取掩码构建掩码图像集MaskDepth：
式中，是其中的深度图像相对应缺失信息的掩码；
上述生成的IDinc并与对应的IRGB以及IDc组成新的训练数据，进而构建起补全任务训练数据集。
1.2构建室内场景超分辨率数据集DatabaseSR
从http://rgbd-dataset.cs.washington.edu/dataset/rgbd-scenes-v2/采集两组内容相同的深度图M对，每队图像的下采样因子为4x。一组位低分辨率深度图ILR，另一组为高分辨率深度图IHR，并对图片对水平翻转已进行数据扩增，最终得到24000～25000对数据对。
步骤2、数据扩增和归一化
数据扩增包括水平翻转和对深度图像缺失区域进行膨胀操作，以得到不同缺失比例的训练数据。
对于彩色图像IRGB，统一作除以255处理，将像素值缩放到0～1之间。而对于深度图像IDin，首先作降噪处理，将深度值在200以下以及40000以上的置零。对每张图像单独计算最小值MINIDinc以及最大值MAXIDinc，然后作以下处理：
步骤3、构建适应性卷积
本文核心为构建合适的适应性卷积来替换标准卷积以更好的服务于本任务。适应性卷积的流程如下：
其中，xi为张量中的某个点，xj为xi的邻域点，mj为xj对应的掩码，ω为标准卷积操作,b为偏差，⊙代表按元素想乘操作，Ψ(Mi)为权值正则项。适应性卷积给与不同区域不同的权重，相比传统卷积让网络更好的学习到有效特征。对于语义填充网络Netfill，边缘增强网络Netrefine以及超分辨率网络Netsr，mj的计算方式各不相同。计算方式如下。
对于语义填充网络Netfill：
其中，判断xj是否有效的依据是在当前特征中，xj的值是否为0。
对于边缘增强网络Netrefine：
其中，判断xj是否有效的依据是在当前RGB图像中中，xj与相应滑动窗口中心的像素差异是否小于5个像素值。
对于超分辨率网络Netsr：
步骤4、构建深度图像补全网络和超分辨率网络并进行训练
a、构建深度图像补全网络
深度图像补全网络采用了多尺度的编码解码结构网络进行构建，由语义填充网络Netfill以及边缘增强网络Netrefine两部分组成并依次顺序连接，其中，除最后一层之外所有的标准卷积由适应性卷积替换。
对于语义填充网络Netfill,输入带缺失的深度图像IDinc，其张量形式为H*W*1，其中，H为图像的高度，W为图像的宽度；经过Netfill语义补全之后得到完整深度图像IDout。然后再将IDout以及彩色图像Irgb一并输入Netrefine进行精炼调整，最终得到空洞填充结果IFill,输出张量形式同样为H*W*1。网络损失函数分别由缺失区域的损失和非缺失区域损失两部分构成，权值比例为1:10。
如图2所示，Netfill采用U-Net作为基础结构，编码器及解码器均采用5层卷积神经网络架构；
编码器采用五层结构，每层分别包含适应性卷积以及批量正则化两个操作，并用leaky-relu作为激活函数，卷积核尺寸分别为7*7,5*5,3*3,3*3,3*3，卷积步长全部为2，每经过一个编码层特征高和宽都降为原来一半，并在输入图像的边界做补0处理。卷积核个数分别为16,32,64,128,128。通过不断的在不同尺寸提取特征以对缺失区域进行填补，最终所有的缺失区域都将被修复。
解码器同样为5层结构，每层包含上采样、特征拼接，适应性卷积以及正则化四个操作，同样采用leaky relu作为激活函数。每个解码器层先将上一层的输入做上采样以后和与之对应的尺寸相同的编码器中的特征进行拼接之后输入当前适应性卷积进行特征学习。卷积核尺寸全部为3*3，步长全部为1*1，卷积核个数分别为128,64,32,16,1。
网络最后一层为卷积核尺寸为1*1的普通卷积层，同于特征的通道变换以及数值区间映射。
c、构建超分辨率网络
超分辨率任务采用了全局特征和局部特征相融合的方法并使用曼哈顿距离作为损失函数进行优化。
对于超分辨率网络Netsr，输入补全网络得到的结果IFill，经过密集连接块的语义提取和亚像素卷积的上采样，得到高分辨率的完整的深度图像，并最终转化为网格。
超分辨率网络Netsr采用密集连接块为基础结构，通过亚像素卷积进行上采样。同样的，将所有标准卷积替换为适应性卷积。类似的，网络最后一层使用1*1卷积用于通道调整。模型使用五个密集连接块进行特征的提取，每个密集连接块都包含两次适应性卷积，卷积核的尺寸都为3*3，步长为1，并对输入四周进行补0以保持输入和输出的特征尺寸一致，卷积核的个数都为64。并将密集连接块的输入与输出进行跨层连接，即把密集连接块的输入与输出进行特征维度的拼接之后作为下一个密集连接块的输入。通过不断的融合从低维到高维的特征来使网络学习到更丰富的信息。亚像素卷积的上采样因子为4，特征经过此层之后高和宽都变为原来的4倍。在网络最后，有一个卷积核尺寸为1*1的标准卷积并以relu为激活函数。
训练神经网络：将数据集按7:2:1的比例划分为训练集、验证集和测试集，分别对补全网络以及超分辨率网络进行训练。利用验证集，对模型实时进行评估并计算评价指标，利用测试集对训练完毕的网络进行性能测试。所用设备处理器为英特尔i7-7700,显卡为英伟达1080ti；
针对补全任务，Netfill输入为深度图Iin，以批大小4和学习率0.001先训练一天，之后把学习率降为0.0001继续训练，整个过程耗时三天。训练过程以网络输出和真值之间的均方差为损失函数。Netrefine将输入Irgb提取的权值和Netfill对应的输入做对应元素想乘，并以固定参数的标准卷积核进行卷积，无可训练参数，执行较快。
针对超分辨率任务，Netsr的输入为Ilr,以批大小为8进行训练，学习率为0.0001。训练耗费200个批次模型达到收敛。
步骤5、将测试数据依次输入两个训练好的网络中，输出修补好的高分辨率图片并进一步转化成高质量网格，具体如下：
将经过神经网络修补好的高分辨率的点云数据，用Ball Pivoting方法生成高质量的室内场景网格数据。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
Claims (6)
1.基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于，包括以下步骤：
1)构建训练数据集；
2)数据扩增和归一化；
3)构建适应性卷积；
4)构建深度图像补全网络和超分辨率网络并进行训练；
5)将测试数据依次输入两个训练好的网络中，输出修补好的高分辨率图片并进一步转化成高质量网格。
2.根据权利要求1所述的基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于：在步骤1)中，获取基础数据，包括RGBD数据集NYU-DATASET和RGBD-SCENE-DATASET，NYU-DATASET、RGBD-SCENE-DATASET两个数据包含用kinect v1获取到的室内场景彩色图像IRGB和与之对应的带缺失的深度图像IDinc，并用基于泊松方程和稀疏矩阵的方法对带缺失的深度图像做修复，得到完整的深度图像IDc用于训练。
3.根据权利要求1所述的基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于：在步骤2)中，数据扩增包括水平翻转和对深度图像缺失区域进行膨胀操作，以得到不同缺失比例的训练数据；数据归一化是指对彩色图像，将所有图像像素值缩放到0-1之间，对深度图像，作如下处理：
其中，分别代表归一化之前的深度图像中像素的最小值和最大值。
4.根据权利要求1所述的基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于：在步骤3)中，构建适应性卷积层，其适应性卷积的操作如下：
其中，xi为张量中的某个点，xj为xi的邻域点，mj为xj对应的掩码，ω为标准卷积操作，b为偏差，⊙代表按元素想乘操作，Ψ(Mi)为权值正则项；
适应性卷积给予图像不同区域不同的权重，能让深度网络更好的学习到图像中的有效特征；对于语义填充网络Netfill、边缘增强网络Netrefine以及超分辨率网络Netsr，mj的计算方式各不相同，具体如下：
对于语义填充网络Netfill：
其中，判断xj是否有效的依据是在当前特征中，xj的值是否为0；
对于边缘增强网络Netrefine：
其中，判断xj是否有效的依据是在当前RGB图像中，xj与相应滑动窗口中心的像素差异是否小于5个像素值；
对于超分辨率网络Netsr：
5.根据权利要求1所述的基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于：在步骤4)中，分别构建用于补全任务的深度图像补全网络和用于超分辨率任务的超分辨率网络并进行训练，具体如下：
a、深度图像补全网络
补全网络采用了多尺度编码解码网络进行构建，由语义填充网络Netfill以及边缘增强网络Netrefine两部分组成并依次顺序连接，其中，除最后一层之外所有的卷积由适应性卷积替换；
对于语义填充网络Netfill，输入带缺失的深度图像IDinc，其张量形式为H*W*1，其中，H为图像的高度，W为图像的宽度；经过Netfill语义补全之后得到完整深度图像IDout，然后将IDout以及彩色图像IRGB一并输入边缘增强网络Netrefine进行精炼调整，最终得到缺失修复结果Irepair,输出张量形式与输入图像尺寸相同；网络损失函数分别由缺失区域的损失和非缺失区域损失两部分构成，权值比例为10:1；
语义填充网络Netfill采用U型神经网络U-Net作为基础结构，网络包括编码器及解码器两部分，编码器用于对图像信息进行编码和特征空间的转换，解码器用于高位信息的解码，两部分均采用5层卷积神经网络架构；
编码器采用五层结构，每层分别包含适应性卷积以及批量正则化两个操作，并采用leaky-relu作为激活函数，卷积核尺寸分别为7*7、5*5、3*3、3*3、3*3，卷积步长全部为2，每经过一次适应性卷积，特征高和宽都降为原来一半，并在输入图像的边界做补0处理以消除卷积边缘区域的差异；卷积核个数分别为16,32,64,128,128；通过不断地在不同尺寸提取特征以对缺失区域进行填补，最终所有的缺失区域都将被修复；
解码器同样为5层结构，每层包含上采样、特征拼接、适应性卷积以及批量正则化四个操作，采用leaky relu作为激活函数，编码器和解码器之间进行跨层连接，即每个编码器的输出都与解码器上采样后相同尺寸的特征图输出进行复制拼接，并作为解码器的输入，具体是：每个解码器层先将上一层的输入做上采样以后，和与之对应的尺寸相同的编码器特征进行拼接之后，输入当前适应性卷积进行特征学习，卷积核尺寸全部为3*3，步长全部为1*1，卷积核个数分别为128,64,32,16,1；
网络最后一层为卷积核尺寸为1*1的标准卷积，用于特征的通道变换以及数值区间映射；
b、构建超分辨率网络
超分辨率任务采用了全局特征和局部特征相融合的方法，并使用曼哈顿距离作为损失函数进行优化；
对于超分辨率网络Netsr，采用密集连接块dense block为基础结构，通过亚像素卷积进行上采样，将所有标准卷积替换为适应性卷积，网络最后一层使用1*1卷积用于通道调整；网络使用五个密集连接块进行特征的提取，每个密集连接块都包含两次适应性卷积，卷积核的大小都为3*3，步长为1，并对输入四周进行补0以保持输入和输出的特征尺寸一致，卷积核的个数都为64；将密集连接块的输入与输出进行跨层连接，即把密集连接块的输入与输出进行特征维度的拼接之后作为下一个密集连接块的输入；通过不断融合从低维到高维的特征来使网络学习到更丰富的信息；亚像素卷积的上采样因子为4，在网络最后，有一个卷积核尺寸为1*1的标准卷积并以relu为激活函数；
c、对构建好的网络进行训练
对构建好的网络设计相应的损失函数，使用Adam方法对损失函数进行优化，最终得到训练完成的网络。
6.根据权利要求1所述的基于适应性卷积的RGB-D图像高质量的网格生成方法，其特征在于：在步骤5)中，将经过神经网络修补好的高分辨率的点云数据，用滚球法BallPivoting生成高质量的室内场景网格数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910609314.4A CN110349087B (zh) | 2019-07-08 | 2019-07-08 | 基于适应性卷积的rgb-d图像高质量网格生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910609314.4A CN110349087B (zh) | 2019-07-08 | 2019-07-08 | 基于适应性卷积的rgb-d图像高质量网格生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110349087A true CN110349087A (zh) | 2019-10-18 |
| CN110349087B CN110349087B (zh) | 2021-02-12 |
Family
ID=68178224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910609314.4A Active CN110349087B (zh) | 2019-07-08 | 2019-07-08 | 基于适应性卷积的rgb-d图像高质量网格生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110349087B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091548B (zh) * | 2019-12-12 | 2020-08-21 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的铁路货车承载鞍错位故障图像识别方法及*** |
| CN111626929A (zh) * | 2020-04-28 | 2020-09-04 | Oppo广东移动通信有限公司 | 深度图像的生成方法及装置、计算机可读介质和电子设备 |
| CN111915619A (zh) * | 2020-06-05 | 2020-11-10 | 华南理工大学 | 一种双特征提取与融合的全卷积网络语义分割方法 |
| CN112734825A (zh) * | 2020-12-31 | 2021-04-30 | 深兰人工智能(深圳)有限公司 | 3d点云数据的深度补全方法和装置 |
| CN114004754A (zh) * | 2021-09-13 | 2022-02-01 | 北京航空航天大学 | 一种基于深度学习的场景深度补全***及方法 |
| CN117420209A (zh) * | 2023-12-18 | 2024-01-19 | 中国机械总院集团沈阳铸造研究所有限公司 | 基于深度学习的全聚焦相控阵超声快速高分辨率成像方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
| US20170337726A1 (en) * | 2016-05-17 | 2017-11-23 | Vangogh Imaging, Inc. | 3d photogrammetry |
| US20180139436A1 (en) * | 2016-11-11 | 2018-05-17 | Disney Enterprises, Inc. | Object reconstruction from dense light fields via depth from gradients |
| US20180232896A1 (en) * | 2017-02-14 | 2018-08-16 | Pinnacle Imaging Corporation | Method for accurately aligning and correcting images in high dynamic range video and image processing |
| EP3396544A1 (en) * | 2017-04-24 | 2018-10-31 | INTEL Corporation | Efficient sharing and compression of data across processing systems |
| CN108932550A (zh) * | 2018-06-26 | 2018-12-04 | 湖北工业大学 | 一种密集稀疏密集算法的优化方法 |
| CN109064406A (zh) * | 2018-08-26 | 2018-12-21 | 东南大学 | 一种正则化参数自适应的稀疏表示图像重建方法 |
| CN109087375A (zh) * | 2018-06-22 | 2018-12-25 | 华东师范大学 | 基于深度学习的图像空洞填充方法 |
| CN109272447A (zh) * | 2018-08-03 | 2019-01-25 | 天津大学 | 一种深度图超分辨率方法 |
| CN109903372A (zh) * | 2019-01-28 | 2019-06-18 | 中国科学院自动化研究所 | 深度图超分辨率补全方法及高质量三维重建方法与*** |
-
2019
- 2019-07-08 CN CN201910609314.4A patent/CN110349087B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
| US20170337726A1 (en) * | 2016-05-17 | 2017-11-23 | Vangogh Imaging, Inc. | 3d photogrammetry |
| US20180139436A1 (en) * | 2016-11-11 | 2018-05-17 | Disney Enterprises, Inc. | Object reconstruction from dense light fields via depth from gradients |
| US20180232896A1 (en) * | 2017-02-14 | 2018-08-16 | Pinnacle Imaging Corporation | Method for accurately aligning and correcting images in high dynamic range video and image processing |
| EP3396544A1 (en) * | 2017-04-24 | 2018-10-31 | INTEL Corporation | Efficient sharing and compression of data across processing systems |
| CN109087375A (zh) * | 2018-06-22 | 2018-12-25 | 华东师范大学 | 基于深度学习的图像空洞填充方法 |
| CN108932550A (zh) * | 2018-06-26 | 2018-12-04 | 湖北工业大学 | 一种密集稀疏密集算法的优化方法 |
| CN109272447A (zh) * | 2018-08-03 | 2019-01-25 | 天津大学 | 一种深度图超分辨率方法 |
| CN109064406A (zh) * | 2018-08-26 | 2018-12-21 | 东南大学 | 一种正则化参数自适应的稀疏表示图像重建方法 |
| CN109903372A (zh) * | 2019-01-28 | 2019-06-18 | 中国科学院自动化研究所 | 深度图超分辨率补全方法及高质量三维重建方法与*** |
Non-Patent Citations (6)
| Title |
|---|
| SIIM MEERITS 等: "Real-time scene reconstruction and triangle mesh generation using multiple RGB-D cameras", 《J REAL-TIME IMAGE PROC》 * |
| 冼楚华 等: "基于多尺度卷积网络的单幅图像的点法向估计", 《华南理工大学学报(自然科学版)》 * |
| 李世群 等: "三维网格模型特征向量水印嵌入", 《图学学报》 * |
| 牛新亚: "基于深度学习的人脸表情识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 肖进胜 等: "改进的基于卷积神经网络的图像超分辨率算法", 《光学学报》 * |
| 郭庆慧: "基于RGBD图像的三维重建关键问题研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091548B (zh) * | 2019-12-12 | 2020-08-21 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的铁路货车承载鞍错位故障图像识别方法及*** |
| CN111626929A (zh) * | 2020-04-28 | 2020-09-04 | Oppo广东移动通信有限公司 | 深度图像的生成方法及装置、计算机可读介质和电子设备 |
| CN111626929B (zh) * | 2020-04-28 | 2023-08-08 | Oppo广东移动通信有限公司 | 深度图像的生成方法及装置、计算机可读介质和电子设备 |
| CN111915619A (zh) * | 2020-06-05 | 2020-11-10 | 华南理工大学 | 一种双特征提取与融合的全卷积网络语义分割方法 |
| CN112734825A (zh) * | 2020-12-31 | 2021-04-30 | 深兰人工智能(深圳)有限公司 | 3d点云数据的深度补全方法和装置 |
| CN114004754A (zh) * | 2021-09-13 | 2022-02-01 | 北京航空航天大学 | 一种基于深度学习的场景深度补全***及方法 |
| CN114004754B (zh) * | 2021-09-13 | 2022-07-26 | 北京航空航天大学 | 一种基于深度学习的场景深度补全***及方法 |
| CN117420209A (zh) * | 2023-12-18 | 2024-01-19 | 中国机械总院集团沈阳铸造研究所有限公司 | 基于深度学习的全聚焦相控阵超声快速高分辨率成像方法 |
| CN117420209B (zh) * | 2023-12-18 | 2024-05-07 | 中国机械总院集团沈阳铸造研究所有限公司 | 基于深度学习的全聚焦相控阵超声快速高分辨率成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110349087B (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110349087A (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
| CN113469094B (zh) | 一种基于多模态遥感数据深度融合的地表覆盖分类方法 | |
| CN109509152B (zh) | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 | |
| CN110119780A (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN103020935B (zh) | 一种自适应在线字典学习的图像超分辨率方法 | |
| CN111429347A (zh) | 图像超分辨率重建方法、装置及计算机可读存储介质 | |
| CN110197468A (zh) | 一种基于多尺度残差学习网络的单图像超分辨重建算法 | |
| CN110223234A (zh) | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 | |
| CN111161277A (zh) | 一种基于深度学习的自然图像抠图方法 | |
| CN111127538B (zh) | 一种基于卷积循环编码-解码结构的多视影像三维重建方法 | |
| CN106067161A (zh) | 一种对图像进行超分辨的方法 | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| CN112348870B (zh) | 一种基于残差融合的显著性目标检测方法 | |
| CN103413286A (zh) | 一种基于学习的高动态范围与高分辨率图像联合重建方法 | |
| CN110728707B (zh) | 基于非对称深度卷积神经网络的多视角深度预测方法 | |
| CN110675462A (zh) | 一种基于卷积神经网络的灰度图像彩色化方法 | |
| CN111275171B (zh) | 一种基于参数共享的多尺度超分重建的小目标检测方法 | |
| CN109785279B (zh) | 一种基于深度学习的图像融合重建方法 | |
| CN110197505A (zh) | 基于深度网络及语义信息的遥感图像双目立体匹配方法 | |
| CN111833261A (zh) | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 | |
| CN110163802A (zh) | 一种基于神经网络的sar图像超分辨方法 | |
| CN114140309A (zh) | 一种基于nice模型的新型图像隐写方法及*** | |
| CN112200720A (zh) | 一种基于滤波器融合的超分辨率图像重建方法及*** | |
| CN116258936A (zh) | 一种基于多尺度特征的红外与可见光图像融合方法 | |
| CN112818777B (zh) | 一种基于密集连接与特征增强的遥感图像目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |