CN111275618B - 一种基于双支感知的深度图超分辨率重建网络构建方法 - Google Patents
一种基于双支感知的深度图超分辨率重建网络构建方法 Download PDFInfo
- Publication number
- CN111275618B CN111275618B CN202010029063.5A CN202010029063A CN111275618B CN 111275618 B CN111275618 B CN 111275618B CN 202010029063 A CN202010029063 A CN 202010029063A CN 111275618 B CN111275618 B CN 111275618B
- Authority
- CN
- China
- Prior art keywords
- branch
- double
- channel
- image
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008447 perception Effects 0.000 title claims abstract description 33
- 238000010276 construction Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 238000010586 diagram Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双支感知的深度图超分辨率重建网络构建方法。传统的深度图像超分辨方法在效果和速度都不如基于卷积神经网络的方法,但大部分的超分辨卷积神经网络框架都都只是堆叠的卷积层,没有网络结构能判断彩色图像的纹理区域是否和深度图像中的纹理区域相关。本发明的基于注意力机制的卷积神经网络结构可以利用可学习参数判断彩色特征图像的纹理是否是深度图像重建所需要的,即可以更好的利用彩色图像所提供的信息,经过多级的感知机制最终获得筛选后的精细化的特征图像,融合这些信息对深度图像进行超分辨率重建。并且利用残差学习的思想,减轻了卷积神经网络的负担,提升了深度图像的重建效果。
Description
技术领域
本发明属于计算机视觉领域,具体涉及一种基于双支感知的深度图超分辨率重建网络构建方法。
背景技术
随着获取深度信息的技术的发展,如激光雷达,飞行时间(TOF)相机,三维结构光,深度图像已被广泛应用于移动机器人,人机交互,人体姿态估计和三维场景重建等。然而,从这些技术获得的深度图像仍然无法满足实际需求,尤其是获取的深度图像分辨率较低,质量较差。因此,如何将低分辨率的深度图像重建成高质量高分辨率深度图像成为计算视觉领域的研究热点。
近年来,随着深度学习的发展,越来越多的基于卷积神经网络的超分辨方法被提出。经过在大量图片数据集上的训练,卷积神经网络能够充分学习图像的特征,并将这些特征进行组合得到最后的重建结果。相较传统的超分辨算法,基于卷积神经网络的超分辨算法需要依赖于非常大的数据集,所以通过卷积层提取出的特征更具有普适性,更能代表物体的通用特征。通常,基于CNN的深度超分辨率方法可以实现比传统方法更好的性能。
目前大量的传统深度图像超分辨算法都是基于同场景的彩色图像引导的重建,获取高分辨率高质量的彩色图像的方法已经比较成熟,但相较于深度图像,彩色图像纹理区域会更多,利用普通的卷积神经网进行彩色图像引导深度图像重建可能会将这些无关纹理也带入重建中,因此需要一种方法可以判别彩色图像中的纹理区域是否能对深度图像超分辨重建提供有用信息。
发明内容
本发明的目的就是克服现有技术的不足,一种基于注意力机制的深度图超分辨率重建网络。本方法设计了一种新型的注意力机制,通过可学习的参数,使网络关注在彩色图像和深度图像相关联的区域,从而虚弱彩色图像无关纹理的影响,进而提升深度图像重建的效果。具体步骤如下:
步骤(1):利用RGB-D相机获取同场景彩色图像和深度图像
使用RGB-D相机得到一张低分辨率深度图像Idepth其分辨率为M*N,和一张相同视角下的高分辨率彩色图像Icolor其分辨率为rM*rN,其中r为倍率,M和N分别为图像的高和宽;对低分辨率的深度图像Idepth进行双三次上采样操作放大至rM*rN,获得了初始的低质量高分辨率深度图像并把彩色图像Icolor转为YCbCr色彩空间,并取Y通道图像得到/>
步骤(2):基于卷积神经网络的双支图像特征提取结构构建,在图像特征提取阶段两支结构相同,每一支在特征提取的阶段由七层卷积核大小为3*3的卷积层,双支之间设有五个双支通道感知模块和五个双支空间感知模块,这样得到深度图像特征与彩色图像特征交叉感知阶段部分。
(a)和/>首先各自通过各支的两层卷积核大小为3*3卷积层得到初始的特征图/>和/>
(b)双支感知结构构建,然后各自经过五层卷积核大小为3*3卷积层提取并精细化特征,这五层卷积层,每层后面都带有一个双支通道感知模块和一个双支空间感知模块,五层卷积层和五个双支通道感知模块和五个双支空间感知模块组成五级双支感知结构,假设输入深度特征图为Xd-1,彩色特征图为Xc-1,每级的双支感知结构的计算步骤如下:
①
首先将深度特征图为Xd-1∈RB×C×H×W,彩色特征图为Xc-1∈RB×C×H×W各自经过一层卷积核大小为3*3的卷积层之后通过激活层得到各种的特征图Rd∈RB×C×H×W和Rc∈RB×C×H×W。其中σ(·)代表Rectified Linear Unit激活层,和/>为卷积核大小为3*3的卷积层权值,其上标表示该卷积层属于哪一支,d为深度图像一支,c为彩色图像一支,下标表示卷积核大小。
②
R′d=MChannel*Rd (3)
R′c=MChannel*Rc (4)
将特征图Rd和Rc拼接在一起,输入到双支通道感知模块中得到通道权重MChannel,并分别与特征图Rd和Rc做一次元素相乘得到双支通道感知后的特征图R′d∈RB×C×H×W和R′c∈RB ×C×H×W。其中,双支通道感知模块权重MChannel的计算方式如下:
将特征图Rd和Rc拼接在一起,分别沿着空间维度进行max-pooled和average-pooled得到和/>上标表示处于双支通道感知阶段;
然后和/>输入两层全连接层,得到/>和/>其中ω0∈RB×2C/r×2C和ω1∈RB×C×2C/r分别表示两层全连接层的权重,σ(·)代表RectifiedLinear Unit激活层;
最后,使用Sigmod函数对和/>相加得到的和进行非线性映射,得到双支通道感知模块权重MChannel。
③
R″d=MSpatial*R′d (10)
R″c=MSpatial*R′c (11)
将双支通道感知之后的特征图R′d和特征图R′c拼接在一起,输入到双支空间感知模块中得到通道权重MSpatial,并分别与特征图R′d和R′c做一次元素相乘得到双支通道感知后的特征图R″d∈RB×C×H×W和R″c∈RB×C×H×W。其中,双支空间感知模块权重MSpatial的计算方式如下:
将特征图R′d和R′c拼接在一起,分别沿着通道维度进行max-pooled和average-pooled得到和/>上标表示处于双支空间感知阶段;
然后将特征图和/>拼接在一起输入一个卷积核大小为5*5的卷积层,得到卷积层输出/>其中,ω2是5*5卷积层的权重,σ(·)代表Rectified LinearUnit激活层;
最后,将输入Sigomd函数进行非线性变换得到双支空间感知模块权重MSpatial。
初始的特征图和/>经过五级双支感知结构之后,得到精细化的深度图像的特征图/>和Y通道的特征图/>
步骤(3):特征融合网络结构构建
特征融合引导阶段的网络由一个特征图像拼接操作、六层卷积核大小为3*3的卷积层构成,该阶段的每个卷积层之后都紧连一个Rectified Linear Unit激活层。
将深度图像的特征图和Y通道特征图/>首先通过拼接操作得到初始融合特征图/>然后/>经过六层卷积层进行细化融合,利用网络学习/>中有用的边缘部分,使彩色图像充分地起到引导作用,完成了特征融合引导的构造,得到了融合特征图,记为/>
步骤(4):残差结构构建,重建高质量高分辨率深度图像
重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成。
通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出,记为/>最后将/>与/>进行元素对应相加,得到最终放大r倍的高分辨率高质量深度图像
本发明的有益效果:本发明设计一种基于感知机制的卷积神经网络学习并精细彩色图像中对引导深度图像重建有利的信息,削弱彩色图像中无关纹理带来的影响,可以免去人工寻找彩图有用引导特征的过程,很好的利用了深度图像和彩色图像相关性,能够重建出高质量高分辨率的深度图像。
附图说明
图1为本发明网络总体框架图;
图2为双支通道感知模块流程图;
图3为双支空间感知模块流程图。
具体实施方式
以下结合附图1对本发明作进一步说明,本发明包括以下步骤:
步骤(1):利用RGB-D相机获取同场景彩色图像和深度图像
使用RGB-D相机得到一张低分辨率深度图像Idepth其分辨率为M*N,和一张相同视角下的高分辨率彩色图像Icolor其分辨率为rM*rN,其中r为倍率,M和N分别为图像的高和宽;对低分辨率的深度图像Idepth进行双三次上采样操作放大至rM*rN,获得了初始的低质量高分辨率深度图像并把彩色图像Icolor转为YCbCr色彩空间,并取Y通道图像得到/>
步骤(2):基于卷积神经网络的双支图像特征提取结构构建,在图像特征提取阶段两支结构相同,每一支在特征提取的阶段由七层卷积核大小为3*3的卷积层,双支之间设有五个双支通道感知模块和五个双支空间感知模块,这样得到深度图像特征与彩色图像特征交叉感知阶段部分。
(a)和/>首先各自通过各支的两层卷积核大小为3*3卷积层得到初始的特征图/>和/>
(b)如图2、图3所示,双支感知结构构建,然后各自经过五层卷积核大小为3*3卷积层提取并精细化特征,这五层卷积层,每层后面都带有一个双支通道感知模块和一个双支空间感知模块,五层卷积层和五个双支通道感知模块和五个双支空间感知模块组成五级双支感知结构,假设输入深度特征图为Xd-1,彩色特征图为Xc-1,每级的双支感知结构的计算步骤如下:
①
首先将深度特征图为Xd-1∈RB×C×H×W,彩色特征图为Xc-1∈RB×C×H×W各自经过一层卷积核大小为3*3的卷积层之后通过激活层得到各种的特征图Rd∈RB×C×H×W和Rc∈RB×C×H×W。其中σ(·)代表Rectified Linear Unit激活层,和/>为卷积核大小为3*3的卷积层权值,其上标表示该卷积层属于哪一支,d为深度图像一支,c为彩色图像一支,下标表示卷积核大小。
②
R′d=MChannel*Rd (3)
R′c=MChannel*Rc (4)
将特征图Rd和Rc拼接在一起,输入到双支通道感知模块中得到通道权重MChannel,并分别与特征图Rd和Rc做一次元素相乘得到双支通道感知后的特征图R′d∈RB×C×H×W和R′c∈RB ×C×H×W。其中,双支通道感知模块权重MChannel的计算方式如下:
将特征图Rd和Rc拼接在一起,分别沿着空间维度进行max-pooled和average-pooled得到和/>上标表示处于双支通道感知阶段;
然后和/>输入两层全连接层,得到/>和/>其中ω0∈RB×2C/r×2C和ω1∈RB×C×2C/r分别表示两层全连接层的权重,σ(·)代表RectifiedLinear Unit激活层;
最后,使用Sigmod函数对和/>相加得到的和进行非线性映射,得到双支通道感知模块权重MChannel。
③
R″d=MSpatial*R′d (10)
R″c=MSpatial*R′c (11)
将双支通道感知之后的特征图R′d和特征图R′c拼接在一起,输入到双支空间感知模块中得到通道权重MSpatial,并分别与特征图R′d和R′c做一次元素相乘得到双支通道感知后的特征图R″d∈RB×C×H×W和R″c∈RB×C×H×W。其中,双支空间感知模块权重MSpatial的计算方式如下:
将特征图R′d和R′c拼接在一起,分别沿着通道维度进行max-pooled和average-pooled得到和/>上标表示处于双支空间感知阶段;
然后将特征图和/>拼接在一起输入一个卷积核大小为5*5的卷积层,得到卷积层输出/>其中,ω2是5*5卷积层的权重,σ(·)代表RectifiedLinear Unit激活层;
最后,将输入Sigomd函数进行非线性变换得到双支空间感知模块权重MSpatial。
初始的特征图和/>经过五级双支感知结构之后,得到精细化的深度图像的特征图/>和Y通道的特征图/>
步骤(3):特征融合网络结构构建
特征融合引导阶段的网络由一个特征图像拼接操作、六层卷积核大小为3*3的卷积层构成,该阶段的每个卷积层之后都紧连一个Rectified Linear Unit激活层。
将深度图像的特征图和Y通道特征图/>首先通过拼接操作得到初始融合特征图/>然后/>经过六层卷积层进行细化融合,利用网络学习/>中有用的边缘部分,使彩色图像充分地起到引导作用,完成了特征融合引导的构造,得到了融合特征图,记为/>
步骤(4):残差结构构建,重建高质量高分辨率深度图像
重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成。
通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出,记为/>最后将/>与/>进行元素对应相加,得到最终放大r倍的高分辨率高质量深度图像
Claims (1)
1.一种基于双支感知的深度图超分辨率重建网络构建方法,其特征在于该方法的具体步骤是:
步骤(1):利用RGB-D相机获取同场景彩色图像和深度图像
使用RGB-D相机得到一张低分辨率深度图像Idepth其分辨率为M*N,和一张相同视角下的高分辨率彩色图像Icolor其分辨率为rM*rN,其中r为倍率,M和N分别为图像的高和宽;对低分辨率的深度图像Idepth进行双三次上采样操作放大至rM*rN,获得了初始的低质量高分辨率深度图像并把彩色图像Icolor转为YCbCr色彩空间,并取Y通道图像得到/>
步骤(2):基于卷积神经网络的双支图像特征提取结构构建,在图像特征提取阶段两支结构相同,每一支在特征提取的阶段由七层卷积核大小为3*3的卷积层,双支之间设有五个双支通道感知模块和五个双支空间感知模块,这样得到深度图像特征与彩色图像特征交叉感知阶段部分;
(a)和/>首先各自通过各支的两层卷积核大小为3*3卷积层得到初始的特征图和/>
(b)双支感知结构构建,然后各自经过五层卷积核大小为3*3卷积层提取并精细化特征,这五层卷积层,每层后面都带有一个双支通道感知模块和一个双支空间感知模块,五层卷积层和五个双支通道感知模块和五个双支空间感知模块组成五级双支感知结构,输入深度特征图为Xd-1,彩色特征图为Xc-1,每级的双支感知结构的计算步骤如下:
①
首先将深度特征图为Xd-1∈RB×C×H×W,彩色特征图为Xc-1∈RB×C×H×W各自经过一层卷积核大小为3*3的卷积层之后通过激活层得到各种的特征图Rd∈RB×C×H×W和Rc∈RB×C×H×W;其中σ(·)代表Rectified Linear Unit激活层,和/>为卷积核大小为3*3的卷积层权值,其上标表示该卷积层属于哪一支,d为深度图像一支,c为彩色图像一支,下标表示卷积核大小;
②
R'd=MChannel*Rd (3)
R′c=MChannel*Rc (4)
将特征图Rd和Rc拼接在一起,输入到双支通道感知模块中得到通道权重MChannel,并分别与特征图Rd和Rc做一次元素相乘得到双支通道感知后的特征图R'd∈RB×C×H×W和R′c∈RB ×C×H×W;其中,双支通道感知模块权重MChannel的计算方式如下:
将特征图Rd和Rc拼接在一起,分别沿着空间维度进行max-pooled和average-pooled得到和/>上标表示处于双支通道感知阶段;
然后和/>输入两层全连接层,得到/>和/>其中ω0∈RB×2C/r×2C和ω1∈RB×C×2C/r分别表示两层全连接层的权重,σ(·)代表RectifiedLinear Unit激活层;
最后,使用Sigmod函数对和/>相加得到的和进行非线性映射,得到双支通道感知模块权重MChannel;
③
R″d=MSpatial*R'd (10)
R″c=MSpatial*R′c (11)
将双支通道感知之后的特征图R'd和特征图R′c拼接在一起,输入到双支空间感知模块中得到通道权重MSpatial,并分别与特征图R′d和R′c做一次元素相乘得到双支通道感知后的特征图R″d∈RB×C×H×W和R″c∈RB×C×H×W;其中,双支空间感知模块权重MSpatial的计算方式如下:
将特征图R′d和R′c拼接在一起,分别沿着通道维度进行max-pooled和average-pooled得到和/>上标表示处于双支空间感知阶段;
然后将特征图和/>拼接在一起输入一个卷积核大小为5*5的卷积层,得到卷积层输出/>其中,ω2是5*5卷积层的权重,σ(·)代表Rectified LinearUnit激活层;
最后,将输入Sigomd函数进行非线性变换得到双支空间感知模块权重MSpatial;
初始的特征图和/>经过五级双支感知结构之后,得到精细化的深度图像的特征图/>和Y通道的特征图/>
步骤(3):特征融合网络结构构建
特征融合引导阶段的网络由一个特征图像拼接操作、六层卷积核大小为3*3的卷积层构成,该阶段的每个卷积层之后都紧连一个Rectified Linear Unit激活层;
将深度图像的特征图和Y通道特征图/>首先通过拼接操作得到初始融合特征图/>然后/>经过六层卷积层进行细化融合,利用网络学习/>中有用的边缘部分,使彩色图像充分地起到引导作用,完成了特征融合引导的构造,得到了融合特征图,记为/>
步骤(4):残差结构构建,重建高质量高分辨率深度图像
重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成;
通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出,记为/>最后将/>与/>进行元素对应相加,得到最终放大r倍的高分辨率高质量深度图像
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010029063.5A CN111275618B (zh) | 2020-01-12 | 2020-01-12 | 一种基于双支感知的深度图超分辨率重建网络构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010029063.5A CN111275618B (zh) | 2020-01-12 | 2020-01-12 | 一种基于双支感知的深度图超分辨率重建网络构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111275618A CN111275618A (zh) | 2020-06-12 |
CN111275618B true CN111275618B (zh) | 2023-09-29 |
Family
ID=71000179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010029063.5A Active CN111275618B (zh) | 2020-01-12 | 2020-01-12 | 一种基于双支感知的深度图超分辨率重建网络构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111275618B (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10678244B2 (en) | 2017-03-23 | 2020-06-09 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
SG11202103493QA (en) | 2018-10-11 | 2021-05-28 | Tesla Inc | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
CN111932454B (zh) * | 2020-07-22 | 2022-05-27 | 杭州电子科技大学 | 基于改进的二元闭环神经网络的logo图案重建方法 |
CN113393511B (zh) * | 2021-05-11 | 2024-02-02 | 杭州电子科技大学 | 一种基于多阶段彩色图像引导的道路场景深度补全方法 |
CN113537246A (zh) * | 2021-08-12 | 2021-10-22 | 浙江大学 | 一种基于对抗学习的灰度图像同时上色超分方法 |
CN116402692B (zh) * | 2023-06-07 | 2023-08-18 | 江西财经大学 | 基于非对称交叉注意力的深度图超分辨率重建方法与*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
CN108492248A (zh) * | 2018-01-30 | 2018-09-04 | 天津大学 | 基于深度学习的深度图超分辨率方法 |
CN110490797A (zh) * | 2019-07-05 | 2019-11-22 | 苏州江奥光电科技有限公司 | 一种基于双流深层卷积网络的深度图像超分辨率重建方法 |
-
2020
- 2020-01-12 CN CN202010029063.5A patent/CN111275618B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
CN108492248A (zh) * | 2018-01-30 | 2018-09-04 | 天津大学 | 基于深度学习的深度图超分辨率方法 |
CN110490797A (zh) * | 2019-07-05 | 2019-11-22 | 苏州江奥光电科技有限公司 | 一种基于双流深层卷积网络的深度图像超分辨率重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111275618A (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111275618B (zh) | 一种基于双支感知的深度图超分辨率重建网络构建方法 | |
CN110930342B (zh) | 一种基于彩色图引导的深度图超分辨率重建网络构建方法 | |
CN109509152B (zh) | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 | |
CN110415170B (zh) | 一种基于多尺度注意力卷积神经网络的图像超分辨率方法 | |
CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
CN106127684B (zh) | 基于双向递归卷积神经网络的图像超分辨率增强方法 | |
CN110930306B (zh) | 一种基于非局部感知的深度图超分辨率重建网络构建方法 | |
CN108259994B (zh) | 一种提高视频空间分辨率的方法 | |
CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
CN111696035A (zh) | 一种基于光流运动估计算法的多帧图像超分辨率重建方法 | |
CN113205096B (zh) | 一种基于注意力的联合图像与特征自适应的语义分割方法 | |
CN112017116B (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
Chen et al. | MICU: Image super-resolution via multi-level information compensation and U-net | |
CN113808008A (zh) | 基于Transformer构建生成对抗网络实现妆容迁移的方法 | |
CN112785502B (zh) | 一种基于纹理迁移的混合相机的光场图像超分辨率方法 | |
CN111291669A (zh) | 一种双通道俯角人脸融合校正gan网络及人脸融合校正方法 | |
CN114841859A (zh) | 基于轻量神经网络和Transformer的单图像超分辨率重建方法 | |
CN114926337A (zh) | 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及*** | |
CN113627487B (zh) | 一种基于深层注意力机制的超分辨率重建方法 | |
CN111414988A (zh) | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 | |
CN117314808A (zh) | 一种结合Transformer与CNN双编码器的红外与可见光图像融合方法 | |
CN117173022A (zh) | 基于多路径融合和注意力的遥感图像超分辨率重建方法 | |
CN116664435A (zh) | 一种基于多尺度人脸解析图融入的人脸复原方法 | |
CN115731138A (zh) | 一种基于Transformer与卷积神经网络的图像修复方法 | |
Wu et al. | Repcpsi: Coordinate-preserving proximity spectral interaction network with reparameterization for lightweight spectral super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |