CN107578436B - 一种基于全卷积神经网络fcn的单目图像深度估计方法 - Google Patents
一种基于全卷积神经网络fcn的单目图像深度估计方法 Download PDFInfo
- Publication number
- CN107578436B CN107578436B CN201710649934.1A CN201710649934A CN107578436B CN 107578436 B CN107578436 B CN 107578436B CN 201710649934 A CN201710649934 A CN 201710649934A CN 107578436 B CN107578436 B CN 107578436B
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- fcn
- convolution neural
- full convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于全卷积神经网络FCN的单目图像深度估计方法,包括步骤:获取训练图像数据;将训练图像数据输入全卷积神经网络FCN,池化层依次输出得到特征图像;及从最后一个池化层开始将其输出特征图像进行放大处理,获得与其前一池化层输出特征图像尺寸一致的特征图像并将二者的特征图像融合;从后向前依次对每个池化层的输出特征图像融合以获得最终预测深度图像;且训练中利用随机梯度下降法SGD对全卷积神经网络FCN中的参数训练;获取需要预测深度的RGB图像输入训练后的全卷积神经网络FCN,获得对应的预测深度图像。本发明可以改善卷积过程中输出图像分辨率较低的问题,且采用全卷积网络的形式,去除了全连接层,有效减少了网络的参数量。
Description
技术领域
本发明涉及一种基于全卷积神经网络FCN的单目图像深度估计方法,属于计算机视觉的三维图像重建的技术领域。
背景技术
从二维图像中恢复三维深度信息是计算机视觉领域的一个重要问题,也是理解场景几何关系的重要组成部分。图像深度信息在机器人学,场景理解,三维重建等方面有着重要应用。图像深度信息的获取,旨在得到图像中不同对象间的空间位置信息。目前获取图像深度信息的方式主要有两种。一种是通过硬件设备直接获取深度信息,如Kinect。另一种广泛采用的方式是利用同一场景的单幅或者多幅RGB图像序列进行深度估计,包括多视点、双目和单视点。
单目图像深度估计,即基于单视点图像的深度估计,和传统的基于多视点以及双目立体匹配的方法不同,它只利用一个视点的视频序列和图像来进行深度估计。因为现实生活中绝大部分应用场景均提供单视点的数据,所以单目图像深度估计更贴近实际的应用需求。但由于单视点图像能提供的信息相对缺乏,因此单目图像深度估计是个比较困难的任务。目前,单目图像深度估计可大致分为两类:基于视觉线索和基于机器学习。
基于视觉线索的方法是受人类通过各种视觉线索来感知深度的启发而提出来的。常用的深度线索如运动、阴影、几何假设等。但是这类方法有严格的使用条件。如运动恢复结构(Structure From Motion,SFM),要求必须存在摄像机的运动;阴影恢复形状(Shapefrom shading)则要求物体表面具有同一分布的颜色和纹理;而利用盒子模型来推断出房间的空间布局的方法也由于其固有的约束,只能建模特定的场景结构而无法应用到一般的场景。
随着RGB-D图像数据能从激光或深度摄像机中容易获取后,以数据为驱动的基于机器学习的方法开始普及。由于这种算法不受特定的场景条件的限制,具有较好的适用性,因而得到了广泛的研究。Saxena A将深度估计表示成多尺度的马尔可夫随机场(MarkovRandom Filed,MRF)的有监督学习问题;Ladicky L提出了一个像素分类器来联合预测语义标签和深度信息,证明了联合二者可以促成彼此的效果;Liu M用超像素来建模图像区域,并提出离散连续优化的方法来进行深度估计;Zhuo W在Liu M的基础上通过整合中间层级区域和全局场景布局进行了改进。然而,这类方法多采用手工设计的特征,特征选取的优劣直接影响着模型结果的精度。
近年来,机器学习的分支——深度学习(Deep Learning)得到了快速发展,结合深度学习的单目图像深度估计方法开始得到关注。
Eigen D运用了一个两尺度的卷积网络(Global Coarse-Scale Network,LocalFine-Scale Network)分别整合图像全局和局部细节两方面来直接预测深度,但结果深度图像精度低,对细节方面表现较差。之后,Eigen D进行了改进,在原有网络基础上增加了另外一个尺度Higher Resolution,以此网络为结构基础,通过稍微的修改和损失函数的设计可以分别完成深度估计、表面法线、语义标签的任务,效果也有了较大提升;Li J在Eigen D的基础上改进了各尺度网络间的特征信息传递,通过加入跳转层来融合各尺度网络间的中间层特征图,并引入像素的相对深度限制,最终提高了结果深度图的精度。但基于多尺度网络的方法需要大量的训练数据,而且各尺度网络的联合训练收敛较慢。
Li B结合卷积神经网络(Convolutional Neural Networks,CNN)与条件随机场(Conditional Random Filed,CRF),提出一个两步框架进行深度估计:通过深度网络提取深度特征,然后通过CRF进行深度信息优化;Liu F提出一个联合的框架模型DCNF,结合了CNN与CRF到一个统一的框架中,并运用FCSP的方法大大优化了框架的处理速度。Wang P联合深度估计和语义标签两个任务,先通过训练CNN来得到由深度信息和语义标签组成的全局布局,之后通过分层CRF(Hierarchical-CRF)来产生深度图和语义标签结果。虽然这类方法所需训练数据量较少,然而,这类方法需要借助于超像素对图像进行分割,对边缘处深度估计效果影响较大。
综上所述,顺应发展趋势,回避传统机器学习方法中由于手工特征区分性不强而带来的决定性影响,采用卷积神经网络自动提取图像特征来描述深度信息进而达到深度估计的效果。然而这方面仍然存在一些问题值得研究,如卷积神经网络结构的设计来兼顾网络权重与特征提取效果,损失函数的设计来更好的进行深度估计任务,网络深度的增加对目前结果的影响,结合其他视觉任务如表面法线,语义标签等对结果的改善等,使得结果图像分辨率较低导致精度不够。
发明内容
本发明所要解决的技术问题在于克服现有技术的不足,提供一种基于全卷积神经网络FCN的单目图像深度估计方法,解决现有单目图像深度估计方法中存在的结果图像分辨率较低导致精度不够的问题。
本发明具体采用以下技术方案解决上述技术问题:
一种基于全卷积神经网络FCN的单目图像深度估计方法,包括以下步骤:
步骤1、获取训练图像数据;
步骤2、将步骤1中得到的训练图像数据输入建立的全卷积神经网络FCN进行训练,其过程包括:
将训练图像数据输入全卷积神经网络FCN,由全卷积神经网络FCN内的每一池化层依次输出得到特征图像;及从最后一个池化层开始将其输出特征图像进行放大处理,获得与其前一池化层输出特征图像尺寸一致的特征图像并将二者的特征图像融合,由利用从后向前顺序依次对每个池化层的输出特征图像融合以最终获得预测深度图像;且训练中利用随机梯度下降法SGD对全卷积神经网络FCN中的参数训练;
步骤3、获取需要预测深度的RGB图像输入训练后的全卷积神经网络FCN,获得对应的预测深度图像。
进一步地,作为本发明的一种优选技术方案:所述步骤1还包括利用数据扩充方法对训练图像样本数据扩充。
进一步地,作为本发明的一种优选技术方案:所述数据扩充方法包括旋转、缩放、颜色转换、随机水平翻转、平移处理。
进一步地,作为本发明的一种优选技术方案:所述步骤1还包括利用对所获取训练图像数据减去其像素平均值的预处理步骤。
进一步地,作为本发明的一种优选技术方案:所述步骤2中对输出特征图像放大处理依次包括卷积、批归一化及反卷积处理。
进一步地,作为本发明的一种优选技术方案:所述步骤2还包括利用网络中各层所处的网络深度来获取图像深度特征,所述图像深度特征包括局部特征或全局特征。
本发明采用上述技术方案,能产生如下技术效果:
本发明提供的基于全卷积神经网络FCN的单目图像深度估计方法,有效利用了卷积神经网络每个部分产生的中间特征,通过网络高层输出特征图获取图像全局特征以及低层输出特征图获取图像局部特征,并对二者进行融合,优化了多尺度分栈网络提取特征的结构。通过反卷积操作,有效改善了由于卷积网络前向卷积过程中输出图像分辨率较低的问题。采用全卷积网络的形式,去除了全连接层,有效减少了网络的参数量。
附图说明
图1为本发明基于全卷积神经网络FCN的单目图像深度估计方法的原理示意图。
具体实施方式
下面结合说明书附图对本发明的实施方式进行描述。
如图1所示,本发明设计了一种基于全卷积神经网络FCN的单目图像深度估计方法,基于全卷积神经网络训练一个端到端的预测估计***,省去了传统方法中使用后处理的步骤,更为简单实用。本方法具体包括以下步骤:
步骤1、获取训练图像数据。
由于网络层次较为深,所需训练的参数量较多,所以需要准备的训练数据量需要达到一定的量级要求。在室内场景下,选用NYU Depth V2数据集,以此为基础来生成最终所需的训练数据量。使用NYU DepthV2数据集464个室内场景中的249个场景的原始图像数据作为训练图像样本数据,其中,训练的时候只用249个场景的图像数据进行数据扩充后得到训练图像数据,再将这部分数据用于训练过程中再分成训练集和验证集,验证集只占小部分数据,大部分还是用于训练集;215个场景作为测试过程中需要使用的图像样本数据。
所述将训练图像样本数据进行训练过程具体如下:首先通过降采样将其从640×480的分辨率变成320×240的分辨率。之后通过随机裁剪对图像处理得到存在微小平移效果的304×228大小分辨率的图像。通过这样的采样方式,最终生成大约12000的不同图像样本数据。之后可以运用数据扩充方法,即小范围旋转、缩放、颜色转换、随机水平翻转处理。数据扩充的方法能扩充图像样本量并且增加图像的多样性,以使训练得到的网络模型有较强的鲁棒性。通过数据扩充方法,最终生成大约95000的RGB-D的图像对。优选地,还可以包括预处理方法为对样本图像数据集减去其均值。
步骤2、首先,建立基于全卷积神经网络FCN的框架结构,基网络为ImageNet竞赛中VGG网络的前13层卷积层,去除了其中的最后两个全连接层,整个网络共有5个池化层,池化层之间经过若干卷积层与激活层。融合的过程中包括卷积层、批归一化层和反卷积。
其次,将所获取的训练图像数据输入建立的全卷积神经网络FCN进行训练,其过程如下:
步骤21、将训练图像数据输入全卷积神经网络FCN,由每个池化层依次获得各层的输出特征图像,即:以池化层为界,每个池化层的输出特征图像长宽尺寸为其前一池化层输出特征图像长宽尺寸的1/2,即每经过一个池化层,输出特征图像长宽尺寸便缩减为输入图像长宽尺寸的1/2。输入RGB图像长宽尺寸定为304×228,第一至第五的各池化层输出特征图像尺寸如图1所示。基网络部分作为整个框架的特征提取器,其卷积层中的卷积核大小均采用3×3的尺寸,激活层使用ReLu激活函数。
步骤22、之后,从第五池化层开始,将其输出特征图像进行放大处理,获得与其前一池化层输出特征图像尺寸一致的特征图像并将二者的特征图像融合。然后,依照次方法从后向前依次将各层的输出特征图像进行处理,获得与当前池化层输入特征图像尺寸一致的特征图像并将其与该层所输入的特征图像融合,以获得最终的预测深度图像。
由于各池化层的输出特征图像尺寸不同,所以在向前融合的过程中,需要对后一池化层的输出特征图像进行反卷积,将其尺寸放大到与其前一池化层输出特征图像尺寸相同,在这一过程中,本发明增加了跳转层,即增加一层卷积,来使特征图像通道数保持一致,然后经过批归一化,再经过反卷积得到与当前池化层的输入图像尺寸,即其前一池化层输出特征图像尺寸一致的特征图像,并且在该过程中利用网络中不同层所处的网络深度不同来获取不同尺度的图像深度特征,前几层提取作为低层的局部特征,最后层提取作为高层的全局特征。最后将得到的当前池化层特征图像与其前一池化层的输出特征图像二者融合,融合的过程即对二者的特征图像按照通道进行求和操作。
按照这种方式,由网络从后向前依次进行特征图像的融合,及可结合基网络提取出的低层局部特征和高层全局特征,最终得到预测深度图像。
步骤23、并利用随机梯度下降法SGD对全卷积神经网络FCN中的参数训练。网络的训练通过随机梯度下降法SGD来完成。数据集通过步骤1已准备完成,在训练时将整个数据集减去其平均值再输入进网络。在训练之前需进行网络权重的初始化,基网络部分权重数值由VGG16网络进行初始化,而跳转层通过随机数进行初始化,其概率分布服从均值为0,方差为0.01的正态分布。反卷积层初始化为双线性插值。训练所需要采用的损失函数如下:
其中在训练时,L(x)代表损失函数目标值;所述损失函数中 为网络输出的预测深度图像,y为训练图像数据集中的GroundTruth深度图像,损失函数衡量网络输出预测图像与用于训练时提供的标准深度图像的差异,即需要L(x)在训练的过程中逐步收敛;参数c取值为i为图像中像素坐标,即作用在整个训练上的一批图像像素,且x∈(-c,c)。当x∈(-c,c)时,损失函数相当于L1形式(hinge loss),反之,损失函数相当于L2形式(squared hinge loss)。
训练时用的数据集为RGB-D的数据对,y即为D,即标准的深度图像GroundTruth;训练时批量大小设置为16并训练20个周期。网络中所有层的初始学习率设置为0.01,之后经过训练6到8个周期后逐渐减小,比如变为前一次学习率的0.1倍,直到训练完20个周期。
步骤3、获取需要预测深度的RGB图像输入训练后的全卷积神经网络FCN,获得对应的预测深度图像,输入训练后的全卷积神经网络FCN,优选地包括对图片进行减均值的操作,之后便输入进网络中;最终,获取和输出对应的预测深度图像。
综上,本发明有效利用了卷积神经网络每个部分产生的中间特征,通过网络高层特征图获取图像全局特征以及低层特征图获取图像局部特征,并对二者进行融合,优化了多尺度分栈网络提取特征的结构。通过反卷积操作,有效改善了由于卷积网络前向卷积过程中输出图像分辨率较低的问题。采用全卷积网络的形式,去除了全连接层,有效减少了网络的参数量。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (7)
1.一种基于全卷积神经网络FCN的单目图像深度估计方法,其特征在于,包括以下步骤:
步骤1、获取训练图像数据;
步骤2、将步骤1中得到的训练图像数据输入建立的全卷积神经网络FCN进行训练,其过程包括:
将训练图像数据输入全卷积神经网络FCN,由全卷积神经网络FCN内的每一池化层依次输出得到特征图像;及从最后一个池化层开始将其输出特征图像进行放大处理,获得与其前一池化层输出特征图像尺寸一致的特征图像并将二者的特征图像融合,由利用从后向前顺序依次对每个池化层的输出特征图像融合以最终获得预测深度图像;且训练中利用随机梯度下降法SGD对全卷积神经网络FCN中的参数训练;
步骤3、将 需要预测深度的RGB图像输入训练后的全卷积神经网络FCN,获得对应的预测深度图像。
2.根据权利要求1所述基于全卷积神经网络FCN的单目图像深度估计方法,其特征在于:所述步骤1还包括利用数据扩充方法对训练图像样本数据扩充。
3.根据权利要求2所述基于全卷积神经网络FCN的单目图像深度估计方法,其特征在于:所述数据扩充方法包括旋转、缩放、颜色转换、随机水平翻转、平移处理。
4.根据权利要求1所述基于全卷积神经网络FCN的单目图像深度估计方法,其特征在于:所述步骤1还包括对所获取训练图像数据减去其像素平均值的预处理步骤。
5.根据权利要求1所述基于全卷积神经网络FCN的单目图像深度估计方法,其特征在于:所述步骤2中对输出特征图像放大处理依次包括卷积、批归一化及反卷积处理。
6.根据权利要求1所述基于全卷积神经网络FCN的单目图像深度估计方法,其特征在于:所述步骤2还包括利用网络中各层所处的网络深度来获取图像深度特征,所述图像深度特征包括局部特征或全局特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710649934.1A CN107578436B (zh) | 2017-08-02 | 2017-08-02 | 一种基于全卷积神经网络fcn的单目图像深度估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710649934.1A CN107578436B (zh) | 2017-08-02 | 2017-08-02 | 一种基于全卷积神经网络fcn的单目图像深度估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107578436A CN107578436A (zh) | 2018-01-12 |
CN107578436B true CN107578436B (zh) | 2020-06-12 |
Family
ID=61034242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710649934.1A Active CN107578436B (zh) | 2017-08-02 | 2017-08-02 | 一种基于全卷积神经网络fcn的单目图像深度估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107578436B (zh) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197587B (zh) * | 2018-01-18 | 2021-08-03 | 中科视拓(北京)科技有限公司 | 一种通过人脸深度预测进行多模态人脸识别的方法 |
CN108399361A (zh) * | 2018-01-23 | 2018-08-14 | 南京邮电大学 | 一种基于卷积神经网络cnn和语义分割的行人检测方法 |
CN108182428A (zh) * | 2018-01-31 | 2018-06-19 | 福州大学 | 前车状态识别和车辆跟随的方法 |
WO2019162241A1 (en) * | 2018-02-21 | 2019-08-29 | Robert Bosch Gmbh | Real-time object detection using depth sensors |
CN108257139B (zh) * | 2018-02-26 | 2020-09-08 | 中国科学院大学 | 基于深度学习的rgb-d三维物体检测方法 |
CN108564611A (zh) * | 2018-03-09 | 2018-09-21 | 天津大学 | 一种基于条件生成对抗网络的单目图像深度估计方法 |
CN108510535B (zh) * | 2018-03-14 | 2020-04-24 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
CN108615244B (zh) * | 2018-03-27 | 2019-11-15 | 中国地质大学(武汉) | 一种基于cnn和深度滤波器的图像深度估计方法及*** |
CN108876833A (zh) | 2018-03-29 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、图像处理装置和计算机可读存储介质 |
CN108647568B (zh) * | 2018-03-30 | 2022-05-17 | 电子科技大学 | 基于全卷积神经网络的草地退化自动提取方法 |
CN108846473B (zh) * | 2018-04-10 | 2022-03-01 | 杭州电子科技大学 | 基于方向和尺度自适应卷积神经网络的光场深度估计方法 |
KR102506959B1 (ko) | 2018-05-17 | 2023-03-07 | 나이앤틱, 인크. | 깊이 추정 시스템의 자가 감독 훈련 |
CN108932734B (zh) * | 2018-05-23 | 2021-03-09 | 浙江商汤科技开发有限公司 | 单目图像的深度恢复方法及装置、计算机设备 |
CN108921817B (zh) * | 2018-05-24 | 2021-10-26 | 浙江工业大学 | 一种针对皮肤病图像的数据增强方法 |
CN108932474B (zh) * | 2018-05-28 | 2022-03-15 | 北京航空航天大学 | 一种基于全卷积神经网络复合特征的遥感影像云判方法 |
CN108921196A (zh) * | 2018-06-01 | 2018-11-30 | 南京邮电大学 | 一种改进全卷积神经网络的语义分割方法 |
CN109034183B (zh) * | 2018-06-07 | 2021-05-18 | 苏州飞搜科技有限公司 | 一种目标检测方法、装置及设备 |
CN110647888B (zh) * | 2018-06-26 | 2023-07-25 | 毛文涛 | 基于单目图像的三维信息的提取方法及电子装置 |
EP3815043A4 (en) * | 2018-06-29 | 2022-01-26 | Baidu.com Times Technology (Beijing) Co., Ltd. | SYSTEMS AND METHODS FOR DEPTH ESTIMATION BY AFFINITY LEARNED WITH FOLDING SPATIAL PROPAGATION NETWORKS |
CN108985194B (zh) * | 2018-06-29 | 2022-06-10 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
CN109063301B (zh) * | 2018-07-24 | 2023-06-16 | 杭州师范大学 | 一种基于热力图的单幅图像室内物体姿态估计方法 |
CN109035319B (zh) | 2018-07-27 | 2021-04-30 | 深圳市商汤科技有限公司 | 单目图像深度估计方法及装置、设备、程序及存储介质 |
US10867404B2 (en) | 2018-08-29 | 2020-12-15 | Toyota Jidosha Kabushiki Kaisha | Distance estimation using machine learning |
CN109461178A (zh) * | 2018-09-10 | 2019-03-12 | 中国科学院自动化研究所 | 一种融合稀疏已知标签的单目图像深度估计方法及装置 |
CN109087346B (zh) * | 2018-09-21 | 2020-08-11 | 北京地平线机器人技术研发有限公司 | 单目深度模型的训练方法、训练装置和电子设备 |
CN109461180B (zh) * | 2018-09-25 | 2022-08-30 | 北京理工大学 | 一种基于深度学习的三维场景重建方法 |
CN109598754B (zh) * | 2018-09-29 | 2020-03-17 | 天津大学 | 一种基于深度卷积网络的双目深度估计方法 |
CN109377445B (zh) * | 2018-10-12 | 2023-07-04 | 北京旷视科技有限公司 | 模型训练方法、替换图像背景的方法、装置和电子*** |
CN109523617B (zh) * | 2018-10-15 | 2022-10-18 | 中山大学 | 一种基于单目摄像机的光照估计方法 |
CN111091593B (zh) * | 2018-10-24 | 2024-03-22 | 深圳云天励飞技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN109146944B (zh) * | 2018-10-30 | 2020-06-26 | 浙江科技学院 | 一种基于深度可分卷积神经网络的视觉深度估计方法 |
CN109583584B (zh) * | 2018-11-14 | 2020-07-10 | 中山大学 | 可使具有全连接层的cnn接受不定形状输入的方法及*** |
CN109377530B (zh) * | 2018-11-30 | 2021-07-27 | 天津大学 | 一种基于深度神经网络的双目深度估计方法 |
CN109726739A (zh) * | 2018-12-04 | 2019-05-07 | 深圳大学 | 一种目标检测方法和*** |
US11017542B2 (en) * | 2018-12-21 | 2021-05-25 | Beijing Voyager Technology Co., Ld. | Systems and methods for determining depth information in two-dimensional images |
CN111508010B (zh) * | 2019-01-31 | 2023-08-08 | 北京地平线机器人技术研发有限公司 | 对二维图像进行深度估计的方法、装置及电子设备 |
CN110021043A (zh) * | 2019-02-28 | 2019-07-16 | 浙江大学 | 一种基于立体匹配和置信度传播的场景深度获取方法 |
CN109948689B (zh) * | 2019-03-13 | 2022-06-03 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
CN110163910B (zh) * | 2019-03-22 | 2021-09-28 | 腾讯科技(深圳)有限公司 | 物体对象定位方法、装置、计算机设备和存储介质 |
CN109978074A (zh) * | 2019-04-04 | 2019-07-05 | 山东财经大学 | 基于深度多任务学习的图像美感和情感联合分类方法及*** |
CN110047047B (zh) * | 2019-04-17 | 2023-02-10 | 广东工业大学 | 三维形貌图像信息解译的方法、装置、设备及存储介质 |
CN110245551B (zh) * | 2019-04-22 | 2022-12-06 | 中国科学院深圳先进技术研究院 | 一种多草工况下田间作物的识别方法 |
CN110060286B (zh) * | 2019-04-25 | 2023-05-23 | 东北大学 | 一种单目深度估计方法 |
US11044462B2 (en) | 2019-05-02 | 2021-06-22 | Niantic, Inc. | Self-supervised training of a depth estimation model using depth hints |
CN110060205B (zh) * | 2019-05-08 | 2023-08-08 | 北京迈格威科技有限公司 | 图像处理方法及装置、存储介质及电子设备 |
CN110378943A (zh) * | 2019-06-21 | 2019-10-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN110264466B (zh) * | 2019-06-28 | 2021-08-06 | 广州市颐创信息科技有限公司 | 一种基于深度卷积神经网络的钢筋检测方法 |
CN110415284B (zh) * | 2019-07-31 | 2022-04-19 | 中国科学技术大学 | 一种单视彩色图像深度图获得方法及装置 |
CN110609320B (zh) * | 2019-08-28 | 2021-03-16 | 电子科技大学 | 一种基于多尺度特征融合的叠前地震反射模式识别方法 |
CN110599533B (zh) * | 2019-09-20 | 2023-06-27 | 湖南大学 | 适用于嵌入式平台的快速单目深度估计方法 |
CN110827238B (zh) * | 2019-09-29 | 2023-07-21 | 哈尔滨工程大学 | 一种改进的全卷积神经网络的侧扫声纳图像特征提取方法 |
CN110852167A (zh) * | 2019-10-10 | 2020-02-28 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于最优激活模型的遥感图像分类方法 |
CN111178514A (zh) * | 2019-12-31 | 2020-05-19 | 翱捷智能科技(上海)有限公司 | 神经网络的量化方法及*** |
CN111860153B (zh) * | 2020-01-09 | 2023-10-13 | 九江学院 | 尺度自适应的高光谱图像分类方法及*** |
CN111583390B (zh) * | 2020-04-28 | 2023-05-02 | 西安交通大学 | 基于深度语义融合的卷积神经网络的三维语义图重建方法 |
CN111753961B (zh) * | 2020-06-26 | 2023-07-28 | 北京百度网讯科技有限公司 | 模型训练方法和装置、预测方法和装置 |
CN111784659A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 图像检测的方法、装置、电子设备以及存储介质 |
CN112288788B (zh) * | 2020-10-12 | 2023-04-28 | 南京邮电大学 | 单目图像深度估计方法 |
US12039861B2 (en) | 2021-02-26 | 2024-07-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for analyzing the in-lane driving behavior of a road agent external to a vehicle |
CN113158838B (zh) * | 2021-03-29 | 2023-06-20 | 华南理工大学 | 基于全尺寸深度图监督的人脸表示攻击检测方法 |
US11935254B2 (en) | 2021-06-09 | 2024-03-19 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for predicting depth using style transfer |
US12014507B2 (en) | 2021-06-10 | 2024-06-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for training a prediction system |
CN113554127B (zh) * | 2021-09-18 | 2021-12-28 | 南京猫头鹰智能科技有限公司 | 一种基于混合模型的图像识别方法和设备、介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750702B (zh) * | 2012-06-21 | 2014-10-15 | 东华大学 | 基于优化bp神经网络模型的单目红外图像深度估计方法 |
US9286524B1 (en) * | 2015-04-15 | 2016-03-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Multi-task deep convolutional neural networks for efficient and robust traffic lane detection |
CN105894045B (zh) * | 2016-05-06 | 2019-04-26 | 电子科技大学 | 一种基于空间金字塔池化的深度网络模型的车型识别方法 |
CN106709568B (zh) * | 2016-12-16 | 2019-03-22 | 北京工业大学 | 基于深层卷积网络的rgb-d图像的物体检测和语义分割方法 |
-
2017
- 2017-08-02 CN CN201710649934.1A patent/CN107578436B/zh active Active
Non-Patent Citations (2)
Title |
---|
Deeper Depth Prediction with Fully Convolutional Residual Networks;Iro Laina 等;《arXiv:1606.00373v2 [cs.CV] 19 Sep 2016》;20160919;第1-12页 * |
Depth Map Prediction from a Single Image using a Multi-Scale Deep Network;David Eigen 等;《arXiv:1406.2283v1 [cs.CV] 9 Jun 2014》;20140609;第1-9页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107578436A (zh) | 2018-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107578436B (zh) | 一种基于全卷积神经网络fcn的单目图像深度估计方法 | |
CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
US11017586B2 (en) | 3D motion effect from a 2D image | |
CN109462747B (zh) | 基于生成对抗网络的dibr***空洞填充方法 | |
EP2595116A1 (en) | Method for generating depth maps for converting moving 2d images to 3d | |
CN110415336B (zh) | 高精度人体体态重建方法及*** | |
CN110120049B (zh) | 由单张图像联合估计场景深度与语义的方法 | |
WO2018053952A1 (zh) | 一种基于场景样本库的影视图像深度提取方法 | |
CN104915978A (zh) | 基于体感相机Kinect的真实感动画生成方法 | |
CN112465021B (zh) | 基于图像插帧法的位姿轨迹估计方法 | |
CN112767467B (zh) | 一种基于自监督深度学习的双图深度估计方法 | |
CN113077545B (zh) | 一种基于图卷积的从图像中重建着装人体模型的方法 | |
Goncalves et al. | Deepdive: An end-to-end dehazing method using deep learning | |
CN112288788A (zh) | 单目图像深度估计方法 | |
CN111951368A (zh) | 一种点云、体素和多视图融合的深度学习方法 | |
CN116934936A (zh) | 一种三维场景风格迁移方法、装置、设备及存储介质 | |
Zhou et al. | PADENet: An efficient and robust panoramic monocular depth estimation network for outdoor scenes | |
Shi et al. | Self-supervised learning of depth and ego-motion with differentiable bundle adjustment | |
CN112927348B (zh) | 一种基于多视点rgbd相机高分辨率人体三维重建方法 | |
CN112465984A (zh) | 一种基于双层过滤的单目相机序列图像三维重构方法 | |
CN116934972A (zh) | 一种基于双流网络的三维人体重建方法 | |
Tang et al. | Encoder-decoder structure with the feature pyramid for depth estimation from a single image | |
CN113920270B (zh) | 一种基于多视角全景的布局重建方法及其*** | |
CN112308893B (zh) | 一种基于迭代搜索策略的单目深度估计方法 | |
Zhu et al. | Diffusion model based low-light image enhancement for space satellite |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |