CN114723797B - 一种基于深度学习的tof深度成像方法 - Google Patents

一种基于深度学习的tof深度成像方法 Download PDF

Info

Publication number
CN114723797B
CN114723797B CN202110015239.6A CN202110015239A CN114723797B CN 114723797 B CN114723797 B CN 114723797B CN 202110015239 A CN202110015239 A CN 202110015239A CN 114723797 B CN114723797 B CN 114723797B
Authority
CN
China
Prior art keywords
imaging
tof
network
depth
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110015239.6A
Other languages
English (en)
Other versions
CN114723797A (zh
Inventor
胡雪梅
李家渠
岳涛
黄晨迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110015239.6A priority Critical patent/CN114723797B/zh
Publication of CN114723797A publication Critical patent/CN114723797A/zh
Application granted granted Critical
Publication of CN114723797B publication Critical patent/CN114723797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的TOF深度成像的方法。具体步骤如下：(1)向TOF成像网络输入深度图，使用可学习的矩阵模拟TOF的调制函数，根据深度图的像素值进行相应的移位；(2)使用可学习的矩阵模拟TOF的解调函数，与上一步的输出进行积分操作；(3)积分后加上环境光，再加入噪声，输入给去噪成像子网络；(4)将调制函数、解调函数以及去噪成像子网络同时训练；(5)使用训练得到的调制函数来调制激光二极管，照亮场景；(6)使用APD测量反射回的信号，与训练得到的解调函数相乘；(7)相乘后的信号经过低通滤波器，测量电压值；(8)电压值输入给训练得到的去噪成像子网络，完成TOF深度成像。本方法可以增强TOF深度成像对噪声的鲁棒性，提高成像的精度。

Description

一种基于深度学习的TOF深度成像方法
技术领域
本发明涉及计算摄像学和深度学习领域，尤其涉及一种基于深度学习的TOF深度成像技术。
背景技术
近年来，随着人工智能浪潮的兴起，将人工智能应用于计算摄像学的领域已经成为计算机视觉、数字信号处理、光学等领域的前沿研究热点。
对深度图的处理作为人工智能的一种应用正引起广泛的关注，深度成像的相关研究工作对于自动驾驶、地理遥感、医学成像等领域有着重要的意义。深度图应用范围广，相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景。经过进一步深化处理，可以完成三维建模等应用，而且可以能够快速完成对目标的识别与追踪。同时，深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统应用。
传统的Time-of-Flight(TOF)的深度成像方法，使用脉冲波直接测两个信号的时间间隔来获取深度信息，或者使用正弦信号作为调制和解调函数，通过测相位的方式来获取深度信息。但传统的TOF深度成像方法存在着一些缺点，例如：受到噪声的影响大，测量的精度相对较低；测量结果受被测物性质、外界环境和外界光源干扰较为明显；***误差及随机误差对结果影响明显，需要进行后期数据处理等。
发明内容
为解决以上现有TOF成像方法中存在的缺陷，本发明的目的在于提出一种基于深度学习的TOF深度成像方法。
为达上述目的，本发明采用的技术方案如下：
一种基于深度学习的TOF深度成像方法，包括如下步骤：
步骤1，将训练数据集中的深度图输入到TOF成像网络，TOF成像网络包括调制函数、解调函数和去噪成像子网络；
步骤2，使用一个可学习的矩阵模拟实际TOF成像的调制函数，该矩阵根据深度图的每个像素的值进行相应的移位；
步骤3，使用另一个可学习的矩阵模拟实际TOF成像的解调函数，与步骤2的输出进行积分操作；
步骤4，将步骤3积分后的结果加上环境光以及光子噪声和传感器读取的噪声，构成带噪声的测量图；
步骤5，将带噪声的测量图输入给TOF成像网络的去噪成像子网络，去噪成像子网络与调制函数和解调函数同时用深度学习的方法训练，得到训练好的调制函数、解调函数和去噪成像子网络；
步骤6，使用步骤5训练得到的调制函数对激光二极管进行调制，驱动激光二极管发射激光照亮场景；
步骤7，场景物体表面反射回的反射光，经过分光器后，聚焦到探测器上，探测器接收到带有调制信息的反射信号；
步骤8，将步骤7的反射信号与步骤5训练得到的解调函数经过乘法器相乘，再经过低通滤波器进行积分，使用模数转换器对低通滤波器输出的电压进行采集；
步骤9，重复步骤6至步骤8，扫描场景中的每个点，完成对场景中所有的点的深度测量，得到带有噪声的测量图；
步骤10，把步骤9得到的带有噪声的测量图输入给步骤5训练得到的去噪成像子网络，得到场景的深度图，完成TOF深度成像。
本发明的方法相比现有的TOF成像方法，对场景的噪声具有鲁棒性，深度成像的精度高，解决了现有的TOF成像方法在大噪声的情况难以获得准确的深度图的问题。本发明的方法在较强的环境光和外界光源干扰的情况下，仍有较高的深度成像精度，受噪声的影响小。
附图说明
图1为本发明实施例的方法流程图。
具体实施方式
本实施例提供一种基于深度学习的TOF深度成像方法，具体流程参见图1，包括如下步骤：
步骤1，选择合适的深度数据集，对数据集扩充，包括裁剪，翻转和旋转，增强数据集的泛化能力。
步骤2，深度学习的框架选择Pytorch，Batchsize设为4，选择合适的学习率，并设置每10个epoch衰减10％，给TOF成像网络输入数据集的深度图。
步骤3，选择一个初始化为高斯分布的可学习的矩阵parameter(rand(number))来模拟TOF成像中的调制函数M(t),其中number表示模拟调制函数的数据个数，rand表示初始化为高斯分布的矩阵，parameter表示把矩阵设置为可学习的矩阵。另一个选择初始化为高斯分布的可学习的矩阵parameter(rand(number))来模拟TOF成像中的解调函数D(t)，其中number表示模拟解调函数的数据个数，rand表示初始化为高斯分布的矩阵，parameter表示把矩阵设置为可学习的矩阵。将调制函数M(t)和解调函数D(t)进行互相关操作：得到调制和解调函数互相关矩阵。该步骤通过深度学习的方法找到使成像效果最佳的调制和解调函数，并应用到光源的调制和解调电路中。
步骤4，用深度图的每个像素的值对互相关矩阵索引，完成移位和积分操作，模拟解调操作。
步骤5，根据实际TOF成像过程中产生的噪声，给积分后的图像加入光子噪声和传感器读取噪声，构成带噪声的图像。由于实际的TOF成像中，在探测器接受反射光信号和读取电压时都存在噪声，所以在训练网络时加入与之对应的光子噪声和传感器读取噪声，使得到的深度图对噪声鲁棒。
步骤6，把带噪声的图像输入给TOF成像网络的去噪重建子网络，对带有噪声的测量图像进行去噪重建，复原步骤2输入的深度图。
步骤7，损失函数选择均方误差函数，同时训练调制函数、解调函数和去噪成像子网络。使用深度学习的方法训练完成后，使用测试集的深度图验证网络。得到训练好的调制函数M(t)、解调函数D(t)、去噪重建子网络。
步骤8，使用步骤7训练得到的调制函数M(t)对激光二极管进行调制，驱动激光二极管电路工作，作为光照亮场景。
步骤9，光源遇到场景中的物体反射，部分反射光经过分光器后，经过透镜聚焦在到APD430上，APD430获取到反射信号αM(t-t0)+β；其中α是反射率，t0是在空间传递的时延，β是外部光源引起的辐射分量。
步骤10，将反射信号αM(t-t0)+β与网络训练得到的解调信号D(t)经过乘法器相乘，再经过低通滤波器，过滤掉高频分量，得到直流偏置，直流偏置表示场景的深度测量值。使用ADC对低通滤波器输出的直流分量进行采集。
步骤11，重复步骤8、9和10，完成对场景中所有的点的深度测量，得到带有噪声的深度测量图。
步骤12，把带有噪声的深度测量图输入给训练得到的去噪重建子网络，得到无噪声的深度图，完成TOF深度成像。

Claims (2)

1.一种基于深度学习的TOF深度成像方法，其特征在于，包括如下步骤：
步骤1，将训练数据集中的深度图输入到TOF成像网络，TOF成像网络包括调制函数、解调函数和去噪成像子网络；
步骤2，使用一个可学习的矩阵模拟实际TOF成像的调制函数，根据深度图的每个像素的值进行相应的移位；
步骤3，使用另一个可学习的矩阵模拟实际TOF成像的解调函数，与步骤2的输出进行积分操作；
步骤4，将步骤3积分后的结果加上环境光以及光子噪声和传感器读取的噪声，构成带噪声的测量图；
步骤5，将带噪声的测量图输入给TOF成像网络的去噪成像子网络，去噪成像子网络与调制函数和解调函数同时用深度学习的方法训练，得到训练好的调制函数、解调函数和去噪成像子网络；
步骤6，使用步骤5训练得到的调制函数对激光二极管进行调制，驱动激光二极管发射激光照亮场景；
步骤7，场景物体表面反射回的反射光，经过分光器后，聚焦到探测器上，探测器接收到带有调制信息的反射信号；
步骤8，将步骤7反射信号与步骤5训练得到的解调函数经过乘法器相乘，再经过低通滤波器进行积分，使用模数转换器对低通滤波器输出的电压进行采集；
步骤9，重复步骤6至步骤8，扫描场景中的每个点，完成对场景中所有的点的深度测量，得到带有噪声的测量图；
步骤10，把步骤9得到的带有噪声的测量图输入给步骤5训练得到的去噪成像子网络，得到场景的深度图，完成TOF深度成像。
2.根据权利要求1所述的一种基于深度学习的TOF深度成像方法，其特征在于，所述步骤7中，假设使用的调制函数为M(t)，探测器接收到的反射信号为：f(t)＝αM(t-t0)+β；其中α是反射率，t0是在空间传递的时延，β是外部光源引起的辐射分量。
CN202110015239.6A 2021-01-06 2021-01-06 一种基于深度学习的tof深度成像方法 Active CN114723797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110015239.6A CN114723797B (zh) 2021-01-06 2021-01-06 一种基于深度学习的tof深度成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110015239.6A CN114723797B (zh) 2021-01-06 2021-01-06 一种基于深度学习的tof深度成像方法

Publications (2)

Publication Number Publication Date
CN114723797A CN114723797A (zh) 2022-07-08
CN114723797B true CN114723797B (zh) 2024-04-12

Family

ID=82234992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110015239.6A Active CN114723797B (zh) 2021-01-06 2021-01-06 一种基于深度学习的tof深度成像方法

Country Status (1)

Country Link
CN (1) CN114723797B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458778A (zh) * 2019-08-08 2019-11-15 深圳市灵明光子科技有限公司 一种深度图像去噪方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7271119B2 (ja) * 2017-10-20 2023-05-11 ソニーセミコンダクタソリューションズ株式会社 デプス画像取得装置、制御方法、およびデプス画像取得システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458778A (zh) * 2019-08-08 2019-11-15 深圳市灵明光子科技有限公司 一种深度图像去噪方法、装置及存储介质

Also Published As

Publication number Publication date
CN114723797A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
Zanuttigh et al. Time-of-flight and structured light depth cameras
CN110168311B (zh) 用于以点云数据集合对对象进行分类的方法和***
US10302424B2 (en) Motion contrast depth scanning
US10677923B2 (en) Optoelectronic modules for distance measurements and/or multi-dimensional imaging
Gokturk et al. A time-of-flight depth sensor-system description, issues and solutions
CN107392965B (zh) 一种基于深度学习和双目立体视觉相结合的测距方法
CN111045029B (zh) 一种融合的深度测量装置及测量方法
WO2017025885A1 (en) Doppler time-of-flight imaging
Inglis et al. A pipeline for structured light bathymetric mapping
CN111308482B (zh) 基于编码调制图像的滤波连续波飞行时间测量
Mufti et al. Statistical analysis of signal measurement in time-of-flight cameras
CN102494663A (zh) 摆动喷管的摆动角度的测量***及摆动角度的测量方法
Agresti et al. Combination of spatially-modulated ToF and structured light for MPI-free depth estimation
Shi et al. Extrinsic calibration and odometry for camera-LiDAR systems
Al-Temeemy et al. Laser-based structured light technique for 3D reconstruction using extreme laser stripes extraction method with global information extraction
CN114723797B (zh) 一种基于深度学习的tof深度成像方法
Leite et al. Fusing heterogeneous tri-dimensional information for reconstructing submerged structures in harsh sub-sea environments
Bastuscheck Techniques for real-time generation of range images
CN113052890A (zh) 一种深度真值获取方法、装置、***及深度相机
Conde et al. Adaptive high dynamic range for time-of-flight cameras
Paredes et al. Performance Evaluation of State-of-the-Art High-Resolution Time-of-Flight Cameras
CN115290004B (zh) 一种基于压缩感知与hsi的水下并行单像素成像方法
Nagamatsu et al. Self-calibrated dense 3D sensor using multiple cross line-lasers based on light sectioning method and visual odometry
Li et al. Measurement linearity and accuracy optimization for time-of-flight range imaging cameras
Paredes et al. CS-ToF sensing by means of greedy bi-lateral fusion and near-to-optimal low-density codes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant