CN114692509B - 基于多阶段退化神经网络的强噪声单光子三维重建方法 - Google Patents
基于多阶段退化神经网络的强噪声单光子三维重建方法 Download PDFInfo
- Publication number
- CN114692509B CN114692509B CN202210422814.9A CN202210422814A CN114692509B CN 114692509 B CN114692509 B CN 114692509B CN 202210422814 A CN202210422814 A CN 202210422814A CN 114692509 B CN114692509 B CN 114692509B
- Authority
- CN
- China
- Prior art keywords
- layer
- single photon
- network
- stage
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000007850 degeneration Effects 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 44
- 238000000605 extraction Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004088 simulation Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005316 response function Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 24
- 230000003631 expected effect Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000004907 flux Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/04—Constraint-based CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/10—Noise analysis or noise optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明属于激光雷达技术领域，具体涉及基于多阶段退化神经网络的强噪声单光子三维重建方法。克服了经典的单光子成像方法在低信号光子与背景噪声比下成像效果不佳，需调整一些超参数以保持精度和计算效率导致实用性受限制的问题，主要包括以下步骤：步骤1、获取数据集；步骤2、构建用于单光子重建的多阶段退化神经网络；步骤3、使用训练集训练网络，并验证网络，观察所训练的网络是否达到预期的效果；步骤4、将测试集数据输入网络实现强噪声单光子三维重建，恢复出深度图。
Description
技术领域
本发明属于激光雷达技术领域，具体涉及基于多阶段退化神经网络的强噪声单光子三维重建方法。
背景技术
传统的三维成像激光雷达是常见的主动光学三维成像***，已被广泛应用于工业、科学研究乃至国防领域。然而，随着高灵敏度光子探测技术和高精度电子学计时技术日趋成熟，以时间相关单光子计数三维成像技术为代表的激光雷达技术已逐渐成为远距离成像、非视域成像领域的发展趋势。
虽然单光子计数雷达能够响应单光子水平的回波光子信号，但是采用单光子计数体制之后，在提高探测灵敏度的同时，源于光粒子性的散噪声，以及环境背景噪声和探测器暗记数的影响变得不可忽略，从而需要增加照射时间以提高回波光子的信噪比，大大降低了成像的性能，严重影响该技术在实际中的应用。
目前，人们已经从单光子成像***设备、经典算法以及机器学习三个途径克服上述问题。高速电子门控是一种改进单光子成像技术的方案，但是需要预先知晓目标大致位置，否则会丢失目标信息，实用性受限。Shin[1]等人通过添加约束项TV(total-variation)来抑制噪声；更进一步，Rapp[2]等人提出在强噪声环境中的去噪算法，对回波光子信号先进行去噪处理，而后进行重构。二人的方法都起到了提高重构精度的效果，但是随着光通量的逐渐降低，二者的成像性能严重下降。Lindell[3]等人在2018年提出了基于机器学习的传感器融合的单光子成像算法，通过干净的强度信息引导单光子重建，达到了较好的重建效果。由于实际中优良的强度信息往往缺少，故该方法不可行，但是将机器学习引入了单光子成像领域。
因此，目前需要探索一种非融合的，能够在不同环境下具有优良泛化性能，尤其是低光通量情况下成像优异的算法，以提升时间相关单光子计数三维成像技术实际应用能力。
发明内容
现有单光子三维成像方法存在一定局限性，比如：高速电子门控方法高度依赖人工设计，在实际应用中性价比不高，经典算法无法满足低光通量下有效成像需求，以及基于数据融合的机器学习方法面临复杂环境下的不可靠性。本发明提供了一种基于多阶段退化神经网络的强噪声单光子三维重建方法，通过将单光子重建过程分成两个不同的阶段进行，将复杂问题简化后分别进行处理，既丰富了特征信息的尺度，同时又捕获了单光子数据的空间相关性，大幅提高了单光子三维重构图像的质量和效率。
本发明提供了一种基于多阶段退化神经网络的强噪声单光子三维重建方法，包括如下步骤：
步骤1，获取数据集；
所述数据集为噪声单光子数据集，包括用于网络模型训练的训练数据集和用于网络模型测试的测试数据集。
步骤2，构建用于单光子重建的多阶段退化神经网络；
多阶段退化神经网络包括多尺度特征提取网络、自监督注意力模块和固定分辨率融合与重建网络级联组成；其中多尺度特征提取网络和自监督注意力模块为第一阶段网络；固定分辨率融合与重建网络为第二阶段网络；
步骤3，使用训练集训练多阶段退化神经网络；
将训练集数据导入多阶段退化神经网络，利用神经网络的正向、反向传播优化总体网络参数，通过混合损失函数约束多阶段网络训练，使多阶段退化神经网络拟合训练集数据，获取训练好的多阶段退化神经网络；
步骤4，将测试集数据输入训练好的多阶段退化神经网络实现强噪声单光子三维重建，生成深度图。
进一步的，步骤3中所述混合损失函数Loss包括第一阶段网络的Loss1和第二阶段网络的Loss2，表达为：
优化总体网络参数以拟合训练集数据，具体为：将第一阶段网络和第二阶段网络输出的去噪单光子数据
分别与相同归一化干净单光子数据h,通过混合损失函数L计算得到第一阶段网络的Loss1和第二阶段网络的Loss2,通过最终的Loss进行总体网络的优化。
进一步的，步骤3中所述混合损失函数L表达式为：
其中，
进一步的，多尺度特征提取网络是基于3DUNet网络搭建的网络，包括下采样层、上采样层以及跳层连接层；3DUNet网络整体结构呈U形编码-解码对称结构，其中编码部分是多个卷积操作和3D池化操作组成的下采样层提取目标特征，解码部分是由多个反卷积操作和上采样函数组成的上采样层恢复信息。将特征层等级相同的特征通过跳层连接层进行融合。
进一步的，步骤2中所述自监督注意力模块包括残差模块和全局注意力模块，噪声单光子数据先经过多尺度特征提取网络，提取多尺度细节特征。将多尺度特征提取网络的输出的多尺度单光子特征信息与噪声单光子数据一并输入到残差模块，残差模块输出去噪单光子数据
用于计算Loss1，以约束第一阶段网络，同时去噪单光子数据
输入到全局注意力模块，全局注意力模块用于通过利用注意力机制原理，建立时空维度的注意力特征图，输出经过注意力模块优化后的单光子特征信息到固定分辨率融合与重建网络。
进一步的，全局注意力模块包括卷积层Convθ、
Convg、Convz、以及归一化Group Norm层；全局注意力模块原理如下所示：
其中，X为输入到全局注意力模块的单光子数据；
通过Convθ对输入进行卷积，得到XWθ；通过
对输入进行卷积，将卷积结果转置得到
通过Convg对输入的进行卷积，得到XWg；Convz是对特征Y进行分组卷积，减少计算，而后进行Group Norm归一化。
进一步的，固定分辨率融合与重建网络包括浅层特征提取层、特征融合层和softmax层；噪声单光子数据经固定分辨率融合与重建网络的浅层特征提取层进行浅层特征提取，并与自监督注意力模块中输出的优化后的去噪单光子特征信息在特征融合层融合，输出去噪单光子数据
再经softmax层。将argmax微分算子作用于softmax层的输出，得到深度图数据，所述去噪单光子数据
参与计算Loss2。
进一步的，特征融合模块包括第一层卷积Conv、第二层卷积Conv、第三层卷积Conv(D)，第二层卷积Conv(D)、以及第三层卷积Conv；其中每层卷积都采用ReLU作为激活函数；特征信息在特征融合模块中，先经过第一层卷积Conv，该卷积不会改变特征通道数量，第一层卷积Conv输出分别到第二层卷积Conv和第二层卷积Conv(D)，卷积Conv(D)为扩张卷积增加特征信息通道数量，Conv为3D卷积该卷积不会改变特征通道数量。第二层卷积Conv输出到第三层卷积Conv(D)，第二层卷积Conv(D)输出到第三层卷积Conv；将第二层卷积Conv、第三层卷积Conv(D)，第二层卷积Conv(D)、以及第三层卷积Conv的输出作concat操作，而后作为下一个特征融合模块的输入。
进一步的，步骤1中所述训练数据集是通过使用单光子激光雷达仿真***模型对NYUV2数据集进行模拟得到的噪声单光子数据集；所述测试数据集通过使用相同的单光子激光雷达仿真***模型对Middlebury 2005数据集进行模拟得到的噪声单光子数据集。
进一步的，单光子激光雷达仿真***具体建模如下：
(1)在时间间隔n内记录的位置(i,j)到达探测器处的光子数可以表示为：
其中c是光速，s为周期性脉冲，di,j表示像素(i,j)处的深度值，Δt是TDC的时间间隔，g表示仪器响应函数，η∈[0,1)表示量子效率,bλ表示波长为λ的环境光影响。
(2)记录的SPAD N个照明周期的光子数量建模为泊松过程，如下：
hi,j[n]～P{N[ηri,j[n]+bd]}
其中bd为探测器非零计数。
与现有技术相比，本发明的有益效果是：本发明利用噪声数据预先训练一个多阶段退化神经网络的强噪声单光子三维重建网络模型，训练完成之后只需要输入的当前网络的噪声单光子数据，重建出最终的深度图，并且效果明显。该方法的可行性高，普适性强，实验结果表明，我们的方法在不同光通量情况下效果稳定。
附图说明
图1是本发明方法的流程图。
图2是多阶段退化神经网络网络结构图。
图3是多尺度特征提取网络网络结构图。
图4是全局注意力模块结构图。
图5是特征融合模块结构图。
图6是不同算法对比结果图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明作进一步的详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
基于多阶段退化神经网络的强噪声单光子三维重建方法，如图1所示，包括如下步骤：
步骤1，获取数据集；
所述数据集包括用于网络模型训练的训练数据集和用于网络模型测试的测试数据集；所述训练数据集是通过使用单光子激光雷达仿真***模型对NYUV2数据集进行模拟得到的噪声单光子数据集，所述测试数据集通过使用相同的单光子激光雷达仿真***模型对Middlebury 2005数据集进行模拟得到的噪声单光子数据集。
单光子激光雷达仿真***具体建模如下：
(1)在时间间隔n内记录的位置(i,j)到达探测器处的光子数可以表示为：
其中c是光速，s为周期性脉冲，di,j表示像素(i,j)处的深度值，Δt是TDC的时间间隔，g表示仪器响应函数，η∈[0,1)表示量子效率,bλ表示波长为λ的环境光影响。
(2)记录的SPAD N个照明周期的光子数量可近似建模为泊松过程，如下：
hi,j[n]～P{N[ηri,j[n]+bd]}
其中bd为探测器非零计数。
模拟的噪声单光子数据的噪声水平主要包括：1：100、2：100、3：100、10：2、2：2、5：2、5：10、10：10、2：10、10：50、5：50、2：50；所述噪声水平是指信号光子数：环境背景光。模拟的噪声单光子数据在网络中使用时，维度为Bx1x1024x32x32。训练数据集是由以上多种噪声水平生成的数据混合而成，从训练数据集中随机抽取小部分作为验证集，用于网络训练过程中的验证，其余的用于网络训练。验证集中的数据也包括了以上多种噪声水平。
测试集的组成是由相同的单光子激光雷达仿真***对Middlebury 2005数据集经过模拟生成上述噪声水平的单光子数据、对应的干净的深度图数据和光子直方图数据，在测试集中不同噪声水平的噪声单光子数据不进行混合，方便之后进行结果分析。
步骤2，构建用于单光子重建的多阶段退化神经网络；
如图2所示，多阶段退化神经网络包括多尺度特征提取网络、自监督注意力模块和固定分辨率融合与重建网络级联组成；其中多尺度特征提取网络和自监督注意力模块为第一阶段网络；固定分辨率融合与重建网络为第二阶段网络；所以本发明中单光子重建任务由两个阶段完成；
噪声单光子数据先经过多尺度特征提取网络，提取多尺度细节特征，经过自监督注意力模块后，输出两部分，一部分是经过第一阶段网络之后的去噪单光子数据
参与计算Loss1以约束第一阶段网络；另一部分是噪声单光子特征信息输入到固定分辨率融合与重建网络。
所述固定分辨率融合与重建网络包括浅层特征提取层、特征融合层和softmax层；噪声单光子数据经固定分辨率融合与重建网络的浅层特征提取层进行浅层特征提取，并与自监督注意力模块中输出的去噪单光子特征信息在特征融合层融合，输出去噪单光子数据
再经softmax层。将argmax微分算子作用于softmax层的输出，得到深度图数据，所述去噪单光子数据
参与计算Loss2，总体网络在进行Loss的传播时，传播的是Loss1和Loss2的求和之后的Loss，但是依旧可以起到对于两个阶段的网络的约束作用。本发明中的固定分辨率融合与重建网络弥补了固定分辨率融合与重建网络无法捕获多尺度细节的缺点。特征融合层中的特征信息既有多尺度特征提取网络所提取的多尺度细节特征信息，也有固定分辨率融合与重建网络所捕获的单光子特征信息的长程空间相关性，将强噪声环境中的有效特征提取这一复杂问题，分成两个不同的阶段提取，有效的使得特征信息更加丰富。
如图3所示，多尺度特征提取网络是基于3DUNet网络搭建的网络，包括下采样层、上采样层以及跳层连接层。
3DUNet网络整体结构呈U形编码-解码对称结构，其中编码部分是多个由3x3x3的卷积操作和3D池化操作组成的下采样层提取目标特征，解码部分是与编码部分同样多个由3x3x3反卷积操作和上采样函数组成的上采样层恢复信息。将特征层等级相同的特征通过跳层连接层进行融合。下采样层能够捕获不同尺度的特征信息，具有较好的纹理细节；上采样层将提取到的特征逐步恢复到和原数据大小一致；跳层连接层将下采样得到特征通过级联和卷积与上采样结果融合。通过该网络之后，具有了较好的细节纹理，但是丢失了准确的空间位置信息。
自监督注意力模块包括残差模块与全局注意力模块。通过残差连接，保证了特征信息的丰富，随着网络的加深，不会出现过拟合现象，并将输出的去噪直方图数据
用于计算Loss1，参与最小损失函数优化。全局注意力模块如图4所示，通过利用注意力机制原理，建立了时空维度的注意力特征图，能够捕获特征信息长程相关性，以此建立特征信息之间的时空长程联系，这包括时间维度和空间维度的相关性，这对于强噪声单光子数据而言，通过建立特征信息之间的相关性，能够更好的融合稀疏的有效单光子信息，在时间维度上将有效光子特征信息进行聚合，解决了强噪声中有效单光子信息稀疏，特征不易提取的问题。
全局注意力模块包括卷积层Convθ、
Convg、Convz、以及归一化Group Norm层；全局注意力模块原理如下所示：
其中，X为输入到全局注意力模块的单光数据；
通过Convθ对输入进行卷积，得到XWθ；通过
对输入进行卷积，将卷积结果转置得到
通过Convg对输入的进行卷积，得到XWg；在这之前，NxCx1024x32x32变换为Nx(Cx1024x32x32),所以输入到全局注意力模块的单光数据特征信息X的维度为：Nx(Cx1024x32x32)。Convz是对输出特征信息Y进行分组卷积，减少计算，而后进行Group Norm归一化。
固定分辨率融合与重建网络包括浅层特征提取层、特征融合层和softmax层。浅层特征提取层将提取输入数据的浅层特征信息，由3x3x3的3D卷积组成，融合了密集连接以及残差的思想，保证了网络的深度。特征融合层由多个特征融合模块构成，用于扩大网络的感受野。softmax层对第二阶段的输出去噪单光子数据进行归一化操作，通过微分算子argmax寻找经过softmax层之后的去噪光子数据中最大值的bin索引，生成2D深度图。
如图5所示，特征融合模块包括第一层卷积Conv、第二层卷积Conv、第三层卷积Conv(D)，第二层卷积Conv(D)、以及第三层卷积Conv；其中每层卷积都采用ReLU作为激活函数；
特征信息在特征融合模块中，先经过第一层卷积Conv，该卷积不会改变特征通道数量，第一层卷积Conv输出分别到第二层卷积Conv和第二层卷积Conv(D)，卷积Conv(D)为扩张卷积会增加特征信息通道数量，Conv为3D卷积该卷积不会改变特征通道数量。第二层卷积Conv输出到第三层卷积Conv(D)，第二层卷积Conv(D)输出到第三层卷积Conv；将第二层卷积Conv、第三层卷积Conv(D)，第二层卷积Conv(D)、以及第三层卷积Conv的输出做concat操作，而后作为下一个特征融合模块的输入。上下两个Conv-ReLU-Conv(D)和Conv(D)-ReLU-Conv分支可以学习不同的特征，可以增大感受野，促进特征的融合。
步骤3：使用训练集训练多阶段退化神经网络；
将训练集数据导入多阶段退化神经网络，利用神经网络的正向、反向传播优化总体网络参数，通过混合损失函数约束多阶段网络训练，使多阶段退化的强噪声单光子三维重建神经网络拟合训练集数据，以此来获取具有强噪声单光子三维重建功能的多阶段退化的强噪声单光子三维重建神经网络；
为了使训练更加有效，本发明采用了混合损失函数，使用两个损失项约束网络。所述混合损失函数一个是去噪直方图
和归一化干净直方图h之间每个空间位置(i,j)处的Kullback-Leibler(KL散度),表达式为：
另外一项损失函数是对输出的2D深度图进行正则化的总变差项(TV)项，这是为了提高网络的鲁棒性。我们运用一个可微分的argmax算子S到
找到最大的bin索引通过对每个空间位置(i,j)的简单加权和计算得到深度值：
因此最终的混合损失函数表达式为：
其中，λ为权重系数，本申请中设置为0.006。
优化网络参数以拟合训练集数据，具体为：将两个阶段的网络的输出
分别与相同归一化真实直方图,通过相同的损失函数L计算得到相应的Loss1和Loss2,通过最终的Loss进行总体网络的优化，优化器使用Adam优化器，最终进行传播的Loss表达式为：
测试结果的评估指标使用的是均方根误差RMSE，RMSE公式为：
其中，
是网络输出的去噪深度图，d是真实干净深度图。
步骤4：将测试集数据输入训练好的多阶段退化神经网络实现强噪声单光子三维重建，生成深度图，并分析测试结果。
最终的测试结果如图6所示。本发明方法分别与Shin、Rapp、Lindell三人论文中提出的方法对比，其中Shin的论文是Photon-efficient imaging with a single-photoncamera，2016年发布在期刊Nature communications上；Rapp的论文是A few photonsamong many:Unmixing signal and noise for photon-efficient active imaging，2017年发布在期刊IEEE Transactions on Computational Imaging上；Lindell的论文是Single-photon 3D imaging with deep sensor fusion，2018年发布在期刊ACMTrans.Graph上。本发明的方法相较于其他几种方法而言，成像效果稳定，在低光通量下依然可以恢复出较好的深度图。
以上验证仅是本发明的一个实施实例，应当指出：本发明不限于使用由NYUV2数据集或者Middlebury 2005数据集模拟的噪声单光子数据，并且不限于使用在单光子强噪声环境成像，同样适用于单光子高分辨率成像等的单光子成像领域。对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对参数向量做出若干合适的设计，这样的改变或润饰也应视为本发明的保护范围。
Claims (7)
1.基于多阶段退化神经网络的强噪声单光子三维重建方法，其特征在于，包括如下步骤：
步骤1，获取数据集；
所述数据集为噪声单光子数据集，包括用于网络模型训练的训练数据集和用于网络模型测试的测试数据集；
步骤2，构建用于单光子重建的多阶段退化神经网络；
多阶段退化神经网络包括多尺度特征提取网络、自监督注意力模块和固定分辨率融合与重建网络级联组成；其中多尺度特征提取网络和自监督注意力模块为第一阶段网络；固定分辨率融合与重建网络为第二阶段网络；
所述多尺度特征提取网络是基于3DUNet网络搭建的网络，包括下采样层、上采样层以及跳层连接层；3DUNet网络整体结构呈U形编码-解码对称结构，其中编码部分是多个卷积操作和3D池化操作组成的下采样层提取目标特征，解码部分是由多个反卷积操作和上采样函数组成的上采样层恢复信息；将特征层等级相同的特征通过跳层连接层进行融合；
所述自监督注意力模块包括残差模块和全局注意力模块，噪声单光子数据先经过多尺度特征提取网络，提取多尺度细节特征；将多尺度特征提取网络输出的多尺度单光子特征信息与噪声单光子数据一并输入到残差模块，残差模块输出去噪单光子数据
用于计算Loss1以约束第一阶段网络，同时去噪单光子数据
输入到全局注意力模块，全局注意力模块用于通过利用注意力机制原理，建立时空维度的注意力特征图，输出经过注意力模块优化后的去噪单光子数据特征信息到固定分辨率融合与重建网络；
所述固定分辨率融合与重建网络包括浅层特征提取层、特征融合层和softmax层；噪声单光子数据经固定分辨率融合与重建网络的浅层特征提取层进行浅层特征提取，并与自监督注意力模块中输出的优化后去噪单光子特征信息在特征融合层融合，输出去噪单光子数据
再经softmax层；将argmax微分算子作用于softmax层的输出，得到深度图数据，所述去噪单光子数据
参与计算Loss2；
步骤3，使用训练集训练多阶段退化神经网络；
将训练集数据导入多阶段退化神经网络，利用神经网络的正向、反向传播优化总体网络参数，通过混合损失函数约束多阶段网络训练，使多阶段退化神经网络拟合训练集数据，获取训练好的多阶段退化神经网络；
步骤4，将测试集数据输入训练好的多阶段退化神经网络实现强噪声单光子三维重建，生成深度图。
2.根据权利要求1所述基于多阶段退化神经网络的强噪声单光子三维重建方法，其特征在于，步骤3中所述混合损失函数Loss包括第一阶段网络的Loss1和第二阶段网络的Loss2，表达为：
优化总体网络参数以拟合训练集数据，具体为：将第一阶段网络和第二阶段网络输出的去噪单光子数据
分别与相同归一化干净单光子数据h,通过混合损失函数L计算得到第一阶段网络的Loss1和第二阶段网络的Loss2,通过最终的Loss进行总体网络的优化。
3.根据权利要求1或2所述基于多阶段退化神经网络的强噪声单光子三维重建方法，其特征在于，步骤3中所述混合损失函数L表达式为：
其中，
4.根据权利要求1所述基于多阶段退化神经网络的强噪声单光子三维重建方法，其特征在于，全局注意力模块包括卷积层Convθ、
Convg、Convz、以及归一化Group Norm层；全局注意力模块原理如下所示：
其中，X为输入到全局注意力模块的单光子数据；
通过Convθ对输入进行卷积，得到XWθ；通过
对输入进行卷积，再将卷积结果转置得到
通过Convg对输入进行卷积，得到XWg；Convz是对输出特征Y进行分组卷积，减少计算，而后进行Group Norm归一化。
5.根据权利要求1所述基于多阶段退化神经网络的强噪声单光子三维重建方法，其特征在于，特征融合模块包括第一层卷积Conv、第二层卷积Conv、第三层卷积Conv(D)，第二层卷积Conv(D)、以及第三层卷积Conv；其中每层卷积都采用ReLU作为激活函数；
特征信息在特征融合模块中，先经过第一层卷积Conv，该卷积不会改变特征通道数量，第一层卷积Conv输出分别到第二层卷积Conv和第二层卷积Conv(D)，卷积Conv(D)为扩张卷积增加特征信息通道数量，Conv为3D卷积该卷积不会改变特征通道数量；第二层卷积Conv输出到第三层卷积Conv(D)，第二层卷积Conv(D)输出到第三层卷积Conv；将第二层卷积Conv、第三层卷积Conv(D)，第二层卷积Conv(D)、以及第三层卷积Conv的输出做concat操作，而后作为下一个特征融合模块的输入。
6.根据权利要求1所述基于多阶段退化神经网络的强噪声单光子三维重建方法，其特征在于，步骤1中所述训练数据集是通过使用单光子激光雷达仿真***模型对NYUV2数据集进行模拟得到的噪声单光子数据集；所述测试数据集通过使用相同的单光子激光雷达仿真***模型对Middlebury 2005数据集进行模拟得到的噪声单光子数据集。
7.根据权利要求6所述基于多阶段退化神经网络的强噪声单光子三维重建方法，其特征在于，单光子激光雷达仿真***具体建模如下：
(1)在时间间隔n内记录的位置(i,j)到达探测器处的光子数表示为：
其中c是光速，s为周期性脉冲，di,j表示像素(i,j)处的深度值，Δt是TDC的时间间隔，g表示仪器响应函数，η∈[0,1)表示量子效率,bλ表示波长为λ的环境光影响；
(2)记录的SPAD N个照明周期的光子数量建模为泊松过程，如下：
hi,j[n]～P{N[ηri,j[n]+bd]}
其中bd为探测器非零计数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210422814.9A CN114692509B (zh) | 2022-04-21 | 2022-04-21 | 基于多阶段退化神经网络的强噪声单光子三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210422814.9A CN114692509B (zh) | 2022-04-21 | 2022-04-21 | 基于多阶段退化神经网络的强噪声单光子三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114692509A CN114692509A (zh) | 2022-07-01 |
| CN114692509B true CN114692509B (zh) | 2023-02-14 |
Family
ID=82145047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210422814.9A Active CN114692509B (zh) | 2022-04-21 | 2022-04-21 | 基于多阶段退化神经网络的强噪声单光子三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114692509B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116992624B (zh) * | 2022-08-08 | 2024-02-13 | 重庆大学 | 新能源汽车电机热管控方法 |
| CN115222790B (zh) * | 2022-08-11 | 2022-12-30 | 中国科学技术大学 | 单光子三维重建方法、***、设备及存储介质 |
| CN115375930B (zh) * | 2022-10-26 | 2023-05-05 | 中国航发四川燃气涡轮研究院 | 基于多尺度信息的立体匹配网络及立体匹配方法 |
| CN115619889B (zh) * | 2022-11-09 | 2023-05-30 | 哈尔滨工业大学（威海） | 一种适用于环形阵列的多特征融合光声图像重建方法 |
| CN117496358B (zh) * | 2023-12-29 | 2024-03-22 | 中国石油大学(华东) | 基于激光雷达数据进行特征增强的神经网络构建方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10810767B2 (en) * | 2018-06-12 | 2020-10-20 | Siemens Healthcare Gmbh | Machine-learned network for Fourier transform in reconstruction for medical imaging |
| CN109345449B (zh) * | 2018-07-17 | 2020-11-10 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| CN109903228B (zh) * | 2019-02-28 | 2023-03-24 | 合肥工业大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
| CN111627082B (zh) * | 2020-05-21 | 2022-06-21 | 浙江大学 | 基于滤波反投影算法和神经网络的pet图像重建方法 |
| WO2022000183A1 (zh) * | 2020-06-29 | 2022-01-06 | 深圳高性能医疗器械国家研究院有限公司 | 一种ct图像降噪***及方法 |
| CN113205462B (zh) * | 2021-04-06 | 2022-07-19 | 武汉大学 | 一种基于神经网络学习先验的光子反射率图像去噪方法 |
| CN113989343A (zh) * | 2021-10-31 | 2022-01-28 | 南京理工大学 | 基于注意力机制的传感器融合深度重建数据驱动方法 |
-
2022
- 2022-04-21 CN CN202210422814.9A patent/CN114692509B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114692509A (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114692509B (zh) | 基于多阶段退化神经网络的强噪声单光子三维重建方法 | |
| CN110188685B (zh) | 一种基于双注意力多尺度级联网络的目标计数方法及*** | |
| CN112861729B (zh) | 一种基于伪深度图引导的实时深度补全方法 | |
| CN110781924B (zh) | 一种基于全卷积神经网络的侧扫声纳图像特征提取方法 | |
| CN111077523B (zh) | 一种基于生成对抗网络的逆合成孔径雷达成像方法 | |
| CN110111345B (zh) | 一种基于注意力网络的3d点云分割方法 | |
| CN111462013B (zh) | 一种基于结构化残差学习的单图去雨方法 | |
| CN112488210A (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
| CN111709903B (zh) | 一种红外与可见光图像融合方法 | |
| CN112597985B (zh) | 一种基于多尺度特征融合的人群计数方法 | |
| CN111043988B (zh) | 一种基于图形学和深度学习的单张条纹投影测量方法 | |
| CN111062329B (zh) | 基于增广网络的无监督行人重识别方法 | |
| CN112434723B (zh) | 一种基于注意力网络的日/夜间图像分类及物体检测方法 | |
| CN111861906A (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| CN113865859A (zh) | 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 | |
| CN111310767A (zh) | 一种基于边界增强的显著性检测方法 | |
| CN113920255B (zh) | 基于点云数据的高效测绘*** | |
| CN116703885A (zh) | 一种基于Swin Transformer的表面缺陷检测方法及*** | |
| CN115984339A (zh) | 基于几何特征精炼与对抗生成网络的双管道点云补全方法 | |
| CN111815526A (zh) | 基于图像滤波和cnn的有雨图像雨条纹去除方法及*** | |
| CN112581626B (zh) | 一种基于非参数化和多注意力机制的复杂曲面测量*** | |
| Wu et al. | Meta transfer learning-based super-resolution infrared imaging | |
| Zhao et al. | Squnet: An high-performance network for crater detection with dem data | |
| CN116823664B (zh) | 一种遥感图像云去除方法及*** | |
| CN111274901B (zh) | 一种基于深度门控递归单元的手势深度图像连续检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |