CN115222790B - 单光子三维重建方法、***、设备及存储介质 - Google Patents
单光子三维重建方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN115222790B CN115222790B CN202210958881.2A CN202210958881A CN115222790B CN 115222790 B CN115222790 B CN 115222790B CN 202210958881 A CN202210958881 A CN 202210958881A CN 115222790 B CN115222790 B CN 115222790B
- Authority
- CN
- China
- Prior art keywords
- depth
- decoder
- single photon
- data
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种单光子三维重建方法、***、设备及存储介质,基于单光子数据中含有的时间‑空间相关性,通过利用非局部模块和深层网络结构提取并利用了数据中的相关性。同时,还分析了单光子数据中的噪声统计特性,通过设计对应的损失函数,从而实现了对噪声先验的利用,并进一步提升了算法的重建性能。总的来说,本方法通过设计多分支结构的重建网络,利用了单光子数据中的时间‑空间相关性以及噪声的统计特性实现了对场景深度和亮度信息的重建。
Description
技术领域
本发明涉及计算成像技术领域,尤其涉及一种单光子三维重建方法、***、设备及存储介质。
背景技术
主动三维成像技术被广泛运用于生物学,地质学,机器人和自动驾驶等领域。一个典型的主动三维成像***包含:发射器,接收器,扫描装置和时间同步电路。一般地,发射器向场景中的物体发射电磁波(通常为激光),经过物体反射之后被接收器接收。通常,接收器需要在每个空间位置接收大约1000个光子才能较好地抑制噪声,获得较高精度的深度数据。然而,一些特殊应用,例如:超远距离动态场景成像,易损生物样本显微成像等,并不允许接收器获得如此多光子。因此,只需要少量光子(平均每个空间位置一个光子)即可成像的单光子成像技术应运而生,并在探测距离,成像速度,光子有效性和适应性等方面远超传统三维成像技术。
在单光子成像中,如何恢复可靠的场景深度信息,是目前单光子领域研究的热点课题。由于单光子***接收到的信号光子数通常较少,且易受到环境中噪声光子数的干扰,所以单光子数据具有低(信号)光子量、低信噪比的特性,特别地,在远距离单光子成像***中,由于距离太远,光斑效应会干扰成像质量。因此,在单光子深度重建中,低光子量、低信噪比和光斑成为影响深度重建质量的三个主要因素。目前,传统的重建算法通过研究单光子数据的统计特性并结合场景的空间相关性来重建深度信息,在高光子量、高信噪比场景下获得不错的重建性能,但却不能很好地适用于低光子量、低信噪比等场景。传统的重建算法主要包括:文献1(Kirmani, Ahmed, DheeraVenkatraman, Dongeek Shin, Andrea Colaço, Franco NC Wong, Jeffrey H. Shapiro, and Vivek K. Goyal. "First-photonimaging." Science, vol. 343, no. 6166, pp. 58-61, 2014.),文献2(Altmann,Yoann, Stephen McLaughlin, Miles J. Padgett, Vivek K. Goyal, Alfred O. Hero,and Daniele Faccio. "Quantum-inspired computational imaging." Science, vol.361, no. 6403, 2018.),文献3(Li, Zheng-Ping, Xin Huang, Yuan Cao, Bin Wang,Yu-Huai Li, WeijieJin, Chao Yu et al. "Single-photon computational 3D imagingat 45 km." Photonics Research 8, no. 9: 1532-1540, 2020),文献4(Shin, Dongeek,Ahmed Kirmani, Vivek K. Goyal, and Jeffrey H. Shapiro. "Photon-efficientcomputational 3-D and reflectivity imaging with single-photon detectors."IEEE Transactions on Computational Imaging, vol. 1, no. 2, pp. 112-125,2015.),文献5(Bar-David, Israel. "Communication under the Poisson regime."IEEE Transactions on Information Theory, vol. 15, no. 1, pp. 31-37, 1969.),文献6(Rapp, Joshua, and Vivek K. Goyal. "A few photons among many: Unmixingsignal and noise for photon-efficient active imaging." IEEE Transactions onComputational Imaging, vol. 3, no. 3, pp. 445-459, 2017.)。
除此之外,一些通过设计新的成像***来提升重建精度的方法也很难解决低光子量、低信噪以及光斑比带来的问题。最近,基于学习的重建算法(Lindell, David B.,Matthew O'Toole, and Gordon Wetzstein. "Single-photon 3D imaging with deepsensor fusion." ACM Transactions on Graphics, vol. 37, no. 4, pp. 113-1,2018.)由于缺乏针对单光子数据特性而设计的网络结构,以及在训练过程中需要额外的场景反射率信息作为监督信息等问题,在重建性能和泛化能力上并不能超越部分传统的重建算法,更不能解决光斑带来的影响。
因此,现有的各项方案无法有效地完成低光子量、低信噪比和光斑影响情况下的场景深度和亮度重建。
发明内容
本发明的目的是提供一种单光子三维重建方法、***、设备及存储介质,能够在低光子量、低信噪比和光斑影响情况下准确的重建出场景深度和亮度信息。
本发明的目的是通过以下技术方案实现的:
一种单光子三维重建方法,包括:
构建包含编码器、亮度解码器和深度解码器的重建网络,将单光子模拟数据输入至重建网络;所述编码器对输入的单光子模拟数据进行特征提取,获得单光子数据特征;所述亮度解码器通过单光子数据特征重建场景亮度图;所述深度解码器通过单光子数据特征重建场景深度图,并且从单光子模拟数据中提取噪声信息,重建噪声图;利用场景亮度图构建亮度解码器的损失函数,利用场景深度图与噪声图构建深度解码器的损失函数,以及结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数,综合所有损失函数对所述重建网络进行训练;
将待重建的单光子数据输入至训练后的重建网络,获得重建场景亮度图与重建场景深度图。
一种单光子三维重建***,包括:
网络构建与训练单元,用于构建包含编码器、亮度解码器和深度解码器的重建网络,将单光子模拟数据输入至重建网络;所述编码器对输入的单光子模拟数据进行特征提取,获得单光子数据特征;所述亮度解码器通过单光子数据特征重建场景亮度图;所述深度解码器通过单光子数据特征重建场景深度图,并且从单光子数据特征中提取噪声信息,重建噪声图;利用场景亮度图构建亮度解码器的损失函数,利用场景深度图与噪声图构建深度解码器的损失函数,以及结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数,综合所有损失函数对所述重建网络进行训练;
单光子三维重建单元,用于将待重建的单光子数据输入至训练后的重建网络,获得重建场景亮度图与重建场景深度图。
一种处理设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序;
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现前述的方法。
一种可读存储介质,存储有计算机程序,当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出,利用深度学习强大的建模能力发掘并利用单光子数据中的时间-空间相关性和噪声的统计特性,重建出更好的场景深度和亮度信息。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种单光子三维重建方法的示意图;
图2为本发明实施例提供的单光子成像***的示意图;
图3为本发明实施例提供的高斯分布建模光斑的示意图;
图4为本发明实施例提供的时间相关性的分析示意图;
图5为本发明实施例提供的空间相关性的分析示意图;
图6为本发明实施例提供的合成数据上的深度重建可视化结果图;
图7为本发明实施例提供的合成数据上的亮度重建可视化结果图;
图8为本发明实施例提供的真实成像***下深度重建可视化结果图;
图9为本发明实施例提供的真实成像***下亮度重建可视化结果图;
图10为本发明实施例提供的一种单光子三维重建***的示意图;
图11为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明:
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述,应被解释为非排它性的包括。例如:包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等),应被解释为不仅包括明确列出的某技术特征要素,还可以包括未明确列出的本领域公知的其它技术特征要素。
下面对本发明所提供的一种单光子三维重建方法、***、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者,按照本领域常规条件或制造商建议的条件进行。
实施例一
本发明实施例提供了一种单光子三维重建方法,用以解决现有单光子成像方案中,低光子量、低信噪比和光斑影响情况下的场景深度和亮度信息重建精度不佳的问题。该方法主要包括:构建包含编码器、亮度解码器和深度解码器的重建网络,将单光子模拟数据输入至重建网络;所述编码器对输入的单光子模拟数据进行特征提取,获得单光子数据特征;所述亮度解码器通过单光子数据特征重建场景亮度图;所述深度解码器通过单光子数据特征重建场景深度图,并且从单光子模拟数据中提取噪声信息,重建噪声图;利用场景亮度图构建亮度解码器的损失函数,利用场景深度图与噪声图构建深度解码器的损失函数,以及结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数,综合所有损失函数对重建网络进行训练;将待重建的单光子数据输入至训练后的重建网络,获得重建场景亮度图与重建场景深度图。
如图1所示,展示了上述方法的主要原理,主要介绍如下:
(1)训练阶段。
将单光子模拟数据输入至编码器(Encoder),经编码器中的特征提取模块(Feature Extraction)、非局部模块(Non-local)与三维密集融合模块(FeatureIntegration)依次处理,获得单光子数据特征F。单光子数据特征F分别输入至亮度解码器(Intensity Decoder)和深度解码器(Depth Decoder)。亮度解码器包括:多个第一特征融合子模块和亮度重建模块;其中,单光子数据特征依次经过多个第一特征融合子模块进行处理,最后一个第一特征融合子模块输出的特征经亮度重建模块处理,重建出场景亮度图。深度解码器包括:多个第二特征融合子模块、噪声先验模块和深度重建模块;其中,单光子数据特征依次经过多个第二特征融合子模块进行处理,最后一个第二特征融合子模块输出的特征经深度重建模块处理,重建出场景深度图;噪声先验模块利用单光子模拟数据与所述深度重建模块在重建场景深度图过程中获得的重建的深度特征数据,获得重建噪声图。
下面针对重建网络各个部分做详细的说明。
还参见图1,矩形中的C表示三维卷积层,矩形中的D表示三维空洞卷积层,矩形中的DS表示降采样层,矩形中的DE表示三维反卷积层,圆形中的C表示拼接操作,圆形中的M表示矩阵乘操作,圆形中的R表示残差连接,后面的数字均表示对应操作的卷积核大小。
(A)编码器。
特征提取模块包括多个三维卷积层和三维空洞卷积层,构成两个支路,每个支路包括依次连接的三维卷积层和三维空洞卷积层,或者依次连接的三维空洞卷积层和三维卷积层;输入的单光子模拟数据进入每一支路,所有支路的输出在通道维度上进行拼接,作为特征提取模块的输出特征。
非局部模块包括多个三维卷积层,构成多层次的三维卷积层;特征提取模块输出的特征先经过第一个层次的三维卷积层后,进入第二个层次的三维卷积层,第二个层次的三维卷积层中,每一个三维卷积层的输出分别经过向量化,不同三维卷积层的向量化结果进行矩阵相乘运算,或者三维卷积层的向量化结果与其他三维卷积层之间的矩阵相乘运算结果进行矩阵相乘运算,最终获得一个矩阵相乘运算结果,通过第三个层次的三维卷积层后与特征提取模块输出的特征拼接之后作为非局部模块的输出特征。
三维密集融合模块包括:降采样层、多个三维卷积层与多个三维空洞卷积层;其中,多个三维卷积层和三维空洞卷积层,构成多个支路,每个支路包括依次连接的三维卷积层和三维空洞卷积层,或者依次连接的三维空洞卷积层和三维卷积层,所有支路输入连接同一个三维卷积层,称为入口三维卷积层,所有支路输出连接同一个三维卷积层,称为出口三维卷积层;非局部模块的输出特征经过依次降采样层与入口三维卷积层后进入每一支路,所有支路的输出进入出口三维卷积层在通道维度上进行拼接后经过两个三维卷积层,在第二个三维卷积层处与降采样层的输出特征拼接,作为三维密集融合模块的输出。
需要说明的是,编码器中设有多个(例如,10个)串联的三维密集融合模块,用于提取深层特征。第一个三维密集融合模块的输入为非局部模块的输出特征,之后,每一个三维密集融合模块的输入为前一个三维密集融合模块的输出,最后一个三维密集融合模块的输出即为编码器的输出F。
(B)亮度解码器。
亮度解码器包括:多个第一特征融合子模块(即去掉降采样层的三维密集融合模块)和亮度重建模块,输入的深层特征(单光子数据特征)首先经过多个第一特征融合子模块依次处理,以降低与深度解码器之间的相互耦合。之后,亮度重建模块利用最后一个第一特征融合子模块输出的特征中重建场景亮度图。
理想情况下,该特征只含有信号光子,因此,每个位置处统计直方图的最大值就对应该点的亮度,表示为:
其中,表示重建亮度图位置点处的亮度值,表示重建
的亮度特征数据中位置点处的特征值,n表示第n次探测,每一次探测对应
一个单光子模拟数据,也就是说,是第n次探测对应的单光子模拟数据的重建的亮
度特征数据。
(C)深度解码器。
深度解码器主要由多个第二特征融合子模块(即去掉降采样层的三维密集融合模块)、噪声先验模块和深度重建模块。输入的深层特征(单光子数据特征)首先经过多个第二特征融合子模块依次处理,以降低与亮度解码器之间的相互影响。之后,深度重建模块用于重建场景深度图;而噪声先验模块用于重建噪声图以帮助提升深度重建性能。
深度重建模块主要由卷积核为6的反卷积和可微的argmax 操作组成,输入的特征
经过卷积核为6的反卷积重建出具有原始时间维度的深度特征数据,并通过可微
的argmax 操作生成(重建)深度图,表示为:
其中,表示重建深度图位置点处的深度值,表示重
建的深度特征数据中位置点处的特征值,n表示第n次探测,每一次探测对
应一个单光子模拟数据,即为根据第n次探测对应的单光子模拟数据重建的深度
特征数据(它是一个中间数据)。
噪声先验模块通过利用噪声光子的统计特性,帮助提升深度的重建性能。具体而
言,单光子数据由噪声光子和信号光子构成,理想情况下中只含有信号光子,所以利用残差
学习从单光子模拟数据与重建的深度特征数据(二者的差值)中提取噪声特征数
据,并生成二维的噪声图,表示为:
为了更好地训练网络,分别在输出的深度图,亮度图和噪声图上计算损失函数。对于深度解码器(Depth Decoder),使用KL散度,二阶欧式距离以及在噪声图上的TV损失函数约束网络以获得更好的深度图。对于亮度解码器(Intensity Decoder),使用一阶欧式距离约束网络以获得更好的亮度图。由于编码器为深度解码器和亮度解码器提供了相同的深层特征,因此结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数。
(2)测试阶段。
测试阶段的主要流程与训练阶段相同,区别主要在于移除了深度解码器中的残差模块,也即无需重建噪声图,由训练后的深度解码器与亮度解码器根据训练后的编码器输出的单光子数据特征重建场景深度图与场景亮度图(单光子三维重建)。
本发明实施例上述方案,基于单光子数据中含有的时间-空间相关性,通过利用非局部模块和深层网络结构提取并利用了数据中的相关性。同时,还分析了单光子数据中的噪声统计特性,通过设计对应的损失函数,从而实现了对噪声先验的利用,并进一步提升了算法的重建性能。总的来说,本方法通过设计多分支结构的重建网络,利用了单光子数据中的时间-空间相关性以及噪声的统计特性实现了对场景深度和亮度信息的重建。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果,下面从成像***原理、重建网络原理、以及对比测试三个部分进行介绍。
一、成像***原理。
1、前向模型构建。
本领域技术人员可以理解,单光子成像***是指一个硬件***,前向模型是在数学上描述该单光子成像***成像过程的表达式。
如图3所示,光斑可以用高斯分布进行建模,其中高斯分布的核为g xy 。当激光经过距离d到达物体表面之后会被反射,反射的光子量可以被描述为:
上述反射的光子量也可以简写为:
对应地在N次脉冲周期内接收到的信号光子满足:
2、时空相关性分析。
时间相关性如图4所示,其中标记为A的点表示检测到的噪声光子,标记为B的点表示检测到信号光子。由于信号光子都来源于同一个分布的脉冲波,所以在时间上具有相关性,表现为在时间维度的聚集效应。而噪声光子于噪声光子,以及噪声光子和信号光子之间都相互无关,所以不具有相关性。空间相关性如图5所示,具有相似结构的图像块通常具有相似的深度信息,标记1~8分别指代不同的位置区域,图5中,标记1~8对应的8个位置区域之间有很大的相似性,但是它们属于不同的位置,说明了深度图在空间维度具有相似性。以上即单光子数据具有的时间-空间相关性。
3、噪声先验分析。
SPAD器件在每个脉冲周期只检测一个光子,所以满足低光子量的条件。因此噪声
光子的检测时间服从在上的均匀分布,且和空间位置和场景亮度无关,这被称为
噪声先验,在网络的训练中,本发明会利用这种先验帮助提升网络的重建精度。
二、重建网络的原理。
如之前所述,本发明实施例中通过编码器、亮度解码器与深度解码器的协作完成场景深度和亮度的重建。
为了更好地训练网络,为重建网络各个部分分别设计了对应的损失函数。
1、深度解码器的损失函数。
(1)如之前所述,场景深度图通过重建的深度特征数据生成,因此,先利用重建的深度特征数据计算KL散度:
其中,表示归一化的无噪深度特征数据中位置点处的特征值(已知
信息),表示重建的深度特征数据中位置点处的特征值(它属于深度解码器的
中间输出数据,具体计算方式参见前文的介绍),n表示第n次探测,每一次探测对应一个单
光子模拟数据;即、分别为第n次探测对应的归一化的无噪深度特征数
据中位置点处的特征值、重建的深度特征数据中位置点处的特征值; 表示与的KL散度。
(2)计算二阶欧式距离:
(3)计算噪声图上的TV(Total Variation,全变分项)约束:
2、亮度解码器的损失函数。
(1)计算一阶欧式距离:
(2)计算结构相似性约束:
3、编码器的损失函数。
由于编码器为深度解码器和亮度解码器提供了相同的深层特征,故用于训练编码器的损失函数为:
本发明实施例中,综合所有损失函数对重建网络进行训练,即以上三个部分的损失函数加在一起(构成总的训练损失函数)进行训练,参数更新时,使用对应的损失函数更新重建网络的对应部分,即深度解码器的损失函数用于更新深度解码器的参数,亮度解码器的损失函数用于更新亮度解码器的参数,编码器的损失函数用于更新编码器的参数;此部分所涉及的参数更新流程可参照常规技术实现,本发明不做赘述。
本发明实施例中,各个权重系数的具体数值可以由用户根据实际情况或者经验进行设定,本发明不对权值系数的具体数值进行限定。
重建网络在模拟数据上进行训练,模拟数据可以利用前述公式合成,当总的训练损失函数收敛,则表示训练完毕。训练完
毕后的重建网络可以用于不同类型的数据(不同类型的成像***采集的数据,包括远距离
成像***和近距离成像***)和测试场景。
三、对比测试。
1、为了说明本发明上述方案的有效性,在合成数据(即利用前文提供的方式合成出的数据)上分别测试了网络重建的深度和亮度的特性。
作为对比的现有方案主要包括:LM Filter:基于最大似然准则的滤波算法,可以重建深度和亮度信息。Shin:利用自然场景的局部一致性,可以重建深度和亮度信息的算法。Rapp:基于自适应滤波的算法,可以重建深度和亮度信息。Lindell:基于神经网络的算法,并将重建问题建模成分类问题,但只能重建深度信息,不能处理光斑效应;Lindell_I属于Lindell的方法,但是Lindell_I使用了额外的亮度信息。Peng:基于非局部神经网络的算法,只能重建深度信息,不能处理光斑效应。Li:基于自适应滤波的算法,可以重建深度和亮度信息并能够处理光斑效应。Tan :基于多尺度网络的算法,可以处理光斑效应,但只能重建深度信息。
(1)深度重建对比测试。
深度重建结果如表1所示,从表1中可以看出,该方法相对于对比方法都在所有的噪声水平上都获得了最好的效果,并在平均上获得了相对于Tan和Rapp 约26%和57%的提升。
表1:深度重建结果
深度重建的可视化的结果如图6所示,图6中:第一行光斑尺寸为3×3,第二行光斑尺寸为5×5,第三行光斑尺寸为7×7,单位:米;从左至右的9列可视化结果分别对应于LMFilter、Shin、Rapp、Li、Lindell、Lindell_Ⅰ、Tan、本发明的方法(Ours)、GT(真实标签,此处对应于真实深度);每一可视化结果下方的信息为均方根误差(RMSE),同等条件下,数值越小表示重建效果越好。从图6所示的结果可见,本发明提供的方法重建出了相对于对比方法更为接近重建真实深度的结果,并且这种优势在大光斑情况下更加明显。
(2)亮度重建对比测试。
亮度重建结果如表2所示,从表2中可以看出,该方法相对于对比方法在所有的噪声水平上都获得了最好的效果,并在平均上获得了相对于Tan和Rapp约43%和44%的提升。
表2:亮度重建结果
亮度重建的可视化的结果如图7所示。图7中:第一行光斑尺寸为3×3,第二行光斑尺寸为5×5,第三行光斑尺寸为7×7,单位:米;从左至右的8列可视化结果分别对应于LMFilter、Shin、Rapp、Li、Lindell、Tan、本发明的方法(Ours)、GT(真实标签,此处对应于真实亮度);每一可视化结果下方的信息为均方根误差(RMSE),同等条件下,数值越小表示重建效果越好。从图7所示的结果可见,本发明提供的方法重建出了相对于对比方法更为接近重建真实亮度的结果,并且这种优势在大光斑情况下更加明显。
2、同样的,测试了本发明的方法在真实成像***下的性能,重建的深度和亮度结果如图8,图9所示。图8中:第一行展示测试对象为大象的可视化结果,第二行展示测试对象为灯的可视化结果,从左至右的8列可视化结果分别对应于LM Filter、Shin、Rapp、Lindell、Lindell_Ⅰ、peng、本发明的方法(Ours)、真实的灰度图(Intensity)。图9中:第一行展示测试对象为大象的可视化结果,第二行展示测试对象为灯的可视化结果,从左至右的8列可视化结果分别对应于原始观测数据(Measurement)、LM Filter、Shin、Rapp、Lindell、peng、本发明的方法(Ours)、真实的灰度图(Intensity)。从图8和图9可以看出,本发明的方法重建了相对于对比方法更加精确的场景深度和亮度信息,且具有更少的伪影和误差。
实施例二
本发明还提供一种单光子三维重建***,其主要基于前述实施例一提供的方法实现,如图10所示,该***主要包括:
网络构建与训练单元,用于构建包含编码器、亮度解码器和深度解码器的重建网络,将单光子模拟数据输入至重建网络;所述编码器对输入的单光子模拟数据进行特征提取,获得单光子数据特征;所述亮度解码器通过单光子数据特征重建场景亮度图;所述深度解码器通过单光子数据特征重建场景深度图,并且从单光子数据特征中提取噪声信息,重建噪声图;利用场景亮度图构建亮度解码器的损失函数,利用场景深度图与噪声图构建深度解码器的损失函数,以及结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数,综合所有损失函数对所述重建网络进行训练;
单光子三维重建单元,用于将待重建的单光子数据输入至训练后的重建网络,获得重建场景亮度图与重建场景深度图。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将***的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
实施例三
本发明还提供一种处理设备,如图11所示,其主要包括:一个或多个处理器;存储器,用于存储一个或多个程序;其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的,所述处理设备还包括至少一个输入设备与至少一个输出设备;在所述处理设备中,处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中,所述存储器、输入设备与输出设备的具体类型不做限定;例如:
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等;
输出设备可以为显示终端;
存储器可以为随机存取存储器(Random Access Memory,RAM),也可为非不稳定的存储器(non-volatile memory),例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质,存储有计算机程序,当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质,可以设置于前述处理设备中,例如,作为处理设备中的存储器。此外,所述可读存储介质也可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准 。
Claims (9)
1.一种单光子三维重建方法,其特征在于,包括:
构建包含编码器、亮度解码器和深度解码器的重建网络,将单光子模拟数据输入至重建网络;所述编码器对输入的单光子模拟数据进行特征提取,获得单光子数据特征;所述亮度解码器通过单光子数据特征重建场景亮度图;所述深度解码器通过单光子数据特征重建场景深度图,并且从单光子模拟数据中提取噪声信息,重建噪声图;利用场景亮度图构建亮度解码器的损失函数,利用场景深度图与噪声图构建深度解码器的损失函数,以及结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数,综合所有损失函数对所述重建网络进行训练;其中,所述编码器包括依次设置的特征提取模块、非局部模块与三维密集融合模块,所述非局部模块包括多个三维卷积层;
将待重建的单光子数据输入至训练后的重建网络,获得重建场景亮度图与重建场景深度图;
其中,所述利用场景深度图与噪声图构建深度解码器的损失函数包括:
所述场景深度图通过重建的深度特征数据生成,所述重建的深度特征数据为重建场景深度图过程中获得的中间数据,利用重建的深度特征数据计算KL散度:
其中,为已知信息,表示归一化的无噪深度特征数据中位置点处的特征
值;表示重建的深度特征数据中位置点处的特征值,n表示第n次探测,每一次
探测对应一个单光子模拟数据,、分别为第n次探测对应的归一化的无
噪深度特征数据中位置点处的特征值、重建的深度特征数据中位置点处的
特征值; 表示与的相对熵;
计算二阶欧式距离:
计算噪声图上的TV约束:
2.根据权利要求1所述的一种单光子三维重建方法,其特征在于,所述输入的单光子模拟数据经特征提取模块、非局部模块与三维密集融合模块依次处理,获得单光子数据特征。
3.根据权利要求1所述的一种单光子三维重建方法,其特征在于,所述亮度解码器包括:多个第一特征融合子模块和亮度重建模块;其中,所述单光子数据特征依次经过多个第一特征融合子模块进行处理,最后一个第一特征融合子模块输出的特征经亮度重建模块处理,重建出场景亮度图。
4.根据权利要求1所述的一种单光子三维重建方法,其特征在于,所述深度解码器包括:多个第二特征融合子模块、噪声先验模块和深度重建模块;其中,所述单光子数据特征依次经过多个第二特征融合子模块进行处理,最后一个第二特征融合子模块输出的特征经深度重建模块处理,重建出场景深度图;噪声先验模块利用单光子模拟数据与所述深度重建模块在重建场景深度图过程中获得的重建的深度特征数据,获得重建噪声图。
7.一种单光子三维重建***,其特征在于,基于权利要求1~6任一项所述的方法实现,该***包括:
网络构建与训练单元,用于构建包含编码器、亮度解码器和深度解码器的重建网络,将单光子模拟数据输入至重建网络;所述编码器对输入的单光子模拟数据进行特征提取,获得单光子数据特征;所述亮度解码器通过单光子数据特征重建场景亮度图;所述深度解码器通过单光子数据特征重建场景深度图,并且从单光子数据特征中提取噪声信息,重建噪声图;利用场景亮度图构建亮度解码器的损失函数,利用场景深度图与噪声图构建深度解码器的损失函数,以及结合亮度解码器的损失函数与深度解码器的损失函数构建编码器的损失函数,综合所有损失函数对所述重建网络进行训练;
单光子三维重建单元,用于将待重建的单光子数据输入至训练后的重建网络,获得重建场景亮度图与重建场景深度图。
8.一种处理设备,其特征在于,包括:一个或多个处理器;存储器,用于存储一个或多个程序;
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1~6任一项所述的方法。
9.一种可读存储介质,存储有计算机程序,其特征在于,当计算机程序被处理器执行时实现如权利要求1~6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210958881.2A CN115222790B (zh) | 2022-08-11 | 2022-08-11 | 单光子三维重建方法、***、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210958881.2A CN115222790B (zh) | 2022-08-11 | 2022-08-11 | 单光子三维重建方法、***、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115222790A CN115222790A (zh) | 2022-10-21 |
CN115222790B true CN115222790B (zh) | 2022-12-30 |
Family
ID=83615339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210958881.2A Active CN115222790B (zh) | 2022-08-11 | 2022-08-11 | 单光子三维重建方法、***、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115222790B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767468A (zh) * | 2021-02-05 | 2021-05-07 | 中国科学院深圳先进技术研究院 | 基于协同分割与数据增强的自监督三维重建方法及*** |
CN114692509A (zh) * | 2022-04-21 | 2022-07-01 | 南京邮电大学 | 基于多阶段退化神经网络的强噪声单光子三维重建方法 |
CN114782628A (zh) * | 2022-04-25 | 2022-07-22 | 西安理工大学 | 基于深度相机的室内实时三维重建方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3188033B1 (en) * | 2015-12-31 | 2024-02-14 | Dassault Systèmes | Reconstructing a 3d modeled object |
US11783518B2 (en) * | 2019-09-30 | 2023-10-10 | Lawrence Livermore National Security, Llc | Few-view computed tomography reconstruction using deep neural network inference |
-
2022
- 2022-08-11 CN CN202210958881.2A patent/CN115222790B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767468A (zh) * | 2021-02-05 | 2021-05-07 | 中国科学院深圳先进技术研究院 | 基于协同分割与数据增强的自监督三维重建方法及*** |
CN114692509A (zh) * | 2022-04-21 | 2022-07-01 | 南京邮电大学 | 基于多阶段退化神经网络的强噪声单光子三维重建方法 |
CN114782628A (zh) * | 2022-04-25 | 2022-07-22 | 西安理工大学 | 基于深度相机的室内实时三维重建方法 |
Non-Patent Citations (2)
Title |
---|
Deep Learning Based Single-Photon 3D Imaging with Multiple Returns;Hao Tan等;《2020 International Conference on 3D Vision (3DV)》;20220119;1196-1205 * |
基于噪声水平估计的低剂量螺旋CT投影数据恢复;和法伟等;《南方医科大学学报》;20220630;第42卷(第6期);849-859 * |
Also Published As
Publication number | Publication date |
---|---|
CN115222790A (zh) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ichnowski et al. | Dex-NeRF: Using a neural radiance field to grasp transparent objects | |
CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
CN112861729B (zh) | 一种基于伪深度图引导的实时深度补全方法 | |
JP2019518268A (ja) | 日常シーン復元エンジン | |
CN111043988B (zh) | 一种基于图形学和深度学习的单张条纹投影测量方法 | |
CN114692509B (zh) | 基于多阶段退化神经网络的强噪声单光子三维重建方法 | |
Hamida et al. | Deep learning for semantic segmentation of remote sensing images with rich spectral content | |
CN104318546A (zh) | 一种基于多尺度分析的温室田间植物叶片边缘提取方法及其*** | |
CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
Condorelli et al. | A comparison between 3D reconstruction using nerf neural networks and mvs algorithms on cultural heritage images | |
Menini et al. | A real-time online learning framework for joint 3d reconstruction and semantic segmentation of indoor scenes | |
Nakashima et al. | Learning to drop points for lidar scan synthesis | |
Mukhaimar et al. | Robust object classification approach using spherical harmonics | |
CN114724023A (zh) | 一种基于孪生网络的水体变化检测方法 | |
CN112633123B (zh) | 一种基于深度学习的异源遥感影像变化检测方法及装置 | |
CN115222790B (zh) | 单光子三维重建方法、***、设备及存储介质 | |
CN113160210A (zh) | 基于深度相机的排水管道缺陷检测方法及装置 | |
CN114022742A (zh) | 红外与可见光图像融合方法、装置及计算机存储介质 | |
CN116206196B (zh) | 一种海洋低光环境多目标检测方法及其检测*** | |
CN110363863B (zh) | 一种神经网络的输入数据生成方法和*** | |
Sandström et al. | Learning online multi-sensor depth fusion | |
Forbes et al. | Deep autoencoders with aggregated residual transformations for urban reconstruction from remote sensing data | |
CN115496788A (zh) | 一种使用空域传播后处理模块的深度补全方法 | |
Shinohara et al. | Semantic segmentation for full-waveform LiDAR data using local and hierarchical global feature extraction | |
CN113240604A (zh) | 基于卷积神经网络的飞行时间深度图像的迭代优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |