CN112461360B - 联合物理噪声模型的高分辨率单光子成像方法与*** - Google Patents
联合物理噪声模型的高分辨率单光子成像方法与*** Download PDFInfo
- Publication number
- CN112461360B CN112461360B CN202011157082.2A CN202011157082A CN112461360B CN 112461360 B CN112461360 B CN 112461360B CN 202011157082 A CN202011157082 A CN 202011157082A CN 112461360 B CN112461360 B CN 112461360B
- Authority
- CN
- China
- Prior art keywords
- resolution
- single photon
- noise
- pictures
- photon detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 238000004088 simulation Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 235000010724 Wisteria floribunda Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000001218 confocal laser scanning microscopy Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002060 fluorescence correlation spectroscopy Methods 0.000 description 1
- 238000002292 fluorescence lifetime imaging microscopy Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/44—Electric circuits
- G01J2001/4413—Type
- G01J2001/442—Single-photon detection or photon counting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种联合物理噪声模型的高分辨率单光子成像方法与***，其中，方法包括：建立单光子探测阵列的物理噪声模型；校准单光子探测阵列参数，对单光子探测阵列的光子探测效率、光子的泊松过程、探测阵列的串扰、后脉冲等噪声因素进行模拟；将高分辨率图片下采样成多张低分辨率图片并加入上述噪声模型，生成低分辨率的含噪数据集；搭建深度学习神经网络，将低分辨率含噪图片作为输入，将高分辨率图片作为真值，对网络进行训练，得到优化后的网络模型参数；最后使用训练好的网络从低分辨率含噪图片恢复出高分辨率无噪声图片。该方法联合实际物理模型，能够有效减少单光子探测阵列的测量噪声，同时有效提高单光子探测阵列的成像分辨率。
Description
技术领域
本发明涉及计算摄像学技术领域，特别涉及一种联合物理噪声模型的高分辨率单光子成像方法与***。
背景技术
从上世纪九十年代以来，单光子探测器开始在科学与工业环境中有着越来越重要的作用。单光子探测器是一种固体探测器，有着先进的光子计数以及光子计时功能，灵敏度在可见光或者近红外单光子水平范围。
目前，单光子探测器在科学和工业领域有着广泛应用。如显微探测领域是最先使用这些高灵敏度探测器的领域之一。共聚焦激光扫描显微镜，荧光寿命成像显微，荧光相关光谱等技术都使用了单光子探测器，现代的超分辨技术如模拟发射-损耗显微镜和成像扫描显微镜等技术也是单光子探测器的重要应用领域之一。
最近，微电子单光子探测器如单光子雪崩二极管(SPAD)，在显微领域取得了重要进步，其具有可靠性、鲁棒性、易于操作、高探测效率和低时间抖动等优点。单光子雪崩二极管本质上是超出击穿电压的反偏P-N结，从而可以吸收一个光子，产生一个可以自我维持的雪崩过程，最终转化为一个宏观电流，宏观电流可以被外部鉴别电路直接探测到。硅基SPAD备用来探测可见波段的光子，其谱段在于400到1000nm，基于其他材料的SPAD可以探测近红外谱段的信号。
然而，目前的SPAD探测器存在以下两个影响成像质量的问题：(1)分辨率低，现有的SPAD探测阵列分辨率一般包括：20*20，40*40以及60*60等分辨率，难以应用于实际场景；(2)含有多种噪声，包括泊松噪声、光子探测效率、光子相应不均匀性以及串扰等等噪声。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种联合物理噪声模型的高分辨率单光子成像方法，能够针对SPAD阵列采集图像进行有效的去噪处理，从而得到更准确的图像信息。
本发明的另一个目的在于提出一种联合物理噪声模型的高分辨率单光子成像***。
为达到上述目的，本发明一方面实施例提出了一种联合物理噪声模型的高分辨率单光子成像方法，包括以下步骤：建立单光子探测阵列的物理噪声模型，噪声因素包括单光子探测阵列的光子探测效率、散粒噪声和串扰和后脉冲；校准所述单光子探测阵列的参数，对所述单光子探测阵列的光子探测效率、光子的泊松过程、探测阵列的串扰和后脉冲进行模拟；将高于第一预设分辨率图片下采样成多张低于第二预设分辨率图片并加入所述物理噪声模型，生成含噪数据集；搭建深度学习神经网络，将所述多张低于第二预设分辨率图片作为输入，将所述高于第一预设分辨率图片作为真值，对所述神经网络进行训练，得到优化后的网络模型参数；使用训练好的网络恢复出高分辨率无噪声图片。
本发明实施例的联合物理噪声模型的高分辨率单光子成像方法，联合单光子探测器的实际物理噪声模型，模拟实际单光子探测器阵列参数，通过低分辨率带噪声数据集和高分辨率无噪声数据集训练去噪网络，利用训练好的超分辨率去噪网络重建高分辨率无噪的图像信息，从而能够有效减少单光子探测阵列的测量噪声，同时有效提高单光子探测阵列的成像分辨率，对科学研究和工业探测等领域的发展具有重要的意义。
另外，根据本发明上述实施例的联合物理噪声模型的高分辨率单光子成像方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述对所述单光子探测阵列的光子探测效率、光子的泊松过程、探测阵列的串扰和后脉冲进行模拟，包括：生成0和1的子帧，通过所述物理噪声模型，在所述子帧中加入物理噪声仿真，得到具有信号相关噪声以及信号不相关噪声的图像。
进一步地，在本发明的一个实施例中，所述神经网络具有编码器和解码器，以利用下采样卷积将输入图片编码为向量，并利用上采样卷积重建出图像，上采样过程中拷贝对应的下采样层的特征图，并拼接在一起。
进一步地，在本发明的一个实施例中，所述使用训练好的网络恢复出高分辨率无噪声图片，包括：通过所述神经网络使用SPAD阵列采集现实图像，将所述现实图像输入网络后重建所述高分辨率无噪声图片。
为达到上述目的，本发明另一方面实施例提出了一种联合物理噪声模型的高分辨率单光子成像系，包括：建立模块，用于建立单光子探测阵列的物理噪声模型，噪声因素包括单光子探测阵列的光子探测效率、散粒噪声和串扰和后脉冲；校准模块，用于校准所述单光子探测阵列的参数，对所述单光子探测阵列的光子探测效率、光子的泊松过程、探测阵列的串扰和后脉冲进行模拟；采样模块，用于将高于第一预设分辨率图片下采样成多张低于第二预设分辨率图片并加入所述物理噪声模型，生成含噪数据集；训练模块，用于搭建深度学习神经网络，将所述多张低于第二预设分辨率图片作为输入，将所述高于第一预设分辨率图片作为真值，对所述神经网络进行训练，得到优化后的网络模型参数；恢复模块，用于使用训练好的网络恢复出高分辨率无噪声图片。
本发明实施例的联合物理噪声模型的高分辨率单光子成像***，联合单光子探测器的实际物理噪声模型，模拟实际单光子探测器阵列参数，通过低分辨率带噪声数据集和高分辨率无噪声数据集训练去噪网络，利用训练好的超分辨率去噪网络重建高分辨率无噪的图像信息，从而能够有效减少单光子探测阵列的测量噪声，同时有效提高单光子探测阵列的成像分辨率，对科学研究和工业探测等领域的发展具有重要的意义。
另外，根据本发明上述实施例的联合物理噪声模型的高分辨率单光子成像系还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述校准模块进一步用于生成0和1的子帧，通过所述物理噪声模型，在所述子帧中加入物理噪声仿真，得到具有信号相关噪声以及信号不相关噪声的图像。
进一步地，在本发明的一个实施例中，所述神经网络具有编码器和解码器，以利用下采样卷积将输入图片编码为向量，并利用上采样卷积重建出图像，上采样过程中拷贝对应的下采样层的特征图，并拼接在一起。
进一步地，在本发明的一个实施例中，所述恢复模块进一步用于通过所述神经网络使用SPAD阵列采集现实图像，将所述现实图像输入网络后重建所述高分辨率无噪声图片。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的联合物理噪声模型的高分辨率单光子成像方法的流程图；
图2为根据本发明一个实施例的物理噪声模型；
图3为根据本发明一个实施例的网络结构样例图；
图4为根据本发明一个实施例的网络训练策略；
图5为根据本发明一个实施例的联合物理噪声模型的高分辨率单光子成像***的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的联合物理噪声模型的高分辨率单光子成像方法与***，首先将参照附图描述根据本发明实施例提出的联合物理噪声模型的高分辨率单光子成像方法。
图1是本发明一个实施例的联合物理噪声模型的高分辨率单光子成像方法的流程图。
如图1所示，该联合物理噪声模型的高分辨率单光子成像方法包括以下步骤：
在步骤S101中，建立单光子探测阵列的物理噪声模型，噪声因素包括单光子探测阵列的光子探测效率、散粒噪声和串扰和后脉冲。
其中，物理噪声模型包括单光子探测阵列的光子探测效率、散粒噪声、串扰和后脉冲等噪声因素，分为光子、探测器响应、电子和读出电路三个阶段，光子阶段主要为泊松噪声；探测器响应阶段包括光子探测效率、光子相应不均匀性以及串扰的影响；电子阶段主要包括暗计数率和后脉冲产生的噪声；读出电路主要是“死时间”的影响。
在步骤S102中，校准单光子探测阵列的参数，对单光子探测阵列的光子探测效率、光子的泊松过程、探测阵列的串扰和后脉冲进行模拟。
在本发明的一个实施例中，对单光子探测阵列的光子探测效率、光子的泊松过程、探测阵列的串扰和后脉冲进行模拟，包括：生成0和1的子帧，通过物理噪声模型，在子帧中加入物理噪声仿真，得到具有信号相关噪声以及信号不相关噪声的图像。
具体而言，(1)校准单光子探测阵列参数，建立基于单光子探测阵列的物理模型，其特征为：通过测量入射光子数和测量光子数，得到每个像素不同的光子探测效率；测量黑暗状态下，单光子探测阵列测量光子数，得到每个像素的暗计数率；测量后脉冲概率，得到每个像素的后脉冲概率。
(2)通过算法生成子帧，具体步骤包括：通过参数校准，计算光子发射的泊松过程，
将真值的每个像素的值当作泊松过程的期望，泊松分布为：
其中，λ代表事情发生的频率，tt代表时间，n代表数量。则可以计算得出，在SPAD一次探测的时间内，至少有一个光子的概率即为1-P(N(t)＝0)，通过生成随机数与概率比较，可以认为某个像素在某个时刻接收了至少一个光子，从而可以计算得到n张SPAD子帧的泊松过程的二值模拟图；根据光子探测效率的参数校准，将得到的n张泊松过程子帧图，其中为1的像素则代表该段时间内接收到了至少一个光子，按照光子探测效率将1置为0；通过校准得到的串扰概率，将子帧中值为0的像素根据概率分布置为1；通过校准得到的后脉冲概率和暗计数率，通过随机数模拟概率，符合概率分布的即不论其原来的值是0还是1，均置为1，最终得到了n张基于SPAD噪声模型的子帧图。
在步骤S103中，将高于第一预设分辨率图片下采样成多张低于第二预设分辨率图片并加入物理噪声模型，生成含噪数据集。
其中，第一预设分辨率和第二预设分辨率本领域技术人员可以根据实际情况进行设置，在此不做具体限定。在本实施例中，高于第一预设分辨率图片为高分辨率图片，低于第二预设分辨率图片为低分辨率图片，本发明实施可以将高分辨率图片下采样成多张低分辨率图片并加入上述噪声模型，生成低分辨率的含噪数据集。
在步骤S104中，搭建深度学习神经网络，将多张低于第二预设分辨率图片作为输入，将高于第一预设分辨率图片作为真值，对神经网络进行训练，得到优化后的网络模型参数。
可以理解的是，搭建深度学习神经网络，将低分辨率含噪图片作为输入，将高分辨率图片作为真值，对网络进行训练，得到优化后的网络模型参数。
在本发明的一个实施例中，通过低分辨率带噪声数据集和高分辨率无噪声数据集训练去噪网络，包括：使用一张高分辨率长曝光图片下采样成多张低分辨率长曝光图片，加入噪声后作为网络的输入，然后把高分辨率长曝光图片灰度化后直接作为真值，从而生成数据集。
具体而言，将子帧合成一帧生成的数据集，利用通过算法生成子帧的方法将原图生成数据集。具体做法包括：使用SID数据集，SID数据集包含sony和fuji两个相机拍摄的图片对，每一对图片包含一个短曝光图片和一个长曝光图片。数据集包括十张短曝光图片对应一张长曝光图片，其中十张短曝光图片的不同在于曝光时间不同。由于侧重点在图像去噪与超分辨率重建，认为SPAD相机采集到的图片为带噪声低分辨率图，需要使用网络将其处理为无噪声高分辨率图片。因此使用一张高分辨率长曝光图片下采样成多张低分辨率长曝光图片，加入噪声后作为网络的输入，然后把高分辨率长曝光图片灰度化后直接作为真值，训练网络。
进一步地，在本发明的一个实施例中，神经网络具有编码器和解码器，以利用下采样卷积将输入图片编码为向量，并利用上采样卷积重建出图像，上采样过程中拷贝对应的下采样层的特征图，并拼接在一起。
可以理解的是，超分辨率去噪网络具有鲜明的编码器-解码器架构，先利用下采样卷积将输入图片编码为向量，再利用上采样卷积重建出图像，上采样过程中拷贝了对应的下采样层的特征图，并拼接在一起。特征图拼接的意义在于，在下采样的过程中会丢失图像语义信息，通过拼接的方式，可以恢复丢失的语义信息，从而保证重建图像的完整性。
网络的输入为多张低分辨率带噪声图片，主体网络的直接输出为多张低分辨率无噪声图片，再通过子像素卷积将多张低分辨率无噪声图片合成为一张高分辨率无噪声图片。
进一步地，使用带噪声的低分辨率数据和无噪声高分辨率数据训练具有编码器-解码器架构的超分辨率去噪网络。主干网络的输入为灰度化后的多张合成噪声低分辨率图片，网络的输出为预测的无噪声高分辨率，将其与实际无噪声高分辨率图片对比得L1loss，将L1 loss作为误差函数，训练网络。
在步骤S105中，使用训练好的网络恢复出高分辨率无噪声图片。
可以理解的是，使用训练好的网络从低分辨率含噪图片恢复出高分辨率无噪声图片。
在本发明的一个实施例中，使用训练好的网络恢复出高分辨率无噪声图片，包括：通过神经网络使用SPAD阵列采集现实图像，将现实图像输入网络后重建高分辨率无噪声图片。
可以理解的是，通过训练好的超分辨率去噪网络，使用SPAD阵列采集现实图像，将现实图像输入网络后可以重建出一张高分辨率无噪声图片。
下面将结合附图2-4通过具体实施例对联合物理噪声模型的高分辨率单光子成像方法进行进一步阐述，具体如下：
如图2所示，为一种联合物理噪声模型的高分辨率单光子成像方法的物理噪声模型图。首先需要通过校准单光子探测阵列得到相应的物理噪声模型参数：通过测量入射光子数和测量光子数，得到每个像素不同的光子探测效率；测量黑暗状态下，单光子探测阵列测量光子数，得到每个像素的暗计数率；测量后脉冲概率，得到每个像素的后脉冲概率。
然后生成数据集，首先将真值通过算法生成子帧，通过步骤1的参数校准，计算光子发射的泊松过程，将真值每个像素的值当作泊松过程的期望，可以通过泊松分布计算得出，在SPAD一次探测的时间内，至少有一个光子的概率。通过生成随机数与概率比较，可以认为某个像素在某个时刻接收了至少一个光子，从而可以计算得到n张SPAD子帧的泊松过程的二值模拟图；根据光子探测效率的参数校准，将得到的n张泊松过程子帧图，其中为1的像素则代表该段时间内接收到了至少一个光子，按照光子探测效率将1置为0；通过校准得到的串扰概率，将子帧中值为0的像素根据概率分布置为1；通过校准得到的后脉冲概率和暗计数率，通过随机数模拟概率，符合概率分布的即不论其原来的值是0还是1，均置为1，最终得到了n张基于SPAD噪声模型的子帧图。
如图3为本发明网络结构，为具有编码器-解码器架构的网络，左侧为用作特征提取的编码器，经过四次下采样将输入图片编码为512维的向量，右侧为解码器，经过对应的四次上采样，重建图像，上采样过程中添加了很多的特征拷贝通道，允许原图信息在上采样的layers中进行传播。
图4为本发明的网络训练策略，主干网络的输入为灰度化后的带噪声低分辨率图片，网络的输出为预测的无噪声高分辨率图片，将其与实际长曝光图片对比得L1 loss，将L1 loss作为误差函数，训练网络。
使用训练好的网络可以从真实情况下带噪声的低分辨率图片恢复出高分辨率无噪声图片。
综上，本发明实施例提出了一种鲁棒、精确、高效的单光子图像去噪方法，可以用于弱光场景的计算采集及计算重构***，联合单光子探测阵列的实际物理噪声模型，通过深度学习的方法对单光子探测阵列所采集的低分辨率低信噪比图像进行处理，重建高分辨率的清晰图像，从而联合实际物理模型，能够有效减少单光子探测阵列的测量噪声，同时有效提高单光子探测阵列的成像分辨率。
根据本发明实施例提出的联合物理噪声模型的高分辨率单光子成像方法，联合单光子探测器的实际物理噪声模型，模拟实际单光子探测器阵列参数，通过低分辨率带噪声数据集和高分辨率无噪声数据集训练去噪网络，利用训练好的超分辨率去噪网络重建高分辨率无噪的图像信息，从而能够有效减少单光子探测阵列的测量噪声，同时有效提高单光子探测阵列的成像分辨率，对科学研究和工业探测等领域的发展具有重要的意义。
其次参照附图描述根据本发明实施例提出的联合物理噪声模型的高分辨率单光子成像系。
图5是本发明一个实施例的联合物理噪声模型的高分辨率单光子成像系的结构示意图。
如图5所示，该联合物理噪声模型的高分辨率单光子成像系10包括：建立模块100、校准模块200、采样模块300、训练模块400和恢复模块500。
其中，建立模块100用于建立单光子探测阵列的物理噪声模型，噪声因素包括单光子探测阵列的光子探测效率、散粒噪声和串扰和后脉冲；校准模块200用于校准单光子探测阵列的参数，对单光子探测阵列的光子探测效率、光子的泊松过程、探测阵列的串扰和后脉冲进行模拟；采样模块300用于将高于第一预设分辨率图片下采样成多张低于第二预设分辨率图片并加入物理噪声模型，生成含噪数据集；训练模块400用于搭建深度学习神经网络，将多张低于第二预设分辨率图片作为输入，将高于第一预设分辨率图片作为真值，对神经网络进行训练，得到优化后的网络模型参数；恢复模块500用于使用训练好的网络恢复出高分辨率无噪声图片。
进一步地，在本发明的一个实施例中，校准模块200进一步用于生成0和1的子帧，通过物理噪声模型，在子帧中加入物理噪声仿真，得到具有信号相关噪声以及信号不相关噪声的图像。
进一步地，在本发明的一个实施例中，神经网络具有编码器和解码器，以利用下采样卷积将输入图片编码为向量，并利用上采样卷积重建出图像，上采样过程中拷贝对应的下采样层的特征图，并拼接在一起。
进一步地，在本发明的一个实施例中，恢复模块500进一步用于通过神经网络使用SPAD阵列采集现实图像，将现实图像输入网络后重建高分辨率无噪声图片。
需要说明的是，前述对联合物理噪声模型的高分辨率单光子成像方法实施例的解释说明也适用于该实施例的联合物理噪声模型的高分辨率单光子成像***，此处不再赘述。
根据本发明实施例提出的联合物理噪声模型的高分辨率单光子成像***，联合单光子探测器的实际物理噪声模型，模拟实际单光子探测器阵列参数，通过低分辨率带噪声数据集和高分辨率无噪声数据集训练去噪网络，利用训练好的超分辨率去噪网络重建高分辨率无噪的图像信息，从而能够有效减少单光子探测阵列的测量噪声，同时有效提高单光子探测阵列的成像分辨率，对科学研究和工业探测等领域的发展具有重要的意义。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种联合物理噪声模型的高分辨率单光子成像方法，其特征在于，包括以下步骤：
建立单光子探测阵列的物理噪声模型，噪声因素包括单光子探测阵列的光子探测效率、散粒噪声和串扰和后脉冲；
校准所述单光子探测阵列的参数，对所述单光子探测阵列的光子探测效率、光子的泊松过程、探测阵列的串扰和后脉冲进行模拟，包括：生成0和1的子帧，通过所述物理噪声模型，在所述子帧中加入物理噪声仿真，得到具有信号相关噪声以及信号不相关噪声的图像；
将高于第一预设分辨率图片下采样成多张低于第二预设分辨率图片并加入所述物理噪声模型，生成含噪数据集；
搭建深度学习神经网络，将所述多张低于第二预设分辨率图片作为输入，将所述高于第一预设分辨率图片作为真值，对所述神经网络进行训练，得到优化后的网络模型参数；以及
使用训练好的网络恢复出高分辨率无噪声图片。
2.根据权利要求1所述的方法，其特征在于，所述神经网络具有编码器和解码器，以利用下采样卷积将输入图片编码为向量，并利用上采样卷积重建出图像，上采样过程中拷贝对应的下采样层的特征图，并拼接在一起。
3.根据权利要求2所述的方法，其特征在于，所述使用训练好的网络恢复出高分辨率无噪声图片，包括：
通过所述神经网络使用SPAD阵列采集现实图像，将所述现实图像输入网络后重建所述高分辨率无噪声图片。
4.一种联合物理噪声模型的高分辨率单光子成像***，其特征在于，包括：
建立模块，用于建立单光子探测阵列的物理噪声模型，噪声因素包括单光子探测阵列的光子探测效率、散粒噪声和串扰和后脉冲；
校准模块，用于校准所述单光子探测阵列的参数，对所述单光子探测阵列的光子探测效率、光子的泊松过程、探测阵列的串扰和后脉冲进行模拟，所述校准模块进一步用于生成0和1的子帧，通过所述物理噪声模型，在所述子帧中加入物理噪声仿真，得到具有信号相关噪声以及信号不相关噪声的图像；
采样模块，用于将高于第一预设分辨率图片下采样成多张低于第二预设分辨率图片并加入所述物理噪声模型，生成含噪数据集；
训练模块，用于搭建深度学习神经网络，将所述多张低于第二预设分辨率图片作为输入，将所述高于第一预设分辨率图片作为真值，对所述神经网络进行训练，得到优化后的网络模型参数；以及
恢复模块，用于使用训练好的网络恢复出高分辨率无噪声图片。
5.根据权利要求4所述的***，其特征在于，所述神经网络具有编码器和解码器，以利用下采样卷积将输入图片编码为向量，并利用上采样卷积重建出图像，上采样过程中拷贝对应的下采样层的特征图，并拼接在一起。
6.根据权利要求5所述的***，其特征在于，所述恢复模块进一步用于通过所述神经网络使用SPAD阵列采集现实图像，将所述现实图像输入网络后重建所述高分辨率无噪声图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011157082.2A CN112461360B (zh) | 2020-10-26 | 2020-10-26 | 联合物理噪声模型的高分辨率单光子成像方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011157082.2A CN112461360B (zh) | 2020-10-26 | 2020-10-26 | 联合物理噪声模型的高分辨率单光子成像方法与*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112461360A CN112461360A (zh) | 2021-03-09 |
| CN112461360B true CN112461360B (zh) | 2021-10-12 |
Family
ID=74834489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011157082.2A Active CN112461360B (zh) | 2020-10-26 | 2020-10-26 | 联合物理噪声模型的高分辨率单光子成像方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112461360B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205462B (zh) * | 2021-04-06 | 2022-07-19 | 武汉大学 | 一种基于神经网络学习先验的光子反射率图像去噪方法 |
| CN115406545B (zh) * | 2022-11-01 | 2023-03-10 | 中国科学技术大学 | Spad自由运行模式下探测信号的修正方法及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109884018A (zh) * | 2019-03-22 | 2019-06-14 | 华中科技大学 | 一种基于神经网络的亚微米级无透镜显微成像方法及*** |
| CN109887018A (zh) * | 2019-02-28 | 2019-06-14 | 中国计量大学 | 一种基于深度学习的光子3d成像*** |
| CN110458778A (zh) * | 2019-08-08 | 2019-11-15 | 深圳市灵明光子科技有限公司 | 一种深度图像去噪方法、装置及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493347B (zh) * | 2017-09-12 | 2021-03-23 | 深圳科亚医疗科技有限公司 | 在图像中对稀疏分布的对象进行分割的方法和*** |
| US10552944B2 (en) * | 2017-10-13 | 2020-02-04 | Adobe Inc. | Image upscaling with controllable noise reduction using a neural network |
| US11234666B2 (en) * | 2018-05-31 | 2022-02-01 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (PET) |
-
2020
- 2020-10-26 CN CN202011157082.2A patent/CN112461360B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109887018A (zh) * | 2019-02-28 | 2019-06-14 | 中国计量大学 | 一种基于深度学习的光子3d成像*** |
| CN109884018A (zh) * | 2019-03-22 | 2019-06-14 | 华中科技大学 | 一种基于神经网络的亚微米级无透镜显微成像方法及*** |
| CN110458778A (zh) * | 2019-08-08 | 2019-11-15 | 深圳市灵明光子科技有限公司 | 一种深度图像去噪方法、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Joint Non-Gaussian Denoising and Superresolving of Raw High Frame Rate Videos;Jinli Suo 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20140331;第23卷(第3期);第1154-1168页 * |
| 基于深度学习的毫米波和亚毫米波成像仪的图像增强技术;胡伟东 等;《上海航天》;20180430;第35卷(第2期);第13-19页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112461360A (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wei et al. | A physics-based noise formation model for extreme low-light raw denoising | |
| CN104704812B (zh) | 集成电路图像传感器以及在其中操作的方法 | |
| CN100481937C (zh) | 一种高动态、超分辨率图像重建装置 | |
| Zhao et al. | Unbounded high dynamic range photography using a modulo camera | |
| CN112461360B (zh) | 联合物理噪声模型的高分辨率单光子成像方法与*** | |
| CN103685920B (zh) | 图像处理设备及方法以及具有图像处理设备的摄像设备 | |
| TWI254791B (en) | Method and apparatus for testing image sensors | |
| JP3976754B2 (ja) | 選択読取りによる広ダイナミックレンジ撮像デバイス | |
| JP4571179B2 (ja) | 撮像装置 | |
| US20050030393A1 (en) | Method and device for sensor level image distortion abatement | |
| CN102985808A (zh) | 宽动态范围成像 | |
| EP1006719A1 (fr) | Procédé de correction des défauts d'images issues d'un détecteur de rayons X ou gamma de type matriciel | |
| FR3062009A1 (fr) | Generation adaptative d’une image a grande gamme dynamique d’une scene, a partir d’une pluralite d’images obtenues par lecture non destructive d’un capteur d’image. | |
| Zhang et al. | First arrival differential lidar | |
| CN116389912B (zh) | 脉冲相机融合普通相机重构高帧率高动态范围视频的方法 | |
| CN106550199B (zh) | 多层高动态范围传感器 | |
| CN116612005A (zh) | 高光谱图像超分辨率重建方法、装置和电子设备 | |
| US11758297B2 (en) | Systems, methods, and media for high dynamic range imaging using single-photon and conventional image sensor data | |
| CN108551541B (zh) | 一种低成本高灵敏度的成像***及其成像方法 | |
| Gladysz et al. | Detection of faint companions through stochastic speckle discrimination | |
| US11765475B2 (en) | Systems and methods for obtaining dark current images | |
| CN115909088A (zh) | 基于超分辨特征聚合的光学遥感图像目标检测方法 | |
| US11563908B2 (en) | Image acquisition techniques with reduced noise using single photon avalanche diodes | |
| Yang et al. | On pixel detection threshold in the gigavision camera | |
| CN112087622B (zh) | 一种tdi-ccd相机反射率分辨率指标模拟测试方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |