CN117541501A - 扫描光场自监督网络去噪方法、装置、电子设备及介质 - Google Patents
扫描光场自监督网络去噪方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN117541501A CN117541501A CN202410032352.9A CN202410032352A CN117541501A CN 117541501 A CN117541501 A CN 117541501A CN 202410032352 A CN202410032352 A CN 202410032352A CN 117541501 A CN117541501 A CN 117541501A
- Authority
- CN
- China
- Prior art keywords
- network
- denoising
- self
- data
- light field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 54
- 230000004927 fusion Effects 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 38
- 230000011218 segmentation Effects 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 17
- 238000005520 cutting process Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000003384 imaging method Methods 0.000 abstract description 8
- 230000004044 response Effects 0.000 abstract description 7
- 230000003287 optical effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 210000002865 immune cell Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 230000008707 rearrangement Effects 0.000 description 5
- 210000001161 mammalian embryo Anatomy 0.000 description 4
- 241000252212 Danio rerio Species 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请涉及计算成像技术领域，特别涉及一种扫描光场自监督网络去噪方法、装置、电子设备及存储介质，其中，方法包括：获取扫描光场数据；对扫描光场数据进行预处理，得到预处理后的数据；以及根据预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，以用于进行扫描光场自监督网络去噪。由此，解决了相关技术中，由于依赖成对高质量、相同或相近内容的数据，容易限制数据的可用性，进而增加数据获取的难度，导致成本增加，且由于依赖时间信息，需要多帧信息，无法使用单帧光场图像进行去噪，容易导致在实际应用中响应较差，适应性降低等问题。
Description
技术领域
本申请涉及计算成像技术领域，特别涉及一种扫描光场自监督网络去噪方法、装置、电子设备及介质。
背景技术
光场或扫描光场因能够用单张或少量拍摄图像实现大范围快速3D成像而备受关注，在包括3D钙成像等的生物应用中使用广泛，其中，光场图像的信噪比是最终3D成像质量的重要影响因素，以光子散粒噪声为主的检测噪声加剧了测量不确定性，可能会改变底层结构的形态和功能解释，通过基于空域与变换域的传统滤波器去噪方法，包括中值滤波器、BM3D去噪算法等，可以根据光场图像的空间域或者变换域，通过滑动窗口进行滤波，从而得到降噪后图像，但耗时较长，并且存在严重的结构细节丢失。
相关技术中，可以通过基于有监督的深度学习网络去噪方法，将光场或扫描光场数据作为输入，高分辨率的真值图像作为监督，能够使网络学习去噪过程，也可以通过基于时序的深度学习网络去噪方法，将一系列时间连续光场或扫描光场数据作为输入，通过相邻帧相近时间的两次成像结果分别作为输入和监督，从而实现网络无监督的学习去噪过程。
然而，相关技术中，由于需要提供高分辨率的真值图像，依赖成对高质量、相同或相近内容的数据，容易限制数据的可用性，进而增加数据获取的难度，导致成本增加，由于需要长时间的一组光场图像，依赖多帧信息，无法使用单帧光场图像进行去噪，容易导致在实际应用中响应较差，适应性降低，影响去噪效果，亟待改进。
发明内容
本申请提供一种扫描光场自监督网络去噪方法、装置、电子设备及存储介质，以解决相关技术中，由于依赖成对高质量、相同或相近内容的数据，容易限制数据的可用性，进而增加数据获取的难度，导致成本增加，且由于依赖时间信息，需要多帧信息，无法使用单帧光场图像进行去噪，容易导致在实际应用中响应较差，适应性降低等问题。
本申请第一方面实施例提供一种扫描光场自监督网络去噪方法，包括以下步骤：获取扫描光场数据；对所述扫描光场数据进行预处理，得到预处理后的数据；以及根据所述预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，以用于进行扫描光场自监督网络去噪。
可选地，在本申请的一个实施例中，所述对所述扫描光场数据进行预处理，得到预处理后的数据，包括：将所述扫描光场数据中多角度数据按多种角度扫描排布顺序组合，生成多种不同排布后的光场图像数据；和/或，对所述扫描光场数据进行旋转、翻转和/或裁剪，得到增强数据。
可选地，在本申请的一个实施例中，所述对所述扫描光场数据进行预处理，得到预处理后的数据，还包括：对所述多种不同排布后的光场图像数据进行切分，得到多对维度相同的切分图像数据，以使每对切分图像数据分别用于单次迭代中的多路网络输入前传与多路网络目标或融合目标，并用于自监督总损失函数回传。
可选地，在本申请的一个实施例中，所述根据所述预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，包括：根据所述预处理后的数据得到多个分路网络输出；融合所述多个分路网络输出，得到融合网络输出；分别计算所述切分图像数据与对应的分路网络输出之间的第一均方误差与第一绝对值误差和与所述融合网络输出之间的第二均方误差与第二绝对值误差；对所述第一均方误差与第一绝对值、所述第二均方误差与第二绝对值误差进行加权，计算所述自监督去噪网络的自监督总损失函数。
可选地，在本申请的一个实施例中，在得到所述最终自监督去噪网络之前，还包括：将由所述预处理后的数据得到的测试集输入至训练后的自监督去噪网络，输出网络结果，以在所述网络结果满足预设测试条件的情况下，输出所述最终自监督去噪网络，其中，所述测试集与构建所述自监督去噪网络的训练集的数据不重合且尺寸不同。
本申请第二方面实施例提供一种扫描光场自监督网络去噪装置，包括：获取模块，用于获取扫描光场数据；处理模块，用于对所述扫描光场数据进行预处理，得到预处理后的数据；以及去噪模块，用于根据所述预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，以用于进行扫描光场自监督网络去噪。
可选地，在本申请的一个实施例中，所述处理模块包括：生成单元，用于将所述扫描光场数据中多角度数据按多种角度扫描排布顺序组合，生成多种不同排布后的光场图像数据；和/或，增强单元，用于对所述扫描光场数据进行旋转、翻转和/或裁剪，得到增强数据。
可选地，在本申请的一个实施例中，所述处理模块还包括：切分模块，用于对所述多种不同排布后的光场图像数据进行切分，得到多对维度相同的切分图像数据，以使每对切分图像数据分别用于单次迭代中的多路网络输入前传与多路网络目标或融合目标，并用于自监督总损失函数回传。
可选地，在本申请的一个实施例中，所述去噪模块包括：获取单元，用于根据所述预处理后的数据得到多个分路网络输出；融合单元，用于融合所述多个分路网络输出，得到融合网络输出；计算单元，用于分别计算所述切分图像数据与对应的分路网络输出之间的第一均方误差与第一绝对值误差和与所述融合网络输出之间的第二均方误差与第二绝对值误差；加权单元，用于对所述第一均方误差与第一绝对值、所述第二均方误差与第二绝对值误差进行加权，计算所述自监督去噪网络的自监督总损失函数。
可选地，在本申请的一个实施例中，所述去噪模块还用于在得到所述最终自监督去噪网络之前，将由所述预处理后的数据得到的测试集输入至训练后的自监督去噪网络，输出网络结果，以在所述网络结果满足预设测试条件的情况下，输出所述最终自监督去噪网络，其中，所述测试集与构建所述自监督去噪网络的训练集的数据不重合且尺寸不同。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的扫描光场自监督网络去噪方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的扫描光场自监督网络去噪方法。
本申请实施例可以通过获取扫描光场数据，对扫描光场数据进行预处理，并根据预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，从而可以进行扫描光场自监督网络去噪，减少对成对数据的依赖，能够提高适用范围和性能，且可以利用单帧图像进行去噪，能够在不同结构和信噪比下，提高去噪的灵活性和鲁棒性。由此，解决了相关技术中，由于依赖成对高质量、相同或相近内容的数据，容易限制数据的可用性，进而增加数据获取的难度，导致成本增加，且由于依赖时间信息，需要多帧信息，无法使用单帧光场图像进行去噪，容易导致在实际应用中响应较差，适应性降低等问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请一个实施例的扫描光场自监督网络去噪方法的结构示意图；
图2为根据本申请实施例提供的一种扫描光场自监督网络去噪方法的流程图；
图3为根据本申请一个实施例的数据训练对切分模块与自监督去噪网络训练过程的原理示意图；
图4为根据本申请一个实施例的扫描光场原始图像与经过网络去噪的图像的对比示意图；
图5为根据本申请实施例提供的一种扫描光场自监督网络去噪装置的结构示意图；
图6为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的扫描光场自监督网络去噪方法、装置、电子设备及存储介质。针对上述背景技术中心提到的相关技术中，由于依赖成对高质量、相同或相近内容的数据，容易限制数据的可用性，进而增加数据获取的难度，导致成本增加，且由于依赖时间信息，需要多帧信息，无法使用单帧光场图像进行去噪，容易导致在实际应用中响应较差，适应性降低等问题，本申请提供了一种扫描光场自监督网络去噪方法，在该方法中，可以通过获取扫描光场数据，对扫描光场数据进行预处理，并根据预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，从而可以进行扫描光场自监督网络去噪，减少对成对数据的依赖，能够提高适用范围和性能，且可以利用单帧图像进行去噪，能够在不同结构和信噪比下，提高去噪的灵活性和鲁棒性。由此，解决了相关技术中，由于依赖成对高质量、相同或相近内容的数据，容易限制数据的可用性，进而增加数据获取的难度，导致成本增加，且由于依赖时间信息，需要多帧信息，无法使用单帧光场图像进行去噪，容易导致在实际应用中响应较差，适应性降低等问题。
在对本申请实施例提供的扫描光场自监督网络去噪方法进行解释说明之前，先对本申请实施例涉及的扫描光场自监督网络去噪方法的结构进行说明。
如图1所示，扫描光场自监督网络去噪方法的结构包括：获取扫描光场数据单元、数据预处理单元、自监督去噪网络训练单元和自监督去噪网络测试单元。
其中，获取扫描光场数据单元，用于为网络的训练和测试提供数据，其中，数据可以用扫描光学显微仪器拍摄或从公开数据集下载；
数据预处理单元，包括数据重排功能、数据增强功能和数据训练对切分功能，最终数据将用于自监督去噪网络训练或自监督去噪网络测试。
其中，数据重排功能，用于将多角度数据按多种角度排布顺序，组合成为排布后图像数据；数据增强模块功能，用于将图像数据进行裁剪、旋转、翻转等图像变换，形成用于数据训练对切分模块的输入数据；数据训练对切分功能，用于将多种排布后图像数据进行切分，获得多对维度相同的切分图像数据，每对数据分别用于单次迭代中的多路网络输入前传与多路网络目标或融合目标，并最终用于自监督总损失函数回传。
自监督去噪网络训练单元，包括多路网络输入前传功能、多路输出融合模块功能和自监督总损失函数回传功能，完成以上三步即称作一次迭代。
其中，多路网络输入前传功能，通过输入层接收数据预处理单元输出的任意个排布后图像数据，并让其通过分路网络，得到分路网络输出；多路输出融合模块功能，用于将多路网络输出的任意个图像数据全部输入融合网络，并前向通过融合网络，得到融合网络输出；自监督总损失函数回传功能，用于计算切分图像数据与分路网络输出之间的均方误差与绝对值误差，和融合网络输出之间的均方误差与绝对值误差，加权形成自监督总损失函数，并回传更新网络参数。通常设定一个迭代次数阈值，不超过该值时，认为网络训练没有结束。当网络训练没有结束时，进入下一次迭代，即下一批数据通过多路网络输入前传、多路输出融合模块和自监督总损失函数回传；
自监督去噪网络测试单元，在自监督去噪网络训练完成后进行，用于测试选定数据在网络上的最终表现。
其中，选定数据往往与自监督去噪网络训练单元所使用的数据不重合，且尺寸不一定相同，若尺寸不同，应当对选定数据进行有重叠的裁剪，裁剪为若干张符合网络输入层尺寸要求的图像，让网络分别预测，然后拼接预测结果。
接下来，对本申请实施例的扫描光场自监督网络去噪方法进行详细赘述。
具体而言，图2为本申请实施例所提供的一种扫描光场自监督网络去噪方法的流程示意图。
如图2所示，该扫描光场自监督网络去噪方法包括以下步骤：
在步骤S201中，获取扫描光场数据。
可以理解的是，扫描光场数据指的是从不同角度和位置下对光场进行采样得到的一系列图像或测量值。
具体地，本申请实施例可以通过扫描光学显微仪器拍摄，以获取扫描光场数据，例如，通过扫描光学显微仪器拍摄，可以获取斑马鱼胚胎一系列不同视角下的光场图像，包括胚胎表面或内部的光线方向、强度和相位等信息。
本申请实施例可以通过扫描光学显微仪器拍摄，以获取扫描光场数据，有利于提高数据的全面性和准确度，为后续操作提供准确的依据。
在步骤S202中，对扫描光场数据进行预处理，得到预处理后的数据。
可以理解的是，预处理包括数据重排、数据增强等。
本申请实施例通过对扫描光场数据进行预处理，如数据重排、数据增强等，从而可以得到预处理后的数据，有助于对扫描光场数据进行校正，提高数据准确性，进而有效提高数据清晰度、信噪比和细节可见性，使数据更适合后续分析和处理。
可选地，在本申请的一个实施例中，对扫描光场数据进行预处理，得到预处理后的数据，包括：将扫描光场数据中多角度数据按多种角度扫描排布顺序组合，生成多种不同排布后的光场图像数据；和/或，对扫描光场数据进行旋转、翻转和/或裁剪，得到增强数据。
可以理解的是，多角度数据指的是从不同角度或位置进行扫描的光场图像信息，包括场景深度、纹理细节等。
具体地，本申请实施例可以从不同角度或位置对免疫细胞进行扫描，并按照不同的排布顺序组合得到光场图像数据，例如，从上、下、左、右等不同角度扫描免疫细胞，并按照不同的排列方式（如ABC、ACB、BAC等）组合生成多种不同排布后的光场图像数据；对免疫细胞的扫描图像进行旋转和/或翻转操作，例如，将免疫细胞图像顺时针或逆时针旋转90度、180度，或进行水平或垂直翻转等操作，可以生成具有不同角度和镜像对称的增强数据；根据免疫细胞的大小和位置，在扫描图像中选择区域进行裁剪操作，从而可以裁剪出免疫细胞的局部区域，提供不同尺寸和位置的增强数据。
本申请实施例可以将扫描光场数据中多角度数据按多种角度扫描排布顺序组合，生成多种不同排布后的光场图像数据，对扫描光场数据进行旋转、翻转和/或裁剪，得到增强数据，从而可以通过多种角度扫描排布组合和对扫描光场数据进行旋转、翻转和裁剪，能够拓展训练数据集，增加数据的多样性和丰富性，提高图像处理的鲁棒性，可以进一步提高数据的准确性和可靠度。
可选地，在本申请的一个实施例中，对扫描光场数据进行预处理，得到预处理后的数据，还包括：对多种不同排布后的光场图像数据进行切分，得到多对维度相同的切分图像数据，以使每对切分图像数据分别用于单次迭代中的多路网络输入前传与多路网络目标或融合目标，并用于自监督总损失函数回传。
在实际执行过程中，本申请实施例可以通过将多种排布后图像数据进行切分，获得多对维度相同的切分图像数据，其中，每对数据分别用于单次迭代中的多路网络输入前传与多路网络目标或融合目标，并最终用于自监督总损失函数回传，且多路网络输入前传可以选择任何图像处理网络，将任意个排布后图像数据输入多路网络，并前向得到多路网络输出。
具体地，结合图3所示，本申请实施例可以加入数据训练对切分模块，使用单个有噪声的光场图像，模拟多次成像后的结果，具体步骤如下：
步骤S301，挑选切分维度。
可以理解的是，光场或扫描光场显微***的核心是相机前的微透镜阵列，显微***最终可以形成同时具有两个角度维度与两个空间维度的四维图像信息，再经过数据重排模块后，两个角度维度被合并为S维度，两个空间维度保留为X、Y维度，为了模拟在同一噪声模型下多次成像的结果，可以挑选特定维度进行切分，以获得多组图像结果。其中，挑选方法可以如下所示：
（1）每次迭代都挑选同一空间维度X；
（2）每次迭代都挑选同一空间维度Y；
（3）每次迭代都随机挑选任一空间维度X或Y；
（4）每次迭代都同时挑选空间维度X与Y；
（5）每次迭代都挑选角度维度S；
采用不同切分维度是为了在后续步骤中获得多组切分后图像，用于为多路网络输入提供多个相对应的训练、目标，其中选定的一个切分维度的切分图像也将被用为融合网络目标，用于自监督总损失函数回传。
步骤S302，获得切分图像。
可以理解的是，为了获取多组图像结果，需要对选定的维度进行切分。对于排布后图像I，在选定切分维度D后，根据不同图像数据的特定，可以选择不同的图像切分方法，其中，切分方法可以如下所示：
（1）奇偶切分；
（2）滑窗随机切分；
（3）平均顺序切分；
其中，奇偶切分的结果可以由以下表达式决定：
，
，
，
，
其中，I为输入的待切分图像，D为选定的切分维度，为奇偶切分后的奇图像，为奇偶切分后的偶图像，Len为求所给维度的长度，O为切分后得到的训练对。
滑窗随机切分的结果可以由如下表达式决定：
，
，
，
，
，
，
其中，i为单个滑窗内元素的编号，为第i个随机切分图像，I为输入的待切分图像，/>为在维度D中，第k个滑窗W k中第i个维度序号对应的元素，Len(D)为求所给维度D的长度，wsize为滑窗尺寸，k为所需滑窗总数，shuffle为打乱所给集合的顺序，j为滑窗编号，n为维度序号，O为切分后得到的训练对。
由于平均顺序切分指的是按特定维度D，按顺序将输入图像I切分为所需要的若干等分，共同组成训练对O，且无法用于自监督去噪网络训练，仅用于自监督去噪网络测试，从而在步骤S301中选取了N个维度后，在步骤S302后会得到相同数量的训练对，可以理解为N个训练对O，其中一个训练对中的若干图像将作为步骤S305中的融合目标，其余N-1个训练对降噪可以为步骤S303的输入。
步骤S303，多路网络输入前传。
其中，对于步骤S302中得到的N-1个训练对，每个训练对随机一个切分图像会作为输入，其余切分图像作为目标，可以理解为获得N-1个多路网络输入和N-1组多路网络目标，将得到的N-1个多路网络输入，输入相同数量的N-1个网络进行前向去噪处理，可以获得N-1个多路网络输出。
步骤S304，多路网络输出融合。
其中，步骤S301至S302中选取了特定维度并进行了图像分割，可能会造成原始光场图像在选定维度上的信息破坏，通过选取多个维度进行分割，互相参考未被分割的模块，可以有效弥补分割造成的信息破坏。本申请实施例通过使用多路输出融合模块，利用深度学习图像融合网络，可以将步骤S303中N-1个多路网络输出融合为单个融合网络输出。
步骤S305：计算自监督总损失函数。
具体地，函数值可以由如下表达式决定：
，
其中，L为自监督总损失函数，为多路损失的权重，n为分路数量，/>为第i个多路网络输出，/>为第i组多路网络目标，/>为多路损失函数，可以理解为多路网络输出与多路网络目标的L1与L2损失函数平均，/>为融合损失的权重，Output为融合网络输出，Target为融合目标，/>为融合损失函数，可以理解为融合网络输出与融合目标的L1与L2损失函数平均，/>为多路相似度损失的权重，S为相似度损失函数，可以理解为融合网络输出与多路网络输出的L1与L2损失函数平均。
本申请实施例利用多切分方式，引入光场图像多维度信息，结合噪声对噪声的深度学习训练理论，实现自监督的扫描光场网络去噪，从而在训练时可以不需要用于监督的真值图像，能够减少采集时间，提高光场图像数据的鲁棒性。
在步骤S203中，根据预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，以用于进行扫描光场自监督网络去噪。
可以理解的是，预设迭代停止条件可以为迭代次数达到预设迭代次数阈值，如迭代次数达到1000次等。
本申请实施例可以根据预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，从而得到最终自监督去噪网络，可以有效减少图像失真，能够保留原始图像的细节和纹理信息，进一步改善图像质量。
可选地，在本申请的一个实施例中，根据预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，包括：根据预处理后的数据得到多个分路网络输出；融合多个分路网络输出，得到融合网络输出；分别计算切分图像数据与对应的分路网络输出之间的第一均方误差与第一绝对值误差和与融合网络输出之间的第二均方误差与第二绝对值误差；对第一均方误差与第一绝对值、第二均方误差与第二绝对值误差进行加权，计算自监督去噪网络的自监督总损失函数。
具体地，结合图3所示，本申请实施例可以通过自监督总损失函数回传，计算切分图像数据与分路网络输出之间的第一均方误差与第一绝对值误差加权和作为多路损失，再计算融合网络输出之间的第二均方误差与第二绝对值误差加权和作为融合损失，最后多路损失与融合损失加权求和形成自监督总损失函数，并回传更新网络参数，其中，通过选择任意图像融合网络，可以将多路网络输出全部输入融合网络，并前向得到融合网络输出。
其中，自监督总损失函数可以由如下所示：
，
其中，为自监督总损失函数，/>为多路损失的权重，n为分路数量，/>为第/>个多路网络输出，/>为第i组多路网络目标，/>为多路损失函数，可以理解为多路网络输出与多路网络目标的L1与L2损失函数平均，/>为融合损失的权重，Output为融合网络输出，Target为融合目标，/>为融合损失函数，可以理解为融合网络输出与融合目标的L1与L2损失函数平均，/>为多路相似度损失的权重，S为相似度损失函数，可以理解为融合网络输出与多路网络输出的L1与L2损失函数平均。
本申请实施例可以使用预处理后的数据得到多个分路网络输出，以得到融合网络输出，并通过计算切分图像数据与对应分路网络输出之间的误差以及与融合网络输出之间的误差，构建自监督去噪网络的自监督总损失函数，从而可以增加网络输出的鲁棒性，且可以优化自监督去噪网络的性能，提高去噪的准确性和精确度。
可选地，在本申请的一个实施例中，在得到最终自监督去噪网络之前，还包括：将由预处理后的数据得到的测试集输入至训练后的自监督去噪网络，输出网络结果，以在网络结果满足预设测试条件的情况下，输出最终自监督去噪网络，其中，测试集与构建自监督去噪网络的训练集的数据不重合且尺寸不同。
可以理解的是，预设测试条件指的是用于评估自监督去噪网络的标准，可以为图像质量评估指标等。
在实际执行过程中，结合图4所示，本申请实施例可以根据预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，其中，上方两侧图像从左至右分别为中心81个角度的原始光场图像与中心81个角度的去噪后光场图像，下方两侧图像从左至右分别为原始中心视角图像与去噪后中心视角图像。
具体地，本申请实施例可以使用扫描光场仪器（扫描倍率为3，微透镜后的像素点个数为13×13）拍摄斑马鱼胚胎数据，然后对数据进行重排和增强，产生4,900张尺寸为的多角度图像，用于自监督去噪网络训练；使用基于PyTorch深度学习框架和Python编程语言搭建自监督去噪网络，具体地，在输入层后使用双线性插值将网络输入调整为目标大小，然后经过一个U-Net，进一步地，通过训练网络，其中，初始学习率为，训练批大小为1，使用Adam优化器进行反向传播迭代优化，共训练98,000个迭代。从而可以将多角度测试图像输入训练完成的自监督去噪网络，得到去噪图像。
本申请实施例可以将由预处理后的数据得到的测试集输入至训练后的自监督去噪网络，输出网络结果，以在网络结果满足预设测试条件的情况下，输出最终自监督去噪网络，从而可以有效地去除噪声并保留图像细节，能够提高去噪的稳定性和适应性。
根据本申请实施例提出的扫描光场自监督网络去噪方法，可以通过获取扫描光场数据，对扫描光场数据进行预处理，并根据预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，从而可以进行扫描光场自监督网络去噪，减少对成对数据的依赖，能够提高适用范围和性能，且可以利用单帧图像进行去噪，能够在不同结构和信噪比下，提高去噪的灵活性和鲁棒性。由此，解决了相关技术中，由于依赖成对高质量、相同或相近内容的数据，容易限制数据的可用性，进而增加数据获取的难度，导致成本增加，且由于依赖时间信息，需要多帧信息，无法使用单帧光场图像进行去噪，容易导致在实际应用中响应较差，适应性降低等问题。
其次参照附图描述根据本申请实施例提出的扫描光场自监督网络去噪装置。
图5是本申请实施例的扫描光场自监督网络去噪装置的结构示意图。
如图5所示，该扫描光场自监督网络去噪装置10包括：获取模块100、处理模块200和去噪模块300。
具体地，获取模块100，用于获取扫描光场数据。
处理模块200，用于对扫描光场数据进行预处理，得到预处理后的数据。
去噪模块300，用于根据预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，以用于进行扫描光场自监督网络去噪。
可选地，在本申请的一个实施例中，处理模块200包括：生成单元和/或增强单元。
其中，生成单元，用于将扫描光场数据中多角度数据按多种角度扫描排布顺序组合，生成多种不同排布后的光场图像数据；
和/或，增强单元，用于对扫描光场数据进行旋转、翻转和/或裁剪，得到增强数据。
可选地，在本申请的一个实施例中，处理模块200还包括：切分模块。
其中，切分模块，用于对多种不同排布后的光场图像数据进行切分，得到多对维度相同的切分图像数据，以使每对切分图像数据分别用于单次迭代中的多路网络输入前传与多路网络目标或融合目标，并用于自监督总损失函数回传。
可选地，在本申请的一个实施例中，去噪模块300包括：获取单元、融合单元、计算单元和加权单元。
其中，获取单元，用于根据预处理后的数据得到多个分路网络输出；
融合单元，用于融合多个分路网络输出，得到融合网络输出；
计算单元，用于分别计算切分图像数据与对应的分路网络输出之间的第一均方误差与第一绝对值误差和与融合网络输出之间的第二均方误差与第二绝对值误差；
加权单元，用于对第一均方误差与第一绝对值、第二均方误差与第二绝对值误差进行加权，计算自监督去噪网络的自监督总损失函数。
可选地，在本申请的一个实施例中，去噪模块还用于在得到最终自监督去噪网络之前，将由预处理后的数据得到的测试集输入至训练后的自监督去噪网络，输出网络结果，以在网络结果满足预设测试条件的情况下，输出最终自监督去噪网络，其中，测试集与构建自监督去噪网络的训练集的数据不重合且尺寸不同。
需要说明的是，前述对扫描光场自监督网络去噪方法实施例的解释说明也适用于该实施例的扫描光场自监督网络去噪装置，此处不再赘述。
根据本申请实施例提出的扫描光场自监督网络去噪装置，可以通过获取扫描光场数据，对扫描光场数据进行预处理，并根据预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，从而可以进行扫描光场自监督网络去噪，减少对成对数据的依赖，能够提高适用范围和性能，且可以利用单帧图像进行去噪，能够在不同结构和信噪比下，提高去噪的灵活性和鲁棒性。由此，解决了相关技术中，由于依赖成对高质量、相同或相近内容的数据，容易限制数据的可用性，进而增加数据获取的难度，导致成本增加，且由于依赖时间信息，需要多帧信息，无法使用单帧光场图像进行去噪，容易导致在实际应用中响应较差，适应性降低等问题。
图6为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
处理器602执行程序时实现上述实施例中提供的扫描光场自监督网络去噪方法。
进一步地，电子设备还包括：
通信接口603，用于存储器601和处理器602之间的通信。
存储器601，用于存放可在处理器602上运行的计算机程序。
存储器601可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（Industry Standard Architecture，简称为ISA）总线、外部设备互连（PeripheralComponent Interconnect，简称为PCI）总线或扩展工业标准体系结构（Extended IndustryStandard Architecture，简称为EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
处理器602可能是一个中央处理器（Central Processing Unit，简称为CPU），或者是特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的扫描光场自监督网络去噪方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或N个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种扫描光场自监督网络去噪方法，其特征在于，包括以下步骤：
获取扫描光场数据；
对所述扫描光场数据进行预处理，得到预处理后的数据；以及
根据所述预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，以用于进行扫描光场自监督网络去噪。
2.根据权利要求1所述的扫描光场自监督网络去噪方法，其特征在于，所述对所述扫描光场数据进行预处理，得到预处理后的数据，包括：
将所述扫描光场数据中多角度数据按多种角度扫描排布顺序组合，生成多种不同排布后的光场图像数据；
和/或，对所述扫描光场数据进行旋转、翻转和/或裁剪，得到增强数据。
3.根据权利要求2所述的扫描光场自监督网络去噪方法，其特征在于，所述对所述扫描光场数据进行预处理，得到预处理后的数据，还包括：
对所述多种不同排布后的光场图像数据进行切分，得到多对维度相同的切分图像数据，以使每对切分图像数据分别用于单次迭代中的多路网络输入前传与多路网络目标或融合目标，并用于自监督总损失函数回传。
4.根据权利要求3所述的扫描光场自监督网络去噪方法，其特征在于，所述根据所述预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，包括：
根据所述预处理后的数据得到多个分路网络输出；
融合所述多个分路网络输出，得到融合网络输出；
分别计算所述切分图像数据与对应的分路网络输出之间的第一均方误差与第一绝对值误差和与所述融合网络输出之间的第二均方误差与第二绝对值误差；
对所述第一均方误差与第一绝对值、所述第二均方误差与第二绝对值误差进行加权，计算所述自监督去噪网络的自监督总损失函数。
5.根据权利要求1所述的扫描光场自监督网络去噪方法，其特征在于，在得到所述最终自监督去噪网络之前，还包括：
将由所述预处理后的数据得到的测试集输入至训练后的自监督去噪网络，输出网络结果，以在所述网络结果满足预设测试条件的情况下，输出所述最终自监督去噪网络，其中，所述测试集与构建所述自监督去噪网络的训练集的数据不重合且尺寸不同。
6.一种扫描光场自监督网络去噪装置，其特征在于，包括：
获取模块，用于获取扫描光场数据；
处理模块，用于对所述扫描光场数据进行预处理，得到预处理后的数据；以及
去噪模块，用于根据所述预处理后的数据构建自监督去噪网络，直至达到预设迭代停止条件，得到最终自监督去噪网络，以用于进行扫描光场自监督网络去噪。
7.根据权利要求6所述的扫描光场自监督网络去噪装置，其特征在于，所述处理模块包括：
生成单元，用于将所述扫描光场数据中多角度数据按多种角度扫描排布顺序组合，生成多种不同排布后的光场图像数据；
和/或，增强单元，用于对所述扫描光场数据进行旋转、翻转和/或裁剪，得到增强数据。
8.根据权利要求7所述的扫描光场自监督网络去噪装置，其特征在于，所述处理模块还包括：
切分模块，用于对所述多种不同排布后的光场图像数据进行切分，得到多对维度相同的切分图像数据，以使每对切分图像数据分别用于单次迭代中的多路网络输入前传与多路网络目标或融合目标，并用于自监督总损失函数回传。
9.根据权利要求8所述的扫描光场自监督网络去噪装置，其特征在于，所述去噪模块包括：
获取单元，用于根据所述预处理后的数据得到多个分路网络输出；
融合单元，用于融合所述多个分路网络输出，得到融合网络输出；
计算单元，用于分别计算所述切分图像数据与对应的分路网络输出之间的第一均方误差与第一绝对值误差和与所述融合网络输出之间的第二均方误差与第二绝对值误差；
加权单元，用于对所述第一均方误差与第一绝对值、所述第二均方误差与第二绝对值误差进行加权，计算所述自监督去噪网络的自监督总损失函数。
10.根据权利要求6所述的扫描光场自监督网络去噪装置，其特征在于，所述去噪模块还用于在得到所述最终自监督去噪网络之前，将由所述预处理后的数据得到的测试集输入至训练后的自监督去噪网络，输出网络结果，以在所述网络结果满足预设测试条件的情况下，输出所述最终自监督去噪网络，其中，所述测试集与构建所述自监督去噪网络的训练集的数据不重合且尺寸不同。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的扫描光场自监督网络去噪方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的扫描光场自监督网络去噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410032352.9A CN117541501B (zh) | 2024-01-09 | 2024-01-09 | 扫描光场自监督网络去噪方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410032352.9A CN117541501B (zh) | 2024-01-09 | 2024-01-09 | 扫描光场自监督网络去噪方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117541501A true CN117541501A (zh) | 2024-02-09 |
| CN117541501B CN117541501B (zh) | 2024-05-31 |
Family
ID=89792340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410032352.9A Active CN117541501B (zh) | 2024-01-09 | 2024-01-09 | 扫描光场自监督网络去噪方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117541501B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3109821A1 (en) * | 2015-06-26 | 2016-12-28 | Thomson Licensing | Real-time light-field denoising |
| CN111640073A (zh) * | 2020-05-15 | 2020-09-08 | 哈尔滨工业大学 | 图像盲去噪*** |
| CN113537025A (zh) * | 2021-07-08 | 2021-10-22 | 浙江工业大学 | 一种基于自监督学习的电磁调制信号深度去噪方法及*** |
| US20220028041A1 (en) * | 2020-07-27 | 2022-01-27 | Boe Technology Group Co., Ltd. | Image denoising method and apparatus, electronic device and non-transitory computer readalble storage medium |
| CN114155340A (zh) * | 2021-10-20 | 2022-03-08 | 清华大学 | 扫描光场数据的重建方法、装置、电子设备及存储介质 |
| CN114897737A (zh) * | 2022-05-25 | 2022-08-12 | 南京邮电大学 | 一种基于非配对无监督神经网络的高光谱图像去噪方法 |
| CN115423946A (zh) * | 2022-11-02 | 2022-12-02 | 清华大学 | 大场景弹性语义表征与自监督光场重建方法及装置 |
| US20230013779A1 (en) * | 2021-07-06 | 2023-01-19 | GE Precision Healthcare LLC | Self-supervised deblurring |
| US20230103638A1 (en) * | 2021-10-06 | 2023-04-06 | Google Llc | Image-to-Image Mapping by Iterative De-Noising |
| US20230177641A1 (en) * | 2020-06-30 | 2023-06-08 | Huawei Technologies Co., Ltd. | Neural network training method, image processing method, and apparatus |
| CN116385280A (zh) * | 2023-01-09 | 2023-07-04 | 爱芯元智半导体(上海)有限公司 | 一种图像降噪***、方法及降噪神经网络训练方法 |
| US20230230206A1 (en) * | 2020-04-27 | 2023-07-20 | Sanechips Technology Co., Ltd. | Image denoising method and apparatus, electronic device, and storage medium |
| CN116628421A (zh) * | 2023-05-19 | 2023-08-22 | 北京航空航天大学 | 基于自监督学习神经网络模型的imu原始数据去噪方法 |
| CN116721017A (zh) * | 2023-06-20 | 2023-09-08 | 中国科学院生物物理研究所 | 自监督显微图像超分辨处理方法和*** |
| WO2023201783A1 (zh) * | 2022-04-18 | 2023-10-26 | 清华大学 | 光场深度估计方法、装置、电子设备及存储介质 |
| US20230370104A1 (en) * | 2022-05-13 | 2023-11-16 | DeepSig Inc. | Processing antenna signals using machine learning networks with self-supervised learning |
| KR20230165686A (ko) * | 2022-05-27 | 2023-12-05 | 삼성전자주식회사 | 이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치 |
| US20230394631A1 (en) * | 2020-11-06 | 2023-12-07 | Rensselaer Polytechnic Institute | Noise2sim - similarity-based self-learning for image denoising |
| CN117333398A (zh) * | 2023-10-26 | 2024-01-02 | 南京信息工程大学 | 一种基于自监督的多尺度图像去噪方法及装置 |
-
2024
- 2024-01-09 CN CN202410032352.9A patent/CN117541501B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3109821A1 (en) * | 2015-06-26 | 2016-12-28 | Thomson Licensing | Real-time light-field denoising |
| US20230230206A1 (en) * | 2020-04-27 | 2023-07-20 | Sanechips Technology Co., Ltd. | Image denoising method and apparatus, electronic device, and storage medium |
| CN111640073A (zh) * | 2020-05-15 | 2020-09-08 | 哈尔滨工业大学 | 图像盲去噪*** |
| US20230177641A1 (en) * | 2020-06-30 | 2023-06-08 | Huawei Technologies Co., Ltd. | Neural network training method, image processing method, and apparatus |
| US20220028041A1 (en) * | 2020-07-27 | 2022-01-27 | Boe Technology Group Co., Ltd. | Image denoising method and apparatus, electronic device and non-transitory computer readalble storage medium |
| US20230394631A1 (en) * | 2020-11-06 | 2023-12-07 | Rensselaer Polytechnic Institute | Noise2sim - similarity-based self-learning for image denoising |
| US20230013779A1 (en) * | 2021-07-06 | 2023-01-19 | GE Precision Healthcare LLC | Self-supervised deblurring |
| CN113537025A (zh) * | 2021-07-08 | 2021-10-22 | 浙江工业大学 | 一种基于自监督学习的电磁调制信号深度去噪方法及*** |
| US20230103638A1 (en) * | 2021-10-06 | 2023-04-06 | Google Llc | Image-to-Image Mapping by Iterative De-Noising |
| CN114155340A (zh) * | 2021-10-20 | 2022-03-08 | 清华大学 | 扫描光场数据的重建方法、装置、电子设备及存储介质 |
| WO2023201783A1 (zh) * | 2022-04-18 | 2023-10-26 | 清华大学 | 光场深度估计方法、装置、电子设备及存储介质 |
| US20230370104A1 (en) * | 2022-05-13 | 2023-11-16 | DeepSig Inc. | Processing antenna signals using machine learning networks with self-supervised learning |
| CN114897737A (zh) * | 2022-05-25 | 2022-08-12 | 南京邮电大学 | 一种基于非配对无监督神经网络的高光谱图像去噪方法 |
| KR20230165686A (ko) * | 2022-05-27 | 2023-12-05 | 삼성전자주식회사 | 이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치 |
| CN115423946A (zh) * | 2022-11-02 | 2022-12-02 | 清华大学 | 大场景弹性语义表征与自监督光场重建方法及装置 |
| CN116385280A (zh) * | 2023-01-09 | 2023-07-04 | 爱芯元智半导体(上海)有限公司 | 一种图像降噪***、方法及降噪神经网络训练方法 |
| CN116628421A (zh) * | 2023-05-19 | 2023-08-22 | 北京航空航天大学 | 基于自监督学习神经网络模型的imu原始数据去噪方法 |
| CN116721017A (zh) * | 2023-06-20 | 2023-09-08 | 中国科学院生物物理研究所 | 自监督显微图像超分辨处理方法和*** |
| CN117333398A (zh) * | 2023-10-26 | 2024-01-02 | 南京信息工程大学 | 一种基于自监督的多尺度图像去噪方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| DAN ZHANG; FANGFANG ZHOU: "《Self-Supervised Image Denoising for Real-World Images With Context-Aware Transformer》", 《IEEE ACCESS ( VOLUME: 11)》, 10 February 2023 (2023-02-10), pages 14340 * |
| YIHUI FENG; XIANMING LIU; YONGBING ZHANG; QIONGHAI DAI: "《2017 IEEE International Conference on Image Processing (ICIP)》", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》, 17 September 2017 (2017-09-17), pages 4063 - 4067 * |
| 戴琼海 ， 范静涛 ， 吴嘉敏 ， 卢志: "《自适应扫描光场显微成像技术:打破活体成像壁垒》", 《 前沿科学》, no. 1, 30 August 2022 (2022-08-30), pages 39 - 43 * |
| 方璐 戴琼海: "《计算光场成像》", 《光学学报》, vol. 40, no. 1, 11 May 2020 (2020-05-11), pages 3 - 24 * |
| 马红强;马时平;许悦雷;吕超;朱明明;: "基于改进栈式稀疏去噪自编码器的自适应图像去噪", 光学学报, no. 10, 11 May 2018 (2018-05-11), pages 128 - 135 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117541501B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245659B (zh) | 基于前背景相互关系的图像显著对象分割方法及装置 | |
| CN110378348B (zh) | 视频实例分割方法、设备及计算机可读存储介质 | |
| CN108961180B (zh) | 红外图像增强方法及*** | |
| CN111968123A (zh) | 一种半监督视频目标分割方法 | |
| CN111385490B (zh) | 视频拼接方法及装置 | |
| CN112102182A (zh) | 一种基于深度学习的单图像去反射方法 | |
| CN111626960A (zh) | 图像去雾方法、终端及计算机存储介质 | |
| US6049625A (en) | Method of and an apparatus for 3-dimensional structure estimation | |
| CN117351448B (zh) | 一种基于YOLOv8改进的偏振图像道路目标检测方法 | |
| CN114140623A (zh) | 一种图像特征点提取方法及*** | |
| CN113610905A (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| CN116664446A (zh) | 基于残差密集块的轻量级暗光图像增强方法 | |
| CN115860091A (zh) | 一种基于正交约束的深度特征描述符学习方法 | |
| CN111814820A (zh) | 图像处理方法及装置 | |
| CN114299358A (zh) | 图像质量评估方法、装置、电子设备及机器可读存储介质 | |
| CN117541501B (zh) | 扫描光场自监督网络去噪方法、装置、电子设备及介质 | |
| CN115810112A (zh) | 图像处理方法、装置及存储介质、电子设备 | |
| CN114926352B (zh) | 一种图像去反射方法、***、装置及存储介质 | |
| CN116912391A (zh) | 结合神经辐射场和可导路径跟踪的逆向渲染方法及装置 | |
| CN113947547B (zh) | 基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法 | |
| EP2947626A1 (en) | Method and apparatus for generating spanning tree, method and apparatus for stereo matching, method and apparatus for up-sampling, and method and apparatus for generating reference pixel | |
| CN114862695A (zh) | 一种基于场景深度的单图像去雨雾方法、设备及存储介质 | |
| CN111310916B (zh) | 一种区分左右眼图片的深度***训练方法及*** | |
| CN111091144B (zh) | 基于深度伪孪生网络的图像特征点匹配方法及装置 | |
| CN114972937A (zh) | 一种基于深度学习的特征点检测与描述子生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |