CN113591854B - 一种浮游生物全息图的低冗余快速重建方法 - Google Patents
一种浮游生物全息图的低冗余快速重建方法 Download PDFInfo
- Publication number
- CN113591854B CN113591854B CN202110922020.4A CN202110922020A CN113591854B CN 113591854 B CN113591854 B CN 113591854B CN 202110922020 A CN202110922020 A CN 202110922020A CN 113591854 B CN113591854 B CN 113591854B
- Authority
- CN
- China
- Prior art keywords
- network
- reconstruction
- loss
- plankton
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 241001156002 Anthonomus pomorum Species 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 5
- 238000011065 in-situ storage Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉技术领域，具体公开了一种浮游生物全息图的低冗余快速重建方法，包括步骤：S1：采集浮游生物的数字全息图，生成源图像数据集；S2：对所述源图像数据集中每幅全息源图像中的浮游生物进行标定，得到标定数据集；S3：运用所述标定数据集对搭建的全息图重建网络进行训练，以及运用所述源图像数据集对训练完成的全息图重建网络进行测试；S4：将测试完成的所述全息图重建网络用于其他浮游生物全息源图像的重建。全息图重建网络可实现自主检测有效目标区域，并对感兴趣区域进行重建。相比传统的数值重建方法，本发明所训练的全息图重建网络对浮游生物全息图重建速度快、消除冗余信息的效率高，有望在海洋环境检测中发挥重要作用。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种浮游生物全息图的低冗余快速重建方法。
背景技术
海洋对于调节地球气候、维持全球生命***等具有重要意义。浮游生物作为海洋生态***的重要组成部分，在气候变化和海洋生态环境变化具有指示作用。全息成像技术已经成为重要的海洋分析工具，并用于海洋浮游生物的检测中。对全息图进行重建可以获取浮游生物的状态、粒径光谱等信息，为海洋监测提供信息。因为源图像数据集中有效目标稀疏且存在大量噪声。传统的数值重建方法需要对不同的衍射深度进行扫描重建，在多个重建图像中再进行有效目标的检测。这种传统方法不仅耗时长，而且扫描重建过程需要大量存储空间和计算开支，无法适应于原位检测的需求。因此，能够直接输出最优重建结果并可进行嵌入式计算的浮游生物全息图处理方法对浮游生物全息原位检测具有重要意义。
发明内容
本发明提供一种浮游生物全息图的低冗余快速重建方法，解决的技术问题在于：如何低冗余且快速地对拍摄的全息源图像进行有效重建。
为解决以上技术问题，本发明提供一种浮游生物全息图的低冗余快速重建方法，包括步骤：
S1：采集浮游生物的数字全息图，生成源图像数据集；
S2：对所述源图像数据集中每幅全息源图像中的浮游生物进行标定，得到标定数据集；
S3：运用所述标定数据集对搭建的全息图重建网络进行训练，以及运用所述源图像数据集对训练完成的所述全息图重建网络进行测试；
S4：将测试完成的所述全息图重建网络用于其他浮游生物全息源图像的重建。
进一步地，所述步骤S2具体包括步骤：
S21：通过卷积重建法对所述源图像数据集中的每幅全息源图像进行重建，得到该全息源图像的多张重建图像；
S22：对每幅全息源图像的多张重建图像进行预处理，得到浮游生物的轮廓曲线，并对轮廓曲线加矩形框得到浮游生物的位置信息，得到目标检测数据集；
S23：根据位置信息对每幅全息源图像的多张重建图像进行剪裁，运用聚焦评价函数对裁剪后的图像进行清晰度测评，选出最清晰的一张作为该全息源图像的ROI重建真值图，从而生成目标重建数据集。
进一步地，所述步骤S22具体包括步骤：
S221：将获得的重建图像选用滤波窗口为3*3的中值滤波进行去噪，选用自适应阈值二值化算法对滤波后的图像进行处理，得到二值图像；
S222：将二值图像选用滤波窗口为2*2的开运算去除噪声点，用Canny算子进行边缘检测，得到边缘曲线；
s223：将边缘曲线使用2*2的结构元素进行膨胀处理，使边缘曲线完整闭合，使用findContours算子再次提取浮游生物轮廓；
S224：对提取出的浮游生物轮廓进行外加矩形的操作得到浮游生物的位置信息，从而生成目标检测数据集。
进一步地，所述步骤S23具体包括步骤：
S231：按照步骤S22获得的位置信息对重建图像进行剪裁，得到ROI重建图像；
S232：使用Gamma变换对ROI重建图像进行处理；
S233：选用Brenner、Laplacian、SMD、SMD2、Variance、Energy、Vollath七种聚焦评价函数对ROI重建图像进行清晰度评测，以七种测评结果的众数作为该ROI重建图像的输出结果；
s234：将众数最大的ROI重建图像作为ROI重建真值图。
进一步地，所述步骤S3具体包括步骤：
S31：搭建全息图重建网络；所述全息图重建网络包括依次相连的目标检测单元和目标重建单元；
S32：运用所述目标检测数据集对所述目标检测单元进行训练，得到ROI的位置信息；
S33：运用所述目标重建数据集对所述目标重建单元进行训练，生成ROI的重建图像；
S34：运用所述源图像数据集对训练完成的所述全息图重建网络进行测试，完成全息图的重建。
进一步地，所述目标检测单元采用Faster RCNN网络，所述Faster RCNN网络包括RPN网络和Fast RCNN网络；所述RPN网络由特征提取网络CNN-1、并行的第一分类网络Softmax-1和第一边界框回归网络Regressor-1构成；所述Fast RCNN网络由所述特征提取网络CNN-1、ROI Pooling层和第二边界框回归网络Regressor-2构成；所述RPN网络和所述Fast RCNN网络共享所述特征提取网络CNN-1；
所述目标重建单元采用U-Net网络，所述U-Net网络包括四次下采样操作和四次上采样操作。
进一步地，所述步骤S32具体包括步骤：
S321：所述RPN网络生成输入图像的候选框并在生成的过程中计算损失函数LRPN，然后根据梯度反向传播更新自身参数；
S322：采用所述RPN网络提供的候选框训练所述Fast RCNN网络，并根据所述候选框的边界框回归参数计算所述Fast RCNN网络的损失函数LFast-RCNN，然后根据梯度反向传播更新自身参数；
S323：固定所述特征提取网络CNN-1的参数，微调所述RPN网络和所述Fast RCNN网络中的参数。
进一步地，在所述步骤S321中，所述损失函数LRPN的计算式为：
其中，i表示候选框的索引，pi为第i个候选框预测为目标区域的概率，pi *为该候选框是否包含目标的分类真值；ti为第i个候选框的边界框回归参数，ti *为第i个候选框对应的边界框回归参数真值，Ncls为一个mini-batch中所有样本数量，Nreg为anchor位置的个数，λ为平衡系数，Ncls＝256，Nreg＝2400，λ＝10；损失Lcls描述为交叉熵损失；损失Lloc描述为smooth L1 Loss损失；
在所述步骤S322中，损失函数LFast-RCNN的表达式与损失函数LRPN一致。
进一步地，所述步骤S33具体包括步骤：
S331：所述U-Net网络生成输入图像的重建图像；
S332：计算所述重建图像与所述步骤S23的ROI重建真值图之间的损失函数L，并根据梯度反向传播更新自身参数。
进一步地，在所述步骤S332中，所述损失函数L的计算式为：
L＝Loss_MSE+Loss_VGG
其中，Loss_MSE代表MSE损失，Loss_VGG代表感知损失；
所述MSE损失的计算式为：
其中，W、H代表重建图像及ROI重建真值图的宽和高，(i，j)代表第i列第j行的像素点，D代表重建图像的像素值，Dgt代表ROI重建真值图的像素值；
所述感知损失的计算式为：
其中，表示计算U-Net网络中VGG-16中第i层最大池化层之前的第j层卷积层输出的特征图的损失；Wi，j和Hi，j表示VGG-16网络中第i层最大池化层之前的第j层卷积得的特征图的宽和高；Φi，j(I)x，y代表VGG-16网络中第i层最大池化层之前的第j层卷积获得的特征图，(x，y)代表该特征图中第x列第y行的像素点；I代表重建图，Igt代表真值图，α1＝1、α2＝10、α3＝1×106、α4＝5×109代表对应的平衡系数。
本发明提供的一种浮游生物全息图的低冗余快速重建方法，通过构建、训练和测试全息图重建网络Holo-Net，可实现自主检测有效目标区域，并对感兴趣区域进行重建。相比传统的数值重建方法，本发明所训练的全息图重建网络对浮游生物全息图重建速度快、消除冗余信息的效率高，有望在海洋环境检测中发挥重要作用。全息图重建可以获取浮游生物的状态、粒径光谱等信息，为海洋监测提供信息以及对后续研究海洋生态环境变化和全球气候变化具有指导价值。
附图说明
图1是本发明实施例提供的一种浮游生物全息图的低冗余快速重建方法的步骤流程图；
图2是本发明实施例提供的全息图重建网络的架构图；
图3是本发明实施例提供的全息图重构前与重构后的对比图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
为了低冗余且快速地对拍摄的全息源图像进行有效重建，本发明实施例提供一种浮游生物全息图的低冗余快速重建方法，如图1的步骤流程图所示，包括步骤：
S1：采集浮游生物的数字全息图，生成源图像数据集；
S2：对源图像数据集中每幅全息源图像中的浮游生物进行标定，得到标定数据集；
S3：运用标定数据集对搭建的全息图重建网络进行训练，以及运用源图像数据集对训练完成的全息图重建网络进行测试；
S4：将测试完成的所述全息图重建网络用于其他浮游生物全息源图像的重建。
对于步骤S1，本例采用HoloCam-II@200全息相机拍摄全息源图像。
对于步骤S2，其具体包括步骤：
S21：通过卷积重建法对源图像数据集中的每幅全息源图像进行重建，得到该全息源图像的多张重建图像(本实施例为30张，可根据实际情况进行调整)；
S22：对每幅全息源图像的多张重建图像进行预处理，得到浮游生物的轮廓曲线，并对轮廓曲线加矩形框得到浮游生物的位置信息，得到目标检测数据集；
S23：根据位置信息对每幅全息源图像的多张重建图像进行剪裁，运用聚焦评价函数对裁剪后的图像进行清晰度测评，选出最清晰的一张作为该全息源图像的ROI重建真值图，从而生成目标重建数据集。
对于步骤S22，其具体包括步骤：
S221：将获得的重建图像选用滤波窗口为3*3的中值滤波进行去噪，选用自适应阈值二值化算法对滤波后的图像进行处理，得到二值图像；
s222：将二值图像选用滤波窗口为2*2的开运算去除噪声点，用Canny算子进行边缘检测，得到边缘曲线；
S223：将边缘曲线使用2*2的结构元素进行膨胀处理，使边缘曲线完整闭合，使用findContours算子再次提取浮游生物轮廓；
S224：对提取出的浮游生物轮廓进行外加矩形的操作得到浮游生物的位置信息，从而生成目标检测数据集。
步骤S22的预处理方式相对比于其他的方法更加适合噪声点较多的全息图，其中各种参数、窗口大小的选择都是多次实验对比出来的，提取的轮廓效果最好。
对于步骤S23，其具体包括步骤：
S231：按照步骤S22获得的位置信息对重建图像进行剪裁，得到ROI重建图像；
S232：使用Gamma变换对ROI重建图像进行处理；
S233：选用Brenner、Laplacian、SMD、SMD2、Variance、Energy、Vollath七种聚焦评价函数对ROI重建图像进行清晰度评测，以七种测评结果的众数作为该ROI重建图像的输出结果；
S234：将众数最大的ROI重建图像作为ROI重建真值图。
步骤S233的优势在于可以规避仅用一种聚焦评价函数所导致结果存在偏差，并且结合数字全息图噪声多的特点，选择了七种比较适合对全息图进行图像清晰度评价的指标，比较适合全息图任务，使得ROI重建真值图中浮游生物的轮廓十分清晰。
对于步骤S3，其具体包括步骤：
S31：搭建全息图重建网络Holo-Net；全息图重建网络Holo-Net包括依次相连的目标检测单元和目标重建单元；
S32：运用目标检测数据集对目标检测单元进行训练，得到ROI的位置信息；
S33：运用目标重建数据集对目标重建单元进行训练，生成ROI的重建图像；
S34：运用源图像数据集对训练完成的全息图重建网络Holo-Net进行测试，完成全息图的重建。
对于步骤S31，如图2所示，全息图重建网络Holo-Net包括目标检测单元和目标重建单元。目标检测单元采用Faster RCNN网络，Faster RCNN网络包括RPN网络和Fast RCNN网络。RPN网络由特征提取网络CNN-1、并行的第一分类网络Softmax-1和第一边界框回归网络Regressor-1构成；Fast RCNN网络由特征提取网络CNN-1、ROI Pooling层和第二边界框回归网络Regressor-2构成；RPN网络和Fast RCNN网络共享特征提取网络CNN-1。目标重建单元采用U-Net网络，U-Net网络包括四次下采样操作和四次上采样操作。
相对目前整张图重建的方式，本例所用Holo-Net仅针对有浮游生物出现的感兴趣区域，其可以有效移除噪声干扰，减小重建冗余度，并且可以提高重建速度，获得高质量的重建效果。传统的数值重建方法，不仅耗时长需要大量存储空间且无法适应原位检测的需求，Holo-Net能够直接输出最优重建结果并可进行嵌入式计算的浮游生物全息图处理方法对浮游生物全息原位检测具有重要意义。
对于步骤S32，其具体包括步骤：
S321：RPN网络生成输入图像的候选框并在生成的过程中计算损失函数LRPN，然后根据梯度反向传播更新自身参数；
S322：采用RPN网络提供的候选框训练Fast RCNN网络，并根据候选框的边界框回归参数计算FastRCNN网络的损失函数LFast-RCNN，然后根据梯度反向传播更新自身参数；
S323：固定所述特征提取网络CNN-1的参数，微调所述RPN网络和Fast RCNN网络中的参数。
在步骤S321中，损失函数LRPN的计算式为：
其中，i表示候选框的索引，pi为第i个候选框预测为目标区域的概率，pi *为该候选框是否包含目标的分类真值；ti为第i个候选框的边界框回归参数，ti *为第i个候选框对应的边界框回归参数真值，Ncls＝256为抽取的候选框的数量，Nreg为2400，λ＝10为平衡系数；损失Lcls描述为交叉熵损失；损失Lloc描述为smooth L1 Loss损失；
在步骤S322中，损失函数LFast-RCNN的表达式与损失函数LRPN一致。
目标检测的过程为：首先通过CNN-1卷积神经网络提取特征生成Feature map，RPN网络通过Softmax-1区分前景和背景实现二分类，通过Regressor-1对先验框进行调整，通过NMS(非极大值抑制)筛选出类别概率得分最高的2000个建议框对Fast RCNN进行训练。
Fast RCNN将RPN输出的建议框映射到CNN-1的特征图上，通过ROI Pooling层实现将建议框统一大小，通过Regressor-2对建议框再进一步调整。
对于步骤S33，其具体包括步骤：
S331：U-Net网络生成输入图像的重建图像；
S332：计算重建图像与步骤S23的ROI重建真值图之间的损失函数L，并根据梯度反向传播更新自身参数。
在步骤S332中，损失函数L的计算式为：
L＝Loss_MSE+Loss_VGG
其中，Loss_MSE代表MSE损失，Loss_VGG代表感知损失；
MSE损失的计算式为：
其中，W、H代表重建图像及ROI重建真值图的宽和高，(i，j)代表第i列第j行的像素点，D代表重建图像的像素值，Dgt代表ROI重建真值图的像素值；
感知损失的计算式为：
其中，表示计算U-Net网络中VGG-16网络中第i层最大池化层之前的第j层卷积层输出的特征图的损失；Wi，j和Hi，j表示VGG-16网络中第i层最大池化层之前的第j层卷积得的特征图的宽和高；Φi，j(I)x，y代表VGG-16网络中第i层最大池化层之前的第j层卷积(激活后)获得的特征图，(x，y)代表该特征图中第x列第y行的像素点；I代表重建图，Igt代表真值图，α1＝1、α2＝10、α3＝1×106、α4＝5×109代表对应的平衡系数。
VGG损失可以保证高频图像信息生成，MSE损失保证低频信息生成，两者结合使生成的图像质量更好，并且平衡系数是根据自身项目多次实验总结的，能够起到最优效果。
因为源图像数据集中有效目标稀疏且存在大量噪声，显然对整张全息图重建不仅耗时长，而且重建过程会受到噪声的影响，从而导致重建质量差。对此，本例进行创新，构建、训练并测试全息图重建网络Holo-Net，可实现自主检测有效目标区域，并对感兴趣区域进行重建。相比传统的数值重建方法，本发明所训练的全息图重建网络对浮游生物全息图重建速度快、消除冗余信息的效率高，重建的效果如图3所示。全息图重建可以获取浮游生物的状态、粒径光谱等信息，为海洋监测提供信息以及对后续研究海洋生态环境变化和全球气候变化具有指导价值。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (5)
1.一种浮游生物全息图的低冗余快速重建方法，其特征在于，包括步骤：
S1：采集浮游生物的数字全息图，生成源图像数据集；
S2：对所述源图像数据集中每幅全息源图像中的浮游生物进行标定，得到标定数据集；
S3：运用所述标定数据集对搭建的全息图重建网络进行训练，以及运用所述源图像数据集对训练完成的所述全息图重建网络进行测试；
所述步骤S3具体包括步骤：
S31：搭建全息图重建网络；所述全息图重建网络包括依次相连的目标检测单元和目标重建单元；
S32：运用目标检测数据集对所述目标检测单元进行训练，得到ROI的位置信息；
所述步骤S32具体包括步骤：
S321：RPN网络生成输入图像的候选框并在生成的过程中计算损失函数LRPN，然后根据梯度反向传播更新自身参数；
在所述步骤S321中，所述损失函数LRPN的计算式为：
其中，i表示候选框的索引，pi为第i个候选框预测为目标区域的概率，pi *为该候选框是否包含目标的分类真值；ti为第i个候选框的边界框回归参数，ti *为第i个候选框对应的边界框回归参数真值，Ncls为一个mini-batch中所有样本数量，Nreg为anchor位置的个数，λ为平衡系数，Ncls＝256，Nreg＝2400，λ＝10；损失Lcls描述为交叉熵损失；损失Lloc描述为smoothL1 Loss损失；
S322：采用所述RPN网络提供的候选框训练Fast RCNN网络，并根据所述候选框的边界框回归参数计算所述Fast RCNN网络的损失函数LFast-RCNN，然后根据梯度反向传播更新自身参数；在所述步骤S322中，损失函数LFast-RCNN的表达式与损失函数LRPN一致；
S323：固定特征提取网络CNN-1的参数，微调所述RPN网络和所述Fast RCNN网络中的参数；
S33：运用所述目标重建数据集对所述目标重建单元进行训练，生成ROI的重建图像；
所述步骤S33具体包括步骤：
S331：U-Net网络生成输入图像的重建图像；
S332：计算所述步骤S331的重建图像与步骤S23的ROI重建真值图之间的损失函数L，并根据梯度反向传播更新自身参数；
在所述步骤S332中，所述损失函数L的计算式为：
L＝Loss_MSE+Loss_VGG
其中，Loss_MSE代表MSE损失，Loss_VGG代表感知损失；
所述MSE损失的计算式为：
其中，W、H代表重建图像及ROI重建真值图的宽和高，i,j代表第i列第j行的像素点，D代表重建图像的像素值，Dgt代表ROI重建真值图的像素值；
所述感知损失的计算式为：
Loss_VGG＝α1*loss_vgg(1,2)+α2*loss_vgg(2,2)+α3*loss_vgg(3,3)+α4*loss_vgg(4,3)
其中，表示计算U-Net网络中VGG-16网络第i层最大池化层之前的第j层卷积层输出的特征图的损失；Wi,j和Hi,j表示VGG-16网络中第i层最大池化层之前的第j层卷积得的特征图的宽和高；Φi,j(I)x,y代表VGG-16网络中第i层最大池化层之前的第j层卷积获得的特征图，x,y代表该特征图中第x列第y行的像素点；I代表重建图，Igt代表真值图，α1＝1、α2＝10、α3＝1×106、α4＝5×109代表对应的平衡系数；
S34：运用所述源图像数据集对训练完成的所述全息图重建网络进行测试，完成全息图的重建；
S4：将测试完成的所述全息图重建网络用于其他浮游生物全息源图像的重建。
2.根据权利要求1所述的一种浮游生物全息图的低冗余快速重建方法，其特征在于，所述步骤S2具体包括步骤：
S21：通过卷积重建法对所述源图像数据集中的每幅全息源图像进行重建，得到该全息源图像的多张重建图像；
S22：对每幅全息源图像的多张重建图像进行预处理，得到浮游生物的轮廓曲线，并对轮廓曲线加矩形框得到浮游生物的位置信息，得到目标检测数据集；
S23：根据位置信息对每幅全息源图像的多张重建图像进行剪裁，运用聚焦评价函数对裁剪后的图像进行清晰度测评，选出最清晰的一张作为该全息源图像的ROI重建真值图，从而生成目标重建数据集。
3.根据权利要求2所述的一种浮游生物全息图的低冗余快速重建方法，其特征在于，所述步骤S22具体包括步骤：
S221：将获得的重建图像选用滤波窗口为3*3的中值滤波进行去噪，选用自适应阈值二值化算法对滤波后的图像进行处理，得到二值图像；
S222：将二值图像选用滤波窗口为2*2的开运算去除噪声点，用Canny算子进行边缘检测，得到边缘曲线；
S223：将边缘曲线使用2*2的结构元素进行膨胀处理，使边缘曲线完整闭合，使用findContours算子再次提取浮游生物轮廓；
S224：对提取出的浮游生物轮廓进行外加矩形的操作得到浮游生物的位置信息，从而生成目标检测数据集。
4.根据权利要求2所述的一种浮游生物全息图的低冗余快速重建方法，其特征在于，所述步骤S23具体包括步骤：
S231：按照步骤S22获得的位置信息对重建图像进行剪裁，得到ROI重建图像；
S232：使用Gamma变换对ROI重建图像进行处理；
S233：选用Brenner、Laplacian、SMD、SMD2、Variance、Energy、Vollath七种聚焦评价函数对ROI重建图像进行清晰度评测，以七种测评结果的众数作为该ROI重建图像的输出结果；
S234：将众数最大的ROI重建图像作为ROI重建真值图。
5.根据权利要求1所述的一种浮游生物全息图的低冗余快速重建方法，其特征在于：
所述目标检测单元采用Faster RCNN网络，所述Faster RCNN网络包括RPN网络和FastRCNN网络；所述RPN网络由特征提取网络CNN-1、并行的第一分类网络Softmax-1和第一边界框回归网络Regressor-1构成；所述Fast RCNN网络由所述特征提取网络CNN-1、ROIPooling层和第二边界框回归网络Regressor-2构成；所述RPN网络和所述Fast RCNN网络共享所述特征提取网络CNN-1；所述目标重建单元采用U-Net网络，所述U-Net网络包括四次下采样操作和四次上采样操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110922020.4A CN113591854B (zh) | 2021-08-12 | 2021-08-12 | 一种浮游生物全息图的低冗余快速重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110922020.4A CN113591854B (zh) | 2021-08-12 | 2021-08-12 | 一种浮游生物全息图的低冗余快速重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113591854A CN113591854A (zh) | 2021-11-02 |
| CN113591854B true CN113591854B (zh) | 2023-09-26 |
Family
ID=78257369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110922020.4A Active CN113591854B (zh) | 2021-08-12 | 2021-08-12 | 一种浮游生物全息图的低冗余快速重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591854B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529679B (zh) * | 2022-04-19 | 2022-09-16 | 清华大学 | 基于神经辐射场的计算全息场生成方法及装置 |
| CN115145138B (zh) * | 2022-06-14 | 2023-09-26 | 浙江大学 | 一种稀疏颗粒全息图快速处理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110210463A (zh) * | 2019-07-03 | 2019-09-06 | 中国人民解放军海军航空大学 | 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法 |
| KR20200129314A (ko) * | 2019-05-08 | 2020-11-18 | 전북대학교산학협력단 | 고해상도 항공 이미지내의 물체를 감지하기 위한 단일 단계 고밀도 피라미드 특징 네트워크 |
| CN112329615A (zh) * | 2020-11-04 | 2021-02-05 | 中国海洋大学 | 一种用于水下视觉目标自主抓取的环境态势评估方法 |
| CN112529791A (zh) * | 2020-11-16 | 2021-03-19 | 中国海洋大学 | 基于浮游生物数字全息图像的自适应性多焦点复原方法 |
-
2021
- 2021-08-12 CN CN202110922020.4A patent/CN113591854B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| KR20200129314A (ko) * | 2019-05-08 | 2020-11-18 | 전북대학교산학협력단 | 고해상도 항공 이미지내의 물체를 감지하기 위한 단일 단계 고밀도 피라미드 특징 네트워크 |
| CN110210463A (zh) * | 2019-07-03 | 2019-09-06 | 中国人民解放军海军航空大学 | 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法 |
| CN112329615A (zh) * | 2020-11-04 | 2021-02-05 | 中国海洋大学 | 一种用于水下视觉目标自主抓取的环境态势评估方法 |
| CN112529791A (zh) * | 2020-11-16 | 2021-03-19 | 中国海洋大学 | 基于浮游生物数字全息图像的自适应性多焦点复原方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的图像目标检测算法综述;张婷婷;章坚武;郭春生;陈华华;周迪;王延松;徐爱华;;电信科学(07);第96-110页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113591854A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111260055B (zh) | 基于三维图像识别的模型训练方法、存储介质和设备 | |
| US9799098B2 (en) | Method and apparatus for image processing | |
| CN113591854B (zh) | 一种浮游生物全息图的低冗余快速重建方法 | |
| CN112465759A (zh) | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 | |
| Dezert et al. | Edge detection in color images based on DSmT | |
| Ali et al. | Robust focus volume regularization in shape from focus | |
| CN116664605A (zh) | 基于扩散模型和多模态融合的医学图像肿瘤分割方法 | |
| CN115439408A (zh) | 一种金属表面缺陷检测方法、装置及存储介质 | |
| Lee et al. | Speckle reduction via deep content-aware image prior for precise breast tumor segmentation in an ultrasound image | |
| CN110991408B (zh) | 基于深度学习方法分割脑白质高信号的方法和装置 | |
| Pang et al. | Underwater image enhancement via variable contrast and saturation enhancement model | |
| Weligampola et al. | A retinex based gan pipeline to utilize paired and unpaired datasets for enhancing low light images | |
| Nemer et al. | Unsupervised fuzzy-wavelet framework for coastal polynya detection in synthetic aperture radar images | |
| CN115689958A (zh) | 一种基于深度学习的合成雷达图像去噪方法 | |
| CN114863223A (zh) | 结合去噪自编码器与场景增强的高光谱弱监督分类方法 | |
| Salman et al. | Image Enhancement using Convolution Neural Networks | |
| Muneera et al. | Edge Preserving Filter Selection for Noise Removal and Histogram Equalization | |
| Ferzo et al. | Image Denoising Techniques Using Unsupervised Machine Learning and Deep Learning Algorithms: A Review | |
| Saravanan et al. | A new framework to classify the cancerous and non-cancerous pap smear images using filtering techniques to improve accuracy | |
| CN110675372A (zh) | 细胞分辨水平的脑组织三维图像的脑区自动分割方法及*** | |
| Alaa et al. | A new mathematical model for contrast enhancement in digital images | |
| Tomar et al. | ENHANCING IMAGE SUPER-RESOLUTION WITH DEEP CONVOLUTIONAL NEURAL NETWORKS. | |
| Mo et al. | Contrastive adaptive frequency decomposition network guided by haze discrimination for real-world image dehazing | |
| Hu et al. | Remote Sensing Image Reconstruction Method Based on Parameter Adaptive Dual-Channel Pulse-Coupled Neural Network to Optimize Multiscale Decomposition | |
| Chen et al. | A Self-supervised SAR Image Despeckling Strategy Based on Parameter-sharing Convolutional Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |