CN112435179A - 模糊花粉颗粒图片处理方法、装置和电子设备 - Google Patents

模糊花粉颗粒图片处理方法、装置和电子设备 Download PDF

Info

Publication number
CN112435179A
CN112435179A CN202011255617.XA CN202011255617A CN112435179A CN 112435179 A CN112435179 A CN 112435179A CN 202011255617 A CN202011255617 A CN 202011255617A CN 112435179 A CN112435179 A CN 112435179A
Authority
CN
China
Prior art keywords
pollen particle
fuzzy
clear
pollen
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011255617.XA
Other languages
English (en)
Other versions
CN112435179B (zh
Inventor
李建强
杨鑫
王全增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202011255617.XA priority Critical patent/CN112435179B/zh
Publication of CN112435179A publication Critical patent/CN112435179A/zh
Application granted granted Critical
Publication of CN112435179B publication Critical patent/CN112435179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种模糊花粉颗粒图片处理方法、装置和电子设备，将待处理的模糊花粉颗粒图片输入生成对抗网络模型，输出清晰花粉颗粒图片；其中，生成对抗网络模型是以模糊花粉颗粒图片和与模糊花粉颗粒图片对应的清晰花粉颗粒图片为样本数据进行无监督训练后得到；与模糊花粉颗粒图片对应的清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片。节省了真实成对数据的构建成本，缓解了成对数据难以获取的难题，而且也有效地规避了合成数据和真实数据之间数据分布的不一致性，提高模型在真实模糊数据上的去模糊效果。

Description

模糊花粉颗粒图片处理方法、装置和电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种模糊花粉颗粒图片处理方法、装置和电子设备。
背景技术
近年来，在城市化建设过程中植物种植区域的扩展已经成为城市化建设不可缺少的一环。但是，随着植物种植区域的扩展，大量致敏植物的花粉飘散在空气中会大大提高花粉过敏患者的发病率，这会严重影响过敏患者的日常生活。然而，有效的花粉浓度预报可以大大降低过敏患者的发病率。但有效进行花粉浓度预报的重要前提是能够对花粉颗粒进行准确地识别，而清晰的花粉颗粒图片又是进行花粉颗粒识别任务的基础。因而花粉颗粒图片的去模糊任务成了重中之重。
花粉颗粒图片去模糊是属于一种图片修复，目前大部分图像去模糊算法都需要成对的数据来训练模型，但是成对数据的获取成本较高，并且在很多情况下甚至不存在这样的成对数据，所以这类算法普遍的解决措施是采用合成数据对的方法来构造用于模型训练的成对数据。
然而，采用合成数据对的去模糊算法虽然在一定程度上解决了成对数据不可用的问题，但是这类算法在真实数据上的表现并不令人满意。原因在于合成数据和真实数据之间切实存在的数据分布差异，这一差异的存在就导致模型的最终训练结果也仅仅只是较好地拟合合成数据的数据分布，却对真实数据的拟合效果不佳，导致模型在真实模糊数据上的去模糊效果较差。
发明内容
针对现有技术存在的上述技术问题，本发明提供一种模糊花粉颗粒图片处理方法、装置和电子设备。
第一方面，本发明提供一种模糊花粉颗粒图片处理方法，包括：
将待处理的模糊花粉颗粒图片输入生成对抗网络模型，输出清晰花粉颗粒图片；
其中，所述生成对抗网络模型是以模糊花粉颗粒图片和与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为样本数据进行无监督训练后得到；所述与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片。
可选地，所述与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片，包括：
将不同类别的清晰花粉颗粒图片输入编码器，输出不同类别的清晰花粉颗粒图片的特征图；
将所述模糊花粉颗粒图片输入编码器，输出模糊花粉颗粒图片的特征图；
计算所述不同类别的清晰花粉颗粒图片的特征图与所述模糊花粉颗粒图片的特征图之间的特征相似度；
确定与所述模糊花粉颗粒图片的特征图之间的特征相似度最大的清晰花粉颗粒图片的特征图对应的清晰花粉颗粒图片为与所述模糊花粉颗粒图片对应清晰花粉颗粒图片。
可选地，所述生成对抗网络模型包括生成器和判别器；
所述生成对抗网络模型是以模糊花粉颗粒图片和与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为样本数据进行无监督训练后得到，包括：
所述模糊花粉颗粒图片用于训练所述生成器，所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片用于训练所述判别器；
所述生成器基于所述模糊花粉颗粒图片生成清晰花粉颗粒图片，所述判别器基于与所述模糊花粉颗粒图片对应清晰花粉颗粒图片判别所述生成器生成的清晰花粉颗粒图片是否准确，若是，则训练结束；若否，则继续训练。
可选地，所述模糊花粉颗粒图片用于训练所述生成器，所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片用于训练所述判别器，具体为：
LD＝Es～p(s)[log D(s)]+Eb～p(b)[log(1-D(G(E(b))))]；
其中，LD表示判别器的损失函数，D表示判别器，G表示生成器，E表示编码器，s表示与模糊花粉颗粒图片特征相似度最高的清晰花粉颗粒图片，b表示模糊花粉颗粒图片，p(s)和p(b)分别代表清晰花粉颗粒图片的概率分布和模糊花粉颗粒图片的概率分布。
可选地，所述计算所述不同类别的清晰花粉颗粒图片的特征图与所述模糊花粉颗粒图片的特征图之间的特征相似度，具体为：
Figure BDA0002773017950000031
其中，Ls表示模糊花粉颗粒图片和清晰花粉颗粒图片之间的特征差异值，Φi(s)表示清晰花粉颗粒图片第i层的特征图，Φi(b)表示模糊花粉颗粒图片第i层的特征图，Mi表示第i层特征图的大小。
可选地，所述将不同类别的清晰花粉颗粒图片输入编码器之前，还包括：
对所述不同类别的清晰花粉颗粒图片进行裁剪；
对数量小于预设值的类别的清晰花粉颗粒图片进行随机水平旋转。
第二方面，本发明提供一种模糊花粉颗粒图片处理装置，包括：
输入模块，用于将待处理的模糊花粉颗粒图片输入生成对抗网络模型；
输出模块，用于输出清晰花粉颗粒图片；
其中，所述生成对抗网络模型是以模糊花粉颗粒图片和与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为样本数据进行无监督训练后得到；所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片。
可选地，所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片，包括：
将不同类别的清晰花粉颗粒图片输入编码器，输出不同类别的清晰花粉颗粒图片的特征图；
将所述模糊花粉颗粒图片输入编码器，输出模糊花粉颗粒图片的特征图；
计算所述不同类别的清晰花粉颗粒图片的特征图与所述模糊花粉颗粒图片的特征图之间的特征相似度；
确定与所述模糊花粉颗粒图片的特征图之间的特征相似度最大的清晰花粉颗粒图片的特征图对应的清晰花粉颗粒图片为与所述模糊花粉颗粒图片对应清晰花粉颗粒图片
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明提供的模糊花粉颗粒图片处理方法、装置和电子设备，该方法将模糊花粉颗粒图片和与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片构成伪数据对，用于训练生成对抗网络模型，以实现对模糊花粉颗粒图片的去模糊处理，节省了真实成对数据的构建成本，缓解了成对数据难以获取的难题，而且也有效地规避了合成数据和真实数据之间数据分布的不一致性，提高模型在真实模糊数据上的去模糊效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的模糊花粉颗粒图片处理方法的流程示意图；
图2是本发明提供的生成对抗模型的结构示意图；
图3是本发明提供的模糊花粉颗粒图片处理装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术通常采用合成数据对来训练图像去模糊模型，但由于合成数据和真实数据之间切实存在的数据分布差异，导致模型的最终训练结果对真实数据的拟合效果不佳，模型的去模糊效果较差。
对此，本发明提供了一种模糊花粉颗粒图片处理方法。图1为本发明提供的模糊花粉颗粒图片处理方法流程示意图，如图1所述，该方法包括：
S101：将待处理的模糊花粉颗粒图片输入生成对抗网络模型；
S102：输出清晰花粉颗粒图片；
其中，所述生成对抗网络模型是以模糊花粉颗粒图片和与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为样本数据进行无监督训练后得到；所述与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片。
具体地，由于模糊花粉颗粒图片的特征和已有的清晰花粉颗粒图片的特征存在一定的相似性，通过计算各个不同类别的清晰花粉颗粒图片与模糊花粉颗粒图片的特征相似度，选择所述不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片，作为与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片，构成伪数据对，以此作为样本数据对生成对抗网络模型进行无监督训练，得到训练后的去模糊效果较好的生成对抗网络模型，利用训练后的生成对抗网络模型完成模糊花粉颗粒图片的去模糊处理：将待处理的模糊花粉颗粒图片输入所述训练后的生成对抗网络模型，输出清晰花粉颗粒图片。
本发明的方法，将模糊花粉颗粒图片和与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片构成伪数据对，用于训练生成对抗网络模型，以实现对模糊花粉颗粒图片的去模糊处理，节省了真实成对数据的构建成本，缓解了成对数据难以获取的难题，而且也有效地规避了合成数据和真实数据之间数据分布的不一致性，提高模型在真实模糊数据上的去模糊效果。
基于上述实施例，所述与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片，包括：
将不同类别的清晰花粉颗粒图片输入编码器，输出不同类别的清晰花粉颗粒图片的特征图；
将所述模糊花粉颗粒图片输入编码器，输出模糊花粉颗粒图片的特征图。
具体地，将处理后的不同类别的清晰花粉颗粒图片输入到编码器中，输出不同类别的清晰花粉颗粒图片的特征图。如图2所示，编码器(Encoder)包括4个卷积块和2个最大池化层，其中每个卷积块都包含三个部分：64个3X3的卷积核、Bach Normalization(批量归一化)操作和Relu激活函数。输入编码器的不同类别的清晰花粉颗粒图片经过4个卷积块和2个最大池化层的处理，最终得到不同类别的清晰花粉颗粒图片的特征图；类似地，将所述模糊花粉颗粒图片输入编码器，输出模糊花粉颗粒图片的特征图。
计算所述不同类别的清晰花粉颗粒图片的特征图与所述模糊花粉颗粒图片的特征图之间的特征相似度；
确定与所述模糊花粉颗粒图片的特征图之间的特征相似度最大的清晰花粉颗粒图片的特征图对应的清晰花粉颗粒图片为与所述模糊花粉颗粒图片对应清晰花粉颗粒图片。
具体地，计算所述不同类别的清晰花粉颗粒图片的特征图与所述模糊花粉颗粒图片的特征图之间的特征相似度，确定与所述模糊花粉颗粒图片的特征图的特征相似度最大的清晰花粉颗粒图片的特征图对应的清晰花粉颗粒图片为与所述模糊花粉颗粒图片对应清晰花粉颗粒图片，即与所述模糊花粉颗粒图片最接近的清晰花粉颗粒图片，并将当前模糊花粉颗粒图片和所确定的清晰花粉颗粒图片组成伪数据对，用于训练生成对抗网络模型。
可选地，可以通过增加编码器网络的深度用以进一步提高模糊花粉颗粒图片的特征图的特征相似度计算结果的准确度，例如采用VGG19(Visual Geometry Group，超分辨率测试序列)网络来提取花粉颗粒图片的特征，生成花粉颗粒图片的特征图。
本发明的方法，通过编码器生成清晰花粉颗粒图片特征图和模糊花粉颗粒图片的特征图，计算清晰花粉颗粒图片特征图和模糊花粉颗粒图片的特征图之间的特征相似度，确定与模糊花粉颗粒图片对应的清晰花粉颗粒图片，将模糊花粉颗粒图片及与模糊花粉颗粒图片对应的清晰花粉颗粒图片组成伪数据对作为生成对抗网络模型的训练样本，节省了真实成对数据的构建成本，缓解了成对数据难以获取的难题，而且也有效地规避了合成数据和真实数据之间数据分布的不一致性，提高模型在真实模糊数据上的去模糊效果。
基于上述任一实施例，所述生成对抗网络模型包括生成器和判别器；
所述生成对抗网络模型是以模糊花粉颗粒图片和与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为样本数据进行无监督训练后得到，包括：
所述模糊花粉颗粒图片用于训练所述生成器，所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片用于训练所述判别器；
所述生成器基于所述模糊花粉颗粒图片生成清晰花粉颗粒图片，所述判别器基于与所述模糊花粉颗粒图片对应清晰花粉颗粒图片判别所述生成器生成的清晰花粉颗粒图片是否准确，若是，则训练结束；若否，则继续训练。
具体地，生成对抗网络(GAN，Generative Adversarial Networks)模型模块包括两个部分：生成器(Generator)和判别器(Discriminator)。如图2所示，生成器的网络结构包括Dense()，Tanh()，BN()，Conv2d()以及上采样Upsampling2D()等操作，目的是将编码器提取的模糊花粉颗粒图片的特征图作为输入，经过一系列的变换操作，重构模糊图片，最终生成一张去模糊处理后的花粉颗粒图片，即经过重构得到的清晰花粉颗粒图片；判别器的网络结构包括Conv2D()，Tanh()，最大池化MaxPooling2D()，Dense()和Sigmoid()等操作，目的是判别生成器生成的图片是否接近输入的真实的清晰花粉颗粒图片，若是，则模型训练结束；若否，则继续训练，根据生成器生成的图片与清晰花粉颗粒图片的对比结果调整生成器的参数，使生成器生成的图片更接近清晰花粉颗粒图片。
可选地，本发明采用的生成对抗网络模型为原始的生成对抗网络模型，也可以采用在合成数据对作为训练数据的基础上去模糊处理较好的算法所使用的生成对抗网络模型，从而进一步提高模型的去模糊效果。
本发明的方法，将模糊花粉颗粒图片及与模糊花粉颗粒图片对应的清晰花粉颗粒图片组成伪数据对作为生成对抗网络模型的训练样本，提高对抗网络模型的模糊图片处理效果。
基于上述任一实施例，所述模糊花粉颗粒图片用于训练所述生成器，所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片用于训练所述判别器，具体为：
LD＝Es～p(s)[logD(s)]+Eb～p(b)[log(1-D(G(E(b))))]；
其中，LD表示判别器的损失函数，D表示判别器，G表示生成器，E表示编码器，s表示与模糊花粉颗粒图片特征相似度最高的清晰花粉颗粒图片，b表示模糊花粉颗粒图片，p(s)和p(b)分别代表清晰花粉颗粒图片的概率分布和模糊花粉颗粒图片的概率分布。
具体地，在训练过程中，采用伪数据对中的清晰花粉颗粒图片来训练判别器，判别器的最终目标是判别生成器生成的图片是否接近输入的真实的清晰花粉颗粒图片；采用伪数据对中的模糊花粉颗粒图片的编码向量作为生成器的输入，并将生成的结果输入到判别器进行判别。在训练阶段，通过最大化D(G(E(b)))来优化生成器。生成的最终目标是尽可能生成接近真实的清晰花粉颗粒图片，即学习到真实清晰花粉颗粒图片的数据分布特征，从而达到模糊花粉颗粒图片去模糊的目的。
基于上述任一实施例，所述计算所述不同类别的清晰花粉颗粒图片的特征图与所述模糊花粉颗粒图片的特征图之间的特征相似度，具体为：
Figure BDA0002773017950000101
其中，Ls表示模糊花粉颗粒图片和清晰花粉颗粒图片之间的特征差异值，Φi(s)表示清晰花粉颗粒图片第i层的特征图，Φi(b)表示模糊花粉颗粒图片第i层的特征图，Mi表示第i层特征图的大小。
具体地，Ls表示模糊花粉颗粒图片和清晰花粉颗粒图片之间的特征差异值，Ls的值越小表明越相似，反之差异越大。本发明中主要选取网络最后一层的特征图进行特征相似度的计算。
基于上述任一实施例，所述将不同类别的清晰花粉颗粒图片输入编码器之前，还包括：
对所述不同类别的清晰花粉颗粒图片进行裁剪。
具体地，由于花粉颗粒体积较小且多数花粉颗粒处在整张图片的中间位置，对此，在将不同类别的清晰花粉颗粒图片输入编码器之前，对所述不同类别的清晰花粉颗粒图片进行裁剪，以提高特征提取的效率和准确度。
对数量小于预设值的类别的清晰花粉颗粒图片进行随机水平旋转。
具体地，由于不同类别的清晰花粉颗粒图片样本可能存在数量不均衡的问题，例如某几种类别的清晰花粉颗粒图片样本数量较多，另几种类别的清晰花粉颗粒图片样本数量较少，对此，在将不同类别的清晰花粉颗粒图片输入编码器之前，对数量小于预设值的类别的清晰花粉颗粒图片进行随机水平旋转，以构造更多的训练样本，防止模型过拟合。所述预设值可根据实际情况进行设置，本发明对此不作具体限定。
本发明的方法，在将不同类别的清晰花粉颗粒图片输入编码器之前，对不同类别的清晰花粉颗粒图片进行裁剪，以提高特征提取的效率和准确度；对数量小于预设值的类别的清晰花粉颗粒图片进行随机水平旋转，以构造更多的训练样本，防止模型过拟合。
下面对本发明提供的模糊花粉颗粒图片处理装置进行描述，下文描述的模糊花粉颗粒图片处理装置与上文描述的模糊花粉颗粒图片处理方法可相互对应参照。
基于上述任一实施例，图3为本发明提供的模糊花粉颗粒图片处理装置的结构示意图，如图3所示，该模糊花粉颗粒图片处理装置包括输入模块301，输出模块302。
其中，输入模块301用于将待处理的模糊花粉颗粒图片输入生成对抗网络模型；输出模块302用于输出清晰花粉颗粒图片；其中，所述生成对抗网络模型是以模糊花粉颗粒图片和与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为样本数据进行无监督训练后得到；所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片。
本发明提供的装置，将模糊花粉颗粒图片和与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片构成伪数据对，用于训练生成对抗网络模型，以实现对模糊花粉颗粒图片的去模糊处理，节省了真实成对数据的构建成本，缓解了成对数据难以获取的难题，而且也有效地规避了合成数据和真实数据之间数据分布的不一致性，提高模型在真实模糊数据上的去模糊效果。
基于上述任一实施例，所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片，包括：
将不同类别的清晰花粉颗粒图片输入编码器，输出不同类别的清晰花粉颗粒图片的特征图；
将所述模糊花粉颗粒图片输入编码器，输出模糊花粉颗粒图片的特征图；
计算所述不同类别的清晰花粉颗粒图片的特征图与所述模糊花粉颗粒图片的特征图之间的特征相似度；
确定与所述模糊花粉颗粒图片的特征图之间的特征相似度最大的清晰花粉颗粒图片的特征图对应的清晰花粉颗粒图片为与所述模糊花粉颗粒图片对应清晰花粉颗粒图片。
基于上述任一实施例，所述生成对抗网络模型包括生成器和判别器；
所述生成对抗网络模型是以模糊花粉颗粒图片和与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为样本数据进行无监督训练后得到，包括：
所述模糊花粉颗粒图片用于训练所述生成器，所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片用于训练所述判别器；
所述生成器基于所述模糊花粉颗粒图片生成清晰花粉颗粒图片，所述判别器基于与所述模糊花粉颗粒图片对应清晰花粉颗粒图片判别所述生成器生成的清晰花粉颗粒图片是否准确，若是，则训练结束；若否，则继续训练。
基于上述任一实施例，所述模糊花粉颗粒图片用于训练所述生成器，所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片用于训练所述判别器，具体为：
LD＝Es～p(s)[logD(s)]+Eb～p(b)[log(1-D(G(E(b))))]；
其中，LD表示判别器的损失函数，D表示判别器，G表示生成器，E表示编码器，s表示与模糊花粉颗粒图片特征相似度最高的清晰花粉颗粒图片，b表示模糊花粉颗粒图片，p(s)和p(b)分别代表清晰花粉颗粒图片的概率分布和模糊花粉颗粒图片的概率分布。
基于上述任一实施例，所述计算所述不同类别的清晰花粉颗粒图片的特征图与所述模糊花粉颗粒图片的特征图之间的特征相似度，具体为：
Figure BDA0002773017950000131
其中，Ls表示模糊花粉颗粒图片和清晰花粉颗粒图片之间的特征差异值，Φi(s)表示清晰花粉颗粒图片第i层的特征图，Φi(b)表示模糊花粉颗粒图片第i层的特征图，Mi表示第i层特征图的大小。
基于上述任一实施例，所述输入模块将不同类别的清晰花粉颗粒图片输入编码器之前，还包括：
对所述不同类别的清晰花粉颗粒图片进行裁剪；
对数量小于预设值的类别的清晰花粉颗粒图片进行随机水平旋转。
本发明提供的模糊花粉颗粒图片处理装置，可用于执行上述各模糊花粉颗粒图片处理方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(CommunicationsInterface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行模糊花粉颗粒图片处理方法，该方法包括：将待处理的模糊花粉颗粒图片输入生成对抗网络模型，输出清晰花粉颗粒图片；其中，所述生成对抗网络模型是以模糊花粉颗粒图片和与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为样本数据进行无监督训练后得到；所述与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的模糊花粉颗粒图片处理方法，该方法包括：将待处理的模糊花粉颗粒图片输入生成对抗网络模型，输出清晰花粉颗粒图片；其中，所述生成对抗网络模型是以模糊花粉颗粒图片和与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为样本数据进行无监督训练后得到；所述与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种模糊花粉颗粒图片处理方法，其特征在于，包括：
将待处理的模糊花粉颗粒图片输入生成对抗网络模型，输出清晰花粉颗粒图片；
其中，所述生成对抗网络模型是以模糊花粉颗粒图片和与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为样本数据进行无监督训练后得到；所述与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片。
2.根据权利要求1所述的模糊花粉颗粒图片处理方法，其特征在于，所述与所述模糊花粉颗粒图片对应的清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片，包括：
将不同类别的清晰花粉颗粒图片输入编码器，输出不同类别的清晰花粉颗粒图片的特征图；
将所述模糊花粉颗粒图片输入编码器，输出模糊花粉颗粒图片的特征图；
计算所述不同类别的清晰花粉颗粒图片的特征图与所述模糊花粉颗粒图片的特征图之间的特征相似度；
确定与所述模糊花粉颗粒图片的特征图之间的特征相似度最大的清晰花粉颗粒图片的特征图对应的清晰花粉颗粒图片为与所述模糊花粉颗粒图片对应清晰花粉颗粒图片。
3.根据权利要求2所述的模糊花粉颗粒图片处理方法，其特征在于，所述生成对抗网络模型包括生成器和判别器；
所述生成对抗网络模型是以模糊花粉颗粒图片和与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为样本数据进行无监督训练后得到，包括：
所述模糊花粉颗粒图片用于训练所述生成器，所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片用于训练所述判别器；
所述生成器基于所述模糊花粉颗粒图片生成清晰花粉颗粒图片，所述判别器基于与所述模糊花粉颗粒图片对应清晰花粉颗粒图片判别所述生成器生成的清晰花粉颗粒图片是否准确，若是，则训练结束；若否，则继续训练。
4.根据权利要求3所述的模糊花粉颗粒图片处理方法，其特征在于，所述模糊花粉颗粒图片用于训练所述生成器，所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片用于训练所述判别器，具体为：
LD＝Es～p(s)[log D(s)]+Eb～p(b)[log(1-D(G(E(b))))]；
其中，LD表示判别器的损失函数，D表示判别器，G表示生成器，E表示编码器，s表示与模糊花粉颗粒图片特征相似度最高的清晰花粉颗粒图片，b表示模糊花粉颗粒图片，p(s)和p(b)分别代表清晰花粉颗粒图片的概率分布和模糊花粉颗粒图片的概率分布。
5.根据权利要求2所述的模糊花粉颗粒图片处理方法，其特征在于，所述计算所述不同类别的清晰花粉颗粒图片的特征图与所述模糊花粉颗粒图片的特征图之间的特征相似度，具体为：
Figure FDA0002773017940000021
其中，Ls表示模糊花粉颗粒图片和清晰花粉颗粒图片之间的特征差异值，Φi(s)表示清晰花粉颗粒图片第i层的特征图，Φi(b)表示模糊花粉颗粒图片第i层的特征图，Mi表示第i层特征图的大小。
6.根据权利要求2所述的模糊花粉颗粒图片处理方法，其特征在于，所述将不同类别的清晰花粉颗粒图片输入编码器之前，还包括：
对所述不同类别的清晰花粉颗粒图片进行裁剪；
对数量小于预设值的类别的清晰花粉颗粒图片进行随机水平旋转。
7.一种模糊花粉颗粒图片处理装置，其特征在于，包括：
输入模块，用于将待处理的模糊花粉颗粒图片输入生成对抗网络模型；
输出模块，用于输出清晰花粉颗粒图片；
其中，所述生成对抗网络模型是以模糊花粉颗粒图片和与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为样本数据进行无监督训练后得到；所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片。
8.根据权利要求7所述的模糊花粉颗粒图片处理装置，其特征在于，所述与所述模糊花粉颗粒图片对应清晰花粉颗粒图片为不同类别的清晰花粉颗粒图片中，与所述模糊花粉颗粒图片的特征相似度最大的清晰花粉颗粒图片，包括：
将不同类别的清晰花粉颗粒图片输入编码器，输出不同类别的清晰花粉颗粒图片的特征图；
将所述模糊花粉颗粒图片输入编码器，输出模糊花粉颗粒图片的特征图；
计算所述不同类别的清晰花粉颗粒图片的特征图与所述模糊花粉颗粒图片的特征图之间的特征相似度；
确定与所述模糊花粉颗粒图片的特征图之间的特征相似度最大的清晰花粉颗粒图片的特征图对应的清晰花粉颗粒图片为与所述模糊花粉颗粒图片对应清晰花粉颗粒图片。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述模糊花粉颗粒图片处理方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述模糊花粉颗粒图片处理方法的步骤。
CN202011255617.XA 2020-11-11 2020-11-11 模糊花粉颗粒图片处理方法、装置和电子设备 Active CN112435179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011255617.XA CN112435179B (zh) 2020-11-11 2020-11-11 模糊花粉颗粒图片处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011255617.XA CN112435179B (zh) 2020-11-11 2020-11-11 模糊花粉颗粒图片处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112435179A true CN112435179A (zh) 2021-03-02
CN112435179B CN112435179B (zh) 2024-07-05

Family

ID=74700866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011255617.XA Active CN112435179B (zh) 2020-11-11 2020-11-11 模糊花粉颗粒图片处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112435179B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724159A (zh) * 2021-08-18 2021-11-30 北京工业大学 基于模糊等级的花粉图像去模糊方法、装置、设备及介质
CN113947575A (zh) * 2021-10-12 2022-01-18 北京工业大学 一种花粉颗粒检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019178893A1 (zh) * 2018-03-22 2019-09-26 深圳大学 运动模糊图像的模糊处理方法、装置、设备及存储介质
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN111428575A (zh) * 2020-03-02 2020-07-17 武汉大学 一种基于孪生网络的针对模糊目标的跟踪方法
CN111738230A (zh) * 2020-08-05 2020-10-02 深圳市优必选科技股份有限公司 一种人脸识别方法、人脸识别装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019178893A1 (zh) * 2018-03-22 2019-09-26 深圳大学 运动模糊图像的模糊处理方法、装置、设备及存储介质
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN111428575A (zh) * 2020-03-02 2020-07-17 武汉大学 一种基于孪生网络的针对模糊目标的跟踪方法
CN111738230A (zh) * 2020-08-05 2020-10-02 深圳市优必选科技股份有限公司 一种人脸识别方法、人脸识别装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724159A (zh) * 2021-08-18 2021-11-30 北京工业大学 基于模糊等级的花粉图像去模糊方法、装置、设备及介质
CN113947575A (zh) * 2021-10-12 2022-01-18 北京工业大学 一种花粉颗粒检测方法及装置

Also Published As

Publication number Publication date
CN112435179B (zh) 2024-07-05

Similar Documents

Publication Publication Date Title
CN110378844B (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及***
CN111241958B (zh) 一种基于残差-胶囊网络的视频图像鉴别方法
CN109003240B (zh) 一种基于多尺度并行cnn的图像去噪方法
CN111553406B (zh) 基于改进yolo-v3的目标检测***、方法及终端
CN111882643A (zh) 三维人脸构建方法、装置和电子设备
CN111696196B (zh) 一种三维人脸模型重建方法及装置
CN111369623B (zh) 一种基于深度学习3d目标检测的肺部ct图像识别方法
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN111861894A (zh) 基于生成式对抗网络的图像去运动模糊方法
CN110102051B (zh) 游戏外挂的检测方法及装置
CN112435179A (zh) 模糊花粉颗粒图片处理方法、装置和电子设备
CN116051408B (zh) 一种基于残差自编码的图像深度去噪方法
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN108305268A (zh) 一种图像分割方法及装置
CN115601574A (zh) 一种改进akaze特征的无人机影像匹配方法
CN109948575A (zh) 超声图像中眼球区域分割方法
Jin et al. Defect identification of adhesive structure based on DCGAN and YOLOv5
CN109829857B (zh) 一种基于生成对抗网络的倾斜图像的矫正方法及装置
CN114283058A (zh) 基于对抗网络和最大互信息优化的图像超分辨率重建方法
CN116188917B (zh) 缺陷数据生成模型训练方法、缺陷数据生成方法及装置
JP2021170284A (ja) 情報処理装置及びプログラム
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN114820755B (zh) 一种深度图估计方法及***
CN114565772B (zh) 集合特征提取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant