CN117315336A - 花粉颗粒识别方法、装置、电子设备及存储介质 - Google Patents

花粉颗粒识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117315336A
CN117315336A CN202311186350.7A CN202311186350A CN117315336A CN 117315336 A CN117315336 A CN 117315336A CN 202311186350 A CN202311186350 A CN 202311186350A CN 117315336 A CN117315336 A CN 117315336A
Authority
CN
China
Prior art keywords
pollen
image
model
identified
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311186350.7A
Other languages
English (en)
Inventor
祖宝开
曹通
句福娇
李亚芳
王宏远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202311186350.7A priority Critical patent/CN117315336A/zh
Publication of CN117315336A publication Critical patent/CN117315336A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种花粉颗粒识别方法、装置、电子设备及存储介质，属于机器视觉技术领域，所述方法包括：获取待识别花粉颗粒图像；将所述待识别花粉颗粒图像输入至花粉类型识别联合模型，得到所述花粉类型识别联合模型输出的所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型用于对所述待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的图像进行识别，确定所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型是基于花粉颗粒图像样本及对应的花粉类型标签训练得到的。本发明可以有效识别出待识别花粉颗粒图像对应的花粉类型，无需人工介入，提升花粉颗粒识别效率的同时，也大幅提升了花粉类型的识别精度。

Description

花粉颗粒识别方法、装置、电子设备及存储介质
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种花粉颗粒识别方法、装置、电子设备及存储介质。
背景技术
针对严重影响居民健康生活的花粉过敏问题，研究如何准确分类和识别空气中含有的主要致敏花粉，并进行有效的花粉监测和预报，促使花粉症患者采取积极的应对措施，对提高城市宜居性和市民生活质量具有重要的现实意义。
针对花粉识别，传统的人工分类识别方法不仅需要具备相应专业知识的人员，而且处理过程费时费力，效率低下，准确性也很难保证。
发明内容
本发明提供一种花粉颗粒识别方法、装置、电子设备及存储介质，用以解决现有技术中传统的人工分类方法不仅需要具备相应专业知识的人员，而且处理过程费时费力，效率低下，准确性也很难保证的缺陷。
本发明提供一种花粉颗粒识别方法，包括：
获取待识别花粉颗粒图像；
将所述待识别花粉颗粒图像输入至花粉类型识别联合模型，得到所述花粉类型识别联合模型输出的所述待识别花粉颗粒图像对应的花粉类型；
所述花粉类型识别联合模型用于对所述待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的图像进行识别，确定所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型是基于花粉颗粒图像样本及对应的花粉类型标签训练得到的。
根据本发明提供的一种花粉颗粒识别方法，所述花粉类型识别联合模型包括基于Transformer的超分辨率模型和Swin Transformer模型；所述将所述待识别花粉颗粒图像输入至花粉类型识别联合模型，得到所述花粉类型识别联合模型输出的所述待识别花粉颗粒图像对应的花粉类型，包括：
将所述待识别花粉颗粒图像输入至所述基于Transformer的超分辨率模型，得到所述基于Transformer的超分辨率模型输出的所述待识别花粉颗粒图像对应的超分辨率图像；
将所述超分辨率图像输入至所述Swin Transformer模型，得到所述SwinTransformer模型输出的所述待识别花粉颗粒图像对应的花粉类型。
根据本发明提供的一种花粉颗粒识别方法，所述花粉类型识别联合模型还包括高频信息提取模块；在所述将所述待识别花粉颗粒图像输入至所述基于Transformer的超分辨率模型，得到所述基于Transformer的超分辨率模型输出的所述待识别花粉颗粒图像对应的超分辨率图像之后，所述方法还包括：
将所述超分辨率图像输入至所述高频信息提取模块进行图像高频信息提取，得到所述高频信息提取模块输出的所述超分辨率图像对应的高频特征图像；
将所述超分辨率图像对应的高频特征图像输入至所述Swin Transformer模型，得到所述Swin Transformer模型输出的所述待识别花粉颗粒图像对应的花粉类型。
根据本发明提供的一种花粉颗粒识别方法，所述高频信息提取模块包括依次连接的平均池化层、上采样层、第一叠加层、卷积层和第二叠加层；所述将所述超分辨率图像输入至所述高频信息提取模块进行图像高频信息提取，得到所述高频信息提取模块输出的所述超分辨率图像对应的高频特征图像，包括：
将所述超分辨率图像输入至所述平均池化层，得到所述平均池化层输出的第一特征图像；
将所述第一特征图输入至所述上采样层，得到所述上采样层输出的第二特征图像；
将所述超分辨率图像和所述第二特征图像输入至所述第一叠加层进行像素作差，得到所述第一叠加层输出的第三特征图像；
将所述第三特征图像输入至所述卷积层，得到所述卷积层输出的第四特征图像；
将所述第四特征图像和所述超分辨率图像输入至所述第二叠加层进行像素求和，得到所述第二叠加层输出的所述超分辨率图像对应的高频特征图像。
根据本发明提供的一种花粉颗粒识别方法，在所述将所述待识别花粉颗粒图像输入至花粉类型识别联合模型之前，所述方法还包括：
将所述花粉颗粒图像样本及其对应的花粉类型标签作为一组训练样本，获取多组训练样本；
利用所述多组训练样本，对花粉类型识别联合模型进行训练。
根据本发明提供的一种花粉颗粒识别方法，所述利用所述多组训练样本，对花粉类型识别联合模型进行训练，包括：
对于任意一组训练样本，将所述训练样本输入至花粉类型识别联合模型，输出所述训练样本对应的预测概率；
利用预设损失函数，根据所述训练样本对应的预测概率和所述训练样本中的花粉类型标签计算损失值；
基于所述损失值，对所述花粉类型识别联合模型的模型参数进行调整，直至模型训练次数达到预设次数；
将模型训练次数达到所述预设次数时所得到的模型参数作为训练好的花粉类型识别联合模型的模型参数。
本发明还提供一种花粉颗粒识别装置，包括：
获取模块，用于获取待识别花粉颗粒图像；
识别模块，用于将所述待识别花粉颗粒图像输入至花粉类型识别联合模型，得到所述花粉类型识别联合模型输出的所述待识别花粉颗粒图像对应的花粉类型；
所述花粉类型识别联合模型用于对所述待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的图像进行识别，确定所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型是基于花粉颗粒图像样本及对应的花粉类型标签训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述花粉颗粒识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述花粉颗粒识别方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述花粉颗粒识别方法。
本发明提供的花粉颗粒识别方法、装置、电子设备及存储介质，通过考虑挖掘花粉颗粒图像更深层次的特征信息来提升识别精度，利用花粉颗粒图像样本数据及对应的花粉类型标签训练得到花粉类型识别联合模型，通过花粉类型识别联合模型对获取的待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的高分辨率图像进行特征提取和分类识别，可以有效识别出待识别花粉颗粒图像对应的花粉类型，无需人工介入，提升花粉颗粒识别效率的同时，也大幅提升了花粉类型的识别精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是是本发明提供的花粉颗粒识别方法的流程示意图；
图2是本发明提供的花粉颗粒识别方法中ESRT模型的结构示意图；
图3是本发明提供的花粉颗粒识别方法中HPB模块的结构示意图；
图4是本发明提供的花粉颗粒识别方法中ET模块的结构示意图；
图5是本发明提供的花粉颗粒识别方法中EMHA模块的结构示意图；
图6是本发明提供的花粉颗粒识别方法中Swin Transformer模型的结构示意图；
图7是本发明提供的花粉颗粒识别方法中Swin Transformer块的结构示意图；
图8是本发明提供的花粉颗粒识别方法中花粉类型识别联合模型的结构示意图；
图9是本发明提供的花粉颗粒识别方法中HF提取模块的结构示意图；
图10是本发明提供的花粉颗粒识别装置的结构示意图；
图11是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合图1-图11描述本发明的花粉颗粒识别方法、装置、电子设备及存储介质。
图1是本发明提供的花粉颗粒识别方法的流程示意图，如图1所示，包括：步骤110和步骤120。
步骤110，获取待识别花粉颗粒图像；
步骤120，将待识别花粉颗粒图像输入至花粉类型识别联合模型，得到花粉类型识别联合模型输出的待识别花粉颗粒图像对应的花粉类型；
花粉类型识别联合模型用于对待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的图像进行识别，确定待识别花粉颗粒图像对应的花粉类型；该花粉类型识别联合模型是基于花粉颗粒图像样本及对应的花粉类型标签训练得到的。
具体地，本发明实施例所描述的待识别花粉颗粒图像指的是通过图像采集设备拍摄待识别的花粉颗粒所得到的图像。
本发明实施例所描述的花粉类型指的是通过识别待识别花粉颗粒图像所确定的图像中的花粉颗粒所属的类型，其可以包括它包括青蒿类、黎科类、柏科类、禾本科类、桑科类、松科类、杨树类和沙柳类等。
本发明实施例所描述的花粉类型识别联合模型是通过利用花粉颗粒图像样本及对应的花粉类型标签进行模型训练得到的，用于通过对待识别花粉颗粒图像进行图像超分辨率重建，提取更深层次的图像特征，提升捕捉图像全局信息的能力，对重建得到的图像进行识别和分类操作，从而输出精度更高的识别结果，得到待识别花粉颗粒图像对应的花粉类型。
其中，训练样本是由多组携带有真实花粉类型标签的花粉颗粒图像数据样本所组成的。
其中，本发明所描述的花粉类型标签是根据花粉颗粒图像样本预先确定的，并与花粉颗粒图像样本是一一对应的。也就是说，训练样本中的每一个花粉颗粒图像样本，都预先设定好携带一个与之对应的花粉类型作为真实标签。
对于每一花粉颗粒图像样本，可以采用人工标注的方式，人工识别花粉颗粒图像样本中花粉所属的类型并进行标注，将人工标注的结果作为该花粉颗粒图像样本对应的标签。
需要说明的是，通过显微镜等设备扫描得到的花粉图像尺寸都较小，在加载数据时通常需要调整到适合网络训练的相应尺寸。然而，常规使用的resize()操作所得到的图像往往是模糊的、失真的。基于深度学习的图像超分辨率复原方法能够较好地解决这个问题。通过图像超分辨率复原算法能够对图像进行更深层次的特征提取和重建，从而获得更高质量的超分辨率结果。
为此，本发明实施例中的花粉类型识别联合模型可以选择采用多个深度神经网络进行构建，其用于对花粉类型与花粉颗粒图像信息之间进行深度估计，确定每个待识别花粉颗粒图像的花粉类型。
在本实施例中，多个深度神经网络可以包括第一深度神经网络和第二深度神经网络。其中，第一深度神经网络可以采用基于卷积神经网络的超分(Super-Resolution，SR)算法模型，也可以Transformer类神经网络，如采用基于Transformer的超分辨率模型(Effificient Super-Resolution Transformer，ESRT)作为超分辨率图像重建网络；第二深度神经网络可以采用Swin Transformer模型，以对重建图像进行识别与分类。当然，还可以为其他用于超分辨率图像重建及分类的神经网络，在本发明中对此不做具体限定。
在本发明的实施例中，步骤110中，可以通过光学显微镜、电子显微镜、相机等图像采集设备获取待识别花粉颗粒图像，本实施例对花粉颗粒图像的获取方式不作具体限定。
进一步，在本发明的实施例中，步骤120中，将获取到的待识别花粉颗粒图像输入至预先训练好的花粉类型识别联合模型，通过花粉类型识别联合模型对待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的特征图像进行识别，输出待识别花粉颗粒图像对应的花粉类型。
本发明实施例的花粉颗粒识别方法，通过考虑挖掘花粉颗粒图像更深层次的特征信息来提升识别精度，利用花粉颗粒图像样本数据及对应的花粉类型标签训练得到花粉类型识别联合模型，通过花粉类型识别联合模型对获取的待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的高分辨率图像进行特征提取和分类识别，可以有效识别出待识别花粉颗粒图像对应的花粉类型，无需人工介入，提升花粉颗粒识别效率的同时，也大幅提升了花粉类型的识别精度。
基于上述实施例的内容，作为一种可选的实施例，花粉类型识别联合模型包括基于Transformer的超分辨率模型和Swin Transformer模型；将待识别花粉颗粒图像输入至花粉类型识别联合模型，得到花粉类型识别联合模型输出的待识别花粉颗粒图像对应的花粉类型，包括：
将待识别花粉颗粒图像输入至基于Transformer的超分辨率模型，得到基于Transformer的超分辨率模型输出的待识别花粉颗粒图像对应的超分辨率图像；
将超分辨率图像输入至Swin Transformer模型，得到Swin Transformer模型输出的待识别花粉颗粒图像对应的花粉类型。
具体地，在本发明的实施例中，花粉类型识别联合模型可以是由ESRT模型和SwinTransformer模型构成的。
其中，ESRT模型是一个融合卷积神经网络(Convolutional Neural Networks，CNN)与Transformer结构的混合模型，该模型在执行效率以及超分辨率重建效果方面取得了很好的平衡，可以对分辨率小的花粉图像进行更深层次的特征提取和重建，取得比传统超分辨率算法更好的效果。
Swin Transformer模型不仅保留了Transformer捕捉图像全局信息的能力，而且通过分层结构和滑动窗口的设计，可以将注意力机制的计算复杂度从O(n2*d)降低至O(logn*d)，从而使花粉类型识别联合模型的计算效率更高。
在本发明的实施例中，首先将待识别花粉颗粒图像输入至ESRT模型进行超分辨率重构，得到ESRT模型输出的待识别花粉颗粒图像对应的超分辨率图像。
图2是本发明提供的花粉颗粒识别方法中ESRT模型的结构示意图，如图2所示，ESRT模型包括浅层特征提取层、轻量级CNN骨干网络(Lightweight CNN Backbone，LCB)、轻量级Transformer骨干网络(Lightweight Transformer Backbone，LTB)和图像重建层。
其中，浅层特征提取层可以采用一个3×3的卷积层，用于提取输入的待识别花粉颗粒图像的浅层特征，可以表示如下：
F0＝fs(ILR)；
其中，ILR代表低分辨率的花粉图像，即待识别花粉颗粒图像；fs代表卷积操作；F0是浅层特征提取层的输出。
LCB网络的作用是提取潜在的超分辨特征，使模型具有初步的超分辨率能力。参照图2，LCB可以由n个高保存块(High Preserving Block，HPB)组成。输入的数据F0经过n个HPB结构处理后就得到Fn，此时模型就具有了初始的超分辨率能力。该过程可以表示如下：
Fn＝ζn(ζn-1(…(ζ1(F0))))；
其中，Fn代表第n个HPB模块的输出，ζn代表第n个HPB处理。
图3是本发明提供的花粉颗粒识别方法中HPB模块的结构示意图，如图3所示，首先使用自适应残差特征块(Adaptive Residual Feature Block，ARFB)提取Fn-1作为保留高频滤波模块(High-frequency Filtering Module，HFM)模块的输入特征。然后用HFM来计算特征的高频信息(标记为Phigh)。在获得Phigh之后，缩小特征图的大小，以减少计算成本和特征冗余。下采样的特征图被表示为Fn′-1。对于Fn′-1，这里利用5个ARFB来提取SR图像的潜在信息，其中这5个ARFB共享权重以减少参数。在特征提取之后，通过双线性插值将Fn′-1上采样到原始尺寸。同时利用ARFB处理Phigh，得到Ph′igh，使特征空间与Fn′-1对齐。之后，将Fn′-1与Ph′igh融合，以保留初始细节，得到特征Fn′′-1。该操作可表示为：
其中，↑和↓分别表示上采样和下采样操作；fa表示ARFB操作。
进一步地，经过LCB骨干网络提取特征后，可以得到n个输出F1,F2,…Fn。这些输出作为LTB骨干网络的输入，这里LTB由n个高效Transformer(Efficient Transformer，ET)模块构成。具体操作如下所示：
Fd＝φn(φn-1(…(φ1([F1,F2,…,Fn]))))；
其中，Fd表示LTB的输出，φ表示ET模块的操作。
图4是本发明提供的花粉颗粒识别方法中ET模块的结构示意图，如图4所示，ET模块与ViT一样，只使用Transformer编码器结构。不同的是，ET中的多头自注意力机制(MHA)被改进的高效多头注意力机制(EMHA)取代。具体操作可以表示如下：
Em1＝EMHA(Norm(Ei))+Ei；
E0＝MLP(Norm(Em1))+Em1；
其中，E0是ET模块的输出，EMHA表示改进的高效多头注意力机制操作，Ei是嵌入的输入。
图5是本发明提供的花粉颗粒识别方法中EMHA模块的结构示意图，如图5所示，假设输入的嵌入Ei的维度为B×C×N。首先，通过Reduction层把输入数据的通道数减少至原来的一半(即B×C1×N，C1＝C/2)。然后，采用线性层(Linear)将特征图投射到三个元素：Q、K和V。正如Transformer中所使用的一样，这里使用线性投影Q、K、V和m次来执行多头注意力，其中m是头的数量。接下来，三个元素的形状被重塑并排列为B×m×N×C1/m。与原始的MHA不同的是，这里使用特征分割(Feature Split)模块，用s作为分割因子，将Q、K、V分割成s份，分割后的数据可以表示为：Q1,...,QS,K1,...KS,V1,...VS。随后，对这些片段的每个三元组分别进行缩放点积注意力(Scaled Dot-Product Attention，SDPA)操作。然后将SDPA的所有输出(CQ1,Q2...,QS)连接起来，生成整个输出特征O。最后，利用扩张层Expansion层来恢复通道的数量。
进一步地，继续参照图2，在本发明的实施例中，最后通过图像重建层进行超分辨率重构，该部分可以由3×3的卷积层和像素重组(Pixel Shuffle)层组成，该部分的操作可以表示如下：
ISR＝f(fp(f(Fd)))+f(fp(F0))；
其中，ISR表示超分辨率重建之后的RGB图像，即待识别花粉颗粒图像对应的超分辨率图像；f表示卷积操作；fp表示的是Pixel Shuffle层操作。
进一步地，将上述得到的超分辨率图像输入至Swin Transformer模型进行分类识别，可以输出待识别花粉颗粒图像对应的花粉类型。
图6是本发明提供的花粉颗粒识别方法中Swin Transformer模型的结构示意图，如图6所示，在本发明的实施例中，Swin Transformer模型通过使用类似ViT的图像块分割(Patch Partition)层将输入的上述超分辨率图像分割成不重叠的图像块。每个图像块都被视为一个Token，其特征被设定为原始像素RGB值的串联。在本实施例中，可以使用4×4的图像块大小，因此每个图像块的特征维度为4×4×3＝48。并把线性嵌入层应用于该原始值特征，将其投射到任意维度(表示为C)。
在这些Token上应用两个Swin Transformer Block(块)。这些Swin Transformer块的Token的数量为并与线性嵌入层(Linear Embedding)相结合，形成“阶段1”(Stage 1)。
随着网络的深入，这里通过图像块合并(Patch Merging)层来减少Token的数量。第一个图像块合并层将每组2×2个相邻图像块的特征连接起来，并在4C维连接的特征上应用线性层。这将Token的数量减少了2×2＝4的倍数(2×下采样的倍数)，并将输出维度设置为2C。然后应用Swin Transformer块进行特征变换，分辨率保持在图像块合并层和特征转换层组合的第一块被表示为“阶段2”(Stage 2)，该过程重复两次，分别表示为“阶段3”(Stage 3)和“阶段4”(Stage4)，输出图像分辨率分别为/>和/>其中，各个阶段的Swin Transformer块层数分别为2、2、6和2。
图7是本发明提供的花粉颗粒识别方法中Swin Transformer块的结构示意图，如图7所示，在本发明的实施例中，Swin-Transformer块结构是由图中所示的连续的Swin-Transformer块计算得出的，具体如下：
其中，zl-1、zl分别是第l层W_MSA的输入和输出，LN表示线性归一化层，MLP表示多层感知机层，W_MSA和SW_MSA分别表示窗口多头注意力机制和移动窗口多头注意力机制。
需要说明的是，在本发明的实施例中，Swin Transformer模型的结构中还包括用于识别结果输出的输出层，其中，输出层可以包括依次连接的归一化层Layer Norm层、全局池化层和全连接层，通过输出层可以输出最终的识别结果，获得待识别花粉颗粒图像对应的花粉类型。
本发明实施例的方法，通过利用ESRT模型在执行效率以及超分辨率重建效果方面的巨大优势，对分辨率小的花粉图像进行更深层次的特征提取和重建，同时利用SwinTransformer模型捕捉图像全局信息的能力，以及其分层结构和滑动窗口的设计，不仅大幅提升花粉类型识别联合模型的计算效率，还可以实现高精度的花粉类型识别。
基于上述实施例的内容，作为一种可选的实施例，花粉类型识别联合模型还包括高频信息提取模块；在将待识别花粉颗粒图像输入至基于Transformer的超分辨率模型，得到基于Transformer的超分辨率模型输出的待识别花粉颗粒图像对应的超分辨率图像之后，该方法还包括：
将超分辨率图像输入至高频信息提取模块进行图像高频信息提取，得到高频信息提取模块输出的超分辨率图像对应的高频特征图像；
将超分辨率图像对应的高频特征图像输入至Swin Transformer模型，得到SwinTransformer模型输出的待识别花粉颗粒图像对应的花粉类型。
具体地，本发明实施例所描述的高频特征图像指的是通过高频信息(High-Frequency information，HF)提取模块从超分辨率图像中捕获图像的纹理信息和高频细节所得到的图像。
在本发明的实施例中，通过预置的HF提取模块来捕获图像的纹理信息和高频细节，从而为Swin Transformer提供更丰富的特征信息。
在本发明的实施例中，在将待识别花粉颗粒图像输入至ESRT模型，得到待识别花粉颗粒图像对应的超分辨率图像之后，进一步将超分辨率图像输入至HF提取模块进行图像高频信息提取，可以得到高频信息提取模块输出的该超分辨率图像对应的高频特征图像。
进一步地，在本发明的实施例中，将超分辨率图像对应的高频特征图像输入至Swin Transformer模型，通过Swin Transformer模型对该特征信息更为丰富的高频特征图像进行分类识别，输出高精度的识别结果，得到待识别花粉颗粒图像对应的花粉类型。
图8是本发明提供的花粉颗粒识别方法中花粉类型识别联合模型的结构示意图，如图8所示，在本发明的实施例中，花粉类型识别联合模型还可以包括ESRT模型、HF提取模块和Swin Transformer模型，利用ESRT模型对待识别花粉颗粒图像进行超分辨率重建，使其达到适合Swin Transformer处理的大小，之间，通过HF提取模块从重建的高分辨率图像中提取图像的高频信息，从而为后续Swin Transformer模型提供更为丰富的特征信息，最后，利用Swin Transformer模型进一步提取HF提取模块输出的特征图像的特征信息并进行分类操作，输出待识别花粉颗粒图像对应的花粉类型。
本发明实施例的方法，通过引入HF提取模块，可以从重建的华粉超分辨图像中提取图像的纹理信息和高频细节，从而为Swin Transformer模型进行分类识别时提供更丰富的特征信息，可以大幅提升花粉分类识别结果的准确性，提高识别精度。
基于上述实施例的内容，作为一种可选的实施例，高频信息提取模块包括依次连接的平均池化层、上采样层、第一叠加层、卷积层和第二叠加层；将超分辨率图像输入至高频信息提取模块进行图像高频信息提取，得到高频信息提取模块输出的超分辨率图像对应的高频特征图像，包括：
将超分辨率图像输入至平均池化层，得到平均池化层输出的第一特征图像；
将第一特征图输入至上采样层，得到上采样层输出的第二特征图像；
将超分辨率图像和第二特征图像输入至第一叠加层进行像素作差，得到第一叠加层输出的第三特征图像；
将第三特征图像输入至卷积层，得到卷积层输出的第四特征图像；
将第四特征图像和超分辨率图像输入至第二叠加层进行像素求和，得到第二叠加层输出的超分辨率图像对应的高频特征图像。
具体地，本发明实施例所描述的第一特征图像指的是将超分辨率图像输入至HF提取模块中的平均池化层所得到的图像。
本发明实施例所描述的第二特征图像指的是将第一特征图像进一步输入至HF提取模块中的上采样层进行上采样操作所得到的图像。
本发明实施例所描述的第三特征图像指的是将超分辨率图像和第二特征图像输入至HF提取模块中的第一叠加层进行像素作差所得到的图像。
本发明实施例所描述的第四特征图像指的是将第三特征图像输入至HF提取模块中的卷积层进行卷积运算所得到的图像。
在本发明的实施例中，为了更好地提取图像的纹理细节，还设计了一个基于高通滤波器的高频信息提取模型，即HF提取模块。
在本发明的实施例中，在得到待识别花粉颗粒图像对应的超分辨率图像后，将该图像输入HF提取模块中，从该超分辨率图像中提取高频信息。这一过程可使模型捕捉到图像的纹理细节信息，从而提高后续Swin Transformer模型分类的准确性。为了进一步增强图像中的局部特征，可以采用双层卷积方法，由此，HF提取模块中的卷积层可以包括依次连接的1×1的卷积层Conv-1和3×3的卷积层Conv-3。
图9是本发明提供的花粉颗粒识别方法中HF提取模块的结构示意图，如图9所示，在本发明的实施例中，首先，假设TL代表模型的输入数据，即待识别花粉颗粒图像对应的超分辨率图像，可以通过采用核大小为7的平均池化层(Avg Pool)获得第一特征图像TA。然后，将第一特征图像TA上采样(Upsampling)到原始图像TL的大小得到第二特征图像TU，然后通过第一叠加层进行逐元素相减(Element-wise Subtraction)，将原始图像TL减去第二特征图像ＴU得到第三特征图像ＴHF，该步骤的目的是捕捉图像中的细微变化和高频信息。随后，将第三特征图像THF输入至卷积层，包括依次连接的1×1的卷积层Conv-1和3×3的卷积层Conv-3，对第三特征图像THF进行两层卷积处理，提取出多种层次特征，包括边缘、纹理等属性，得到经过卷积运算后的THF，即第四特征图像。最后，通过引入跳跃连接，将原始图像TL添加到卷积输出中，通过第二叠加层进行逐元素求和(Element-wise Sum)，将原始图像TL加上经过卷积处理后的THF，得到超分辨率图像对应的高频特征图像。
本发明实施例的方法，通过基于高频滤波的HF提取模块，能够有效地获取图像的纹理细节和捕获图像中的高频信息，同时通过跳跃连接的集成进一步增强了梯度传播，从而提高了模型的学习性能，有利于进一步提升Swin Transformer模型分类识别结果的准确性。
基于上述实施例的内容，作为一种可选的实施例，在将待识别花粉颗粒图像输入至花粉类型识别联合模型之前，该方法还包括：
将花粉颗粒图像样本及其对应的花粉类型标签作为一组训练样本，获取多组训练样本；
利用多组训练样本，对花粉类型识别联合模型进行训练。
具体地，在将待识别花粉颗粒图像输入至花粉类型识别联合模型之前，还需对花粉类型识别联合模型进行训练，具体训练过程如下：
将标识有花粉类型标签的花粉颗粒图像样本与该花粉类型标签作为一组训练样本。利用多个携带有不同花粉类型标签的花粉颗粒图像样本对花粉类型识别联合模型进行训练，由此获得多组训练样本。
在本发明的实施例中，每个花粉颗粒图像样本及其对应的花粉类型标签均是一一对应的。
然后，在获得多组训练样本之后，再将多组训练样本依次输入至花粉类型识别联合模型，即将每组训练样本中的花粉颗粒图像样本及其对应的花粉类型标签同时输入至花粉类型识别联合模型中，根据花粉类型识别联合模型的每一次输出结果，通过预设损失函数计算损失值，来对花粉类型识别联合模型的模型参数进行调整，最终完成花粉类型识别联合模型的训练过程。
本发明实施例的方法，通过将标识有花粉类型标签的花粉颗粒图像样本与该花粉类型标签作为一组训练样本，利用多组训练样本对花粉类型识别联合模型进行模型训练，确保花粉类型识别联合模型的识别精度。
基于上述实施例的内容，作为一种可选的实施例，利用多组训练样本，对花粉类型识别联合模型进行训练，包括：
对于任意一组训练样本，将训练样本输入至花粉类型识别联合模型，输出训练样本对应的预测概率；
利用预设损失函数，根据训练样本对应的预测概率和训练样本中的花粉类型标签计算损失值；
基于损失值，对花粉类型识别联合模型的模型参数进行调整，直至模型训练次数达到预设次数；
将模型训练次数达到预设次数时所得到的模型参数作为训练好的花粉类型识别联合模型的模型参数。
具体地，本发明实施例所描述的预设损失函数指的是预先设置在花粉类型识别联合模型里的损失函数，用于模型评估。
在获得多组训练样本之后，对于任意一组训练样本，将该训练样本中的花粉颗粒图像样本及对应的花粉类型标签同时输入至花粉类型识别联合模型，输出该训练样本识别结果对应的预测概率值。
在此基础上，利用预设损失函数根据该训练样本识别结果对应的预测概率值和训练样本中携带的花粉类型标签计算损失值。
在本发明的实施例中，预设的花粉类型标签的表示方式可以根据实际需求进行设置，此处不做具体限定。
在计算获得损失值之后，本次训练过程结束，更新花粉类型识别联合模型中的模型参数之后，再进行下一次训练。在训练的过程中，在训练次数达到预先设置的最大训练次数或损失值小于预先设置的阈值时，将此时得到的模型参数作为训练好的花粉类型识别联合模型的模型参数，至此，花粉类型识别联合模型训练完成。
本发明实施例的方法，通过对花粉类型识别联合模型进行迭代训练，将花粉类型识别联合模型的损失值控制在预设范围内，从而有利于提高花粉类型识别联合模型对花粉类型识别的识别精度。
下面对本发明提供的花粉颗粒识别装置进行描述，下文描述的花粉颗粒识别装置与上文描述的花粉颗粒识别方法可相互对应参照。
图10是本发明提供的花粉颗粒识别装置的结构示意图，如图10所示，包括：
获取模块1010，用于获取待识别花粉颗粒图像；
识别模块1020，用于将所述待识别花粉颗粒图像输入至花粉类型识别联合模型，得到所述花粉类型识别联合模型输出的所述待识别花粉颗粒图像对应的花粉类型；
所述花粉类型识别联合模型用于对所述待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的图像进行识别，确定所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型是基于花粉颗粒图像样本及对应的花粉类型标签训练得到的。
本实施例所述的花粉颗粒识别装置可以用于执行上述花粉颗粒识别方法实施例，其原理和技术效果类似，此处不再赘述。
本发明实施例的花粉颗粒识别装置，通过考虑挖掘花粉颗粒图像更深层次的特征信息来提升识别精度，利用花粉颗粒图像样本数据及对应的花粉类型标签训练得到花粉类型识别联合模型，通过花粉类型识别联合模型对获取的待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的高分辨率图像进行特征提取和分类识别，可以有效识别出待识别花粉颗粒图像对应的花粉类型，无需人工介入，提升花粉颗粒识别效率的同时，也大幅提升了花粉类型的识别精度。
图11是本发明提供的电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行上述各方法所提供的花粉颗粒识别方法，该方法包括：获取待识别花粉颗粒图像；将所述待识别花粉颗粒图像输入至花粉类型识别联合模型，得到所述花粉类型识别联合模型输出的所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型用于对所述待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的图像进行识别，确定所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型是基于花粉颗粒图像样本及对应的花粉类型标签训练得到的。
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的花粉颗粒识别方法，该方法包括：获取待识别花粉颗粒图像；将所述待识别花粉颗粒图像输入至花粉类型识别联合模型，得到所述花粉类型识别联合模型输出的所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型用于对所述待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的图像进行识别，确定所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型是基于花粉颗粒图像样本及对应的花粉类型标签训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的花粉颗粒识别方法，该方法包括：获取待识别花粉颗粒图像；将所述待识别花粉颗粒图像输入至花粉类型识别联合模型，得到所述花粉类型识别联合模型输出的所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型用于对所述待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的图像进行识别，确定所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型是基于花粉颗粒图像样本及对应的花粉类型标签训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种花粉颗粒识别方法，其特征在于，包括：
获取待识别花粉颗粒图像；
将所述待识别花粉颗粒图像输入至花粉类型识别联合模型，得到所述花粉类型识别联合模型输出的所述待识别花粉颗粒图像对应的花粉类型；
所述花粉类型识别联合模型用于对所述待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的图像进行识别，确定所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型是基于花粉颗粒图像样本及对应的花粉类型标签训练得到的。
2.根据权利要求1所述的花粉颗粒识别方法，其特征在于，所述花粉类型识别联合模型包括基于Transformer的超分辨率模型和Swin Transformer模型；所述将所述待识别花粉颗粒图像输入至花粉类型识别联合模型，得到所述花粉类型识别联合模型输出的所述待识别花粉颗粒图像对应的花粉类型，包括：
将所述待识别花粉颗粒图像输入至所述基于Transformer的超分辨率模型，得到所述基于Transformer的超分辨率模型输出的所述待识别花粉颗粒图像对应的超分辨率图像；
将所述超分辨率图像输入至所述Swin Transformer模型，得到所述Swin Transformer模型输出的所述待识别花粉颗粒图像对应的花粉类型。
3.根据权利要求2所述的花粉颗粒识别方法，其特征在于，所述花粉类型识别联合模型还包括高频信息提取模块；在所述将所述待识别花粉颗粒图像输入至所述基于Transformer的超分辨率模型，得到所述基于Transformer的超分辨率模型输出的所述待识别花粉颗粒图像对应的超分辨率图像之后，所述方法还包括：
将所述超分辨率图像输入至所述高频信息提取模块进行图像高频信息提取，得到所述高频信息提取模块输出的所述超分辨率图像对应的高频特征图像；
将所述超分辨率图像对应的高频特征图像输入至所述Swin Transformer模型，得到所述Swin Transformer模型输出的所述待识别花粉颗粒图像对应的花粉类型。
4.根据权利要求3所述的花粉颗粒识别方法，其特征在于，所述高频信息提取模块包括依次连接的平均池化层、上采样层、第一叠加层、卷积层和第二叠加层；所述将所述超分辨率图像输入至所述高频信息提取模块进行图像高频信息提取，得到所述高频信息提取模块输出的所述超分辨率图像对应的高频特征图像，包括：
将所述超分辨率图像输入至所述平均池化层，得到所述平均池化层输出的第一特征图像；
将所述第一特征图输入至所述上采样层，得到所述上采样层输出的第二特征图像；
将所述超分辨率图像和所述第二特征图像输入至所述第一叠加层进行像素作差，得到所述第一叠加层输出的第三特征图像；
将所述第三特征图像输入至所述卷积层，得到所述卷积层输出的第四特征图像；
将所述第四特征图像和所述超分辨率图像输入至所述第二叠加层进行像素求和，得到所述第二叠加层输出的所述超分辨率图像对应的高频特征图像。
5.根据权利要求1-4任一项所述的花粉颗粒识别方法，其特征在于，在所述将所述待识别花粉颗粒图像输入至花粉类型识别联合模型之前，所述方法还包括：
将所述花粉颗粒图像样本及其对应的花粉类型标签作为一组训练样本，获取多组训练样本；
利用所述多组训练样本，对花粉类型识别联合模型进行训练。
6.根据权利要求5所述的花粉颗粒识别方法，其特征在于，所述利用所述多组训练样本，对花粉类型识别联合模型进行训练，包括：
对于任意一组训练样本，将所述训练样本输入至花粉类型识别联合模型，输出所述训练样本对应的预测概率；
利用预设损失函数，根据所述训练样本对应的预测概率和所述训练样本中的花粉类型标签计算损失值；
基于所述损失值，对所述花粉类型识别联合模型的模型参数进行调整，直至模型训练次数达到预设次数；
将模型训练次数达到所述预设次数时所得到的模型参数作为训练好的花粉类型识别联合模型的模型参数。
7.一种花粉颗粒识别装置，其特征在于，包括：
获取模块，用于获取待识别花粉颗粒图像；
识别模块，用于将所述待识别花粉颗粒图像输入至花粉类型识别联合模型，得到所述花粉类型识别联合模型输出的所述待识别花粉颗粒图像对应的花粉类型；
所述花粉类型识别联合模型用于对所述待识别花粉颗粒图像进行图像超分辨率重建，并对重建得到的图像进行识别，确定所述待识别花粉颗粒图像对应的花粉类型；所述花粉类型识别联合模型是基于花粉颗粒图像样本及对应的花粉类型标签训练得到的。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述花粉颗粒识别方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述花粉颗粒识别方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述花粉颗粒识别方法。
CN202311186350.7A 2023-09-14 2023-09-14 花粉颗粒识别方法、装置、电子设备及存储介质 Pending CN117315336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311186350.7A CN117315336A (zh) 2023-09-14 2023-09-14 花粉颗粒识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311186350.7A CN117315336A (zh) 2023-09-14 2023-09-14 花粉颗粒识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117315336A true CN117315336A (zh) 2023-12-29

Family

ID=89261331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311186350.7A Pending CN117315336A (zh) 2023-09-14 2023-09-14 花粉颗粒识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117315336A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690331A (zh) * 2024-02-04 2024-03-12 西南医科大学附属医院 一种***穿刺手术训练***及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690331A (zh) * 2024-02-04 2024-03-12 西南医科大学附属医院 一种***穿刺手术训练***及方法
CN117690331B (zh) * 2024-02-04 2024-05-14 西南医科大学附属医院 一种***穿刺手术训练***及方法

Similar Documents

Publication Publication Date Title
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
Anwar et al. Densely residual laplacian super-resolution
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨***
CN111091503B (zh) 基于深度学习的图像去失焦模糊方法
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110580704A (zh) 基于卷积神经网络的et细胞图像自动分割方法及***
CN107123091A (zh) 一种基于深度学习的近红外人脸图像超分辨率重建方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及***
CN114881871A (zh) 一种融合注意力单幅图像去雨方法
CN112862689A (zh) 一种图像超分辨率重建方法及***
CN111080591A (zh) 基于编码解码结构结合残差模块的医学图像分割方法
CN117315336A (zh) 花粉颗粒识别方法、装置、电子设备及存储介质
CN111414988B (zh) 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其***
CN115631107A (zh) 边缘引导的单幅图像噪声去除
CN115731597A (zh) 一种人脸口罩掩膜图像自动分割与修复管理平台及方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN112686822B (zh) 一种基于堆叠生成对抗网络的图像补全方法
CN117095217A (zh) 多阶段对比知识蒸馏方法
CN116128763A (zh) 一种深度神经网络融合的飞机蒙皮损伤图像增强方法
CN115423697A (zh) 图像修复方法、终端及计算机存储介质
CN114219738A (zh) 单幅图像多尺度超分辨重建网络结构及方法
CN115564664A (zh) 基于融合双边重组注意力的二阶段Transformer编解码器的去运动模糊方法
CN112907456B (zh) 基于全局平滑约束先验模型的深度神经网络图像去噪方法
CN110853040B (zh) 一种基于超分辨率重建的图像协同分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination