CN113822805A - 图像超分辨率重建方法、中药植物叶病诊断方法及设备 - Google Patents
图像超分辨率重建方法、中药植物叶病诊断方法及设备 Download PDFInfo
- Publication number
- CN113822805A CN113822805A CN202111191406.9A CN202111191406A CN113822805A CN 113822805 A CN113822805 A CN 113822805A CN 202111191406 A CN202111191406 A CN 202111191406A CN 113822805 A CN113822805 A CN 113822805A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- super
- reconstruction
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 36
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003745 diagnosis Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 239000003814 drug Substances 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 241000196324 Embryophyta Species 0.000 claims description 34
- 238000010586 diagram Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000013178 mathematical model Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 4
- 239000012634 fragment Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OCKGFTQIICXDQW-ZEQRLZLVSA-N 5-[(1r)-1-hydroxy-2-[4-[(2r)-2-hydroxy-2-(4-methyl-1-oxo-3h-2-benzofuran-5-yl)ethyl]piperazin-1-yl]ethyl]-4-methyl-3h-2-benzofuran-1-one Chemical compound C1=C2C(=O)OCC2=C(C)C([C@@H](O)CN2CCN(CC2)C[C@H](O)C2=CC=C3C(=O)OCC3=C2C)=C1 OCKGFTQIICXDQW-ZEQRLZLVSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 229940126680 traditional chinese medicines Drugs 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像超分辨率重建方法，包括获取初始图像和重建网络，利用初始特征提取模块对初始图像进行特征提取；初始特征图依次经过多个MTFRB模块，将每个MTFRB模块输出的特征图拼接起来，利用特征融合模块对拼接后的特征图进行降维，利用重建模块对融合特征图进行超分辨率重建等步骤。该方法通过特征融合，充分利用提取到的初始图像特征信息，减少细节丢失，具有很好的超分辨率重建效果。本发明还提供了一种中药植物叶病诊断方法及设备，中药植物叶病诊断方法包括超分辨率重建、截图、分类诊断等步骤；借助超分辨率重建技术，极大地提高了低分辨率场景下诊断植物叶病的准确率，降低了叶病诊断工作量。
Description
技术领域
本发明属于中药和人工智能技术领域，具体地说，涉及一种图像超分辨率重建方法、一种中药植物叶病诊断方法及设备。
背景技术
及时发现和对症下药是控制中药植物叶病科学有效的方法，但是叶病种类和表现形式多种多样，普通劳动者难以迅速准确地进行诊断，最终往往导致疾病大面积扩散，对经济和环境造成严重损失。随着技术的发展，人们逐渐将人工智能技术应用到叶病控制领域，常规方法是先人工采集叶片，然后拍摄获取中药植物叶片的电子图像，输入计算机，利用训练好的人工神经网络对叶片进行特征提取并分类，从而达到辅助诊断的目的。
这种方法虽然提高了疾病诊断的准确率，但是前期采集叶片并拍摄图像的工作量很大。从高处架设图像采集设备拍摄中药植物叶片是解决该问题的一个潜在可行办法，该方式由于摄像头到植物叶片的距离相对较远，获得的叶片分辨率比较低，导致疾病诊断正确率大幅度下降。
发明内容
针对现有技术中上述的不足，本发明提供了一种图像超分辨率重建方法，以提高拍摄得到的植物叶片图像分辨率，本发明还提供了一种中药植物叶病诊断方法及设备，借助图像超分辨率技术，提高植物叶病诊断的正确率。
为了达到上述目的，本发明采用的解决方案是：一种图像超分辨率重建方法，包括以下步骤：
A1、获取需要进行超分辨率重建的初始图像，获取训练好的图像超分辨率重建网络，所述图像超分辨率重建网络包括初始特征提取模块、MTFRB模块、特征融合模块和重建模块；
A2、利用所述初始特征提取模块对所述初始图像进行特征提取，得到初始特征图；
A3、所述初始特征图依次经过多个所述MTFRB模块(上一个MTFRB模块输出的特征图作为下一个MTFRB模块的输入)，利用所述MTFRB模块对所述初始特征图进行进一步的特征提取；
A4、提取所有MTFRB模块输出的特征图，将每个所述MTFRB模块输出的特征图拼接(通道方向上)起来，然后利用所述特征融合模块对拼接后的特征图进行降维(通道方向上)，生成融合特征图；
A5、利用所述重建模块对所述融合特征图进行超分辨率重建，得到目标图像，所述目标图像的分辨率大于所述初始图像的分辨率。
进一步地，所述MTFRB模块的数学模型为：
F1＝f11[σ1(f3(X)),σ2(f3dc(X)),σ3(f5(X))]
F2＝σ4(fdi1(σ1(f3(X))))
F3＝σ5(fdi2(σ3(f5(X))))
Y＝X+f12[F1,F2,F3]
其中，X为输入所述MTFRB模块的特征图，f3表示卷积核大小为3*3的卷积操作，f5表示卷积核大小为5*5的卷积操作，f3dc表示卷积核大小为3*3的可变形卷积操作，σ1、σ2、σ3、σ4和σ5均表示非线性激活函数ReLU，f11和f12均表示卷积核大小为1*1的卷积操作，fdi1和fdi2均表示卷积核大小为3*3、膨胀率为2的膨胀卷积操作，[·]表示对其中的特征图进行拼接操作，Y为所述MTFRB模块输出的特征图。
进一步地，所述重建模块的数学模型为：
Fr＝fsp1(f3r1(W))
IHR＝f3r2(Fr)
其中，W表示输入所述重建模块的特征图，f3r1和f3r2分别表示所述重建模块中两个卷积核大小为3*3的卷积操作，fsp1表示亚像素卷积操作，Fr表示重建模块中亚像素卷积操作后输出的特征图，IHR代表所述重建模块输出的所述目标图像。
进一步地，所述超分辨率重建网络还设有全局空间注意力模块，所述全局空间注意力模块可以表示为如下数学模型：
Fsm＝[σb0(f1b0(Y0)),σb1(f1b1(Y1)),…,σbm(f1bm(Ym))]
Fss＝δ(f1bs(Fsm))
W＝Fsa(Z,Fss)
其中，Y0代表所述初始特征图，Y1代表第一个所述MTFRB模块输出的特征图，Ym代表第m个所述MTFRB模块输出的特征图，Y0、Y1...Ym作为所述全局空间注意力模块的输入，f1b0、f1b1...f1bm和f1bs均为卷积核大小为1*1的卷积操作，σb0、σb1...σbm均为ReLU激活函数，[·]表示对其中的特征图进行拼接操作，Fsm表示生成的中间注意力图，δ为sigmoid激活函数，Fss表示生成的全局空间注意力图，Z表示所述融合特征图，Fsa(Z,Fss)表示将所述全局空间注意力图与所述融合特征图做乘法操作，W为全局空间注意力图与所述融合特征图融合后生成的特征图，W作为输入所述重建模块的特征图。
进一步地，所述超分辨率重建网络设有分支模块，所述分支模块的数学模型为:
Fk＝fsp2(f3k(Fsm))
FU＝Fr+Fk
其中，Fsm代表所述中间注意力图，f3k代表卷积核大小为3*3的卷积操作，fsp2表示所述分支模块中的亚像素卷积操作，Fr表示所述重建模块中亚像素卷积操作后输出的特征图，FU代表Fr与Fk通过元素求和后生成的特征图。
本发明还提供了一种中药植物叶病诊断方法，包括以下步骤：
S1、以带有被监测植物叶片的场景图像作为初始图像，根据如上所述的图像超分辨率重建方法对所述场景图像进行超分辨率重建，获得分辨率大于所述场景图像的重建图像；
S2、从所述重建图像中，截取疑似带病的叶片图像片段；
S3、获取训练好的图像分类网络，将步骤S2中截取获得的图像片段输入所述图像分类网络，利用所述图像分类网络对所述图像片段进行分类，从而实现植物叶病诊断。
本发明还提供了一种中药植物叶病诊断设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的中药植物叶病诊断方法。
本发明的有益效果是：
(1)在超分辨率重建网络中，由于不同MTFRB模块在网络中的位置深度不同，输出的特征图中包含不同层次的特征信息，利用特征融合模块将所有MTFRB模块输出的特征图融合，可以充分利用提取到的初始图像特征信息，提高超分辨率重建效果，同时避免模型训练过程中发生梯度***或梯度消失；
(2)对于MTFRB模块，先使用卷积核大小不同的普通卷积与可变形卷积配合，对输入MTFRB模块的特征图进行特征提取，在不同视野下尽可能地提取特征，对提取到的特征进行初步融合后，再利用两个膨胀卷积，在更大的视野上对前面普通卷积输出的特征图进一步提取特征，最后将膨胀卷积输出的特征图与第一次融合后的特征图进行第二次融合，通过两次特征融合，可以极大地提高MTFRB模块输出特征图中有用信息占比，降低无用信息冗余，同时增加了特征重用，减少特征传输过程中造成的细节丢失，使得重建后的图像纹理更加清晰，更有利于根据中药植物叶片表面的外观进行疾病诊断；
(3)传统空间注意力机制都是利用单一的输入特征图来生成空间注意力图，集中关注的空间范围有限，精确度不高，本发明的全局空间注意力模块从不同的位置获取特征图，通过两次降维和两次激活生成全局空间注意力图，使得全局空间注意力模块拥有跨越整个模型的不同层次感受野，全局空间注意力模块与融合特征图相配合，能够为融合特征图空间上不同位置赋予更精准的权重参数，更加精确地提升特征图空间上有用区域的重要性，这对重建出叶片表面的高频信息具有重要的促进作用；
(4)输入全局空间注意力模块的特征图来自初始特征提取模块和MTFRB模块的输出，无需针对全局空间注意力机制设置专门的特征提取模块，不仅降低了计算量，而且更加充分地利用了网络主干中间层的特征；
(5)传统注意力机制提取特征后，只是以权重参数的形式与特征图做乘法运算，注意力机制中提取到的特征信息利用率很小，本发明将全局空间注意力模块中生成的中间注意力图，通过分支模块与重建模块融合，由于中间注意力图中的信息来自网络的不同深度，这些信息以跳连的方式直接传播到网络的尾部，减少了细节在网络传播过程中丢失，提高了特征信息利用率；
(6)本发明先利用超分辨率重建算法提升场景图像的分辨率，然后截取图像片段进行诊断，即使获取的中药植物叶片图像分辨率偏低，也能够准确地诊断出叶病的类型，极大地提高了低分辨率场景下诊断植物叶病的准确率，用户可以通过安装在高处的镜头拍摄叶片图像，降低了工作量，有利于在疾病早期及时发现，针对性地采取治疗手段，有效控制疾病蔓延，降低叶病对经济和环境带来的破坏。
附图说明
图1为一实施例的图像超分辨率重建网络结构示意图；
图2为图1所示图像超分辨率重建网络中MTFRB模块的结构示意图；
图3为另一实施例的图像超分辨率重建网络结构示意图；
附图中：
1-初始图像，2-目标图像，3-初始特征提取模块，4-MTFRB模块，5-特征融合模块，6-重建模块，7-全局空间注意力模块，8-分支模块。
具体实施方式
以下结合附图对本发明作进一步描述：
实施例1：
借助pytorch框架，利用python代码搭建图1所示的图像超分辨率重建网络。本实施例中，初始特征提取模块3为卷积核大小为3*3的卷积操作，MTFRB模块4的结构如图2所示，MTFRB模块4数量为6个。对于输入MTFRB模块4的特征图，先利用卷积核大小分别为3*3、5*5和卷积核大小为3*3的可变形卷积第一次提取特征，将输出的特征图拼接后，通过一个1*1的卷积操作降低通道数量，从而实现第一次特征融合。然后利用两个卷积核大小为3*3、膨胀率为2的膨胀卷积，在更大的视野上对前面普通卷积输出的特征图进一步提取特征，最后将膨胀卷积输出的特征图与第一次融合后的特征图进行拼接，再通过一个1*1的卷积操作降低通道数量，使得输入MTFRB模块4特征图的通道数量与MTFRB模块4输出的特征图通道数量相等，实现第二次融合。为了使得模型更容易训练，还在MTFRB模块4中加入残差连接，如图2所示，输入MTFRB模块4的特征图通过残差连接直接传到MTFRB模块4的输出端，并与MTFRB模块4内第二次融合后输出的特征图做元素求和操作。本实施例中特征融合模块5采用卷积核大小为1*1的卷积操作实现，重建模块6包括顺次连接的第一3*3卷积层、亚像素卷积层和第二3*3卷积层三个部分。
在超分辨率重建网络中，所有卷积操作的步长均为1。具体地，超分辨率重建网络运行时，初始图像1输入初始特征提取模块3后，输出通道数量为128，对于每个MTFRB模块4内部，3*3卷积、5*5卷积、可变形卷积和膨胀卷积输入和输出的通道数量均为128，MTFRB模块4内部两个1*1卷积输入的通道数量为384，输入通道数量均为128。对于特征融合模块5，输入通道数量为768，输出通道数量为128。对于重建模块6，第一个卷积层输入通道数量为128，输出通道数量根据放大倍数确定。设放大倍数为n的情况下，则重建模块6的第一卷积层输出的通道数量为128*n*n。特征图经过亚像素卷积后，通道数量变为128，特征图尺寸变为原来的n倍。最后重建模块6的第二个卷积层输出的特征图通道数量为3，得到放大后的目标图像2。
超分辨率重建网络模型训练时，使用DIV2K数据集作为训练集，通过下采样获得高分辨率图像所对应的低分辨率图像。损失函数为L1，优化器为SGD，学习率固定为0.0002，epoch数量设置为1500。训练完成后，在Set5、BSDS100和Urban100三个数据集进行测试。采用峰值信噪比(PSNR)和结构相似性(SSIM)两个参数作为图像重建效果的衡量标准。测试时，先将图片转换为YCbCr格式，然后在Y通道上计算相关参数，测试数据与其他模型比较结果如下所示。
从对比结果可知，实施例1中采用本发明所提供的图像超分辨率重建方法在不同放大倍数下的图片重建效果，均比目前性能先进的RCAN和SAN模型高，说明了本发明所提供的超分辨率重建方法对低分辨率图像具有很好的放大效果，可以很好地提高低分辨率中药植物叶片图像的分辨率，从而提升诊断正确率。
实施例2：
在实施例1的模型基础上，增加全局空间注意力模块7得到实施例2A模型。在实施例1的基础上，增加全局空间注意力模块7和分支模块8，得到实施例2B模型(如图3所示)。对于全局空间注意力模块7，先利用1*1的卷积对初始特征图和MTFRB模块4输出的特征图进行降维，使通道数量从128变成16。经过ReLU激活函数后，将特征图拼接起来，生成通道数量为112的中间注意力图。接着再次利用1*1卷积对中间注意力图进行降维，使通道变成1，经过sigmoid函数激活，即生成全局空间注意力图，并与融合特征图做乘法操作。对于分支模块8，先将中间注意力图输入一个3*3的卷积层，然后输出128*n*n(n为图像放大倍数)个通道的特征图。该特征图经过分支模块8内的亚像素卷积后，通道数变为128，图像长宽尺寸变为原来的n倍，最后与重建模块6中亚像素卷积输出的特征图通过元素求和融合。
采用与实施例1相同的数据集、训练环境、优化器和学习率等条件，对实施例2A和实施例2B模型进行训练并测试，对比结果如下所示：
从对比实验结果可以看出，增加全局空间注意力模块7和分支模块8后，在实施例1的基础上，图像超分辨率重建效果均有所提升，说明全局空间注意力模块7和分支模块8对提升中药植物叶病诊断正确率同样具有促进作用。
实施例3：
将中药植物叶片放置在地面，利用安装在高处的相机拍摄叶片，获得150张带有中药植物叶片图像的场景图像测试数据集，这150张图像中，包含20中常见的中药植物叶病和正常植物叶片。实验组先利用实施例2中训练好的实施例2B模型对场景图像进行4倍放大的超分辨率重建，然后截取获得中药植物叶片的图像片段，最后通过训练好的分类网络对植物叶片图像片段进行分类，以诊断出图像中的叶片是正常还是具体患有何种叶病。其中，分类网络采用mobileNet v3，分类网络采用更多的植物叶病图像数据集进行训练。对照组除了不采用超分辨率网络对场景图像进行重建外，其他实验步骤和实验条件均与实验组相同。实验结果显示，实验组中中药植物叶病诊断正确率为94.8％，对照组中中药植物叶病诊断正确率为72.6％。通过超分辨率重建后，分类网络对中药植物叶病诊断的正确率大幅上升。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (7)
1.一种图像超分辨率重建方法，其特征是：包括以下步骤：
A1、获取需要进行超分辨率重建的初始图像，获取训练好的图像超分辨率重建网络，所述图像超分辨率重建网络包括初始特征提取模块、MTFRB模块、特征融合模块和重建模块；
A2、利用所述初始特征提取模块对所述初始图像进行特征提取，得到初始特征图；
A3、所述初始特征图依次经过多个所述MTFRB模块，利用所述MTFRB模块对所述初始特征图进行进一步的特征提取；
A4、将每个所述MTFRB模块输出的特征图拼接起来，然后利用所述特征融合模块对拼接后的特征图进行降维，生成融合特征图；
A5、利用所述重建模块对所述融合特征图进行超分辨率重建，得到目标图像，所述目标图像的分辨率大于所述初始图像的分辨率。
2.根据权利要求1所述的图像超分辨率重建方法，其特征是：所述MTFRB模块的数学模型为：
F1＝f11[σ1(f3(X)),σ2(f3dc(X)),σ3(f5(X))]
F2＝σ4(fdi1(σ1(f3(X))))
F3＝σ5(fdi2(σ3(f5(X))))
Y＝X+f12[F1,F2,F3]
其中，X为输入所述MTFRB模块的特征图，f3表示卷积核大小为3*3的卷积操作，f5表示卷积核大小为5*5的卷积操作，f3dc表示卷积核大小为3*3的可变形卷积操作，σ1、σ2、σ3、σ4和σ5均表示非线性激活函数ReLU，f11和f12均表示卷积核大小为1*1的卷积操作，fdi1和fdi2均表示卷积核大小为3*3、膨胀率为2的膨胀卷积操作，[·]表示对其中的特征图进行拼接操作，Y为所述MTFRB模块输出的特征图。
3.根据权利要求1所述的图像超分辨率重建方法，其特征是：所述重建模块的数学模型为：
Fr＝fsp1(f3r1(W))
IHR＝f3r2(Fr)
其中，W表示输入所述重建模块的特征图，f3r1和f3r2分别表示所述重建模块中两个卷积核大小为3*3的卷积操作，fsp1表示亚像素卷积操作，Fr表示重建模块中亚像素卷积操作后输出的特征图，IHR代表所述重建模块输出的所述目标图像。
4.根据权利要求3所述的图像超分辨率重建方法，其特征是：所述超分辨率重建网络还设有全局空间注意力模块，所述全局空间注意力模块可以表示为如下数学模型：
Fsm＝[σb0(f1b0(Y0)),σb1(f1b1(Y1)),…,σbm(f1bm(Ym))]
Fss＝δ(f1bs(Fsm))
W＝Fsa(Z,Fss)
其中，Y0代表所述初始特征图，Y1代表第一个所述MTFRB模块输出的特征图，Ym代表第m个所述MTFRB模块输出的特征图，Y0、Y1...Ym作为所述全局空间注意力模块的输入，f1b0、f1b1...f1bm和f1bs均为卷积核大小为1*1的卷积操作，σb0、σb1...σbm均为ReLU激活函数，[·]表示对其中的特征图进行拼接操作，Fsm表示生成的中间注意力图，δ为sigmoid激活函数，Fss表示生成的全局空间注意力图，Z表示所述融合特征图，Fsa(Z,Fss)表示将所述全局空间注意力图与所述融合特征图做乘法操作，W表示输入所述重建模块的特征图。
5.根据权利要求4所述的图像超分辨率重建方法，其特征是：所述超分辨率重建网络设有分支模块，所述分支模块的数学模型为:
Fk＝fsp2(f3k(Fsm))
FU＝Fr+Fk
其中，Fsm代表所述中间注意力图，f3k代表卷积核大小为3*3的卷积操作，fsp2表示所述分支模块中的亚像素卷积操作，Fr表示所述重建模块中亚像素卷积操作后输出的特征图，FU代表Fr与Fk通过元素求和后生成的特征图。
6.一种中药植物叶病诊断方法，其特征是：包括以下步骤：
S1、以带有被监测植物叶片的场景图像作为初始图像，根据如权利要求1-5任一项所述的图像超分辨率重建方法对所述场景图像进行超分辨率重建，获得分辨率大于所述场景图像的重建图像；
S2、从所述重建图像中，截取疑似带病的叶片图像片段；
S3、获取训练好的图像分类网络，将步骤S2中截取获得的图像片段输入所述图像分类网络，利用所述图像分类网络对所述图像片段进行分类，从而实现植物叶病诊断。
7.一种中药植物叶病诊断设备，其特征是：包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如权利要求6所述的中药植物叶病诊断方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111191406.9A CN113822805B (zh) | 2021-10-13 | 2021-10-13 | 图像超分辨率重建方法、中药植物叶病诊断方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111191406.9A CN113822805B (zh) | 2021-10-13 | 2021-10-13 | 图像超分辨率重建方法、中药植物叶病诊断方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113822805A true CN113822805A (zh) | 2021-12-21 |
| CN113822805B CN113822805B (zh) | 2022-10-18 |
Family
ID=78920251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111191406.9A Active CN113822805B (zh) | 2021-10-13 | 2021-10-13 | 图像超分辨率重建方法、中药植物叶病诊断方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822805B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114283069A (zh) * | 2022-01-17 | 2022-04-05 | 柚皮(重庆)科技有限公司 | 一种脑部磁共振图像超分辨率重建方法 |
| CN114549962A (zh) * | 2022-03-07 | 2022-05-27 | 重庆锐云科技有限公司 | 一种园林植物叶病分类方法 |
| CN115187814A (zh) * | 2022-07-25 | 2022-10-14 | 重庆芸山实业有限公司 | 一种基于人工智能的菊花叶病诊断方法及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111583107A (zh) * | 2020-04-03 | 2020-08-25 | 长沙理工大学 | 一种基于注意力机制的图像超分辨率重建方法和*** |
| CN111652804A (zh) * | 2020-05-28 | 2020-09-11 | 西安电子科技大学 | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 |
| US20200302249A1 (en) * | 2019-03-19 | 2020-09-24 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Multi-Spectral Image Fusion Using Unrolled Projected Gradient Descent and Convolutinoal Neural Network |
| CN112767253A (zh) * | 2021-02-05 | 2021-05-07 | 西南科技大学 | 一种多尺度特征融合的双目图像超分辨率重建方法 |
| CN113436076A (zh) * | 2021-07-26 | 2021-09-24 | 柚皮(重庆)科技有限公司 | 逐步融合特征的图像超分辨率重建方法及电子设备 |
-
2021
- 2021-10-13 CN CN202111191406.9A patent/CN113822805B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200302249A1 (en) * | 2019-03-19 | 2020-09-24 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Multi-Spectral Image Fusion Using Unrolled Projected Gradient Descent and Convolutinoal Neural Network |
| CN111583107A (zh) * | 2020-04-03 | 2020-08-25 | 长沙理工大学 | 一种基于注意力机制的图像超分辨率重建方法和*** |
| CN111652804A (zh) * | 2020-05-28 | 2020-09-11 | 西安电子科技大学 | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 |
| CN112767253A (zh) * | 2021-02-05 | 2021-05-07 | 西南科技大学 | 一种多尺度特征融合的双目图像超分辨率重建方法 |
| CN113436076A (zh) * | 2021-07-26 | 2021-09-24 | 柚皮(重庆)科技有限公司 | 逐步融合特征的图像超分辨率重建方法及电子设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114283069A (zh) * | 2022-01-17 | 2022-04-05 | 柚皮(重庆)科技有限公司 | 一种脑部磁共振图像超分辨率重建方法 |
| CN114549962A (zh) * | 2022-03-07 | 2022-05-27 | 重庆锐云科技有限公司 | 一种园林植物叶病分类方法 |
| CN115187814A (zh) * | 2022-07-25 | 2022-10-14 | 重庆芸山实业有限公司 | 一种基于人工智能的菊花叶病诊断方法及设备 |
| CN115187814B (zh) * | 2022-07-25 | 2024-05-10 | 重庆芸山实业有限公司 | 一种基于人工智能的菊花叶病诊断方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113822805B (zh) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113822805B (zh) | 图像超分辨率重建方法、中药植物叶病诊断方法及设备 | |
| CN110033410B (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
| WO2021184891A1 (zh) | 遥感影像地物分类方法及*** | |
| CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN110223234A (zh) | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 | |
| Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
| CN111915545B (zh) | 一种多波段图像的自监督学习融合方法 | |
| CN110148103A (zh) | 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备 | |
| CN109325915A (zh) | 一种用于低分辨率监控视频的超分辨率重建方法 | |
| CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
| CN106157249A (zh) | 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法 | |
| CN114419612A (zh) | 一种用于景区车牌识别的图像超分辨率重建方法及装置 | |
| Huan et al. | MAENet: multiple attention encoder–decoder network for farmland segmentation of remote sensing images | |
| Manzari et al. | A robust network for embedded traffic sign recognition | |
| Zheng et al. | Double-branch dehazing network based on self-calibrated attentional convolution | |
| CN113160078B (zh) | 雨天交通车辆图像去雨方法、装置、设备及可读存储介质 | |
| CN105844589A (zh) | 一种基于混合成像***的实现光场图像超分辨的方法 | |
| Zhang et al. | Super-resolution method using generative adversarial network for Gaofen wide-field-view images | |
| Guo et al. | A novel lightweight multi-dimension feature fusion network for single-image super-resolution reconstruction | |
| Zhao et al. | Multi-scale residual fusion network for super-resolution reconstruction of single image | |
| AlAfandy et al. | Efficient Classification of Remote Sensing Images Using Two Convolution Channels and SVM. | |
| Qian et al. | A semantic segmentation method for remote sensing images based on DeepLab V3 | |
| Fu et al. | Super-resolution reconstruction of remote sensing images using generative adversarial network with shallow information enhancement | |
| Zeng et al. | Aircraft segmentation from remote sensing image by transferring natual image trained forground extraction CNN model | |
| CN117853738B (zh) | 一种用于对茶叶分级的图像处理方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220922 Address after: 518000 Room 910-912, Tianliao Building, Tangchang Road, Tanglang Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong, China Applicant after: Shenzhen Youxiang Technology Co.,Ltd. Address before: 400000 2-3-20, building 4, No. 188, Lianggang Avenue, Yubei District, Chongqing Applicant before: Pomelo peel (Chongqing) Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |