CN117351356B - 一种无人机视角下田间作物及其近缘种病害检测方法 - Google Patents
一种无人机视角下田间作物及其近缘种病害检测方法 Download PDFInfo
- Publication number
- CN117351356B CN117351356B CN202311364873.6A CN202311364873A CN117351356B CN 117351356 B CN117351356 B CN 117351356B CN 202311364873 A CN202311364873 A CN 202311364873A CN 117351356 B CN117351356 B CN 117351356B
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- convolution
- module
- ith
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 55
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 230000000007 visual effect Effects 0.000 title claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 47
- 238000011176 pooling Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 24
- 230000014509 gene expression Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000010339 dilation Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 244000037666 field crops Species 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 208000035240 Disease Resistance Diseases 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 241000195493 Cryptophyta Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及田间作物病害检测领域，具体为一种无人机视角下田间作物及其近缘种病害检测方法；本发明通过引入通过动态地调整其空间感受野的方式，更好的实现无人机视角下小尺寸病害目标的检测，在特征金字塔中引入了GSConv的混合卷积模块，以减少模型计算量与参数量，更加适合将其搭载在无人机的硬件上运行，通过进一步的引入可旋转的标记方框，配合对标记方框内特征置信度的计算，在实现任意方向病害定位检测的同时，也减少了引入的背景信息过多所造成的干扰，以提高田间无人机视角下作物及其近缘种病害检测的准确性和鲁棒性；解决了现有技术中通过无人机检测田间复杂环境下作物上小目标及密集目标时的准确率较低的问题。
Description
技术领域
本发明涉及田间作物病害检测领域，具体为一种无人机视角下田间作物及其近缘种病害检测方法。
背景技术
在传统抗病性鉴定过程中，科研人员需在相对较为偏远的病害实验田中对作物及其近缘种的发病情况进行逐一的观察和检测统计，具有耗时费力且主观性较强的特点，随着大规模作物抗病性鉴定的需求日益增加，目前也开始使用无人机对田间大规模的作物及其近缘种病害进行智能检测，以实现田间作物病害的准确定位，为作物病害的抗病性智能评估与鉴定提供基础。
但是由于稻田中存在水、淤泥、水藻、杂草、鸟类粪便、阴影倒影等复杂背景，且无人机视角下的病害尺寸较小，现有的技术在田间复杂环境下对作物病害检测小目标及密集目标时的准确率较低。
发明内容
针对现有技术的不足，本发明提供了一种无人机视角下田间作物及其近缘种病害检测方法，解决了现有技术中通过无人机检测田间复杂环境下作物上小目标及密集目标时的准确率较低的问题。
为实现上述目的，本发明提供如下技术方案：
一种无人机视角下田间作物及其近缘种病害检测方法，包括：
S1、获取田间作物的初始图像，并对初始图像进行缩放和归一化处理后获得预处理图像；
S2、将预处理图像依次经过若干个自适应的卷积核以获得若干个卷积图像，对若干个卷积图像进行空间关系提取以获取关注特征，并对关注特征和预处理图像进行逐元乘积以获得特征图像；
S3、通过GSConv模块对特征图像的P5特征层进行特征提取，并通过UpSampling模块和VoVGSCSP模块使提取的特征逐步与特征图像的P4特征层和P3特征层进行卷积运算得到P3_out特征图，并使P3_out特征图逐步与特征图像的P4特征层和P5特征层结合以分别生成P4_out特征图和P5_out特征图；
S4、对P3_out特征图、P4_out特征图和P5_out特征图进行解码以获得若干个标记方框，并采用KLD损失函数对标记方框进行参数调整；
S5、设置置信度阈值，并使用BCE损失函数删除置信度小于置信度阈值的边框；
S6、采用非最大值抑制算法移除预输出图像中重叠的标记方框以生成最终图像，并输出最终图像。
作为优选，在步骤S2中，具体包括如下步骤：
S21、获取田间作物的预处理图像；
S22、设置预处理图像深度可分离卷积的核大小、膨胀率和感受野大小；第i个深度可分离卷积的核大小k、膨胀率d和感受野RF的扩张定义如下：
ki-1≤ki，d1＝1，di-1<di≤RFi-1，
RF1＝k1，RFi＝di(ki-1)+RFi-1，
上式中，ki和ki-1分别表示第i个和第i-1个深度可分离卷积的核大小，di和di-1分别表示第i个和第i-1个深度可分离卷积的膨胀率大小，RFi和RFi-1分别表示第i个和第i-1个深度可分离卷积的感受野大小；
S23、将预处理图像按照定义的核大小、膨胀率和感受野大小依次进行卷积，并对卷积后的图像进行空间特征向量融合以生成若干个卷积图像；卷积图像的计算公式如下：
上式中，Ui为第i个深度可分离卷积的图像，U0和X为预处理图像，为对图像Ui进行具有核大小ki和膨胀率di的深度卷积操作，/>为第i个经过空间特征向量通道融合后的图像特征，为生成的第i个卷积图像，/>表示将第i个深度可分离卷积后的图像Ui经过一个1×1的卷积层进行空间特征向量的通道融合，N表示卷积核的个数；
S24、将若干个卷积图像进行连接，以生成关联图像；关联图像的表达式为：
上式中，表示关联图像，/>表示第i个卷积图像；
S25、对关联图像通过平均池化和最大池化进行空间关系提取，以获得空间池化特征；
S26、将平均池化和最大池化后的空间池化特征转化为若干个空间注意图；将空间池化特征转化为N个空间注意图的表达式为：
上式中，表示空间注意图，/>表示将2个通道即经过平均池化和最大池化的2个空间池化特征转化为N个空间注意图；
S27、通过sigmoid激活函数激活若干个空间注意图以生成激活图像；
S28、对若干个激活图像中的特征进行蒙版加权，并通过卷积层进行融合以获得关注特征；关注特征的表达式为：
上式中，S表示关注特征的图像，表示卷积操作，/>表示第i个激活图像，为第i个经过空间特征向量通道融合后的图像特征，N表示卷积核的个数；
S29、对关注特征和输入特征进行逐元乘积以获得特征图像。
作为优选，在步骤S3中，具体包括如下步骤：
S31、将特征图像的P5特征层经过GSConv模块生成P5特征图；
S32、通过UpSampling模块将P5特征图与特征图像的特征层P4进行结合，并使用VoVGSCSP模块对其进行特征提取以生成P4特征图；
S33、通过UpSampling模块将P4特征图与特征图像的特征层P3进行结合，并使用VoVGSCSP模块对其进行特征提取得到P3_out特征图；
S34、将P3_out特征图经过GSConv模块后与特征图像的P4特征层进行结合，并使用VoVGSCSP模块对其进行特征提取得到P4_out特征图；
S35、将P4_out特征图经过GSConv模块后与特征图像的P5特征层进行结合，并使用VoVGSCSP模块对其进行特征提取得到P5_out特征图。
作为优选，在步骤S3中，GSConv模块运算的具体步骤如下：
S301、设定输入特征的通道数为C1；
S302、将特征图像与C1通道进行标准卷积生成C2/2特征向量；
S303、对特征图像进行深度可分离卷积生成另一个C2/2特征向量；
S304、通过Concat模块将两个C2/2特征向量连接起来以获得融合特征；
S305、将融合特征通过shuffle操作以获得输出特征。
作为优选，在步骤S4中，具体包括如下步骤：
S41、对P3_out特征图、P4_out特征图和P5_out特征图进行解码以获得若干个标记方框；标记方框参数的表达式为：
H＝(x，y，w，h，θ
上式中，H表示标记方框的符号，x、y、w、h和θ分别表示标记方框中心的横坐标、标记方框中心的纵坐标、标记方框的宽度、标记方框的高度和标记方框的旋转角度，其中，-90°≤θ≤90°，定义标记方框的宽度w为最长边，θ表示x轴旋转到w边所经过的角度范围。
S42、采用KLD损失函数对标记方框进行参数调整。
作为优选，在步骤S42中，KLD损失函数的计算公式为：
其中，
其中，
上式中，表示KL散度的权重，τ为调整系数，f(D)表示一个关于Dkl(Np'||Nt')的非线性函数，Np'表示预测的病害特征分布结果，Nt'表示实际的病害特征分布结果，Dkl(Np'||Nt')表示Np'和Nt'之间的KL散度，用于衡量两个概率分布之间的差异，μp和μt分别为Np'和Nt'的两个均值向量，T为转置矩阵的符号，/>和/>分别表示实际的病害特征分布的正定对称矩阵的倒数和二次开方，M为一个线性变换矩阵，ln 为自然对数的符号，ΣP和Σt分别是Np'和Nt'的协方差矩阵，θ表示x轴旋转到标记方框w边所经过的角度范围，w和h分别表示标记方框的宽度和高度。
作为优选，在步骤S5中，具体包括如下步骤：
S51、设置置信度阈值T；
S52、通过BCE函数依次计算各个标记方框的置信度；
S53、依次判断特征图像中各标记方框所对应的置信度与置信度阈值的大小；
若则保留该置信度所对应的标记方框以生成预输出图像；
若则删除该置信度所对应的标记方框以生成预输出图像。
与现有技术相比，本发明提供了一种无人机视角下田间作物及其近缘种病害检测方法，具备以下有益效果：
1、本发明通过引入通过动态地调整其空间感受野的方式，更好的实现无人机视角下小尺寸病害目标的检测，同时，在特征金字塔中引入了GSConv的混合卷积模块，以减少模型计算量与参数量，更加适合将其搭载在无人机的硬件上运行，通过进一步的引入可旋转的标记方框，配合对标记方框内特征KL散度的权重计算，通过与训练模型中的病害特征进行对比，实现更高概率的检测出病害特征的目的。
2、本发明通过引入可旋转的标记方框构建方法，在实现任意方向病害定位检测的同时，也减少了引入的背景信息过多所造成的干扰，增强了网络提取病害特征信息的能力，以解决田间无人机视角下病害目标检测准确性低的问题，以提高田间无人机视角下作物及其近缘种病害检测的准确性和鲁棒性。
3.本发明通过定义卷积核的大小根据输入的图像自动动态确定的规则，允许该模型自适应地使用不同的大核，对一连串的卷积核所处理的特征进行有效加权，并在空间上将其进行合并，从而能够根据需要动态的调整空间中每个目标的感受野，更好满足田间复杂条件下的作物及其近缘种病害检测的需求。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明无人机视角下田间作物及其近缘种病害检测方法的流程图；
图2为本发明获得特征图像的方法的流程图；
图3为本发明检测方法的原理示意图；
图4为本发明生成P3_out、P4_out和P5_out特征图的原理示意图；
图5为本发明中使用标记方框标记病害特征的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现以下实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
图1-图5为本发明的一个实施例，为解决密集目标、小目标检测效果不佳和检测准确性和速度无法兼顾的问题，对作物及其近缘种病害检测的需求，通过动态地调整其空间感受野的方式，更好的实现无人机视角下小尺寸病害目标的检测，同时，在特征金字塔中引入了GSConv的混合卷积模块，以减少模型计算量与参数量，并且提出了具有旋转角度theta维度的旋转框检测方法，其在实现任意方向病害定位检测的同时，也减少了引入的背景信息过多所造成的干扰，增强了网络提取病害特征信息的能力，以解决田间无人机视角下病害目标检测准确性低的问题，以提高田间无人机视角下作物及其近缘种病害检测的准确性和鲁棒性。
为了实现上述思路，本发明提供了一种无人机视角下田间作物及其近缘种病害检测方法，该方法包括：
S1、获取田间作物的初始图像，并对初始图像进行缩放和归一化处理后获得预处理图像；
对初始图像进行图像缩放的公式为：
上式中，x和y分别是初始图像缩放后的x轴和y轴坐标，x0和y0分别是初始图像在缩放前的x轴和y轴坐标，Sx和Sy分别是初始图像在x轴和y轴方向上的缩放系数；
对初始图像归一化处理的公式为：
其中，
上式中，为初始图像经过归一化后得到的神经网络层的第i个神经元的像素值，γ和β为常数，/>为中间值，zi为初始图像神经网络层的第i个神经元的像素值，u表示均值，σ为标准差，n表示该神经网络层中的神经元的数量，通过对每个神经元或通道的输入zi进行归一化，以确保它们具有均值为0、方差为1的标准正态分布，这有助于加速神经网络的训练和改善梯度流动，提高性能。
S2、将预处理图像依次经过若干个自适应的卷积核以获得若干个卷积图像，对若干个卷积图像进行空间关系提取以获取关注特征，并对关注特征和预处理图像进行逐元乘积以获得特征图像；
为了根据预处理图像的大小不同，动态的获取不同大小的卷积核，以实现对预处理图像的卷积，从而获得可以动态调整的感受野，在步骤S2中，具体包括如下步骤：
S21、获取田间作物的预处理图像；
S22、设置预处理图像深度可分离卷积的核大小、膨胀率和感受野大小；第i个深度可分离卷积的核大小k、膨胀率d和感受野RF的扩张定义如下：
ki-1≤ki，d1＝1，di-1<di≤RFi-1，
RF1＝k1，RFi＝di(ki-1)+RFi-1，
上式中，ki和ki-1分别表示第i个和第i-1个深度可分离卷积的核大小，di和di-1分别表示第i个和第i-1个深度可分离卷积的膨胀率大小，RFi和RFi-1分别表示第i个和第i-1个深度可分离卷积的感受野大小；
S23、将预处理图像按照定义的核大小、膨胀率和感受野大小依次进行卷积，并对卷积后的图像进行空间特征向量融合以生成若干个卷积图像；卷积图像的计算公式如下：
上式中，Ui为第i个深度可分离卷积的图像，U0和X为预处理图像，为对图像Ui进行具有核大小ki和膨胀率di的深度卷积操作，从而将输入的预处理图像依次通过这些卷积核，从预处理图像X的不同区域获取丰富的背景信息特征，/>为第i个经过空间特征向量通道融合后的图像特征，为生成的第i个卷积图像，/>表示将第i个深度可分离卷积后的图像Ui经过一个1×1的卷积层进行空间特征向量的通道融合，N表示卷积核的个数；
增加的核大小和膨胀率确保感受野快速扩展，同时，设置膨胀率的上限以避免膨胀卷积引入特征图之间的间隙，这种方法使得后续的核选择更加容易，同时也显著减少了参数数量，同时，使用一系列具有不同感受野的分解深度可分卷积来获取不同范围内的上下文信息特征，从而允许对每个空间特征向量进行通道混合。
S24、将若干个卷积图像进行连接，以生成关联图像；关联图像的表达式为：
上式中，表示关联图像，/>表示第i个卷积图像；
S25、对关联图像通过平均池化和最大池化进行空间关系提取，以获得空间池化特征；对关联图像进行平均池化和最大池化的表达式分别为：
上式中，SAavg表示经过平均池化后获得的图像，表示对关联图像/>进行平均池化操作，SAmax表示经过最大池化后的图像，/>表示对关联图像/>进行最大池化操作；
S26、将平均池化和最大池化后的空间池化特征转化为若干个空间注意图；将空间池化特征转化为N个空间注意图的表达式为：
上式中，表示空间注意图，/>表示将2个通道即经过平均池化和最大池化的2个空间池化特征转化为N个空间注意图；
S27、通过sigmoid激活函数激活若干个空间注意图以生成激活图像；激活图像的表达式为：
上式中，表示第i个激活图像，/>为第i个空间注意图，为经过激活函数分解生成的大卷积核序列的特征，σ(●)为sigmoid激活函数；
S28、对若干个激活图像中的特征进行蒙版加权，并通过卷积层进行融合以获得关注特征；关注特征的表达式为：
上式中，S表示关注特征的图像，表示卷积操作，/>表示第i个激活图像，为第i个经过空间特征向量通道融合后的图像特征，N表示卷积核的个数；
S29、对关注特征和输入特征进行逐元乘积以获得特征图像；特征图像的表达式为：
Y＝X·S
上式中，Y表示特征图像，X表示预处理图像，S表示关注特征的图像。
采用了一种空间核选择机制，以增强网络对最相关的空间上下文区域的关注能力，从不同尺度的大卷积核中空间选择特征映射，这个机制帮助网络更好地聚焦于重要的空间上下文信息，提高网络关注检测目标的最相关的空间背景区域的能力。
S3、通过GSConv模块对特征图像的P5特征层进行特征提取，并通过UpSampling模块和VoVGSCSP模块使提取的特征逐步与特征图像的P4特征层和P3特征层进行卷积运算得到P3_out特征图，并使P3_out特征图逐步与特征图像的P4特征层和P5特征层结合以分别生成P4_out特征图和P5_out特征图；
为了将标准卷积生成的信息渗透到深度可分离卷积生成的信息中，以较低的复杂度尽可能的保留每个通道的隐蔽连接，更好的实现模型准确率和速度的平衡，在步骤S3中，具体包括如下步骤：
S31、将特征图像的P5特征层经过GSConv模块生成P5特征图；
S32、通过UpSampling模块将P5特征图与特征图像的特征层P4进行结合，并使用VoVGSCSP模块对其进行特征提取以生成P4特征图；
S33、通过UpSampling模块将P4特征图与特征图像的特征层P3进行结合，并使用VoVGSCSP模块对其进行特征提取得到P3_out特征图；
S34、将P3_out特征图经过GSConv模块后与特征图像的P4特征层进行结合，并使用VoVGSCSP模块对其进行特征提取得到P4_out特征图；
S35、将P4_out特征图经过GSConv模块后与特征图像的P5特征层进行结合，并使用VoVGSCSP模块对其进行特征提取得到P5_out特征图。
为了减少GSConv模块卷积的次数，需要将第一次卷积的通道数扩充为原先的两倍，再对卷积结果在通道上对半分割，以实现减少一次卷积次数的目的，在步骤S3中，GSConv模块运算的具体步骤如下：
S301、设定输入特征的通道数为C1；
S302、将特征图像与C1通道进行标准卷积生成C2/2特征向量；
S303、对特征图像进行深度可分离卷积生成另一个C2/2特征向量；
S304、通过Concat模块将两个C2/2特征向量连接起来以获得融合特征；
S305、将融合特征通过shuffle操作以获得输出特征；最终输出的通道数为C2。
GSConv模块运算的数学表达式如下：
Xout＝fshuffle(cat(fconv(X)，fdsc(fconv(X))))
上式中，Xout表示输出的融合特征，fshuffle(●)表示进行shuffle操作，fconv(●)表示标准卷积，fdsc(●)表示深度可分离卷积，cat表示通过Concat模块进行特征融合操作。
输入的特征图像经过一次卷积后分为两个分支，一个分支保持不变，另一个分支进行GSconv模块的运算，将两个分支的信息进行Concat模块后输出一次卷积运算，实现节省运算量的目的。
concat模块是一个用于合并多个特征图(feature maps)的操作，假设有两个特征图A和B，它们的尺寸分别为(H1，W1，C1)和(H2，W2，C2)，其中H、W、C分别表示高度、宽度和通道数，那么这两个特征图在进行concat操作时，会在通道维度上进行连接，连接后的特征图的尺寸为(H1，W1，C1+C2)，这意味着新的特征图在通道维度上包含了两个原始特征图的所有通道信息，在数学上，concat操作可以表示为：concatenated_feature_map＝concat(A,B)，其中A和B是两个要连接的特征图，在实际实现中，concat操作会将两个特征图在通道维度上连接起来，即将B的通道维度拼接到A的通道维度之后，生成一个新的特征图，这个新的特征图将包含原始特征图A和B的所有通道信息。
S4、对P3_out特征图、P4_out特征图和P5_out特征图进行解码以获得若干个标记方框，并采用KLD损失函数对标记方框进行参数调整；
为解决无人机视角下作物及其近缘种病害呈现任意角度造成的检测不准确的问题，提出了一种旋转框检测方法，实现任意方向病害定位检测的同时，也减少了引入的背景信息过多所造成的干扰，增强了网络提取病害特征信息的能力，在步骤S4中，具体包括如下步骤：
S41、对P3_out特征图、P4_out特征图和P5_out特征图进行解码以获得若干个标记方框；标记方框参数的表达式为：
H＝(x，y，w，h，θ)
上式中，H表示标记方框的符号，x、y、w、h和θ分别表示标记方框中心的横坐标、标记方框中心的纵坐标、标记方框的宽度、标记方框的高度和标记方框的旋转角度，其中，-90°≤θ≤90°，为防止出现二义性，使用了长边定义法，定义标记方框的宽度w为最长边，其邻边则是h，θ表示x轴旋转到w边所经过的角度范围。
S42、采用KLD损失函数对标记方框进行参数调整；KLD损失函数的计算公式为：
其中，
其中，
上式中，表示KL散度的权重，τ为调整系数，用于调整KL散度的权重，较大的τ值将增加KL散度的权重，f(D)表示一个关于Dkl(Np'||Nt')的非线性函数，用于模型训练过程中，在不同阶段对KL散度的权重进行调整，在公式中用于变换距离D以使损失更平滑，用于衡量生成模型的输出与目标分布之间的差异，KLD损失函数由Reg部分、Obj部分、Cls部分三部分组成，最终的损失函数由这三个部分组合而成，KL散度为Reg部分使用的损失函数用于衡量预测结果与真实标签之间的差异,提供了一个反馈信号，告诉模型它的预测有多远离实际目标，通过反向传播和梯度下降等优化算法，模型可以根据损失函数的梯度逐渐调整其参数，Np'表示预测的病害特征分布结果，Nt'表示实际的病害特征分布结果，Dkl(Np'||Nt')表示Np'和Nt'之间的KL散度，用于衡量两个概率分布之间的差异，μp和μt分别为Np'和Nt'的两个均值向量，T为转置矩阵的符号，/>和/>分别表示实际的病害特征分布的正定对称矩阵的倒数和二次开方，Tr表示矩阵的对角元素之和，M为一个线性变换矩阵，ln 为自然对数的符号，ΣP和Σt分别是Np'和Nt'的协方差矩阵，θ表示x轴旋转到标记方框w边所经过的角度范围，w和h分别表示标记方框的宽度和高度；
S5、设置置信度阈值，并使用BCE损失函数删除置信度小于置信度阈值的边框；
根据BCE函数计算的各个标记方框的置信度，可以获得方框内特征是病害特征的概率，此时需要将具有病害特征概率较高的方框挑选出来，在步骤S5中，具体包括如下步骤：
S51、设置置信度阈值T；置信度阈值T的取值一般大于或等于0.5；
S52、通过BCE函数依次计算各个标记方框的置信度；BCE函数的计算公式为：
LBCE＝-[y*log(p)+(1-y)log(1-p)]
上式中，LBCE表示BCE函数，计算的结果为置信度，y表示真实标签，其二元标签值为0或1，p表示预测概率，表示标记方框中属于类别1的概率，该公式通常用于衡量模型对二分类任务的预测与真实标签之间的差异，这个对于每个样本，如果它属于类别1(y＝1)，那么损失函数的计算是-y*log(p)，如果它属于类别0(y＝0)，那么损失函数的计算是-(1-y)log(1-p)，目标是最小化这个损失函数，从而使模型的预测概率p尽量接近真实标签y。
S53、依次判断特征图像中各标记方框所对应的置信度与置信度阈值的大小；
若则保留该置信度所对应的标记方框以生成预输出图像；
若则删除该置信度所对应的标记方框以生成预输出图像；
从而获得若干个具有病害特征的预输出图像，输出图像中通过标记方框将病害特征标记出来，方便检测人员快速识别病害位置。
S6、采用非最大值抑制算法移除预输出图像中重叠的标记方框以生成最终图像，并输出最终图像。
本发明通过在Backbone中引入动态调整感受野，Neck层中引入GSConv模块和VoVGSCSP模块，并对模块进行适应性的改进以实现轻量化，通过构建可旋转标记方框和计算标记方框置信度的方式来建立作物及其近缘种病害检测模型，实现对病害特征的高精度识别。
需要说明的是，上述实施例提供的***，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的***与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种无人机视角下田间作物及其近缘种病害检测方法，其特征在于，包括：
S1、获取田间作物的初始图像，并对初始图像进行缩放和归一化处理后获得预处理图像；
S2、将预处理图像依次经过若干个自适应的卷积核以获得若干个卷积图像，对若干个卷积图像进行空间关系提取以获取关注特征，并对关注特征和预处理图像进行逐元乘积以获得特征图像；
S3、通过GSConv模块对特征图像的P5特征层进行特征提取，并通过UpSampling模块和VoVGSCSP模块使提取的特征逐步与特征图像的P4特征层和P3特征层进行卷积运算得到P3_out特征图，并使P3_out特征图逐步与特征图像的P4特征层和P5特征层结合以分别生成P4_out特征图和P5_out特征图；
S4、对P3_out特征图、P4_out特征图和P5_out特征图进行解码以获得若干个标记方框，并采用KLD损失函数对标记方框进行参数调整；
S5、设置置信度阈值，并使用BCE损失函数删除置信度小于置信度阈值的边框；
S6、采用非最大值抑制算法移除预输出图像中重叠的标记方框以生成最终图像，并输出最终图像；
在步骤S2中，具体包括如下步骤：
S21、获取田间作物的预处理图像；
S22、设置预处理图像深度可分离卷积的核大小、膨胀率和感受野大小；第i个深度可分离卷积的核大小k、膨胀率d和感受野RF的扩张定义如下：
ki-1≤ki，d1＝1，di-1<di≤RFi-1，
RF1＝k1，RFi＝di(ki-1)+RFi-1，
上式中，ki和ki-1分别表示第i个和第i-1个深度可分离卷积的核大小，di和di-1分别表示第i个和第i-1个深度可分离卷积的膨胀率大小，RFi和RFi-1分别表示第i个和第i-1个深度可分离卷积的感受野大小；
S23、将预处理图像按照定义的核大小、膨胀率和感受野大小依次进行卷积，并对卷积后的图像进行空间特征向量融合以生成若干个卷积图像；卷积图像的计算公式如下：
U0＝X，
foriin[1,N]
上式中，Ui为第i个深度可分离卷积的图像，U0和X为预处理图像，为对图像Ui进行具有核大小ki和膨胀率di的深度卷积操作，/>为第i个经过空间特征向量通道融合后的图像特征，为生成的第i个卷积图像，/>表示将第i个深度可分离卷积后的图像Ui经过一个1×1的卷积层进行空间特征向量的通道融合，N表示卷积核的个数；
S24、将若干个卷积图像进行连接，以生成关联图像；关联图像的表达式为：
上式中，表示关联图像，/>表示第i个卷积图像；
S25、对关联图像通过平均池化和最大池化进行空间关系提取，以获得空间池化特征；
S26、将平均池化和最大池化后的空间池化特征转化为若干个空间注意图；将空间池化特征转化为N个空间注意图的表达式为：
上式中，表示空间注意图，/>表示将2个通道即经过平均池化和最大池化的2个空间池化特征转化为N个空间注意图；
S27、通过sigmoid激活函数激活若干个空间注意图以生成激活图像；
S28、对若干个激活图像中的特征进行蒙版加权，并通过卷积层进行融合以获得关注特征；关注特征的表达式为：
上式中，S表示关注特征的图像，表示卷积操作，/>表示第i个激活图像，/>为第i个经过空间特征向量通道融合后的图像特征，N表示卷积核的个数；
S29、对关注特征和输入特征进行逐元乘积以获得特征图像。
2.根据权利要求1所述的一种检测方法，其特征在于，在步骤S3中，具体包括如下步骤：
S31、将特征图像的P5特征层经过GSConv模块生成P5特征图；
S32、通过UpSampling模块将P5特征图与特征图像的特征层P4进行结合，并使用VoVGSCSP模块对其进行特征提取以生成P4特征图；
S33、通过UpSampling模块将P4特征图与特征图像的特征层P3进行结合，并使用VoVGSCSP模块对其进行特征提取得到P3_out特征图；
S34、将P3_out特征图经过GSConv模块后与特征图像的P4特征层进行结合，并使用VoVGSCSP模块对其进行特征提取得到P4_out特征图；
S35、将P4_out特征图经过GSConv模块后与特征图像的P5特征层进行结合，并使用VoVGSCSP模块对其进行特征提取得到P5_out特征图。
3.根据权利要求2所述的一种检测方法，其特征在于，在步骤S3中，GSConv模块运算的具体步骤如下：
S301、设定输入特征的通道数为C1；
S302、将特征图像与C1通道进行标准卷积生成C2/2特征向量；
S303、对特征图像进行深度可分离卷积生成另一个C2/2特征向量；
S304、通过Concat模块将两个C2/2特征向量连接起来以获得融合特征；
S305、将融合特征通过shuffle操作以获得输出特征。
4.根据权利要求1所述的一种检测方法，其特征在于，在步骤S4中，具体包括如下步骤：
S41、对P3_out特征图、P4_out特征图和P5_out特征图进行解码以获得若干个标记方框；标记方框参数的表达式为：
H＝(x，y，w，h，θ
上式中，H表示标记方框的符号，x、y、w、h和θ分别表示标记方框中心的横坐标、标记方框中心的纵坐标、标记方框的宽度、标记方框的高度和标记方框的旋转角度，其中，-90°≤θ≤90°，定义标记方框的宽度w为最长边，θ表示x轴旋转到w边所经过的角度范围；
S42、采用KLD损失函数对标记方框进行参数调整。
5.根据权利要求4所述的一种检测方法，其特征在于，在步骤S42中，KLD损失函数的计算公式为：
其中，
其中，
上式中，表示KL散度的权重，τ为调整系数，f(D)表示一个关于Dkl(Np'||Nt')的非线性函数，Np'表示预测的病害特征分布结果，Nt'表示实际的病害特征分布结果，Dkl(Np'||Nt')表示Np'和Nt'之间的KL散度，用于衡量两个概率分布之间的差异，μp和μt分别为Np'和Nt'的两个均值向量，T为转置矩阵的符号，/>和/>分别表示实际的病害特征分布的正定对称矩阵的倒数和二次开方，Tr表示矩阵的对角元素之和，M为一个线性变换矩阵，ln为自然对数的符号，ΣP和Σt分别是Np'和Nt'的协方差矩阵，θ表示x轴旋转到标记方框w边所经过的角度范围，w和h分别表示标记方框的宽度和高度。
6.根据权利要求1所述的一种检测方法，其特征在于，在步骤S5中，具体包括如下步骤：
S51、设置置信度阈值T；
S52、通过BCE函数依次计算各个标记方框的置信度；
S53、依次判断特征图像中各标记方框所对应的置信度与置信度阈值的大小；
若则保留该置信度所对应的标记方框以生成预输出图像；
若则删除该置信度所对应的标记方框以生成预输出图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311364873.6A CN117351356B (zh) | 2023-10-20 | 2023-10-20 | 一种无人机视角下田间作物及其近缘种病害检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311364873.6A CN117351356B (zh) | 2023-10-20 | 2023-10-20 | 一种无人机视角下田间作物及其近缘种病害检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117351356A CN117351356A (zh) | 2024-01-05 |
| CN117351356B true CN117351356B (zh) | 2024-05-24 |
Family
ID=89359156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311364873.6A Active CN117351356B (zh) | 2023-10-20 | 2023-10-20 | 一种无人机视角下田间作物及其近缘种病害检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351356B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968087A (zh) * | 2020-08-13 | 2020-11-20 | 中国农业科学院农业信息研究所 | 一种植物病害区域检测方法 |
| CN114359654A (zh) * | 2021-12-06 | 2022-04-15 | 重庆邮电大学 | 一种基于位置关联性特征融合的YOLOv4混凝土表观病害检测方法 |
| CN114419051A (zh) * | 2021-12-08 | 2022-04-29 | 西安电子科技大学 | 一种适应含有像素级分割的多任务场景的方法及*** |
| CN114937151A (zh) * | 2022-05-06 | 2022-08-23 | 西安电子科技大学 | 基于多感受野和注意力特征金字塔的轻量级目标检测方法 |
| CN116229292A (zh) * | 2023-01-18 | 2023-06-06 | 吉林大学 | 一种基于无人机路面巡检病害的巡检***及方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021154624A1 (en) * | 2020-01-27 | 2021-08-05 | Matthew Charles King | System and method for performing machine vision recognition of dynamic objects |
| CN111967538B (zh) * | 2020-09-25 | 2024-03-15 | 北京康夫子健康技术有限公司 | 应用于小目标检测的特征融合方法、装置、设备以及存储介质 |
| US11580646B2 (en) * | 2021-03-26 | 2023-02-14 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on U-Net |
-
2023
- 2023-10-20 CN CN202311364873.6A patent/CN117351356B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968087A (zh) * | 2020-08-13 | 2020-11-20 | 中国农业科学院农业信息研究所 | 一种植物病害区域检测方法 |
| CN114359654A (zh) * | 2021-12-06 | 2022-04-15 | 重庆邮电大学 | 一种基于位置关联性特征融合的YOLOv4混凝土表观病害检测方法 |
| CN114419051A (zh) * | 2021-12-08 | 2022-04-29 | 西安电子科技大学 | 一种适应含有像素级分割的多任务场景的方法及*** |
| CN114937151A (zh) * | 2022-05-06 | 2022-08-23 | 西安电子科技大学 | 基于多感受野和注意力特征金字塔的轻量级目标检测方法 |
| CN116229292A (zh) * | 2023-01-18 | 2023-06-06 | 吉林大学 | 一种基于无人机路面巡检病害的巡检***及方法 |
Non-Patent Citations (3)
| Title |
|---|
| Maize-YOLO:A New High-Precision and Real-Time Method for Maize Pest Detection;Shuai Yang 等;MDPI;20230310;1-13 * |
| 基于密集连接的FPN多尺度目标检测算法;张宽;滕国伟;范涛;李聪;;计算机应用与软件;20200112(01);171-177+218 * |
| 结合混合域注意力与空洞卷积的3维目标检测;严娟;方志军;高永彬;;中国图象图形学报;20200616(06);157-170 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117351356A (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949255B (zh) | 图像重建方法及设备 | |
| CN107945204B (zh) | 一种基于生成对抗网络的像素级人像抠图方法 | |
| CN111428575B (zh) | 一种基于孪生网络的针对模糊目标的跟踪方法 | |
| WO2023015743A1 (zh) | 病灶检测模型的训练方法及识别图像中的病灶的方法 | |
| Wang et al. | SSRNet: In-field counting wheat ears using multi-stage convolutional neural network | |
| CN106778821A (zh) | 基于slic和改进的cnn的极化sar图像分类方法 | |
| Li et al. | Implementation of deep-learning algorithm for obstacle detection and collision avoidance for robotic harvester | |
| CN111781599A (zh) | 基于CV-EstNet的SAR运动舰船目标速度估算方法 | |
| Der Yang et al. | Real-time crop classification using edge computing and deep learning | |
| CN116091951A (zh) | 一种农田与机耕道边界线提取方法及*** | |
| CN109712149A (zh) | 一种基于小波能量和模糊c均值的图像分割方法 | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| CN111445496B (zh) | 一种水下图像识别跟踪***及方法 | |
| CN110135435B (zh) | 一种基于广度学习***的显著性检测方法及装置 | |
| Kiratiratanapruk et al. | Automatic detection of rice disease in images of various leaf sizes | |
| Deng et al. | ELMGAN: A GAN-based efficient lightweight multi-scale-feature-fusion multi-task model | |
| Lu et al. | Image recognition of rice leaf diseases using atrous convolutional neural network and improved transfer learning algorithm | |
| Wu et al. | Fish Target Detection in Underwater Blurred Scenes Based on Improved YOLOv5 | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 | |
| CN113673621A (zh) | 一种基于卷积神经网络和maml算法的类圆目标检测方法 | |
| CN117351356B (zh) | 一种无人机视角下田间作物及其近缘种病害检测方法 | |
| CN117197456A (zh) | 一种面向he染色的病理图像细胞核同时分割分类方法 | |
| Xu et al. | Cucumber flower detection based on YOLOv5s-SE7 within greenhouse environments | |
| CN116953702A (zh) | 基于演绎范式的旋转目标检测方法及装置 | |
| CN116129150A (zh) | 集成全局***和局部***的无人机目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |