CN117037152B - 基于机器视觉的灰葡萄孢菌防效分析方法及装置 - Google Patents
基于机器视觉的灰葡萄孢菌防效分析方法及装置 Download PDFInfo
- Publication number
- CN117037152B CN117037152B CN202311301316.XA CN202311301316A CN117037152B CN 117037152 B CN117037152 B CN 117037152B CN 202311301316 A CN202311301316 A CN 202311301316A CN 117037152 B CN117037152 B CN 117037152B
- Authority
- CN
- China
- Prior art keywords
- botrytis cinerea
- control effect
- colony
- machine vision
- effect analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000123650 Botrytis cinerea Species 0.000 title claims abstract description 83
- 230000000694 effects Effects 0.000 title claims abstract description 53
- 238000004458 analytical method Methods 0.000 title claims abstract description 33
- 238000005286 illumination Methods 0.000 claims abstract description 19
- 239000003814 drug Substances 0.000 claims abstract description 17
- 230000002265 prevention Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000011161 development Methods 0.000 claims abstract description 9
- 230000018109 developmental process Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 4
- 230000001580 bacterial effect Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 18
- 230000000844 anti-bacterial effect Effects 0.000 claims description 9
- 235000015097 nutrients Nutrition 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 235000016709 nutrition Nutrition 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 239000004615 ingredient Substances 0.000 claims description 2
- 229940079593 drug Drugs 0.000 abstract 1
- 235000012041 food component Nutrition 0.000 abstract 1
- 241000196324 Embryophyta Species 0.000 description 11
- 239000003899 bactericide agent Substances 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 229930014626 natural product Natural products 0.000 description 6
- 241001465180 Botrytis Species 0.000 description 4
- 208000031888 Mycoses Diseases 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 244000052616 bacterial pathogen Species 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000005760 Difenoconazole Substances 0.000 description 2
- 239000005802 Mancozeb Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- BQYJATMQXGBDHF-UHFFFAOYSA-N difenoconazole Chemical compound O1C(C)COC1(C=1C(=CC(OC=2C=CC(Cl)=CC=2)=CC=1)Cl)CN1N=CN=C1 BQYJATMQXGBDHF-UHFFFAOYSA-N 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000002070 germicidal effect Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000035764 nutrition Effects 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 239000003223 protective agent Substances 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- WURBVZBTWMNKQT-UHFFFAOYSA-N 1-(4-chlorophenoxy)-3,3-dimethyl-1-(1,2,4-triazol-1-yl)butan-2-one Chemical compound C1=NC=NN1C(C(=O)C(C)(C)C)OC1=CC=C(Cl)C=C1 WURBVZBTWMNKQT-UHFFFAOYSA-N 0.000 description 1
- PXMNMQRDXWABCY-UHFFFAOYSA-N 1-(4-chlorophenyl)-4,4-dimethyl-3-(1H-1,2,4-triazol-1-ylmethyl)pentan-3-ol Chemical compound C1=NC=NN1CC(O)(C(C)(C)C)CCC1=CC=C(Cl)C=C1 PXMNMQRDXWABCY-UHFFFAOYSA-N 0.000 description 1
- HZJKXKUJVSEEFU-UHFFFAOYSA-N 2-(4-chlorophenyl)-2-(1H-1,2,4-triazol-1-ylmethyl)hexanenitrile Chemical compound C=1C=C(Cl)C=CC=1C(CCCC)(C#N)CN1C=NC=N1 HZJKXKUJVSEEFU-UHFFFAOYSA-N 0.000 description 1
- 241000219104 Cucurbitaceae Species 0.000 description 1
- 206010059866 Drug resistance Diseases 0.000 description 1
- 239000005780 Fluazinam Substances 0.000 description 1
- 239000005867 Iprodione Substances 0.000 description 1
- 239000005811 Myclobutanil Substances 0.000 description 1
- 239000005869 Pyraclostrobin Substances 0.000 description 1
- 239000005828 Pyrimethanil Substances 0.000 description 1
- 235000004789 Rosa xanthina Nutrition 0.000 description 1
- 241000220222 Rosaceae Species 0.000 description 1
- 241000208292 Solanaceae Species 0.000 description 1
- 239000005839 Tebuconazole Substances 0.000 description 1
- 239000005858 Triflumizole Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000004480 active ingredient Substances 0.000 description 1
- 239000011149 active material Substances 0.000 description 1
- 239000013543 active substance Substances 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000013043 chemical agent Substances 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- UZCGKGPEKUCDTF-UHFFFAOYSA-N fluazinam Chemical compound [O-][N+](=O)C1=CC(C(F)(F)F)=C(Cl)C([N+]([O-])=O)=C1NC1=NC=C(C(F)(F)F)C=C1Cl UZCGKGPEKUCDTF-UHFFFAOYSA-N 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 244000053095 fungal pathogen Species 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- ONUFESLQCSAYKA-UHFFFAOYSA-N iprodione Chemical compound O=C1N(C(=O)NC(C)C)CC(=O)N1C1=CC(Cl)=CC(Cl)=C1 ONUFESLQCSAYKA-UHFFFAOYSA-N 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 231100000053 low toxicity Toxicity 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007918 pathogenicity Effects 0.000 description 1
- 239000000447 pesticide residue Substances 0.000 description 1
- QXJKBPAVAHBARF-BETUJISGSA-N procymidone Chemical compound O=C([C@]1(C)C[C@@]1(C1=O)C)N1C1=CC(Cl)=CC(Cl)=C1 QXJKBPAVAHBARF-BETUJISGSA-N 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- HZRSNVGNWUDEFX-UHFFFAOYSA-N pyraclostrobin Chemical compound COC(=O)N(OC)C1=CC=CC=C1COC1=NN(C=2C=CC(Cl)=CC=2)C=C1 HZRSNVGNWUDEFX-UHFFFAOYSA-N 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- HSMVPDGQOIQYSR-KGENOOAVSA-N triflumizole Chemical compound C1=CN=CN1C(/COCCC)=N/C1=CC=C(Cl)C=C1C(F)(F)F HSMVPDGQOIQYSR-KGENOOAVSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本发明涉及一种基于机器视觉的灰葡萄孢菌防效分析方法及装置，该方法通过摄像头拍摄采集培养皿中的灰葡萄孢菌培养图像，并且记录观测装置内的条件因素；通过语义分割模型对灰葡萄孢菌培养图像进行处理，并将菌落尺寸数据作为菌落分割图像的标签；以光照强度、温度、营养成分作为RGB彩色图像的RGB值，以药剂浓度作为RGB彩色图像的强度值，进行RGB彩色图像转化，将所得RGB彩色图像和打上标签的菌落分割图像作为菌种生长防效网络预测模型输入，使用菌种生长防效网络预测模型预测各个条件因素下菌落生长发育的情况。本发明对加药时的灰葡萄孢菌生长情况进行精准分析，可用于辅助植物灰霉病防治药物的开发。
Description
技术领域
本发明属于图像分析和微生物生长分析技术领域，具体涉及一种基于机器视觉的灰葡萄孢菌防效分析方法及装置。
背景技术
灰葡萄孢菌是一种分布广泛的作物致病病原真菌，可以感染多种作物，包括蔬菜、果树、花卉等，其感染植物之后会使得植物引发灰霉病。灰霉病作为危害作物的主要真菌病害之一，能够危害茄科、葫芦科、蔷薇科等 470 多种植物，植物在受灰霉病影响发病时，表面会生长出灰色绒毛状的菌丝和孢子，进而导致植物的果实、叶子以及花朵出现***、腐烂的症状。同时灰葡萄孢菌可以感染植物的茎、叶、花、果实等多个器官并同时产生病状，因此灰霉病的防治也就成为了重点以及难点。在农业方面灰霉病是蔬菜、水果、花卉等重要经济作物的主要病害，在高温高湿的条件下灰霉病非常容易爆发，并且它的传播速度非常快、致病力强，对经济作物的产量会造成很大的影响。随着农业种植结构调整，大棚、温室等人工环境设施种植技术的推广应用，温暖高湿的集中种植环境使得真菌性病害变得更难防治。
目前在灰霉病的防治措施中，仍然以化学防治为主，苯醚甲环唑、晴菌唑、戊唑醇、氟菌唑、吡唑醚菌酯，代森锰锌, 氟啶胺，***酮、嘧霉胺、腐霉利、异菌脲等都常被用来防治作物真菌性病害。以代森锰锌为代表的预防保护剂防治效果有限，单用无法满足用户对病害的防治需求。而以苯醚甲环唑为代表的具有内吸性杀菌剂在抑制病原菌生长侵害的同时，也会一定程度的对作物生理指标造成影响，通常表现在叶绿素合成抑制，作物生长缓慢，以及长期使用会降低植物对病原菌的抵抗力方面。同时，长时间的化学药剂施用进一步造成了病原菌的抗药性增强、农药残留和环境污染等问题。真菌性病害的防治会进入由环境影响问题、作物健康问题以及病害防控问题相互制约的恶性循环中。
天然产物类杀菌剂（植物源杀菌剂）作为一种天然来源的杀菌活性物质，有着毒性较低、攻击靶点多样性好，同时还有着容易降解的优点。但是目前，植物源杀菌剂的品类仍然局限于为数不多的现有品种，且推广应用滞后，同时仍然存在诸如起效比较慢、持续时间短等应用短板。考虑到研发成本、人员投入等诸多因素，天然活性物质筛选仍局限于人工评价，筛选通量低，准确度受人为影响因素大，一定程度上阻碍了天然产物类杀菌剂的产品研发效率。
发明内容
为了加速天然产物类杀菌活性成分的研究进度，本发明提供了一种基于机器视觉的灰葡萄孢菌防效分析方法及装置。本发明研究了在不同条件因素下天然产物类杀菌剂起到的抑制灰葡萄孢菌生长的效果，通过对各个条件因素下灰葡萄孢菌的生长进行观测并采集，通过菌种生长防效网络预测模型对实验数据进行精准分析。
本发明是这样实现的，一种基于机器视觉的灰葡萄孢菌防效分析方法，包括以下步骤：
步骤一：将灰葡萄孢菌的培养皿放置在观测装置上，通过摄像头拍摄采集培养皿中的灰葡萄孢菌培养图像，并且记录观测装置内的条件因素，所述条件因素包括光照强度、温度、培养皿的营养成分以及滴加的药剂浓度；
步骤二：对灰葡萄孢菌培养图像进行标注，将标注的灰葡萄孢菌培养图像样本扩充成训练数据集，训练数据集包含训练集、验证集和测试集；
步骤三：通过语义分割模型对训练数据集的灰葡萄孢菌培养图像进行处理，分割出菌落在培养皿中的位置和菌落的形状，计算在灰葡萄孢菌培养图像中的培养皿尺寸，再根据培养皿尺寸以及菌落与培养皿的比例关系计算出培养皿中菌落尺寸数据（包括菌落半径和菌落面积），并将菌落尺寸数据作为菌落分割图像的标签；
步骤四：以光照强度、温度、营养成分作为RGB彩色图像的RGB值，以药剂浓度作为RGB彩色图像的强度值，进行RGB彩色图像转化，将所得RGB彩色图像和打上标签的菌落分割图像作为菌种生长防效网络预测模型输入，使用菌种生长防效网络预测模型预测各个条件因素下菌落生长发育的情况；所述菌种生长防效网络预测模型由加入通道注意力机制结合多头自注意力模块（SE_MHSA模块）以及多尺度特征提取器改进的RepVGG网络训练得到，通道注意力机制结合多头自注意力模块由SE模块和多头自注意力模块结合而成；
步骤五：根据步骤四的预测结果建立灰葡萄孢菌生长曲线，通过各个时间点的菌落半径和菌落面积来评判各条件因素对灰葡萄孢菌的抑菌效率。
进一步优选，所述菌种生长防效网络预测模型由RepVGG网络、通道注意力机制结合多头自注意力模块、多尺度特征提取器构成，RepVGG网络的输出进入通道注意力机制结合多头自注意力模块，然后再进入多尺度特征提取器。
进一步优选，RepVGG网络依次包括三级卷积组，每一级卷积组由3×3二维卷积、1×1二维卷积和Relu激活函数组成，每一级卷积组中，3×3二维卷积、1×1二维卷积分别将输入的特征进行卷积处理，然后融合，融合特征经Relu激活函数处理后作为输出，进入下一个卷积组，最后一个卷积组的输出进入通道注意力机制结合多头自注意力模块。
进一步优选，多尺度特征提取器由多个卷积层级组成。
进一步优选，步骤四中，使用训练数据集训练菌种生长防效网络预测模型，向训练好的菌种生长防效网络预测模型输入条件因素，得到预测菌落尺寸数据。
进一步优选，根据预测菌落尺寸数据，结合光照强度、温度、营养成分和药剂浓度，通过沙普利(Shapely)值算法研究菌种生长防效网络预测模型在各种条件因素下对菌落面积的影响情况，输出灰葡萄孢菌生长防效分析图。
进一步优选，沙普利（Shapely）值算法的具体公式为：
；
其中，表示条件因素/>对灰葡萄孢菌生长状况的影响因子，/>表示/>个条件因素的集合，/>=/>，条件因素集合/>是/>的子集，但其中不包含条件因素/>，/>表示条件因素集合/>包含的条件因素个数，/> 表示所有条件因素的个数，/>表示条件因素集合/>下的菌落生长大小，/>表示条件因素集合/>结合条件因素/>之后的菌落生长大小。
本发明提供了基于机器视觉的灰葡萄孢菌防效分析装置，包括底座、观测装置、摄像模块和数据处理模块，数据处理模块按前述的基于机器视觉的灰葡萄孢菌防效分析方法进行数据处理。
进一步优选，底座带有滑轮，观测装置和摄像模块分别通过可伸缩支撑杆安装在底座上。
进一步优选，所述观测装置包括灰葡萄孢菌观测箱，灰葡萄孢菌观测箱中设有观测台、补光灯、光度传感器以及温度传感器，观测台用于放置培养皿，补光灯调节光照强度和光照射的角度，光度传感器实时测量灰葡萄孢菌观测箱中的光照强度，温度传感器用于实时测量观测箱中的温度。
进一步优选，摄像模块包含工业相机以及相机支架，工业相机的摄像头对灰葡萄孢菌培养皿进行不同高度以及多角度的精准拍摄。
本发明通过机器视觉对各个条件下灰葡萄孢菌的生长进行自动观测，并采集条件因素，构建了以光照强度、温度、营养成分以及药剂浓度进行RGB彩色图像转化，再菌落分割图像一起作为菌种生长防效网络预测模型的输入，对实验数据进行精准分析，并提出沙普利(Shapely)值算法研究其在各种条件因素下对菌落面积的影响情况，输出灰葡萄孢菌生长防效分析图。本发明建立了高效准确且低成本的天然产物活性杀菌物质评价***，同时通过引入环境参数，对药剂防治体系建立给出指导意见，实现快速针对植物灰霉病进行新药开发及应用指导。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明提供的基于机器视觉的灰葡萄孢菌防效分析方法流程图。
图2是菌种生长防效网络预测模型及防效分析示意图。
图3是本发明得到的灰葡萄孢菌生长防效分析图。
图4是本发明提供的基于机器视觉的灰葡萄孢菌防效分析装置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，一种基于机器视觉的灰葡萄孢菌防效分析方法，包括以下步骤：
步骤一：将灰葡萄孢菌的培养皿放置在观测装置上，通过摄像头拍摄采集培养皿中的灰葡萄孢菌培养图像，并且记录观测装置内的条件因素；所述条件因素包括光照强度、温度、培养皿的营养成分以及滴加的药剂浓度；
步骤二：对灰葡萄孢菌培养图像进行标注，将标注的灰葡萄孢菌培养图像样本扩充成训练数据集，训练数据集包含训练集、验证集和测试集；其中，灰葡萄孢菌培养图像、光照强度、温度、营养成分以及药剂浓度通过无线局域网或有线连接的形式实时发送到计算机；
步骤三：通过语义分割模型对训练数据集的灰葡萄孢菌培养图像进行处理，分割出菌落在培养皿中的位置和菌落的形状，计算在灰葡萄孢菌培养图像中的培养皿尺寸，再根据培养皿尺寸以及菌落与培养皿的比例关系计算出培养皿中菌落尺寸数据（包括菌落半径和菌落面积），并将菌落尺寸数据作为菌落分割图像的标签；本实施例的语义分割模型为在计算机中通过Pytorch框架搭建的Unet语义分割模型；
步骤四：以光照强度、温度、营养成分作为RGB彩色图像的RGB值，以药剂浓度作为RGB彩色图像的强度值，进行RGB彩色图像转化，将所得RGB彩色图像和打上标签的菌落分割图像作为菌种生长防效网络预测模型输入，使用菌种生长防效网络预测模型预测各个条件因素下菌落生长发育的情况；所述菌种生长防效网络预测模型由加入通道注意力机制结合多头自注意力模块（SE_MHSA模块）改进的RepVGG网络训练得到，SE_MHSA模块由SE模块（Squeeze and Excitation）和多头自注意力模块（MultiHead SelfAttention）结合而成；SE模块主要是对特征通道进行加权，用来增强网络模型对不同特征通道的关注程度，而多头自注意力模块（MultiHead SelfAttention）主要用于捕获输入特征之间的长距离依赖关系。结合这两种模块，可以在不同层次上加强模型的表达能力，从而使得菌种生长防效网络预测模型有更高的分析准确率；菌种生长防效网络预测模型由计算机通过Pytorch框架搭建；
步骤五：根据步骤四的预测结果建立灰葡萄孢菌生长曲线，通过各个时间点的菌落半径和菌落面积来评判各条件因素对灰葡萄孢菌的抑菌效率。根据实验的时间点或培养时间，将菌落面积与观察记录时间进行关联，建立灰葡萄孢菌生长曲线。灰葡萄孢菌生长曲线是菌落面积随时间变化的曲线图，通过灰葡萄孢菌生长曲线，可以更为直观、具体的观察各个时间段内菌落生长发育状况。同时可以设置一个生长阈值，如果菌落面积在一段时间内持续的增加，并且超过了所设定的阈值，判断其为正常生长发育；如果菌落面积增长缓慢或者停滞生长，并且没有达到所设定的阈值，那么判定为生长受到抑制，即为天然产物类杀菌剂（植物源杀菌剂）起到效果。
本实施例根据相机成像原理可以将培养皿以及培养皿内灰葡萄孢菌的菌落尺寸数据进行识别计算：
；
其中，表示的是培养皿的半径，/>表示的是摄像头的焦距，/>表示的摄像头到培养皿的距离，通过这些已知或可测量参数，求得培养皿在灰葡萄孢菌培养图像中的半径/>：
；
再由语义分割模型将灰葡萄孢菌培养图像中培养皿轮廓和灰葡萄孢菌菌落轮廓识别分割出来，根据所得分割图像计算培养皿和菌落的半径比例，因此分割图像中灰葡萄孢菌的菌落大小/>为：
；
之后可求得菌落的实际半径：
；
再由菌落的实际半径计算菌落面积：
。
如图2所示，菌种生长防效网络预测模型由RepVGG网络、通道注意力机制结合多头自注意力模块（SE_MHSA模块）、多尺度特征提取器构成，RepVGG网络的输入为打上标签的菌落分割图像和由光照强度、温度、营养成分和药剂浓度转换形成的RGB彩色图像，RepVGG网络的输出进入通道注意力机制结合多头自注意力模块（SE_MHSA模块），然后在进入多尺度特征提取器。RepVGG网络依次包括三级卷积组，每一级卷积组由3×3二维卷积、1×1二维卷积和Relu激活函数组成，每一级卷积组中，3×3二维卷积、1×1二维卷积分别将输入的特征进行卷积处理，然后融合，融合特征经Relu激活函数处理后作为输出，进入下一个卷积组，最后一个卷积组的输出进入通道注意力机制结合多头自注意力模块（SE_MHSA模块）。
多尺度特征提取器由多个卷积层级组成。每个层级都能从输入图像中提取特定尺度的特征。同时每个层级的卷积核大小和步幅有所不同，从而使得每个层级的感受野大小不同。较大的感受野便于捕获全局或者大尺度的特征，较小的感受野便于局部的或者小尺度的特征。同时多尺度特征提取器还包含了特征融合层，将不同尺度的特征图融合到一起，有助于在更高的特征表示中保留多尺度信息。
在经过菌种生长防效网络预测模型训练后，向训练好的菌种生长防效网络预测模型输入条件因素，得到预测菌落尺寸数据，通过使用博弈论领域的沙普利(Shapely)值算法，旨在提高神经网络的解释性，对于实验输入的四个参数：光照强度、温度、营养成分和药剂浓度，研究其在各种条件因素下对菌落面积的影响情况，输出灰葡萄孢菌生长防效分析图。
沙普利（Shapely）值算法的具体公式为：
；
其中，表示条件因素/>对灰葡萄孢菌生长状况的影响因子，/>表示/>个条件因素的集合，/>=/>，条件因素集合/>是/>的子集，但其中不包含条件因素/>，/>表示条件因素集合/>包含的条件因素个数，/> 表示所有条件因素的个数，/>表示条件因素集合/>下的菌落生长大小，/>表示条件因素集合/>结合条件因素/>之后的菌落生长大小。
如图3所示的灰葡萄孢菌生长防效分析图，图中横轴表示沙普利值（SHAP值），SHAP值大于 0 说明该因素提升了菌落面积的预测值，有促进菌饼生长的作用，SHAP值小于 0说明该因素使得菌落面积的预测值降低，起到了抑制菌饼生长的作用，SHAP值的绝对值越大说明该条件因素对菌落生长影响程度越大。纵轴表示的是各个条件因素对菌落生长的影响，某个条件因素的特征值越高则代表该条件因素对菌落生长发育的影响越大。在本发明方法的实验中，培养皿营养成分对菌落面积的影响最大，其次分别是光照强度、药剂浓度、温度。
本实施例的训练数据集含训练集525行数据、验证集175行数据，选取两种主要的评价指标如训练损失(Loss)、平均绝对误差(MAE)，平均绝对误差可以衡量网络模型的预测误差的平均绝对值，因此它的值越小越好。对不同RepVGG改进网络统一运行了1000轮得到评价指标数据。使用训练数据集运行后不同RepVGG改进网络的两种评价指标对比数据如表1所示。
表1 不同RepVGG改进网络的评价指标对比数据
表中，ECA代表有效通道注意力机制；CBAM代表卷积块注意模块（通道注意力机制和空间注意力机制混合使用）；SE_MHSA模块代表通道注意力机制结合多头自注意力模块。
如图4所示，本实施例提供的基于机器视觉的灰葡萄孢菌防效分析装置，包括底座1、观测装置2、摄像模块3和数据处理模块4，底座1带有滑轮，方便移动整个装置。观测装置2和摄像模块3分别通过可伸缩支撑杆安装在底座1上，方便调节高度。观测装置2包括灰葡萄孢菌观测箱，灰葡萄孢菌观测箱中设有观测台、补光灯、光度传感器以及温度传感器，观测台用于放置培养皿，补光灯可以调节光照强度和光照射的角度，光度传感器能够实时测量灰葡萄孢菌观测箱中的光照强度，温度传感器用于实时测量观测箱中的温度。摄像模块3包含工业相机以及相机支架，工业相机的摄像头对灰葡萄孢菌培养皿进行不同高度以及多角度的精准拍摄。数据处理模块4通过计算机完成，数据处理模块4按前述的基于机器视觉的灰葡萄孢菌防效分析方法进行数据处理。
以上所述发明仅表达了本发明实施例的实施方式，并不能因此理解为对发明专利范围的限制，也并非对本发明实施例的结构作任何形式上的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明实施例构思的前提下，还可以做出若干变化和改进，这些都属于本发明实施例的保护范围。
Claims (10)
1.一种基于机器视觉的灰葡萄孢菌防效分析方法，其特征在于，包括以下步骤：
步骤一：将灰葡萄孢菌的培养皿放置在观测装置上，通过摄像头拍摄采集培养皿中的灰葡萄孢菌培养图像，并且记录观测装置内的条件因素，所述条件因素包括光照强度、温度、培养皿的营养成分以及滴加的药剂浓度；
步骤二：对灰葡萄孢菌培养图像进行标注，将标注的灰葡萄孢菌培养图像样本扩充成训练数据集，训练数据集包含训练集、验证集和测试集；
步骤三：通过语义分割模型对训练数据集的灰葡萄孢菌培养图像进行处理，分割出菌落在培养皿中的位置和菌落的形状，计算在灰葡萄孢菌培养图像中的培养皿尺寸，再根据培养皿尺寸以及菌落与培养皿的比例关系计算出培养皿中菌落尺寸数据，并将菌落尺寸数据作为菌落分割图像的标签；
步骤四：以光照强度、温度、营养成分作为RGB彩色图像的RGB值，以药剂浓度作为RGB彩色图像的强度值，进行RGB彩色图像转化，将所得RGB彩色图像和打上标签的菌落分割图像作为菌种生长防效网络预测模型输入，使用菌种生长防效网络预测模型预测各个条件因素下菌落生长发育的情况；所述菌种生长防效网络预测模型由加入通道注意力机制结合多头自注意力模块以及多尺度特征提取器改进的RepVGG网络训练得到，通道注意力机制结合多头自注意力模块由SE模块和多头自注意力模块结合而成；
步骤五：根据步骤四的预测结果建立灰葡萄孢菌生长曲线，通过各个时间点的菌落半径和菌落面积来评判各条件因素对灰葡萄孢菌的抑菌效率。
2.根据权利要求1所述的基于机器视觉的灰葡萄孢菌防效分析方法，其特征在于，所述菌种生长防效网络预测模型由RepVGG网络、通道注意力机制结合多头自注意力模块、多尺度特征提取器构成，RepVGG网络的输出进入通道注意力机制结合多头自注意力模块，然后再进入多尺度特征提取器。
3.根据权利要求2所述的基于机器视觉的灰葡萄孢菌防效分析方法，其特征在于，RepVGG网络依次包括三级卷积组，每一级卷积组由3×3二维卷积、1×1二维卷积和Relu激活函数组成，每一级卷积组中，3×3二维卷积、1×1二维卷积分别将输入的特征进行卷积处理，然后融合，融合特征经Relu激活函数处理后作为输出，进入下一个卷积组，最后一个卷积组的输出进入通道注意力机制结合多头自注意力模块。
4.根据权利要求2所述的基于机器视觉的灰葡萄孢菌防效分析方法，其特征在于，多尺度特征提取器由多个卷积层级组成。
5.根据权利要求1所述的基于机器视觉的灰葡萄孢菌防效分析方法，其特征在于，步骤四中，使用训练数据集训练菌种生长防效网络预测模型，向训练好的菌种生长防效网络预测模型输入条件因素，得到预测菌落尺寸数据。
6.根据权利要求5所述的基于机器视觉的灰葡萄孢菌防效分析方法，其特征在于，根据预测菌落尺寸数据，结合光照强度、温度、营养成分和药剂浓度，通过沙普利值算法研究菌种生长防效网络预测模型在各种条件因素下对菌落面积的影响情况，输出灰葡萄孢菌生长防效分析图。
7.根据权利要求6所述的基于机器视觉的灰葡萄孢菌防效分析方法，其特征在于，沙普利值算法的具体公式为：
；
其中，表示条件因素/>对灰葡萄孢菌生长状况的影响因子，/>表示/>个条件因素的集合，/>=/>，条件因素集合/>是/>的子集，但其中不包含条件因素/>，/>表示条件因素集合/>包含的条件因素个数，/> 表示所有条件因素的个数，/>表示条件因素集合/>下的菌落生长大小，/>表示条件因素集合/>结合条件因素/>之后的菌落生长大小。
8.基于机器视觉的灰葡萄孢菌防效分析装置，其特征在于，包括底座、观测装置、摄像模块和数据处理模块，数据处理模块按权利要求1-7任意一项所述的基于机器视觉的灰葡萄孢菌防效分析方法进行数据处理。
9.根据权利要求8所述的基于机器视觉的灰葡萄孢菌防效分析装置，其特征在于，底座带有滑轮，观测装置和摄像模块分别通过可伸缩支撑杆安装在底座上，摄像模块包含工业相机以及相机支架，工业相机的摄像头对灰葡萄孢菌培养皿进行不同高度以及多角度的精准拍摄。
10.根据权利要求8所述的基于机器视觉的灰葡萄孢菌防效分析装置，其特征在于，所述观测装置包括灰葡萄孢菌观测箱，灰葡萄孢菌观测箱中设有观测台、补光灯、光度传感器以及温度传感器，观测台用于放置培养皿，补光灯调节光照强度和光照射的角度，光度传感器实时测量灰葡萄孢菌观测箱中的光照强度，温度传感器用于实时测量观测箱中的温度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311301316.XA CN117037152B (zh) | 2023-10-10 | 2023-10-10 | 基于机器视觉的灰葡萄孢菌防效分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311301316.XA CN117037152B (zh) | 2023-10-10 | 2023-10-10 | 基于机器视觉的灰葡萄孢菌防效分析方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117037152A CN117037152A (zh) | 2023-11-10 |
| CN117037152B true CN117037152B (zh) | 2024-01-05 |
Family
ID=88626729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311301316.XA Active CN117037152B (zh) | 2023-10-10 | 2023-10-10 | 基于机器视觉的灰葡萄孢菌防效分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117037152B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102628794A (zh) * | 2012-04-19 | 2012-08-08 | 江苏大学 | 一种基于高光谱成像技术的畜肉细菌总数快速测定方法 |
| CN111368643A (zh) * | 2020-02-12 | 2020-07-03 | 杭州电子科技大学 | 一种大肠杆菌动态生长监测方法 |
| CN111415709A (zh) * | 2020-03-16 | 2020-07-14 | 北京君立康生物科技有限公司 | 菌落生长图像的预测方法、装置、电子设备及存储介质 |
| CN112116599A (zh) * | 2020-08-12 | 2020-12-22 | 南京理工大学 | 基于弱监督学习的痰涂片结核杆菌语义分割方法及*** |
| KR20210035948A (ko) * | 2019-09-24 | 2021-04-02 | (주)다울 | 머신러닝 기반의 생장 분석 시스템 |
| CN115761225A (zh) * | 2022-11-03 | 2023-03-07 | 北京科技大学 | 一种基于神经网络可解释性的图像标注方法 |
-
2023
- 2023-10-10 CN CN202311301316.XA patent/CN117037152B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102628794A (zh) * | 2012-04-19 | 2012-08-08 | 江苏大学 | 一种基于高光谱成像技术的畜肉细菌总数快速测定方法 |
| KR20210035948A (ko) * | 2019-09-24 | 2021-04-02 | (주)다울 | 머신러닝 기반의 생장 분석 시스템 |
| CN111368643A (zh) * | 2020-02-12 | 2020-07-03 | 杭州电子科技大学 | 一种大肠杆菌动态生长监测方法 |
| CN111415709A (zh) * | 2020-03-16 | 2020-07-14 | 北京君立康生物科技有限公司 | 菌落生长图像的预测方法、装置、电子设备及存储介质 |
| CN112116599A (zh) * | 2020-08-12 | 2020-12-22 | 南京理工大学 | 基于弱监督学习的痰涂片结核杆菌语义分割方法及*** |
| CN115761225A (zh) * | 2022-11-03 | 2023-03-07 | 北京科技大学 | 一种基于神经网络可解释性的图像标注方法 |
Non-Patent Citations (3)
| Title |
|---|
| Computer vision and machine learning applied in the mushroom industry: a critical review;Hua Yin等;Computers and Electronics in Agriculture;第1-15页 * |
| 基于光谱和图像信息融合的玉米霉变程度在线检测;沈飞等;食品科学;第40卷(第16期);第274-280页 * |
| 基于迁移学习的单目菌落深度提取算法;邓相舟;张荣福;;光学仪器(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117037152A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ferrante et al. | Agronomic management for enhancing plant tolerance to abiotic stresses: High and low values of temperature, light intensity, and relative humidity | |
| Gulavnai et al. | Deep learning for image based mango leaf disease detection | |
| Opara et al. | Quantification of on-farm pomegranate fruit postharvest losses and waste, and implications on sustainability indicators: South African case study | |
| Menzel | Temperature has a greater effect on fruit growth than defoliation or fruit thinning in strawberries in the subtropics | |
| Elsysy et al. | Net enclosure of ‘Honeycrisp’and ‘Gala’apple trees at different bloom stages affects fruit set and alters seed production | |
| CN107619853A (zh) | 一种小麦赤霉病抗性鉴定方法 | |
| Boini et al. | High levels of shading as a sustainable application for mitigating drought, in modern apple production | |
| Pisciotta et al. | Quality of grapes grown inside paper bags in Mediterranean area | |
| Jaćimović et al. | Sustainable Cornelian cherry production in Montenegro: Importance of local genetic resources | |
| Peavey et al. | Effect of shading on red colour and fruit quality in blush pears “ANP-0118” and “ANP-0131” | |
| CN117037152B (zh) | 基于机器视觉的灰葡萄孢菌防效分析方法及装置 | |
| Lin et al. | Data-driven modeling for crop growth in plant factories | |
| Zhu et al. | Machine learning methods for efficient and automated in situ monitoring of peach flowering phenology | |
| Bieniasz et al. | The effect of titanium organic complex on pollination process and fruit development of apple cv. topaz | |
| Bantis et al. | A light recipe including far-red wavelength during healing of grafted watermelon seedlings enhances the floral development and yield earliness | |
| Wu et al. | Research progress on efficient pollination technology of crops | |
| Somma et al. | Extraseasonal production in a soilless system and characterisation of landraces of carosello and barattiere (Cucumis melo L.) | |
| Jovanović-Cvetković et al. | Influence of interaction effects of the different pollenizers on the Blatina variety (Vitis vinifera L.) grape cluster and seed characteristics | |
| Cabrera et al. | Papaya (Carica papaya L.) phenology under different agronomic conditions in the subtropics | |
| Alshallash et al. | GA3 and hand thinning improves physical, chemical characteristics, yield and decrease bunch compactness of Sultanina grapevines (Vitis vinifera L.) | |
| Lee et al. | Temperature changes affected spring phenology and fruit quality of apples grown in high-latitude region of South Korea | |
| Tombesi et al. | Grapevine response to stress generated by excessive temperatures during the budburst | |
| Nicolosi et al. | Phenotypic plasticity in bud fruitfulness expressed in two distinct wine grape cultivars grown under three different pedoclimatic conditions | |
| Williams et al. | Evaluating the effects of early pruning, leaf removal, and shoot thinning on ‘MidSouth’grapes over two consecutive vintages in South Mississippi | |
| Xu et al. | Horticultural practices in early spring to mitigate the adverse effect of low temperature on fruit set in ‘Lapins’ sweet cherry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |