CN112381662B - 花粉可育率评估方法及装置 - Google Patents
花粉可育率评估方法及装置 Download PDFInfo
- Publication number
- CN112381662B CN112381662B CN202011193730.XA CN202011193730A CN112381662B CN 112381662 B CN112381662 B CN 112381662B CN 202011193730 A CN202011193730 A CN 202011193730A CN 112381662 B CN112381662 B CN 112381662B
- Authority
- CN
- China
- Prior art keywords
- pollen
- fertility
- image
- area
- assessment method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000035558 fertility Effects 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003044 adaptive effect Effects 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 17
- 239000002245 particle Substances 0.000 claims abstract description 15
- 238000005520 cutting process Methods 0.000 claims abstract description 11
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000002222 downregulating effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 abstract description 4
- 230000010287 polarization Effects 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000000843 powder Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 235000010469 Glycine max Nutrition 0.000 description 2
- 244000068988 Glycine max Species 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- DKNPRRRKHAEUMW-UHFFFAOYSA-N Iodine aqueous Chemical compound [K+].I[I-]I DKNPRRRKHAEUMW-UHFFFAOYSA-N 0.000 description 1
- 206010041067 Small cell lung cancer Diseases 0.000 description 1
- 241000592344 Spermatophyta Species 0.000 description 1
- 210000004102 animal cell Anatomy 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000012804 pollen sample Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 208000000649 small cell carcinoma Diseases 0.000 description 1
- 208000000587 small cell lung carcinoma Diseases 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Agronomy & Crop Science (AREA)
- Mining & Mineral Resources (AREA)
- Marine Sciences & Fisheries (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Animal Husbandry (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种花粉可育率评估方法及装置，该方法包括：获取待评估花粉图像，根据花粉分布状态，得到多个区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据该特征，对区域进行适应性对比度调整；对调整后的图像，经双层卷积操作，对单个花粉进行定位和剪裁，得到包含单个花粉粒的标准图像；将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；根据各个花粉粒的分类结果得到原图中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率。该方法可以强化可育和不可育状态的双极化，提高分类的准确度。无需人工统计得到分类，能够提高处理效率，避免因主观判断带来的准确度误差。
Description
技术领域
本发明涉及作物育种评估领域，尤其涉及一种花粉可育率评估方法及装置。
背景技术
花粉是种子植物的微小孢子堆，成熟的花粉粒实为其小配子体，能产生雄性配子。花粉由雄蕊中的花药产生，由各种方法到达雌蕊，使胚珠授粉。因此，作物的育种率往往和花粉的可育率有密切关联。
目前的花粉可育率评估，往往是根据花粉从花药中抖落出来后，对于这些花粉，经过碘-碘化钾染色制成压片，在电子显微镜下观察并进行统计分析得到。目前的花粉可育率评估方法，耗费大量的人力物力，且由于计算量繁琐引起的人工统计误差，导致结果的准确性较低。
资料数据表明，利用深度学习-卷积网络对植物或动物细胞处理的应用层出不穷，但对于大豆花粉的处理还停留在比较原始的阶段，现有的大多数算法是基于传统的数字图像处理技术对图像进行灰度变换，边缘检测，形态学操作等以做出初步的检测估值判断，正确率和鲁棒性都很差，无法进行大规模有效利用。在处理比较相近的课题-对癌细胞的识别与监测上，深度学习及卷积网络的应用比较广泛，也取得了一定的进展。由于癌细胞和大豆花粉细胞的识别及分类的相似性，可做一定的迁移学习，合理利用和改进相关算法来取得较高的识别准确率。其中，一些算法对于处理花粉图像具有很强的参考利用价值。比如说一种采取卷积网络算法辅助检测小细胞型肺癌的方法，可以将此利用到不规则小型花粉样本的识别与检测，卷积网络很好地结合了之前检测算法的优点，又能兼顾准确性，更好地减少误判率，提高学习效率。又如采用基于深度卷积网络的改进算法，利用ZCA来对细胞进行预处理以减轻图像数据特征的相关性可以迁移应用到花粉图像的预处理上，减轻花粉与花粉之间，花粉与背景图之间，花粉与杂质之间的相关性，以降低误判率。
发明内容
本发明实施例提供一种花粉可育率评估方法及装置，用以解决现有技术中的缺陷。
本发明实施例提供一种花粉可育率评估方法，包括：获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；其中，所述预设的卷积神经网络模型，根据带标签的单张花粉粒的标准图像训练后得到。
根据本发明一个实施例的花粉可育率评估方法，所述根据提取的特征向量对每个花粉区域进行适应性对比度调整，包括：若花粉区域为有可育花粉的区域，则将整体区域亮度下调；若花粉区域为无可育花粉的区域，则将整体区域亮度上调。
根据本发明一个实施例的花粉可育率评估方法，若花粉区域为既有可育又有不育花粉，则提取的特征还包括：BGmax、BRmax和BGR；相应地，根据BGR进行适应性对比度调整；
其中：
BGR＝[BGmax，BRmax]|min；
R、G、B分别为RGB颜色空间的相应值。
根据本发明一个实施例的花粉可育率评估方法，根据BGR进行适应性对比度调整，包括：整体区域亮度下调时，若灰度小于区域调整阈值，则灰度值设为固定值不再下调；所述区域调整阈值确定如下：
其中，bblow、dd为经验参数，a为亮度下调因子，也为经验参数；Graymin为调整前的区域灰度最小值，lowin为区域调整阈值。
根据本发明一个实施例的花粉可育率评估方法，根据花粉区域的区分结果，分别进行适应性对比度调整之后，还包括：对调整后图像的二值化图像，进行孔洞填充以补全中空的可育花粉。
根据本发明一个实施例的花粉可育率评估方法，所述将单个花粉粒的标准图像输入预设的卷积神经网络模型，包括：将单个花粉粒的三通道彩图，输入卷积神经网络的两层卷积层，每一卷积层紧接批量归一化处理层，并采用LeakyReLU激活函数得到输出；再输入采用Max-pooling的池化层，并经过两层全连接层然后丢弃50％，最后经过softmax函数得出分类概率。
本发明实施例还提供一种花粉可育率评估装置，包括特征提取模块，用于获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；划分裁剪模块，用于对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；卷积分类模块，用于将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；可育评估模块，用于根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；其中，所述预设的卷积神经网络模型，根据带标签的单张花粉粒的标准图像训练后得到。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述花粉可育率评估方法的步骤。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述花粉可育率评估方法的步骤。
本发明实施例提供的花粉可育率评估方法及装置，根据提取的特征对每个花粉区域进行适应性对比度调整，可以强化可育和不可育状态的双极化，提高分类的准确度。将每个花粉区域的特征数据，输入预设的卷积神经网络模型，得到分类结果，无需人工统计得到，能够提高处理效率，避免人工处理过程中因主观判断带来的准确度误差。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的花粉可育率评估方法的流程示意图；
图2是本发明实施例提供的花粉可育率评估装置的结构示意图；
图3是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的花粉可育率评估方法的流程示意图，如图1所示，本发明实施例提供一种花粉可育率评估方法，包括：
101、获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征向量，根据花粉区域的区分结果，分别进行适应性对比度调整。
为了评估某个作物花粉的可育率，可先获取包括多个花粉的花粉图像。例如，采集待评估样本后，制作压片，放到显微镜下拍摄图像得到待评估花粉图像。花粉图像中包括多个花粉，多个邻近花粉的轮廓可得到一个花粉区域。对每个花粉区域进行特征提取，以判断该区域花粉的可育情况。例如，提取的特征为三通道图像的RGB数值、RGB相关组合值、灰度最大最小值等。
可根据提取的特征划定一定有可育花粉、一定无可育花粉以及可能有可育花粉区域。例如，根据各花粉区域在灰度空间的阈值范围确定。提取这些可以区分可育花粉和不可育花粉的特征，并进行相应判断。
对于颜色区分明显的花粉区域图像，对其转换的灰度图进行二值化，可根据相应阈值来确定相应位置花粉是否可育。然而区域数据集中有很多颜色区分并不明显的图像，其基本特点是可育与不可育花粉都处于“临界状态”，这对判断其确定状态(可育不可育)造成巨大困难。而且第二种情况下，可育花粉和不可育花粉都出现“中空状态”，这样在后续二值化以后很容易滤除中间部分而只剩下一个光圈，卷积计数无法达到特定阈值而被忽略，造成结果的不准确。因此，在对原图进行二值化处理得到可育不可育花粉前，必须对图像进行“适应性对比度调整”，目的是通过这一步处理，淡化“过渡状态”，强化其状态的双极化。通过对原图进行适应性对比度调整，来达到滤除背景噪声，加强原图中可育花粉与不可育花粉对比度的目的。
102、对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像。
对于因样本制作不当而导致的花粉粘连严重，出现簇状花粉团严重影响计数的问题，因这种粘连状花粉簇团所占面积过大(通常2-6个花粉组成)，奇形怪状，故经一次卷积无法分离。为解决此问题，构建多层卷积网络，其目的在于通过多次卷积对原图簇妆花粉团进行多次计数。经仿真实验，双层卷积结构可在低消耗下获得较理想的处理结果。经调整的标准化图像数据，进行双层卷积操作，以初步提取出花粉可能存在像素位置以及对重叠花粉进行分离计数。然后，以所确定位置为中心，花粉直径为边长截取正方形区域以得到单个花粉的图像数据，也就是单个花粉粒的标准图像。在训练时，该标准图像被标记类别(可育与不可育)后作为分类器的训练和测试集。训练完成后，用于103中进行分类。
103、将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果。
预设的卷积神经网络模型，根据确定可育性结果的花粉粒标准图像为输入，可育性结果(可育与不可育)作为标签进行训练后得到。模型训练完成后，将单个花粉粒的标准图像输入该模型，则可分别得到每个花粉粒可育性分类结果。
104、根据分类结果得到的可育花粉数目和不可育花粉数目，确定花粉的可育率，
经过复杂的卷积网络处理，已经提取得到了较为精准的可育部分以及不可育部分的花粉分布二值化图像。为了更直观的观察到可育以及不可育的识别准确性，在待评估花粉图像的原图上标记出可育部分以及不可育部分的位置，使用基于OpenCV库的轮廓检测函数cv2.findContours()和cv2.drawContours()可以高准确率和效率识别并在相应位置标记结果。数据所代表的花粉可育率通过下式可确定：
其中，n1为可育花粉粒数目，n2位不可育花粉粒数目。
本发明实施例的花粉可育率评估方法，根据提取的特征对每个花粉区域进行适应性对比度调整，可以强化可育和不可育状态的双极化，提高分类的准确度。将每个花粉区域的特征数据，输入预设的卷积神经网络模型，得到分类结果，无需人工统计得到，能够提高处理效率，避免人工处理过程中因主观判断带来的准确度误差。
基于上述实施例的内容，作为一种可选实施例，根据提取的特征向量对每个花粉区域进行适应性对比度调整，包括：若花粉区域为有可育花粉的区域，则将整体区域亮度下调；若花粉区域为无可育花粉的区域，则将整体区域亮度上调。
在图像处理中，将漂白(相机过曝)的图片或者过暗(曝光不足)的图片，进行修正。将归一化的图片数据在特定阈值范围内进行线性或者非线性变换，以对原始图片过曝或者过暗的区域进行纠正，以达到平衡数据的目的。伽马变换的基本形式如下：
S＝C*Rγ；
其中，R为待评估花粉图像，S为调整后的图像，gamma控制调整的非线性，gamma值小于1时，会拉伸图像中灰度级较低的区域，同时会压缩灰度级较高的部分；gamma值大于1时，会拉伸图像中灰度级较高的区域，同时会压缩灰度级较低的部分。
具体调整规则为，使可育花粉在像素上更加可育化(加深)，而不可育花粉更加不可育化(变浅)。结合对大量有标记的数据分析，划定一定有可育花粉、一定无可育花粉以及可能有可育花粉部分在灰度空间的大致阈值范围，从而实现区分可育花粉和不可育花粉的区域的目的。对于一定有可育花粉的区域，调整策略为将其整体亮度下调，例如，调至原本的80％，对于无可育花粉区域，调整策略为将其亮度上调，例如调至原本的20％。
基于上述实施例的内容，作为一种可选实施例，若花粉区域为既有可育又有不育花粉，则提取的特征向量还包括：
BGmax、BRmax和BGR；
相应地，根据BGR进行适应性对比度调整；
其中：
BGR＝[BGmax，BRmax]|min；
R、G、B分别为RGB颜色空间的相应值。
基于上述实施例的内容，作为一种可选实施例，根据BGR进行适应性对比度调整，包括：整体区域亮度下调时，若灰度小于区域调整阈值，则灰度值设为固定值不再下调；
所述区域调整阈值确定如下：
其中，bblow为经验值，可根据数据分析获得，本实施例中为10,dd为经验值，可根据数据分析获得，本实施例中为1.255。a为亮度下调因子，本实施例中为20。Graymin为调整前的灰度最小值，lowin为设置的区域调整阈值，是整体调整的最小值，当小于该值时灰度不再变化，而设为固定值。
基于上述实施例的内容，作为一种可选实施例，根据提取的特征向量对每个花粉区域进行适应性对比度调整之后，还包括：对调整后图像的二值化图像，进行孔洞填充以补全中空的可育花粉。
经过初步亮度调整后，受限于大范围亮度下调的允许范围，可育花粉的中空问题不能完全解决，尤其在二值化后，可育花粉中间变成白色。在下一步进行卷积时，很容易因达不到阈值而被错误的滤除，对之后可育花粉的计数带来巨大干扰。为解决这一问题，对二值化后的图像进行孔洞填充以补全中空的可育花粉。进行孔洞填充的函数可选择imfill函数，以填充二值图像中的空洞区域。例如，黑色的背景上有个白色的圆圈等情况。
基于上述实施例的内容，作为一种可选实施例，将单个花粉粒的标准图像输入预设的卷积神经网络模型，包括：将单个花粉粒的三通道彩图，输入卷积神经网络的两层卷积层，每一卷积层紧接批量归一化处理层，并采用LeakyReLU激活函数得到输出；再输入采用Max-pooling的池化层，并经过两层全连接层然后丢弃50％，最后经过softmax函数得出分类概率。
具体地，输入图片为包含单个花粉粒的三通道彩图，尺寸可以为32*32*3，共有两层卷积层，卷积核尺寸为5*5，卷积层紧接批量归一化处理(BN)，激活函数采用LeakyReLU函数，池化层采用Max-pooling方式，采用两层全连接层然后丢弃50％，最后经过softmax函数算出分类概率。
下面对本发明实施例提供的花粉可育率评估装置进行描述，下文描述的花粉可育率评估装置与上文描述的花粉可育率评估方法可相互对应参照。
图2是本发明实施例提供的花粉可育率评估装置的结构示意图，如图2所示，该花粉可育率评估装置包括：特征提取模块201、划分裁剪模块202、卷积分类模块203和可育评估模块204。其中，特征提取模块201用于获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；划分裁剪模块202用于对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；卷积分类模块203用于将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；可育评估模块204用于根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；其中，所述预设的卷积神经网络模型，根据带标签的单张花粉粒的标准图像训练后得到。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例提供的花粉可育率评估装置，将每个花粉区域的特征数据，输入预设的卷积神经网络模型，输出每个区域中花粉为可育花粉和不可育花粉的分类结果，无需人工统计得到，能够提高处理效率，并且避免人工处理过程中因主观判断带来的准确度误差。
图3是本发明实施例提供的一种电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行花粉可育率评估方法，该方法包括：获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；其中，所述预设的卷积神经网络模型，根据带标签的单张花粉粒的标准图像训练后得到。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的花粉可育率评估方法，该方法包括：获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；其中，所述预设的卷积神经网络模型，根据带标签的单张花粉粒的标准图像训练后得到。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的花粉可育率评估方法，该方法包括：获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；其中，所述预设的卷积神经网络模型，根据带标签的单张花粉粒的标准图像训练后得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种花粉可育率评估方法，其特征在于，包括：
获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；
对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；
将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；
根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；
其中，所述预设的卷积神经网络模型是基于样本花粉粒的标准图像，以及所述样本花粉粒的可育性结果标签进行训练得到的。
2.根据权利要求1所述的花粉可育率评估方法，其特征在于，所述根据花粉区域的区分结果，分别进行适应性对比度调整，包括：
若花粉区域为有可育花粉的区域，则将整体区域亮度下调；
若花粉区域为无可育花粉的区域，则将整体区域亮度上调。
3.根据权利要求2所述的花粉可育率评估方法，其特征在于，若花粉区域为既有可育又有不育花粉，则提取的特征还包括：
BGmax、BRmax和BGR；
相应地，根据BGR进行适应性对比度调整；
其中：
BGR＝[BGmax，BRmax]|min；
R、G、B分别为RGB颜色空间的相应值。
4.根据权利要求3所述的花粉可育率评估方法，其特征在于，根据BGR进行适应性对比度调整，包括：
整体区域亮度下调时，若灰度小于区域调整阈值，则灰度值设为固定值不再下调；
所述区域调整阈值确定如下：
其中，bblow、dd为经验参数，a为亮度下调因子，也为经验参数；Graymin为调整前的区域灰度最小值，lowin为区域调整阈值。
5.根据权利要求1所述的花粉可育率评估方法，其特征在于，根据花粉区域的区分结果，分别进行适应性对比度调整之后，还包括：
对调整后图像的二值化图像，进行孔洞填充以补全中空的可育花粉。
6.根据权利要求1所述的花粉可育率评估方法，其特征在于，所述将单个花粉粒的标准图像输入预设的卷积神经网络模型，包括：
将单个花粉粒的三通道彩图，输入卷积神经网络的两层卷积层，每一卷积层紧接批量归一化处理层，并采用LeakyReLU激活函数得到输出；
再输入采用Max-pooling的池化层，并经过两层全连接层然后丢弃50％，最后经过softmax函数得出分类概率。
7.一种花粉可育率评估装置，其特征在于，包括：
特征提取模块，用于获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；
划分裁剪模块，用于对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；
卷积分类模块，用于将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；
可育评估模块，用于根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；
其中，所述预设的卷积神经网络模型是基于样本花粉粒的标准图像，以及所述样本花粉粒的可育性结果标签进行训练得到的。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述花粉可育率评估方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述花粉可育率评估方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011193730.XA CN112381662B (zh) | 2020-10-30 | 2020-10-30 | 花粉可育率评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011193730.XA CN112381662B (zh) | 2020-10-30 | 2020-10-30 | 花粉可育率评估方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381662A CN112381662A (zh) | 2021-02-19 |
| CN112381662B true CN112381662B (zh) | 2024-04-26 |
Family
ID=74577092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011193730.XA Active CN112381662B (zh) | 2020-10-30 | 2020-10-30 | 花粉可育率评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381662B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339591A (zh) * | 2016-08-25 | 2017-01-18 | 汤平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务*** |
| CN107491733A (zh) * | 2017-07-19 | 2017-12-19 | 南京农业大学 | 一种基于深度神经网络的菊花识别方法 |
| CN107907541A (zh) * | 2017-12-26 | 2018-04-13 | 青海省农林科学院 | 一种甘蓝型油菜雌雄不育***可育株中杂合体的鉴定方法 |
| WO2018140014A1 (en) * | 2017-01-25 | 2018-08-02 | Athelas, Inc. | Classifying biological samples using automated image analysis |
| WO2019237203A1 (en) * | 2018-06-12 | 2019-12-19 | Paige Growth Technologies Inc. | Devices, systems and methods of identifying plants, plant material and plant state |
| CN111369543A (zh) * | 2020-03-07 | 2020-07-03 | 北京工业大学 | 一种基于双重自注意力模块的快速花粉颗粒检测算法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050251347A1 (en) * | 2004-05-05 | 2005-11-10 | Pietro Perona | Automatic visual recognition of biological particles |
| CN105303531B (zh) * | 2015-10-15 | 2018-01-26 | 深圳市华星光电技术有限公司 | 一种对比度调整方法及装置 |
| US10552663B2 (en) * | 2017-05-02 | 2020-02-04 | Techcyte, Inc. | Machine learning classification and training for digital microscopy cytology images |
| CN111656355B (zh) * | 2017-12-03 | 2023-08-29 | 种子X科技公司 | 种子分类的***及方法 |
-
2020
- 2020-10-30 CN CN202011193730.XA patent/CN112381662B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339591A (zh) * | 2016-08-25 | 2017-01-18 | 汤平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务*** |
| WO2018140014A1 (en) * | 2017-01-25 | 2018-08-02 | Athelas, Inc. | Classifying biological samples using automated image analysis |
| CN107491733A (zh) * | 2017-07-19 | 2017-12-19 | 南京农业大学 | 一种基于深度神经网络的菊花识别方法 |
| CN107907541A (zh) * | 2017-12-26 | 2018-04-13 | 青海省农林科学院 | 一种甘蓝型油菜雌雄不育***可育株中杂合体的鉴定方法 |
| WO2019237203A1 (en) * | 2018-06-12 | 2019-12-19 | Paige Growth Technologies Inc. | Devices, systems and methods of identifying plants, plant material and plant state |
| CN111369543A (zh) * | 2020-03-07 | 2020-07-03 | 北京工业大学 | 一种基于双重自注意力模块的快速花粉颗粒检测算法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的玉米籽粒精选***研制;王建宇;《中国优秀硕士论文全文数据库 农业科技辑》;正文第1-4章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112381662A (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Robust saliency detection via regularized random walks ranking | |
| Waghmare et al. | Detection and classification of diseases of grape plant using opposite colour local binary pattern feature and machine learning for automated decision support system | |
| Sannakki et al. | Diagnosis and classification of grape leaf diseases using neural networks | |
| CN111860533A (zh) | 图像的识别方法及装置、存储介质和电子装置 | |
| CN109740721B (zh) | 麦穗计数方法及装置 | |
| US10388009B2 (en) | Machine-learning measurements of quantitative feature attributes | |
| CN106845497B (zh) | 基于多特征融合的玉米前期图像旱情识别方法 | |
| CN112949704B (zh) | 一种基于图像分析的烟叶成熟度状态识别方法及装置 | |
| CN113191222B (zh) | 水下鱼类目标检测方法及装置 | |
| CN112183448B (zh) | 一种基于三级分类和多尺度fcn的脱荚大豆图像分割方法 | |
| CN111340019A (zh) | 基于Faster R-CNN的粮仓害虫检测方法 | |
| CN114240978A (zh) | 基于自适应形态学的细胞边缘分割方法和装置 | |
| Jonnalagedda et al. | [regular paper] mvpnets: Multi-viewing path deep learning neural networks for magnification invariant diagnosis in breast cancer | |
| CN115546187A (zh) | 基于YOLO v5的农业病虫害检测方法及装置 | |
| CN116524224A (zh) | 一种基于机器视觉的烤后烟叶类型检测方法及*** | |
| CN118053154A (zh) | 平菇生长监测方法、装置、电子设备及存储介质 | |
| CN114596274A (zh) | 基于改进Cascade RCNN网络的自然背景柑橘黄龙病检测方法 | |
| CN113077452B (zh) | 基于dnn网络和斑点检测算法的苹果树病虫害检测方法 | |
| CN112381662B (zh) | 花粉可育率评估方法及装置 | |
| CN117253192A (zh) | 用于桑蚕养殖的智能***及方法 | |
| CN117372881A (zh) | 一种烟叶病虫害智能识别方法、介质及*** | |
| CN107368847A (zh) | 一种作物叶部病害识别方法及*** | |
| CN107133634B (zh) | 一种植株水分亏缺程度获取方法及装置 | |
| Feng et al. | Research of image recognition of plant diseases and pests based on deep learning | |
| CN112613521B (zh) | 基于数据转换的多层次数据分析***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |