CN114187257B - 基于数据可视化的农产品展示***及方法 - Google Patents
基于数据可视化的农产品展示***及方法 Download PDFInfo
- Publication number
- CN114187257B CN114187257B CN202111499386.1A CN202111499386A CN114187257B CN 114187257 B CN114187257 B CN 114187257B CN 202111499386 A CN202111499386 A CN 202111499386A CN 114187257 B CN114187257 B CN 114187257B
- Authority
- CN
- China
- Prior art keywords
- data
- agricultural products
- palatability
- detection
- agricultural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013079 data visualisation Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 125
- 235000019629 palatability Nutrition 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 39
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 239000002689 soil Substances 0.000 claims description 21
- 230000001965 increasing effect Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000005286 illumination Methods 0.000 claims description 12
- 244000005700 microbiome Species 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 235000009508 confectionery Nutrition 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 235000013372 meat Nutrition 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 abstract description 12
- 238000011156 evaluation Methods 0.000 abstract description 3
- 238000012800 visualization Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 9
- 238000011897 real-time detection Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009528 severe injury Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Accounting & Taxation (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于数据可视化的农产品展示***及方法，属于产品可视化技术领域。本发明数据采集模块采集农产品的图像数据输入检测模块，检测模块输出农产品的成熟度和完整度，数据采集模块采集球状农产区的生长过程的数据输入可口度预测模块，可口度预测模块预测农产品的可口度，展示模块可视化的展示农产品的各个维度的数据；根据***对于农产品成熟度、完整度、可口度等的评价，可以选择准确的存储方式、运输方式和定价，及时发现果实中可能状态不好的，保护没有受损的农产品，对每一个果实个体的把握更加直观的感受到整体的品质，指导农民对于农产品的采摘，科学的评价果实的质量。
Description
技术领域
本发明涉及农产品可视化技术领域，具体为基于数据可视化的农产品展示***及方法。
背景技术
深度学习现在是一个热门话题，在农业上需要消耗大量的人力物力做很多重复的事情，所有基于深度学习的农业产品有很多，在农产品还在树上或者地里的时候就进行识别，实现智能采摘，就目前而言，很难从实验室推广落地，一是，现有的技术多是实验室数据，很难在复杂的环境中落地，二是，成本的问题，零散的农业分布很难通过高成本实现农业智能化；
现有的技术更关注农产品还在树上地里的时候长势状态，但是在智能采摘无法大面积使用的时候，农民们根据自身的经验对于农产品进行采摘，基于经验的判断是不够准确的，且大多数农民没有足够的经验做出准确的判断，此时，摘下来的果实在一定范围内是良莠不齐的，现有的分拣设备只能分拣农产品的大小，没有办法判断每一个农产品的好坏，农产品的好坏也不是单一的指标就可以判断的。
发明内容
本发明的目的在于提供基于数据可视化的农产品展示***及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：基于数据可视化的农产品展示***，该***包括数据采集模块、检测模块、可口度预测模块和展示模块；
所述数据采集模块采集农产品的图像数据输入检测模块，所述数据采集模块采集球状农产区的生长过程的数据输入可口度预测模块，所述检测模块和可口度预测模块输出检测结果输入展示模块，所述展示模块可视化的展示农产品的各个维度的数据。
所述检测模块包括图像处理单元和检测网络，所述图像处理单元分割且增强图像，所述检测网络检测农产品的成熟度和完整度，所述成熟度按照农产品的成熟度分为np级，初步分为四级：生、微熟、熟、熟过，所述完整度按照农产品的品相分为mp级，初步分为四级：完美、瑕疵、破损、严重损坏；
所述检测网络创建数据集训练检测网络，所述数据集人工获取常见的球状的农产品的图像作为原始图像数据，人工标注原始图像数据的成熟度ny和完整度my，同时
在将已标注的数据集扩增，所述扩增方式包括随机亮度、随机对比度、随机饱和度、翻转、旋转和拉伸。
通过已获得的数据集扩增，扩大数据集，增强检测网络的训练效果，通过不同成熟度和完整度的标注，实现检测模型实时检测的训练效果
所述检测网络基于YOLOv3算法构建检测网络，所述检测网络增加特征尺度增强检测网络对于大小不一致的农产品的特征提取能力，在原有的特征尺度：13*13、26*26、52*52的基础上，增加特征尺度104*104；
多尺度的特征图融合使算法可以识别不同大小的目标，在三个尺度的基础上增加尺度，不仅是增强识别大小目标识别的能力，更重要的是在目标多被遮挡的情况下，提高小目标、被遮挡目标的识别能力和识别精度，通过四个特征尺度的检测，融合了全局和局部多尺度特征，强化目标特征图的性能，能够增强对目标特征的提取能力，全面提升了模型的识别准确率。增加特征尺度的具体步骤为：
步骤一：在52*52特征图的基础上，经过2倍上采样，输出特征尺度104*104；
步骤二：通过route层融合深层特征和浅层特征；
融合地97层的特征图与第36层的特征图的特征，输出特征尺度13*13；
融合地85层的特征图与第61层的特征图的特征，输出特征尺度26*26；
融合地85层的特征图与第97层的特征图的特征，输出特征尺度52*52；
融合地109层的特征图与第11层的特征图的特征，输出特征尺度104*104；
步骤三：增加检测尺度，在最后一层网络后增加检测层；
步骤四：通过脚本文件重新计算锚框。
所述检测网络优化损失函数，在重叠程度上增加惩罚机制，优化损失函数，
具体计算方式为：
步骤一：计算预测框与真实框的重叠程度：
其中，IoU表示预测框与真实框的重叠程度，|P∩T|表示预测框与真实框的交集，|P∪T|表示预测框与真实框的并集；
步骤二：计算惩罚项：
其中，xP表示预测框中心点横坐标，xT表示真实框中心点横坐标，yP表示预测框中心点纵坐标，yT表示真实框中心点纵坐标，c表示预测框与真实框的并集的对角线距离；
步骤三：计算损失函数：
L＝1-(IoU-R)
其中，L表示损失函数。
优化算法的核心：损失函数，在原有的损失函数基础上设置惩罚项，首先避免预测框与真实框不重合而损失函数为0，其次，可以为边界框提供移动方向，最后协调目标与锚框之间的距离，稳定目标框回归，加速训练过程的收敛速度；
所述可口度预测模块预测测试样本可口度，所述可口度按照农产品的酸甜肉质分为zp级，初步分为：甜、微甜、酸甜和酸，创建可口度数据集，收集不同生长数据的农产品的可口度，所述生长数据包括生长时期的光照、土壤酸碱度、平均温差、土壤的微生物；
输入测试样本的光照、土壤酸碱度、平均温差、土壤的微生物到K邻近算法模型获得预测的农产品的可口度，所述可口度预测模块扫描条件范围内的训练数据集，找到与测试样本距离最近的的n个训练样本，通过n个训练样本以距离为权重进行投票，输出农产品可口度；
多次指定n值，n值范围(1，9)，n值从小到大遍历范围内的奇数，通过训练数据集训练数据，对于生成的模型评分，当评分超出阈值确定对应的n值。
基于K邻近算法模型的可口度算法可以大面积预测农产品的可口度，算法实现简单，精度高，分类效果好；
设置阈值t，通过输入的数据获得条件范围(xi-t，xi+t)，i＝0、1、2、3，当训练数据集的数据在条件范围内，计算输入的数据与训练数据集的数据之间的距离，按照距离的递增关系进行排序，选取距离最小的n个点，确定前n个点所在类别的出现频率，返回前n个点中出现频率最高的类别作为测试数据的预测分类；通过阈值的设定，小的代价优化计算思路，避免大量的无效计算，极大程度的减少计算量，让可口度预测实现处理大规模数据的能力。
距离的计算公式：
其中，x0表示输入数据中的光照，x1表示输入数据中的土壤酸碱度，x2表示输入数据中的平均温差，x3表示输入数据中的土壤的微生物，y0表示训练数据集数据中的光照，y1表示训练数据集数据中的土壤酸碱度，y2表示训练数据集数据中的平均温差，y3表示训练数据集数据中的微生物。
所述展示模块可视化的展示农产品的生长过程和农产品的检测结果，所述展示模块通过数据采集模块与温度传感器、湿度传感器和酸碱度传感器连接，实时收集农产品的生长过程的实时数据，记录历史数据形成动态曲线图，动态的展示在屏幕上；所述展示模块展示检测的成熟度、检测的完整度和预测的可口度，并根据呈现的结果输出运输、存储和销售意见，直观的展示农产品的生长和检测结果。
基于数据可视化的农产品展示方法，具体步骤包括：
步骤一：收集常见的农产品的图像，标注图像的成熟度ny和完整度my，形成数据集；
步骤二：在YOLOv3算法的基础上，创建检测网络，输入数据集训练检测网络；
步骤三：收集不同生长数据的农产品的可口度，创建可口度数据集；
步骤四：所述数据采集模块采集农产品影像输入检测模块，所述检测模块输出农产品的成熟度和完整度；
步骤五：所述数据采集单元采集农产品生长数据输入可口度预测模块，所述可口度预测模块预测农产品的可口度；
步骤六：所述展示模块可视化展示展示农产品的生长过程和农产品的检测结果。
所述检测模块检测农产品的成熟度和完整度的具体步骤：
步骤一：所述数据采集模块采集检测的图像数据输入检测网络；
步骤二：检测网络输出农产品的种类和成熟度和标注农产品种类和成熟度的检测图像到图像处理单元；
步骤三：所述图像处理单元分割标注农产品种类和成熟度的检测图像，分割出农产品所在的图像后将其拼接，图像增强后再次输入检测网络；
步骤四：所述检测网络输出农产品的完整度。
成熟度和完成度分两步走，在成熟度识别结果的基础上处理图像，加强检测网络对于农产品破损和瑕疵的抓取能力，加强识别效果，提高检测网络的检测精度；
检测网络支持实时检测，不仅仅可以基于图片单独识别少量的农产品，本算法可以处理基于视频的实时图像，通过分步检测和检测网络损失函数的改良，极大程度的扩大了算法对于大小不一的农产品的检测能力，极大程度的增强了检测网络对于局部特征的抓取能力，优化损失函数保证了检测精度，避免梯度消失，加快检测网络收敛速度。
所述图像增强的具体步骤：增强图像，剔除不需要的图像元素，扩大检测网络对于特征的抓取能力；
步骤一：将拼接的农产品图像灰度化后Gamma校正，Gamma校正的校正公式：
Y(G)＝I(G)0.5
其中，G表示拼接的农产品图像的灰度值；简化图像矩阵，提升运算速度，处理图像中的光线色彩，避免光线对于图像的影响，平衡明亮暗部比例，更好的将农产品中的破损、瑕疵凸显出来；
步骤二：计算梯度图像；
步骤三：对于梯度图像进行非极大值抑制，将非极大值对应的灰度值置为0，生成二值图像；
步骤四：将二值图像再次输入检测网络。
与现有技术相比，本发明所达到的有益效果是：检测模块支持实时检测，不仅仅可以基于图片单独识别少量的农产品，本算法可以处理基于视频的实时图像，通过分步检测和优化检测网络损失函数，极大程度的扩大了算法对于大小不一的农产品的检测能力，极大程度的增强了检测网络对于局部特征的抓取能力，优化损失函数保证了检测精度，避免梯度消失，加快检测网络收敛速度。
基于K邻近算法模型的可口度算法可以大面积预测农产品的可口度，算法实现简单，精度高，分类效果好；
根据***对于农产品成熟度、完整度、可口度等的评价，可以选择准确的存储方式、运输方式和定价，及时发现果实中可能状态不好的分拣出来更好的保护没有受损的农产品，避免因为某个腐烂的果实，甚至某个果实的部分破损，缩减整个存储单位的农产品的存储时间，给消费者一个可靠的果实品质，同时，对每一个果实个体的把握更加直观的感受到整体的品质，指导农民对于农产品的采摘；本***可视化的展示在每一个农产品的状态，***科学的评价果实的质量。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明基于数据可视化的农产品展示***及方法的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供技术方案：基于数据可视化的农产品展示***，该***包括数据采集模块、检测模块、可口度预测模块和展示模块；
数据采集模块采集农产品的图像数据输入检测模块，数据采集模块采集球状农产区的生长过程的数据输入可口度预测模块，检测模块和可口度预测模块输出检测结果输入展示模块，展示模块可视化的展示农产品的各个维度的数据。
检测模块包括图像处理单元和检测网络，图像处理单元分割且增强图像，检测网络检测农产品的成熟度和完整度，成熟度按照农产品的成熟度分为np级，初步分为四级：生、微熟、熟、熟过，完整度按照农产品的品相分为mp级，初步分为四级：完美、瑕疵、破损、严重损坏；
检测网络创建数据集训练检测网络，数据集人工获取常见的球状的农产品的图像作为原始图像数据，人工标注原始图像数据的成熟度ny和完整度my，同时
在将已标注的数据集扩增，扩增方式包括随机亮度、随机对比度、随机饱和度、翻转、旋转和拉伸。
通过已获得的数据集扩增，扩大数据集，增强检测网络的训练效果，通过不同成熟度和完整度的标注，实现检测模型实时检测的训练效果
检测网络基于YOL0v3算法构建检测网络，检测网络增加特征尺度增强检测网络对于大小不一致的农产品的特征提取能力，在原有的特征尺度：13*13、26*26、52*52的基础上，增加特征尺度104*104；
Yolov3算法使用Darknet-53作为整个网络的分类骨干部分，输出三层特征图。
多尺度的特征图融合使算法可以识别不同大小的目标，在三个尺度的基础上增加尺度，不仅是增强识别大小目标识别的能力，更重要的是在目标多被遮挡的情况下，提高小目标、被遮挡目标的识别能力和识别精度，通过四个特征尺度的检测，融合了全局和局部多尺度特征，强化目标特征图的性能，能够增强对目标特征的提取能力，全面提升了模型的识别准确率。增加特征尺度的具体步骤为：
步骤一：在52*52特征图的基础上，经过2倍上采样，输出特征尺度104*104；
步骤二：通过route层融合深层特征和浅层特征；
融合地97层的特征图与第36层的特征图的特征，输出特征尺度13*13；
融合地85层的特征图与第61层的特征图的特征，输出特征尺度26*26；
融合地85层的特征图与第97层的特征图的特征，输出特征尺度52*52；
融合地109层的特征图与第11层的特征图的特征，输出特征尺度104*104；
步骤三：增加检测尺度，在最后一层网络后增加检测层；
步骤四：通过脚本文件重新计算锚框。
检测网络损失函数，在重叠程度上增加惩罚机制，优化损失函数，
具体计算方式为：
步骤一：计算预测框与真实框的重叠程度：
其中，IoU表示预测框与真实框的重叠程度，|P∩T|表示预测框与真实框的交集，|P∪T|表示预测框与真实框的并集；
步骤二：计算惩罚项：
其中，xP表示预测框中心点横坐标，xT表示真实框中心点横坐标，yP表示预测框中心点纵坐标，yT表示真实框中心点纵坐标，c表示预测框与真实框的并集的对角线距离；
步骤三：计算损失函数：
L＝1-(IoU-R2)
其中，L表示损失函数。
优化算法的核心：损失函数，在原有的损失函数基础上设置惩罚项，首先避免预测框与真实框不重合而损失函数为0，其次，可以为边界框提供移动方向，最后协调目标与锚框之间的距离，稳定目标框回归，加速训练过程的收敛速度。
可口度预测模块预测测试样本可口度，可口度按照农产品的酸甜肉质分为zp级，初步分为：甜、微甜、酸甜和酸，创建可口度数据集，收集不同生长数据的农产品的可口度，生长数据包括生长时期的光照、土壤酸碱度、平均温差、土壤的微生物；
输入测试样本的光照、土壤酸碱度、平均温差、土壤的微生物到K邻近算法模型获得预测的农产品的可口度，可口度预测模块扫描条件范围内的训练数据集，找到与测试样本距离最近的的n个训练样本，通过n个训练样本以距离为权重进行投票，输出农产品可口度；
距离的计算公式：
其中，x0表示输入数据中的光照，x1表示输入数据中的土壤酸碱度，x2表示输入数据中的平均温差，x3表示输入数据中的土壤的微生物，y0表示训练数据集数据中的光照，y1表示训练数据集数据中的土壤酸碱度，y2表示训练数据集数据中的平均温差，y3表示训练数据集数据中的微生物。
多次指定n值，n值范围(1，9)，n值从小到大遍历范围内的奇数，通过训练数据集训练数据，对于生成的模型评分，当评分超出阈值确定对应的n值。
基于K邻近算法模型的可口度算法可以大面积预测农产品的可口度，算法实现简单，精度高，分类效果好；
设置阈值t，通过输入的数据获得条件范围(xi-t，xi+t)，i＝0、1、2、3，当训练数据集的数据在条件范围内，计算输入的数据与训练数据集的数据之间的距离，按照距离的递增关系进行排序，选取距离最小的n个点，确定前n个点所在类别的出现频率，返回前n个点中出现频率最高的类别作为测试数据的预测分类；通过阈值的设定，小的代价优化计算思路，避免大量的无效计算，极大程度的减少计算量，让可口度预测实现处理大规模数据的能力。
展示模块可视化的展示农产品的生长过程和农产品的检测结果，展示模块通过数据采集模块与温度传感器、湿度传感器和酸碱度传感器连接，实时收集农产品的生长过程的实时数据，记录历史数据形成动态曲线图，动态的展示在屏幕上；展示模块展示检测的成熟度、检测的完整度和预测的可口度，并根据呈现的结果输出运输、存储和销售意见，直观的展示农产品的生长和检测结果。
基于数据可视化的农产品展示方法，具体步骤包括：
步骤一：收集常见的农产品的图像，标注图像的成熟度ny和完整度my，形成数据集；
步骤二：在YOLOv3算法的基础上，创建检测网络，输入数据集训练检测网络；
步骤三：收集不同生长数据的农产品的可口度，创建可口度数据集；
步骤四：数据采集模块采集农产品影像输入检测模块，检测模块输出农产品的成熟度和完整度；
步骤五：数据采集单元采集农产品生长数据输入可口度预测模块，可口度预测模块预测农产品的可口度；
步骤六：展示模块可视化展示展示农产品的生长过程和农产品的检测结果。
检测模块检测农产品的成熟度和完整度的具体步骤：
步骤一：数据采集模块采集检测的图像数据输入检测网络；
步骤二：检测网络输出农产品的种类和成熟度和标注农产品种类和成熟度的检测图像到图像处理单元；
步骤三：图像处理单元分割标注农产品种类和成熟度的检测图像，分割出农产品所在的图像后将其拼接，图像增强后再次输入检测网络；
步骤四：检测网络输出农产品的完整度。
成熟度和完成度分两步走，在成熟度识别结果的基础上处理图像，加强检测网络对于农产品破损和瑕疵的抓取能力，加强识别效果，提高检测网络的检测精度；
检测网络支持实时检测，不仅仅可以基于图片单独识别少量的农产品，本算法可以处理基于视频的实时图像，通过分步检测和检测网络损失函数的改良，极大程度的扩大了算法对于大小不一的农产品的检测能力，极大程度的增强了检测网络对于局部特征的抓取能力，优化损失函数保证了检测精度，避免梯度消失，加快检测网络收敛速度。
图像增强的具体步骤：增强图像，剔除不需要的图像元素，扩大检测网络对于特征的抓取能力；
步骤一：将拼接的农产品图像灰度化后Gamma校正，Gamma校正的校正公式：
Y(G)＝I(G)0.5
其中，G表示拼接的农产品图像的灰度值；简化图像矩阵，提升运算速度，处理图像中的光线色彩，避免光线对于图像的影响，平衡明亮暗部比例，更好的将农产品中的破损、瑕疵凸显出来；
步骤二：计算梯度图像；
步骤三：对于梯度图像进行非极大值抑制，将非极大值对应的灰度值置为0，生成二值图像；
步骤四：将二值图像再次输入检测网络。
根据***对于农产品成熟度、完整度、可口度等的评价，可以选择准确的存储方式、运输方式和定价，及时发现果实中可能状态不好的分拣出来更好的保护没有受损的农产品，避免因为某个腐烂的果实，甚至某个果实的部分破损，缩减整个存储单位的农产品的存储时间，给消费者一个可靠的果实品质，同时，对每一个果实个体的把握更加直观的感受到整体的品质，指导农民对于农产品的采摘；本***可视化的展示在每一个农产品的状态，***科学的评价果实的质量。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.基于数据可视化的农产品展示***，其特征在于：该***包括数据采集模块、检测模块、可口度预测模块和展示模块；
所述数据采集模块采集农产品的图像数据输入检测模块，所述数据采集模块采集球状农产区的生长过程的数据输入可口度预测模块，所述检测模块和可口度预测模块输出检测结果输入展示模块，所述展示模块可视化的展示农产品的各个维度的数据；
所述检测模块包括图像处理单元和检测网络，所述图像处理单元分割且增强图像，所述检测网络检测农产品的成熟度和完整度，所述成熟度按照农产品的成熟度分为np级，所述完整度按照农产品的品相分为mp级；
所述检测网络创建数据集训练检测网络，所述数据集人工获取常见的球状的农产品的图像作为原始图像数据，人工标注原始图像数据的成熟度ny和完整度my，同时
将已标注的数据集扩增，所述扩增方式包括随机亮度、随机对比度、随机饱和度、翻转、旋转和拉伸；
所述检测网络基于YOLOv3算法构建检测网络，所述检测网络增加特征尺度增强检测网络对于大小不一致的农产品的特征提取能力，在原有的特征尺度：13*13、26*26、52*52的基础上，增加特征尺度104*104；
增加特征尺度的具体步骤为：
步骤一：在52*52特征图的基础上，经过2倍上采样，输出特征尺度104*104；
步骤二：通过route层融合深层特征和浅层特征；
融合地97层的特征图与第36层的特征图的特征，输出特征尺度13*13；
融合地85层的特征图与第61层的特征图的特征，输出特征尺度26*26；
融合地85层的特征图与第97层的特征图的特征，输出特征尺度52*52；
融合地109层的特征图与第11层的特征图的特征，输出特征尺度104*104；
步骤三：增加检测尺度，在最后一层网络后增加检测层；
步骤四：通过脚本文件重新计算锚框；
所述可口度预测模块预测测试样本可口度，所述可口度按照农产品的酸甜肉质分为zp级，创建可口度数据集，收集不同生长数据的农产品的可口度，所述生长数据包括生长时期的光照、土壤酸碱度、平均温差、土壤的微生物；
输入测试样本的光照、土壤酸碱度、平均温差、土壤的微生物到K邻近算法模型获得预测的农产品的可口度，所述可口度预测模块扫描条件范围内的训练数据集，找到与测试样本距离最近的n个训练样本，通过n个训练样本以距离为权重进行投票，输出农产品可口度；
多次指定n值，n值范围(1，9)，n值从小到大遍历范围内的奇数,通过训练数据集训练数据，对于生成的模型评分，当评分超出阈值确定对应的n值。
2.根据权利要求1所述的基于数据可视化的农产品展示***，其特征在于：所述检测网络优化损失函数，在重叠程度上增加惩罚机制，具体计算方式为：
步骤一：计算预测框与真实框的重叠程度：
其中，IoU表示预测框与真实框的重叠程度，|P∩T|表示预测框与真实框的交集，|P∪T|表示预测框与真实框的并集；
步骤二：计算惩罚项：
其中，xP表示预测框中心点横坐标，xT表示真实框中心点横坐标，yP表示预测框中心点纵坐标，yT表示真实框中心点纵坐标，c表示预测框与真实框的并集的对角线距离；
步骤三：计算损失函数：
L＝1-(IoU-R2)
其中，L表示损失函数。
3.根据权利要求2所述的基于数据可视化的农产品展示***，其特征在于：设置阈值t，通过输入的数据获得条件范围(xi-t,xi+t)，i＝0、1、2、3，当训练数据集的数据在条件范围内，计算输入的数据与训练数据集的数据之间的距离，按照距离的递增关系进行排序，选取距离最小的n个点，确定前n个点所在类别的出现频率，返回前n个点中出现频率最高的类别作为测试数据的预测分类；
距离的计算公式：
其中，x0表示输入数据中的光照，x1表示输入数据中的土壤酸碱度，x2表示输入数据中的平均温差，x3表示输入数据中的土壤的微生物，y0表示训练数据集数据中的光照，y1表示训练数据集数据中的土壤酸碱度，y2表示训练数据集数据中的平均温差，y3表示训练数据集数据中的微生物。
4.根据权利要求3所述的基于数据可视化的农产品展示***，其特征在于：所述展示模块可视化的展示农产品的生长过程和农产品的检测结果，所述展示模块通过数据采集模块与温度传感器、湿度传感器和酸碱度传感器连接，实时收集农产品的生长过程的实时数据，记录历史数据形成动态曲线图，动态的展示在屏幕上；所述展示模块展示检测的成熟度、检测的完整度和预测的可口度，并根据呈现的结果输出运输、存储和销售意见。
5.执行权利要求1-4任一项所述的基于数据可视化的农产品展示***的农产品展示方法，其特征在于：具体步骤包括：
步骤一：收集常见的农产品的图像，标注图像的成熟度ny和完整度my，形成数据集；
步骤二：在YOLOv3算法的基础上，创建检测网络，输入数据集训练检测网络；
步骤三：收集不同生长数据的农产品的可口度，创建可口度数据集；
步骤四：所述数据采集模块采集农产品影像输入检测模块，所述检测模块输出农产品的成熟度和完整度；
步骤五：所述数据采集模块采集农产品生长数据输入可口度预测模块，所述可口度预测模块预测农产品的可口度；
步骤六：所述展示模块可视化展示农产品的生长过程和农产品的检测结果。
6.根据权利要求5所述的农产品展示方法，其特征在于：所述检测模块检测农产品的成熟度和完整度的具体步骤：
步骤一：所述数据采集模块采集检测的图像数据输入检测网络；
步骤二：检测网络输出农产品的种类和成熟度和标注农产品种类和成熟度的检测图像到图像处理单元；
步骤三：所述图像处理单元分割标注农产品种类和成熟度的检测图像，分割出农产品所在的图像后将其拼接，图像增强后再次输入检测网络；
步骤四：所述检测网络输出农产品的完整度。
7.根据权利要求6所述的农产品展示方法，其特征在于：所述图像增强的具体步骤：
步骤一：将拼接的农产品图像灰度化后Gamma校正，Gamma校正的校正公式：
Y(G)＝I(G)0.5
其中，G表示拼接的农产品图像的灰度值；
步骤二：计算梯度图像；
步骤三：对于梯度图像进行非极大值抑制，将非极大值对应的灰度值置为0，生成二值图像；
步骤四：将二值图像再次输入检测网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111499386.1A CN114187257B (zh) | 2021-12-09 | 2021-12-09 | 基于数据可视化的农产品展示***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111499386.1A CN114187257B (zh) | 2021-12-09 | 2021-12-09 | 基于数据可视化的农产品展示***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114187257A CN114187257A (zh) | 2022-03-15 |
| CN114187257B true CN114187257B (zh) | 2023-06-27 |
Family
ID=80542913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111499386.1A Active CN114187257B (zh) | 2021-12-09 | 2021-12-09 | 基于数据可视化的农产品展示***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114187257B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116307899A (zh) * | 2023-03-22 | 2023-06-23 | 荆州华洋供应链管理有限公司 | 一种基于人工智能的食品食材供应管理***及方法 |
| CN116227758B (zh) * | 2023-05-10 | 2023-08-08 | 江西师范大学 | 基于遥感技术和深度学习的农产品成熟度预测方法及*** |
| CN117035558B (zh) * | 2023-10-08 | 2023-12-26 | 北京佳格天地科技有限公司 | 一种农产品质量检测方法、***及存储介质 |
| CN117236825B (zh) * | 2023-11-15 | 2024-04-05 | 南京龟兔赛跑软件研究院有限公司 | 农产品供应链运输管理***及方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08117694A (ja) * | 1994-08-31 | 1996-05-14 | Takaaki Satake | 青果物選果方法および装置 |
| CN111199192A (zh) * | 2019-12-23 | 2020-05-26 | 中国农业大学 | 一种采用平行线取样的田间红提葡萄整体成熟度检测方法 |
| AU2020100953A4 (en) * | 2020-06-05 | 2020-07-16 | D, Vijayakumar DR | Automated food freshness detection using feature deep learning |
| CN112379816A (zh) * | 2020-12-21 | 2021-02-19 | 文县新农人农业科技有限公司 | 农产品信息展示处理方法、装置及电子设备 |
| CN113192026B (zh) * | 2021-04-28 | 2023-08-04 | 北京林业大学 | 一种基于可见光图像的核桃成熟度检测与预测方法 |
-
2021
- 2021-12-09 CN CN202111499386.1A patent/CN114187257B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| Jin Zhaozhao 等.Rearch on Application of Improved YOLO V3 Algorithm in Road Target Detection.Journal of Physics:Conference Series.2020,第1654卷全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114187257A (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114187257B (zh) | 基于数据可视化的农产品展示***及方法 | |
| Kukreja et al. | A Deep Neural Network based disease detection scheme for Citrus fruits | |
| CN114092389A (zh) | 一种基于小样本学习的玻璃面板表面缺陷检测方法 | |
| CN103518224A (zh) | 用于分析微生物生长的方法和软件 | |
| Thakur et al. | An innovative approach for fruit ripeness classification | |
| CN115222685A (zh) | 一种基于改进yolox模型的木材缺陷检测方法 | |
| CN116029979A (zh) | 一种基于改进Yolov4的布料瑕疵视觉检测方法 | |
| CN116559111A (zh) | 一种基于高光谱成像技术的高粱品种识别方法 | |
| Lavanya et al. | Deep Learning For Identification Of Plantnutrient Deficiencies | |
| CN206897873U (zh) | 一种基于检测产品特性的图像处理与检测*** | |
| Kulkarni et al. | Fruit freshness detection using CNN | |
| Puno et al. | Vision system for soil nutrient detection using fuzzy logic | |
| Joseph et al. | Cnn-based early blight and late blight disease detection on potato leaves | |
| CN114820619B (zh) | 块茎类植物分选方法、***、计算机设备和存储介质 | |
| CN113610831B (zh) | 基于计算机图像技术和迁移学习的木材缺陷检测方法 | |
| Zhang et al. | Damaged apple detection with a hybrid YOLOv3 algorithm | |
| CN113065556B (zh) | 一种数字式仪表定位和数字识别方法、装置和计算机设备 | |
| Bajaj et al. | A survey of machine vision techniques for fruit sorting and grading | |
| CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 | |
| Alabboud et al. | Novel models to predict stored melon fruit marketability using convolutional neural networks | |
| Ramasamy et al. | Classification of Nutrient Deficiencies in Plants Using Recurrent Neural Network | |
| Leiva et al. | ScabyNet, a user-friendly application for detecting common scab in potato tubers using deep learning and morphological traits | |
| CN114550166B (zh) | 一种面向智慧大棚的果实检测方法、装置及存储介质 | |
| Caguioa et al. | Duck Egg Quality Classification Based on its Shell Visual Property Through Transfer Learning Using ResNet-50 | |
| LU504066B1 (en) | Multi-flower quality grading method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230601 Address after: 315000 East 1st Road, Science Park, Jiangshan Town, Yinzhou District, Ningbo City, Zhejiang Province Applicant after: Zhejiang Zhongxing Huinong Information Technology Co.,Ltd. Address before: 224000 room 673, Kechuang building, No. 1, Chengxiang Road, Dagang Town, Yandu District, Yancheng City, Jiangsu Province (n) Applicant before: Jiangsu yepai Biotechnology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |