CN114429310A - 一种基于数据库的农业采摘物的识别算法 - Google Patents
一种基于数据库的农业采摘物的识别算法 Download PDFInfo
- Publication number
- CN114429310A CN114429310A CN202210117896.6A CN202210117896A CN114429310A CN 114429310 A CN114429310 A CN 114429310A CN 202210117896 A CN202210117896 A CN 202210117896A CN 114429310 A CN114429310 A CN 114429310A
- Authority
- CN
- China
- Prior art keywords
- maturity
- picking
- fruit
- database
- fruits
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 77
- 230000033001 locomotion Effects 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000004806 packaging method and process Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 235000016623 Fragaria vesca Nutrition 0.000 claims description 5
- 235000011363 Fragaria x ananassa Nutrition 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 5
- 244000144730 Amygdalus persica Species 0.000 claims description 4
- 244000061508 Eriobotrya japonica Species 0.000 claims description 4
- 235000009008 Eriobotrya japonica Nutrition 0.000 claims description 4
- 244000018633 Prunus armeniaca Species 0.000 claims description 4
- 235000009827 Prunus armeniaca Nutrition 0.000 claims description 4
- 235000006040 Prunus persica var persica Nutrition 0.000 claims description 4
- 244000294611 Punica granatum Species 0.000 claims description 4
- 235000014360 Punica granatum Nutrition 0.000 claims description 4
- 235000003953 Solanum lycopersicum var cerasiforme Nutrition 0.000 claims description 4
- 240000003040 Solanum lycopersicum var. cerasiforme Species 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 235000009754 Vitis X bourquina Nutrition 0.000 claims description 2
- 235000012333 Vitis X labruscana Nutrition 0.000 claims description 2
- 240000006365 Vitis vinifera Species 0.000 claims description 2
- 235000014787 Vitis vinifera Nutrition 0.000 claims description 2
- 230000004888 barrier function Effects 0.000 claims description 2
- 238000011017 operating method Methods 0.000 claims description 2
- 238000003306 harvesting Methods 0.000 claims 6
- 240000009088 Fragaria x ananassa Species 0.000 claims 1
- 241000220223 Fragaria Species 0.000 abstract description 11
- 235000021012 strawberries Nutrition 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000012856 packing Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 235000019640 taste Nutrition 0.000 description 3
- 241000219094 Vitaceae Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000021021 grapes Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 206010035148 Plague Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 235000021022 fresh fruits Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06315—Needs-based resource requirements planning or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06316—Sequencing of tasks or work
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像识别技术领域，具体涉及一种基于数据库的农业采摘物的识别算法，其特征在于，电脑依据待采摘水果的颜色、大小、褶皱等多个指标与成熟度高度相关联的特征设定成熟度指标，将水果的成熟程度与储存时间建立模型，电脑对采摘机器人采集的水果图片进行人工智能识别，并将水果类别与坐标信息传输给采摘机器人的运动控制单元，最终实现抓取、分拣以及避障行走。与现有技术相比，本发明的有益效果为：可以根据市场需求将草莓的成熟度划分为多个等级，仓储时间长或运输距离远的采摘的成熟度要略低一些，从而可根据成熟程度选择邮寄和销售地区的远近，从而降低运输中草莓的损耗，扩展销售区域，提高经济效益。
Description
技术领域
本发明属于图像识别技术领域，具体涉及一种基于数据库的农业采摘物的识别算法。
背景技术
水果采摘注意事项多，采摘步骤繁琐，而我国很多地区在水果的采摘上依然主要靠人工，极大程度上没有实现生产机械化、模式化。单纯的依靠人工不仅效率低，而且水果成品质量得不到保障。这样的采摘方式耗时耗力，并且需要多人进行合作才能完成。现有技术中的采摘机械，大多数不能在采摘过程中按照水果的成熟度和大小进行分类装箱，通常是在果园里摘下来用车运到分拣场地，再用人工或机械分拣，其弊端是：运输环节多，作业中不能避免水果磕碰，降低了水果质量，直接影响到水果品相、销售价格和冷藏期限。
现有技术中，水果以箱体状态通过托盘转运在仓储***中实现出入库。入库时仓储工作人员，会在水果箱上贴上仓储***的二维码，出入库时通过扫描二维码实现出入库状态的监控，目的是提升仓储***的管理。生鲜类的水果在以往的操作中一般是按照先进先出的原则进行出入库的管理。但是同一批次的水果，受成熟度的不同，以及托盘放置区域中环境温度的影响，会造成成熟状态的不一致。甚至由于，先入批次的水果放置区域的冷气比后入批次的水果放置区域的冷气足，造成后入批次的水果优先成熟。此时按先进先出的出入库管理，无疑会影响用户对水果有品尝体验。
在现代化的立体式草莓大棚中，草莓的颜色差别细微、大小差别较小，因此，需要研发一种人工智能化水果状态识别检测***，能够对采摘过程中的水果进行检测判断其成熟度，考虑冷藏和运输过程的时间差，辅助仓储工作人员进行出入库的操作，提升出入库***管理的精准性和准确性，目前相关文献还鲜有报道。
发明内容
本发明旨在提供一种基于数据库的农业采摘物的识别算法，克服现有技术的不足，采用的人工智能图像识别技术，以卷积神经网络（CNN）为深度学习架构，通过卷积、池化等操作得到图片的特征值，进而完成识别功能，对水果的颜色和大小进行识别和归类，配合机械臂的移动，将水果放到对应的收纳箱中，当收纳箱满后，将收纳箱运送到指定仓储区，整个过程均可实现无人操作。
为解决上述技术问题，本发明的技术方案是：
一种基于数据库的农业采摘物的识别算法，其特征在于，电脑依据待采摘水果的颜色、大小、褶皱等多个指标与成熟度高度相关联的特征设定成熟度指标，将水果的成熟程度与储存时间建立模型，电脑对采摘机器人采集的水果图片进行人工智能识别，并将水果类别与坐标信息传输给采摘机器人的运动控制单元，最终实现抓取、分拣以及避障行走，其具体操作步骤如下：
1）根据市场需求将水果的成熟度划分为多个等级，应用人工智能图像识别技术对待摘取水果的成熟程度的识别特征形成模型文件并保存在数据库中；
2）采摘机器人采用UWB定位技术以自主或跟随形式沿采摘通道移动，通过双目摄像头采集水果图片以及位置的x、y、z轴坐标数据，并将水果图片回传发送给电脑做对照识别；
3）电脑控制采摘机器人的机械臂根据水果的成熟程度实现分类采摘和分拣，并装入不同包装盒中；
4）当包装盒装满后，采摘机器人移动到储存区，由质检人员卸货并更换新的包装盒；
5）采摘机器人重复步骤2）至步骤4），实现全自动无人采摘。
所述数据库中，模型文件的文档中标签all表示为全成熟的水果，标签half表示为将要成熟的水果。
所述采摘机器人采取群体控制方式，可通过一台电脑远程控制多个采摘机器人进行作业。
所述水果为草莓、水蜜桃、葡萄、石榴、杏、圣女果、枇杷中的任一种。
所述人工智能图像识别技术以卷积神经网络（CNN）为架构，通过卷积、池化和聚类计算得到图片的特征值，进而实现识别功能，其中卷积操作一般用正方形卷积核，遍历图像上的像素点，图像与卷积核重合区域内，图像的像素值与卷积核内相对应点的权重的乘积和，再加上偏置值，得到输出图像中的像素值；其中池化操作分为最大池化或平均池化，最大池化即取局部接受域中值最大的点，平均池化即取局部接受域中值的平均值；最后应用聚类计算求出识别框数据，经过多次训练测试验证后即得到模型文件，用于采摘机器人的行为判断。
所述数据库中保存有双目摄像头拍摄的水果图片，该图片数据以标注文件形式保存。
所述双目摄像头通过WebSocket协议将其采集的图片无线传输给电脑。
所述步骤1）中市场需求是指根据邮寄和销售地区的远近选择采摘水果的成熟程度。
与现有技术相比，本发明的有益效果为：
1）可以根据市场需求将草莓的成熟度划分为多个等级，仓储时间长或运输距离远的采摘的成熟度要略低一些，从而可根据成熟程度选择邮寄和销售地区的远近，从而降低运输中草莓的损耗，提高销售产品质量，扩展销售区域，提高经济效益。
2）本发明适用于草莓、水蜜桃、葡萄、石榴、杏、圣女果、枇杷等那些对仓储时间和运输时间敏感的水果，通过人工智能深度学习，识别准确率可以达到98%以上，抓取准确率可以达到100%。通过根据水果外在的特征实现对成熟度的精准识别，实现分类采摘和包装，实现为不同需求口味的消费者提供更加精准的服务，实施差异化销售，从而改善用户体验，增加销售量，提高经济效益。
3）采摘机器人采取群体控制方式，可通过一台电脑远程控制多个机器人同时作业，比单体机器人设计制造的成本更加低廉，工作效率更高，适用范围也更广，可以更加适合复杂环境的草莓的差异化采摘和自动分拣工作，能够替代人工劳作节省人工成本，从而提高经济效益。
4）本发明在采摘、分拣、装盒过程中全程自动化，可大大降低疫情期间因人员接触水果而造成的病毒传播风险，我国是草莓等水果种植大国，该发明适用范围广泛，有很好的市场前景。经过实地测试及与果农进行人机对比实验得出，相同时间内本发明一台采摘机器人的工作产能等同于4到5名熟练采摘工的工作产能，且不存在疲劳期可以持续高效运行，从而大大节省人力、提高效率。
5）本发明具有UWB定位技术，能够按照预先设定工作路线行走，也能自动跟随工作人员行走，采摘机器人的使用更加方便灵活，在实现采摘分拣后还能完成自动搬运工作。
6）依据相关机构的研究结果，在未来的几年时间里，全球农业机器人的出货量将快速增加，有望从2018年的每年6万台，快速长到2025年的72.7万台。相关机构估计到2025年，农业机器人的全球商场价值将达到879亿美元。由此可见农业机器人领域在未来有广大的发展空间和市场潜力。
附图说明
图1是本发明实施例控制逻辑流程图；
图2是本发明实施例中池化处理示意图；
图3是本发明实施例数据库中的标注文件；
图4是本发明实施例中测试验证的过程参数，显示用模型文件驱动采摘机器人并记录的相关数据；
图5是本发明实施例中采摘机器人收集水果图片并回传给电脑；
图6是本发明实施例中电脑对采摘机器人回传的图片进行识别并标记。
具体实施方式
下面将结合本发明中的具体实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
文中术语：卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷 积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学***移不变分类（shift-invariantclassification），因此也被称为“平移不变人工神经网络（Shift-Invariant ArtificialNeural Networks, SIANN）”。随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。卷积神经网络仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求。
是一种在单个TCP连接上进行全双工通信的协议。WebSocket通信协议于2011年被IETF定为标准RFC 6455，并由RFC7936补充规范。WebSocket API也被W3C定为标准。WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。
定位技术，超宽带（UWB，Ultra Wide Band）技术是一种新型的无线通信技术。它通过对具有很陡上升和下降时间的冲激脉冲进行直接调制，使信号具有GHz量级的带宽。超宽带技术解决了困扰传统无线技术多年的有关传播方面的重大难题，它具有对信道衰落不敏感、发射信号功率谱密度低、低截获能力、***复杂度低、能提供数厘米的定位精度等优点。超宽带（UWB）在早期被用来应用在近距离高速数据传输，近年来国外开始利用其亚纳秒级超窄脉冲来做近距离精确室内定位。
见图1－图6，是本发明一种基于数据库的农业采摘物的识别算法效果示意图，本发明中电脑依据待采摘水果的颜色、大小、褶皱等多个指标与成熟度高度相关联的特征设定成熟度指标，将水果的成熟程度与储存时间建立模型，电脑对采摘机器人采集的水果图片进行人工智能识别，并将水果类别与坐标信息传输给采摘机器人的运动控制单元，最终实现抓取、分拣以及避障行走，以实现为不同需求口味的消费者提供更加精准的服务，实施差异化销售，从而改善用户体验，增加销售量，提高经济效益的目的。
本发明具体操作步骤如下：1）根据市场需求将水果的成熟度划分为多个等级，应用人工智能图像识别技术对待摘取水果的成熟程度的识别特征形成模型文件并保存在数据库中，此模型文件通过多次训练测试验证最终确定；2）采摘机器人采用UWB定位技术以自主或跟随形式沿采摘通道移动，通过双目摄像头采集水果图片以及位置的x、y、z轴坐标数据，并将水果图片回传发送给电脑做对照识别，确定可采摘目标；电脑的数据库中保存有双目摄像头拍摄的水果图片，该图片数据以标注文件形式保存。双目摄像头通过WebSocket协议将其采集的图片无线传输给电脑。3）电脑控制采摘机器人的机械臂根据水果的成熟程度实现分类采摘和分拣，并装入不同包装盒中，包装盒由采摘机器人携带；4）当包装盒装满后，采摘机器人移动到储存区，由质检人员卸货并更换新的包装盒，该包装盒内装水果的成熟度和大小，可根据市场需求设计；5）采摘机器人重复步骤2）至步骤4），实现全自动无人采摘。
本发明电脑的数据库中，模型文件的文档中标签all表示为全成熟的水果，标签half表示为将要成熟的水果，实现差异化销售，改善用户体验。
本发明实施例中，多个采摘机器人可采取群体控制方式，可通过一台电脑远程控制多个采摘机器人进行作业。
本发明尤其适用于草莓、水蜜桃、葡萄、石榴、杏、圣女果、枇杷等对保存期和运输距离敏感的水果，并且成熟度与外在颜色具有一致性，需要根据邮寄和销售地区的远近选择采摘水果的成熟程度。对于那些成熟度与颜色相关度不大的水果则使用效果不明显。
本发明是以人工智能图像识别技术以卷积神经网络（CNN）为架构，通过卷积、池化和聚类计算得到图片的特征值，进而实现识别功能，其中卷积操作一般用正方形卷积核，遍历图像上的像素点，图像与卷积核重合区域内，图像的像素值与卷积核内相对应点的权重的乘积和，再加上偏置值，得到输出图像中的像素值；其中池化操作分为最大池化或平均池化，最大池化即取局部接受域中值最大的点，平均池化即取局部接受域中值的平均值；最后应用聚类计算求出识别框数据，经过多次训练测试验证后即得到模型文件，用于采摘机器人的行为判断。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (8)
1.一种基于数据库的农业采摘物的识别算法，其特征在于，电脑依据待采摘水果的颜色、大小、褶皱等多个指标与成熟度高度相关联的特征设定成熟度指标，将水果的成熟程度与储存时间建立模型，电脑对采摘机器人采集的水果图片进行人工智能识别，并将水果类别与坐标信息传输给采摘机器人的运动控制单元，最终实现抓取、分拣以及避障行走，其具体操作步骤如下：
1）根据市场需求将水果的成熟度划分为多个等级，应用人工智能图像识别技术对待摘取水果的成熟程度的识别特征形成模型文件并保存在数据库中；
2）采摘机器人采用UWB定位技术以自主或跟随形式沿采摘通道移动，通过双目摄像头采集水果图片以及位置的x、y、z轴坐标数据，并将水果图片回传发送给电脑做对照识别；
3）电脑控制采摘机器人的机械臂根据水果的成熟程度实现分类采摘和分拣，并装入不同包装盒中；
4）当包装盒装满后，采摘机器人移动到储存区，由质检人员卸货并更换新的包装盒；
5）采摘机器人重复步骤2）至步骤4），实现全自动无人采摘。
2.根据权利要求1所述的一种基于数据库的农业采摘物的识别算法，其特征在于，所述数据库中，模型文件的文档中标签all表示为全成熟的水果，标签half表示为将要成熟的水果。
3.根据权利要求1所述的一种基于数据库的农业采摘物的识别算法，其特征在于，所述采摘机器人采取群体控制方式，可通过一台电脑远程控制多个采摘机器人进行作业。
4.根据权利要求1所述的一种基于数据库的农业采摘物的识别算法，其特征在于，所述水果为草莓、水蜜桃、葡萄、石榴、杏、圣女果、枇杷中的任一种。
5.根据权利要求1所述的一种基于数据库的农业采摘物的识别算法，其特征在于，所述人工智能图像识别技术以卷积神经网络（CNN）为架构，通过卷积、池化和聚类计算得到图片的特征值，进而实现识别功能，其中卷积操作一般用正方形卷积核，遍历图像上的像素点，图像与卷积核重合区域内，图像的像素值与卷积核内相对应点的权重的乘积和，再加上偏置值，得到输出图像中的像素值；其中池化操作分为最大池化或平均池化，最大池化即取局部接受域中值最大的点，平均池化即取局部接受域中值的平均值；最后应用聚类计算求出识别框数据，经过多次训练测试验证后即得到模型文件，用于采摘机器人的行为判断。
6.根据权利要求1所述的一种基于数据库的农业采摘物的识别算法，其特征在于，所述数据库中保存有双目摄像头拍摄的水果图片，该图片数据以标注文件形式保存。
7.根据权利要求1所述的一种基于数据库的农业采摘物的识别算法，其特征在于，所述双目摄像头通过WebSocket协议将其采集的图片无线传输给电脑。
8.根据权利要求1所述的一种基于数据库的农业采摘物的识别算法，其特征在于，所述步骤1）中市场需求是指根据邮寄和销售地区的远近选择采摘水果的成熟程度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210117896.6A CN114429310A (zh) | 2022-02-08 | 2022-02-08 | 一种基于数据库的农业采摘物的识别算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210117896.6A CN114429310A (zh) | 2022-02-08 | 2022-02-08 | 一种基于数据库的农业采摘物的识别算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114429310A true CN114429310A (zh) | 2022-05-03 |
Family
ID=81313212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210117896.6A Pending CN114429310A (zh) | 2022-02-08 | 2022-02-08 | 一种基于数据库的农业采摘物的识别算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114429310A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115299245A (zh) * | 2022-09-13 | 2022-11-08 | 南昌工程学院 | 一种智能水果采摘机器人的控制方法及控制*** |
| CN116307899A (zh) * | 2023-03-22 | 2023-06-23 | 荆州华洋供应链管理有限公司 | 一种基于人工智能的食品食材供应管理***及方法 |
-
2022
- 2022-02-08 CN CN202210117896.6A patent/CN114429310A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115299245A (zh) * | 2022-09-13 | 2022-11-08 | 南昌工程学院 | 一种智能水果采摘机器人的控制方法及控制*** |
| CN115299245B (zh) * | 2022-09-13 | 2023-07-14 | 南昌工程学院 | 一种智能水果采摘机器人的控制方法及控制*** |
| CN116307899A (zh) * | 2023-03-22 | 2023-06-23 | 荆州华洋供应链管理有限公司 | 一种基于人工智能的食品食材供应管理***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110139552B (zh) | 机器人水果采摘*** | |
| CN114375689B (zh) | 一种农业采摘机器人目标成熟判定和分类收纳方法 | |
| Chen et al. | Counting apples and oranges with deep learning: A data-driven approach | |
| Behera et al. | Identification, classification & grading of fruits using machine learning & computer intelligence: a review | |
| CN114429310A (zh) | 一种基于数据库的农业采摘物的识别算法 | |
| CN110263675A (zh) | 一种社区安保机器人的垃圾目标识别***及其识别方法 | |
| Zhou et al. | A novel greenhouse-based system for the detection and plumpness assessment of strawberry using an improved deep learning technique | |
| CN113469746A (zh) | 一种农产品预测方法和*** | |
| CN102789579A (zh) | 基于计算机视觉技术的温室作物水肥胁迫状态识别方法 | |
| Fujinaga et al. | Tomato growth state map for the automation of monitoring and harvesting | |
| CN112465109A (zh) | 一种基于云边协同的农业大棚控制装置 | |
| JP2021073860A (ja) | 農作物生育推定装置、農作物生育推定システム、農作物生育推定方法、及びプログラム | |
| Chen et al. | A self-supervised learning-based intelligent greenhouse orchid growth inspection system for precision agriculture | |
| Anand et al. | Applications of Internet of Things (IoT) in agriculture: The need and implementation | |
| US20230389474A1 (en) | Method for determining a fruit to be harvested and a device for harvesting a fruit | |
| Ren et al. | Mobile robotics platform for strawberry sensing and harvesting within precision indoor farming systems | |
| CN108830740A (zh) | 一种农作物生长节点实时技术信息采集***及方法 | |
| Jayasekara et al. | Automated crop harvesting, growth monitoring and disease detection system for vertical farming greenhouse | |
| Nguyen et al. | Ready or Not? A Robot-Assisted Crop Harvest Solution in Smart Agriculture Contexts | |
| Khan et al. | Harnessing 5G Networks for Enhanced Precision Agriculture: Challenges and potential Solutions | |
| Kodors et al. | Rapid Prototyping of Pear Detection Neural Network with YOLO Architecture in Photographs | |
| He et al. | Visual recognition and location algorithm based on optimized YOLOv3 detector and RGB depth camera | |
| Meshram et al. | Smart low cost fruit picker for Indian farmers | |
| Islam et al. | IoT-Smart Agriculture: Comparative Study on Farming Applications and Disease Prediction of Apple Crop using Machine Learning | |
| CN114663814A (zh) | 一种基于机器视觉的果实检测及产量估计方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |