CN110612813A - 基于嵌入式视觉平台的叶菜切割*** - Google Patents

基于嵌入式视觉平台的叶菜切割*** Download PDF

Info

Publication number
CN110612813A
CN110612813A CN201910995213.5A CN201910995213A CN110612813A CN 110612813 A CN110612813 A CN 110612813A CN 201910995213 A CN201910995213 A CN 201910995213A CN 110612813 A CN110612813 A CN 110612813A
Authority
CN
China
Prior art keywords
cutting
leaf
module
image
leaf vegetable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910995213.5A
Other languages
English (en)
Inventor
柳军
钱明艳
皮杰
周科宏
徐磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yinbao Academy Of Agricultural Sciences Co Ltd
Original Assignee
Jiangsu Yinbao Academy Of Agricultural Sciences Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yinbao Academy Of Agricultural Sciences Co Ltd filed Critical Jiangsu Yinbao Academy Of Agricultural Sciences Co Ltd
Priority to CN201910995213.5A priority Critical patent/CN110612813A/zh
Publication of CN110612813A publication Critical patent/CN110612813A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D45/00—Harvesting of standing crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Harvesting Machines For Specific Crops (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于嵌入式视觉平台的叶菜切割***,包括硬件模块和控制模块，所述硬件模块包括输送带、红外定位机构、滑块机构、CMOS视觉识别组件、切刀模组、调整模组和横向模组，所述控制模块包括控制单元、供电电路、数据采集电路和控制切割电路，且数据采集电路与CMOS视觉识别组件电性连接，控制切割电路与切刀模组电性连接。本发明为槽式设施种植蔬菜设计，采用了根茎切割收获方式,针对叶菜切割图像难以利用灰度特征值进行处理，能够对目标进行精准的检测和定位，整个切割***性能良好，收获过程中对蔬菜的切割茎的长度保留适中，切割整齐且能辅助叶菜的有序存放。

Description

基于嵌入式视觉平台的叶菜切割***
技术领域
本发明涉及蔬菜种植技术领域，尤其涉及基于嵌入式视觉平台的叶菜切割***。
背景技术
据农业部分数据显示，我国设施蔬菜产业的发展趋势较好，种植面积在逐年增加，预计到2020年种植面积将达到6158万亩左右。我国栽培的绿叶菜的种类繁多，不同种类的叶菜类蔬菜形态各异，且栽培模式、种植密度等集合形态和物理性存在较大的差异，收获基本依靠人工完成。但是随着农业劳动力短缺，人工成本逐步提高，目前全自动化叶菜生产、收获设备研究逐步成为热点。近年来，我国机械化叶菜收割机研究较多,包括智能调节割幅、割茬高度的小型智能叶菜类蔬菜收获机和适用于温室蔬菜(金花菜、豆苗、小菜秧等)收获机和柔性有序夹持收集蔬菜收获机，其中叶菜收割是实现全自动化蔬菜通用收割的重要一环。
采用有机基质再利用栽培蔬菜，是目前高科技应用于蔬菜生产的重要标志，有效解决了农林副产物的处置利用和环境污染问题，目前已经在种植技术中得到了广泛的应用。但现有的蔬菜收割机并不能良好的应用于收获槽式设施种植的叶菜场景。
发明内容
基于背景技术存在的技术问题，本发明提出了应用于槽式设施种植叶菜的基于嵌入式视觉平台的叶菜切割***。
本发明提出的基于嵌入式视觉平台的叶菜切割***，包括硬件模块和控制模块，所述硬件模块包括输送带、红外定位机构、滑块机构、CMOS视觉识别组件、切刀模组、调整模组和横向模组，所述控制模块包括控制单元、供电电路、数据采集电路和控制切割电路，且数据采集电路与CMOS视觉识别组件电性连接，控制切割电路与切刀模组电性连接。
优选地，所述控制单元为STM32H743处理器，内核采用32位ARM Cortex-M7，所述CMOS视觉识别组件为Ov7725型低压CMOS图像传感器。
本发明还提出基于嵌入式视觉平台的叶菜切割***的使用方法，包括以下步骤：
S1：***初始化，实现各个模块复位，将需要收割的叶菜盒通过输送带传送至切割工位，滑块机构自叶菜盒斜下方顶出并夹紧叶菜盒内的叶菜两侧，使叶菜的叶子向中间聚集露出叶菜根茎；
S2：CMOS视觉识别组件进行叶菜根茎位置算法识别，根据识别的位置通过调整模组对切刀模组的高度调整，分别对叶菜盒中的叶菜进行切割；
S3：结束整盒叶菜切割后机构复位，蔬菜盒流至下工位，继续将下一盒待收割叶菜盒传送至切割工位。
优选地，所述CMOS视觉识别组件工作过程中首先启动摄像头，对摄像头进行标定，为了得到准确的图像色彩还原，关闭相机白平衡，设定叶菜阈值，再基于设定阈值检测叶菜根茎所在区域，并将识别到的区域在ROI域内框出，再进一步对框定的ROI图像二值化，通过Otsu算法二值化处理方法将在阈值函数内的阈值图像全部像素变为白色，阈值外的部分全部像素变为黑色，二值化后的图像再通过腐蚀函数erode(size，threshold)、膨胀函数dilate(size，threshold)进行腐蚀、膨胀确定割刀目标区域，其中size是去除边缘相邻处多余的点，阈值函数threshold是用来设置去除相邻点的个数，图像边缘附近的白色杂点、边缘膨胀大小随阈值函数的大小改变，通过测距算法计算出割刀的图像距离与实际距离的比值，切割位置通过串口传给下位机，割刀调整位置进行切割。
本发明的有益效果为：
本发明专为槽式设施种植蔬菜设计，采用了根茎切割收获方式,针对叶菜切割图像难以利用灰度特征值进行处理，采用RGB颜色空间的色差分量合成的单通道图像进行Otsu自适应阈值分割，能够快速有效的将切割图像进行分割，实验表明，本文算法能够对目标进行精准的检测和定位，整个切割***性能良好，收获过程中对蔬菜的切割茎的长度保留适中，切割整齐且能辅助叶菜的有序存放。
附图说明
图1为本发明提出的基于嵌入式视觉平台的叶菜切割***的硬件模块结构示意图；
图2为本发明提出的基于嵌入式视觉平台的叶菜切割***的硬件模块框图；
图3为本发明提出的基于嵌入式视觉平台的叶菜切割***的CMOS视觉识别组件框图；
图4为本发明提出的基于嵌入式视觉平台的叶菜切割***的硬件模块框图；
图5为本发明提出的基于嵌入式视觉平台的叶菜切割***的视觉识别流程图；
图6为本发明提出的基于嵌入式视觉平台的叶菜切割***的试验中青菜初步识别图；
图7为本发明提出的基于嵌入式视觉平台的叶菜切割***的试验中叶菜二值化图；
图8为本发明提出的基于嵌入式视觉平台的叶菜切割***的试验中叶菜二值化图腐蚀膨胀运算图；
图9为本发明提出的基于嵌入式视觉平台的叶菜切割***的试验中参照物图。
图中：1滑块机构、2叶菜盒、3割刀、4CMOS视觉识别组件、5切刀模组、6调整模组、7横向模组、8定位机构、9输送带。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1，参照图1-9，以某农业科学院实验基地取叶菜成熟期测试样，该基地采用基质化再利用技术种植叶菜，种植基质槽的宽15cm，长32cm，叶菜种植距离为4cm，一条基质槽种植8颗叶菜，收获的品种主要为青菜、苦苣、生菜等。
试验于2019年8月25日在某农业科学院农业设施与装备研究所实验内进行，主要测试叶菜类蔬菜切割控制***的性能，此次实验的叶菜主要是青菜，成熟青菜高约3.5cm，一棵植株平均5片叶向四周散开。
试验过程如下：
由于图像在采集或传输中会产生大量的噪声，因此在对图像采集和收集时进行图像的预处理操作，此次测试图像分辨率都采用160px*120px。
首先对相机进行标定，关闭白平衡，设定青菜的根茎阈值，进行青菜所在区域检测，初步将识别到的青菜在ROI区域内框处，如图6(b)所示。
其次进行二值化图像处理，通过Otsu算法进行二值化处理，此方法又称作最大类间方差法或大津法，最大限度将图像背景和识别目标的类间方差最大进行自动阈值分割，图像背景识别目标之间的类间方差越大，说明两者之间的差别就越大，当部分图像背景或部分识别目标错分为背景都会导致两部分的差别变小，使用Otsu算法进行二值化处理错分的概率最小，能够准确识别到目标。
将基于设定阈值识别的叶菜进行二值化处理，如图7(a)所示，进一步进行阈值调整，分割出青菜根茎的位置，如图7(b)所示。
进一步对图像进行腐蚀膨胀，图像先膨胀再腐蚀，能有效的区分出目标图像的边界，针对二值化的图像进行腐蚀，可以消除噪点、有效的分割出独立的图形元素，识别出图像中青菜根茎极限区域，青菜根茎膨胀腐蚀运算图，如图8所示。
最后进行割刀的切割距离计算，根据割刀与青菜根茎的相对位置计算割刀切割的执行高度，因此需要计算出割刀的实际执行高度与图像上割刀应调节的高度的关系，此次试验识别青菜根茎的距离以及种植的青菜在叶菜盒中的位置固定，因此可采用参照物的形式来测量距离，根据参照物的大小比例关系来测量割刀的实际距离。
根据青菜在叶菜盒中的位置进行同位置投放参照物，由摄像头中参照物的几何关系可得出摄像头到参照物固定距离与图像中实际的距离的比值，如以下公式(公式1)
由真实环境里参照物的几何关系可得出参照物的实际大小与长度的比值，如以下公式(公式2)
将公式2带入公式1可得出实际长度与摄像头的像素成反比，利用计算出实际距离与图上距离的比值关系，得出割刀的实际距离，设置一个圆形参照物，参照物如图9所示。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.基于嵌入式视觉平台的叶菜切割***，包括硬件模块和控制模块，其特征在于，所述硬件模块包括输送带(9)、红外定位机构(8)、滑块机构(1)、CMOS视觉识别组件(4)、切刀模组(5)、调整模组(6)和横向模组(7)，所述控制模块包括控制单元、供电电路、数据采集电路和控制切割电路，且数据采集电路与CMOS视觉识别组件(4)电性连接，控制切割电路与切刀模组(5)电性连接。
2.根据权利要求1所述的基于嵌入式视觉平台的叶菜切割***，其特征在于，所述控制单元为STM32H743处理器，内核采用32位ARM Cortex-M7，所述CMOS视觉识别组件(4)为Ov7725型低压CMOS图像传感器。
3.根据权利要求1所述的基于嵌入式视觉平台的叶菜切割***的使用方法，其特征在于，包括以下步骤：
S1：***初始化，实现各个模块复位，将需要收割的叶菜盒(2)通过输送带(9)传送至切割工位，滑块机构(1)自叶菜盒(2)斜下方顶出并夹紧叶菜盒(2)内的叶菜两侧，使叶菜的叶子向中间聚集露出叶菜根茎；
S2：CMOS视觉识别组件(4)进行叶菜根茎位置算法识别，根据识别的位置通过调整模组(6)对切刀模组(5)的高度调整，分别对叶菜盒(2)中的叶菜进行切割；
S3：结束整盒叶菜切割后机构复位，蔬菜盒(2)流至下工位，继续将下一盒待收割叶菜盒(2)传送至切割工位。
4.根据权利要求3所述的基于嵌入式视觉平台的叶菜切割***的使用方法，其特征在于，所述CMOS视觉识别组件(4)工作过程中首先启动摄像头，对摄像头进行标定，为了得到准确的图像色彩还原，关闭相机白平衡，设定叶菜阈值，再基于设定阈值检测叶菜根茎所在区域，并将识别到的区域在ROI域内框出，再进一步对框定的ROI图像二值化，通过Otsu算法二值化处理方法将在阈值函数内的阈值图像全部像素变为白色，阈值外的部分全部像素变为黑色，二值化后的图像再通过腐蚀函数erode(size，threshold)、膨胀函数dilate(size，threshold)进行腐蚀、膨胀确定割刀目标区域，其中size是去除边缘相邻处多余的点，阈值函数threshold是用来设置去除相邻点的个数，图像边缘附近的白色杂点、边缘膨胀大小随阈值函数的大小改变，通过测距算法计算出割刀(3)的图像距离与实际距离的比值，切割位置通过串口传给下位机，割刀(3)调整位置进行切割。
CN201910995213.5A 2019-10-18 2019-10-18 基于嵌入式视觉平台的叶菜切割*** Pending CN110612813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910995213.5A CN110612813A (zh) 2019-10-18 2019-10-18 基于嵌入式视觉平台的叶菜切割***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910995213.5A CN110612813A (zh) 2019-10-18 2019-10-18 基于嵌入式视觉平台的叶菜切割***

Publications (1)

Publication Number Publication Date
CN110612813A true CN110612813A (zh) 2019-12-27

Family

ID=68926196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910995213.5A Pending CN110612813A (zh) 2019-10-18 2019-10-18 基于嵌入式视觉平台的叶菜切割***

Country Status (1)

Country Link
CN (1) CN110612813A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111617983A (zh) * 2020-05-16 2020-09-04 安徽昭日农业科技有限公司 一种蔬菜分拣装置
CN112425356A (zh) * 2020-11-11 2021-03-02 沈阳农业大学 电动叶菜收获机控制电路

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08322408A (ja) * 1995-05-31 1996-12-10 Kyushu Electric Power Co Inc 葉物野菜の下葉処理方法およびその装置
CN104303699A (zh) * 2014-11-14 2015-01-28 山东农业大学 一种穴盘种植叶菜的收获装置及收获方法
CN107135736A (zh) * 2017-05-21 2017-09-08 西北农林科技大学 一种定植板培育蔬菜的采收装置
CN108453739A (zh) * 2018-04-04 2018-08-28 北京航空航天大学 基于自动形状拟合的立体视觉定位机械臂抓取***及方法
CN108575258A (zh) * 2018-03-06 2018-09-28 王振轩 一种块状根农作物智能化切割方法和装置
CN108848889A (zh) * 2018-06-22 2018-11-23 江苏农林职业技术学院 一种基于图像识别的叶菜收获机械装置及其控制方法
CN109863874A (zh) * 2019-01-30 2019-06-11 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质
CN110140513A (zh) * 2019-04-25 2019-08-20 北京城农科工科技发展有限公司 一种种植槽定植蔬菜自动化收获机
CN209299744U (zh) * 2018-11-21 2019-08-27 重庆宏双达机械工程有限公司 一种基于叶菜切割的切割机构

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08322408A (ja) * 1995-05-31 1996-12-10 Kyushu Electric Power Co Inc 葉物野菜の下葉処理方法およびその装置
CN104303699A (zh) * 2014-11-14 2015-01-28 山东农业大学 一种穴盘种植叶菜的收获装置及收获方法
CN107135736A (zh) * 2017-05-21 2017-09-08 西北农林科技大学 一种定植板培育蔬菜的采收装置
CN108575258A (zh) * 2018-03-06 2018-09-28 王振轩 一种块状根农作物智能化切割方法和装置
CN108453739A (zh) * 2018-04-04 2018-08-28 北京航空航天大学 基于自动形状拟合的立体视觉定位机械臂抓取***及方法
CN108848889A (zh) * 2018-06-22 2018-11-23 江苏农林职业技术学院 一种基于图像识别的叶菜收获机械装置及其控制方法
CN209299744U (zh) * 2018-11-21 2019-08-27 重庆宏双达机械工程有限公司 一种基于叶菜切割的切割机构
CN109863874A (zh) * 2019-01-30 2019-06-11 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质
CN110140513A (zh) * 2019-04-25 2019-08-20 北京城农科工科技发展有限公司 一种种植槽定植蔬菜自动化收获机

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
汪懋华等: "《现代精细农业理论与实践》", 31 October 2012 *
王财盛等: "基于机器视觉的采茶机割刀控制方法", 《计算机测量与控制》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111617983A (zh) * 2020-05-16 2020-09-04 安徽昭日农业科技有限公司 一种蔬菜分拣装置
CN112425356A (zh) * 2020-11-11 2021-03-02 沈阳农业大学 电动叶菜收获机控制电路

Similar Documents

Publication Publication Date Title
Yu et al. Automatic image-based detection technology for two critical growth stages of maize: Emergence and three-leaf stage
Stajnko et al. Estimation of number and diameter of apple fruits in an orchard during the growing season by thermal imaging
McCarthy et al. Applied machine vision of plants: a review with implications for field deployment in automated farming operations
CN100416590C (zh) 利用位置和纹理特征自动识别作物苗期田间杂草的方法
CN110163138B (zh) 一种基于无人机多光谱遥感图像的小麦分蘖密度测算方法
CN109447945B (zh) 基于机器视觉和图形处理的小麦基本苗快速计数方法
CN109255757B (zh) 一种机器视觉自然放置葡萄串果梗区域分割方法
CN201600330U (zh) 成熟菠萝识别与定位***
BR102014027364A2 (pt) sistema de controle e de medição da altura de corte para uma ceifeira de base, método, e, colheitadeira
CN102495005A (zh) 高光谱图像技术诊断作物水分亏缺的方法
CN102612892B (zh) 小麦麦穗发芽情况识别方法
Howarth et al. Measurement of seedling growth rate by machine vision
CN110612813A (zh) 基于嵌入式视觉平台的叶菜切割***
CN103278503A (zh) 一种基于多传感器技术的葡萄水分胁迫诊断方法及***
CN113469112B (zh) 农作物生长状况图像识别方法及***
CN112734083A (zh) 一种基于机器视觉的水稻收割机路径规划控制***
KR20190069648A (ko) 인삼의 영상 이미지 분석을 통한 생육량 측정 방법
CN113920106A (zh) 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
CN115950838A (zh) 一种基于叶绿素含量的夏玉米旱情无人机快速监测判别方法
CN110741790B (zh) 一种基于深度相机的穴盘苗多爪移栽-分选的处理方法
He et al. Visual detection of rice rows based on Bayesian decision theory and robust regression least squares method
CN107993243B (zh) 一种基于rgb图像的小麦分蘖数自动检测方法
Chen et al. An automatic plant growth measurement system for plant factory
CN111886982B (zh) 一种旱地栽植作业质量实时检测***的检测方法
CN114937078A (zh) 自动除草方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191227