CN113692222A - 使用色调色彩空间和峰值查找的成熟度检测*** - Google Patents

使用色调色彩空间和峰值查找的成熟度检测*** Download PDF

Info

Publication number
CN113692222A
CN113692222A CN202080028646.4A CN202080028646A CN113692222A CN 113692222 A CN113692222 A CN 113692222A CN 202080028646 A CN202080028646 A CN 202080028646A CN 113692222 A CN113692222 A CN 113692222A
Authority
CN
China
Prior art keywords
agricultural product
maturity
agricultural
light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080028646.4A
Other languages
English (en)
Inventor
瑞安·R·克诺夫
约书亚·亚伦·莱辛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apharwest Technology Co ltd
Original Assignee
Apharwest Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apharwest Technology Co ltd filed Critical Apharwest Technology Co ltd
Publication of CN113692222A publication Critical patent/CN113692222A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01H—NEW PLANTS OR NON-TRANSGENIC PROCESSES FOR OBTAINING THEM; PLANT REPRODUCTION BY TISSUE CULTURE TECHNIQUES
    • A01H6/00—Angiosperms, i.e. flowering plants, characterised by their botanic taxonomy
    • A01H6/54—Leguminosae or Fabaceae, e.g. soybean, alfalfa or peanut
    • A01H6/542—Glycine max [soybean]
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01H—NEW PLANTS OR NON-TRANSGENIC PROCESSES FOR OBTAINING THEM; PLANT REPRODUCTION BY TISSUE CULTURE TECHNIQUES
    • A01H5/00—Angiosperms, i.e. flowering plants, characterised by their plant parts; Angiosperms characterised otherwise than by their botanic taxonomy
    • A01H5/10—Seeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G06F2218/14—Classification; Matching by matching peak patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Developmental Biology & Embryology (AREA)
  • Botany (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Natural Medicines & Medicinal Plants (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Breeding Of Plants And Reproduction By Means Of Culturing (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

一种评估农产品成熟度的方法，包括用光照射农产品，测量以不同频率从农产品反射的光的强度，并根据从农产品以不同频率反射的光的相对强度确定农产品的成熟度的分级。

Description

使用色调色彩空间和峰值查找的成熟度检测***
技术领域
本文公开的方面和实施例涉及农产品的机器成像以确定其成熟度的分级。
背景技术
为了指导自动化多自由度***(机器人***)与活植物交互以进行收割、修剪、搭架或各种形式的分析，机器人***可能需要能够确定活植物的农产品或果实的成熟度的分级。农产品或果实成熟度的分级的确定可以告知关于农产品或果实是否足够成熟以进行收割的决定。
发明内容
根据一个方面，提供了一种用于评估农产品成熟度的方法。该方法包括用光照射农产品，测量以不同频率从农产品反射的光的强度，以及根据以不同频率不同频率从农产品反射的光的相对强度确定农产品的成熟度的分级。
根据一些实施例，方法还包括选择与要计算成熟度的单个目标农产品项目的大小相同的农产品的图像的裁剪区域。
根据一些实施例，选择图像的裁剪区域，使得图像的裁剪区域中50％以上的像素被包括在单个目标农产品项目的图像中。
根据一些实施例，方法还包括将图像的裁剪区域转换为色调、饱和度和明度(HSV)色彩表示。
根据一些实施例，方法还包括通过色调和饱和度计算图像的裁剪区域的像素群的直方图。
根据一些实施例，方法还包括识别色调直方图中的峰值。
根据一些实施例，方法还包括根据色调直方图中的峰值的位置确定单个目标农产品的成熟度的分级。
根据一些实施例，方法还包括针对不同品种的农产品校准色调直方图峰值位置与农产品成熟度标度相对。
根据一些实施例，方法用于评估农产品的成熟度，其中，当农产品成熟时，农产品表现出β-胡萝卜素、叶黄素、番茄红素或其他类胡萝卜素中的一种或多种的浓度变化。
根据一些实施例，方法用于评估选自番茄、甜椒(pepper)和黄瓜的农产品的成熟度。
根据一些实施例，方法还包括基于对农产品的成熟度的分级的确定，来提供述农产品是否足够成熟到可以收割。
根据一些实施例，方法还包括将农产品是否成熟到可以收割的指示传送到被配置为收割农产品的机器人***。
根据一些实施例，方法还包括响应于农产品成熟到可以收割，使用机器人***收割农产品。
根据另一方面，提供了一种在室内农业环境中评估农产品成熟度的方法，其中，室内农业环境具有不同于自然室外光的功率谱的环境光功率谱。该方法包括用从农产品反射的带宽内的光照射农产品，光的程度随农产品的成熟度而变化，测量从农产品反射的光的强度，以及根据从农产品反射的光的强度，确定农产品的成熟度的分级。
在一些实施例中，照射农产品包括用绿光照射农产品。
在一些实施例中，照射农产品包括用520nm-560nm频带内的光照射农产品。
根据另一方面，提供了一种用于评估农产品成熟度的***。该***包括被配置为测量以不同频率从农产品反射的光的强度的图像传感器，和被配置为从以不同频率从农产品反射的光的相对强度，确定农产品的成熟度的分级的处理器。
在一些实施例中，处理器还被配置为选择与要计算成熟度的单个目标农产品项目的大小相同的农产品的图像的裁剪区域。
在一些实施例中，处理器还被配置为选择图像的裁剪区域，使得图像的裁剪区域中50％以上的像素被包括在单个目标农产品项目的图像中。
在一些实施例中，处理器还被配置为将图像的裁剪区域转换为色调、饱和度和明度(HSV)色彩表示。
在一些实施例中，处理器还被配置为通过色调和饱和度计算图像的裁剪区域的像素群的直方图。
在一些实施例中，处理器还被配置为识别色调直方图中的峰值。
在一些实施例中，处理器还被配置为根据色调直方图中的峰值的位置确定单个目标农产品的成熟度的分级。
在一些实施例中，该***还包括与处理器通信并被配置为收割单个目标农产品项目的机器人收割机。
在一些实施例中，处理器还被配置为响应于确定农产品的成熟度的分级，来提供述农产品是否足够成熟到可以收割。
在一些实施例中，处理器还被配置为将农产品是否成熟到可以收割的指示传送到被配置为收割农产品的机器人***。
在一些实施例中，该***还包括被配置为收割农产品的机器人***。
根据另一方面，提供了一种机器人收割机，该收割机被配置为收割被***识别为足够成熟以供收割的农产品，该***包括被配置为测量以不同频率从农产品反射的光的强度的图像传感器，和被配置为从以不同频率从农产品反射的光的相对强度，确定农产品的成熟度的分级的处理器。
根据另一方面，提供了一种在室内农业环境中评估农产品成熟度的***，其中，室内农业环境具有不同于自然室外光的功率谱的环境光功率谱。该***包括一个被配置为用从农产品反射的带宽内的光照射农产品，光的程度随农产品的成熟度而变化的投影仪；被配置为测量从农产品反射的光的强度的；和
被配置为根据从农产品反射的光的强度，确定农产品的成熟度的分级的处理器。
在一些实施例中，投影仪被配置为输出绿光。
在一些实施例中，投影仪被配置为输出520nm-560nm频带内的光。
附图说明
附图不旨在按比例绘制。在附图中，在各个图中示出的每个相同或几乎相同的部件由相同的数字表示。为清楚起见，可能并非每个部件都在每张图中标出。
图1中示出了某些未成熟和成熟农产品的绿光反射率的差异；
图2示出了在绿色带宽中的光相对于一些温室中用于照明的红色和蓝色波长的光的相对强度；
图3A示出了红-绿-蓝(RGB)色彩空间；
图3B示出了色调-饱和度-明度(HSV)色彩空间；
图4示出了某些农产品的色调值与成熟度之间的相关性；
图5示出了农业机器人识别的番茄的数量和机器人指定给每个番茄的成熟度百分比；
图6A示出了番茄的图像和用于确定其成熟度的等级的色调直方图；
图6B示出了另一个番茄的图像和用于确定其成熟度的等级的色调直方图；
图7是确定农产品的成熟度的方法的流程图。
图8是用于执行本文公开的方法的实施例的***的示例性示意图；和
图9示出了机器人收割机的示例。
具体实施方式
在此公开的方面和实施方式不限于在以下描述中阐述或在附图中示出的构造和部件布置的细节。在此公开的方面和实施方式能够以各种方式实践或实施。
人类可以利用各种线索来确定生长中的农产品，例如果实、浆果或蔬菜，在本文中统称为“农产品”，是否成熟并可以收割。例如，人类可能会检查农产品的色彩、硬度、或气味(在某些情况下)，以确定其成熟度的分级。目前，农业机器人的感官***通常无法利用与人类可能用来确定生长中的农产品成熟度的分级的相同线索。期望提供一种具有确定农产品成熟度的分级的能力的农业机器人，以便机器人可以自动确定农产品是否成熟可以收割，并且可以在不需要人工干预的情况下开始收割，从而提高农业机器人的操作效率。
本文公开的方面和实施例包括***和方法，用于通过测量从农产品反射的光来确定农产品成熟度的分级的。可以用特定波长的光或宽带照明源(例如白光或环境光)照明农产品。特定波长或反射程度高于其他波长的特定波长的反射光的强度可提供农产品成熟度的指示。
根据反射光的所选波长的强度来确定成熟度
如图1所示，果实和蔬菜，特别是那些在成熟时通过生物合成产生β-胡萝卜素(橙色水果)、叶黄素(黄色水果)、番茄红素(红色水果)或其他类胡萝卜素而获得色素沉着的果实和蔬菜吸收520-560nm波段的光，其吸收量与成熟度的分级强相关。因此，测量520-560nm波段光的投影图案与场景其余部分的对比度的标准图像处理技术可以直接用作在受控环境照明条件下果实成熟度的比例测量。
该成熟度检测特征可能是在当与在一些温室中使用的红-蓝人工环境照明环境(见图2)配对时最有用，但是也预期它也可以在自然照明环境下使用。
使用色调色彩空间和峰值查找的成熟度检测实施例
本文公开了一种非常有力地确定图像内果实成熟度的新颖且计算上有效的方法。将参考图7中的700大体指示的流程图来描述该方法。在该方案的第一步(动作705)中，例如，通过固定到或以其他方式关联到农业机器人或其他形式的果实对象检测器的一个或多个相机，获取包括农产品的场景的图像。在动作710中，选择原始图像的裁剪区域，该裁剪区域相对将计算成熟度的目标果实的大小相同或略大或小。该裁剪区域可以由机器视觉***识别，机器视觉***被编程以识别图像中的农产品或果实。机器视觉***可以包括，例如，卷积神经网络，该网络已经被训练以识别图像中的农产品或果实的单个项目。机器视觉***可以通过在场景的增强现实图像中画围绕单个农产品的框来指示识别的农产品，例如，如图5所示，下面进一步详细讨论。
通常，相机成像传感器在三通道RGB(红色、绿色和蓝色)色彩空间中生成图像(图3A)。然而，此空间的另一种编码称为HSV(色调、饱和度和明度)。在这个空间中，色彩表示为它们的作为围绕色轮的0-360度的角(图3B)的色调以及它们的饱和度(色彩的强度)和明度(色彩的亮度)。该空间常用于色彩处理，因为场景中的辐射差异(如表面纹理或镜面反射)可能会很容易地改变RGB色彩空间中像素的色彩值，而在HSV色彩空间中，每个像素将具有几乎相同的色调。在该实施例的成熟度计算策略的动作715中，使用本领域已知的任何方法将先前选择的裁剪图像区域从原始RGB转换为HSV色彩表示。
假设识别该区域的物体检测器准确地选择了可以计算成熟度的单个农产品项目的准确物理范围内的区域。由于果实等农产品通常高度凸出且形状均匀(即番茄是球形或略微偏心的椭圆形，甜椒具有略微拉长的梯形形状，黄瓜是高度偏心的椭圆形或垂直悬挂的“槽”)，假设对于大小为目标农产品的物理范围的矩形图像区域，则该矩形区域内50％以上的像素将属于目标农产品。在经验测试中，这一断言在绝大多数情况下都被证明是正确的，并且对于商业应用来说是足够准确的。
然而，在许多情况下，对象之间会发生重叠，并且某种程度的遮挡可能会被另一个农产品、叶子或藤蔓项目“覆盖”目标农产品项目。为了避免这种情况，在单独训练完全卷积网络或FCN以执行对象检测和划边界任务时，可以采用特定的训练策略。在注释将用于训练该果实对象检测FCN的图像时，严格的规则是保持不注释(或在对象的范围内使用手动放置的边界框标记)任何被其他农产品或材料项目遮挡超过50％的对象。生成的FCN会自动优化以排除这些情况，并且往往不会将它们识别为肯定检测到的农产品。
图5示出了根据本文公开的实施例的由FCN针对单个果实自动识别的实际兴趣区域(边界框)的示例，以及它们的成熟度计算的最终结果(以及指示相应色调值的小标线)。
鉴于此策略，我们现在可以稳妥地假设，由于该区域设置在单个农产品的物理范围内，该农产品由于其凸形形状在面积上占据了该区域的50％以上，并且农产品项目被其他农产品覆盖小于50％，并且该区域中的多数像素将驻留在目标农产品的图像上。通过实验确定了这一点后，成熟度方法技术(图7中的动作720)的下一步是通过色调和饱和度计算像素群的直方图(如图6A和6B的右侧所示，从围绕色调轮的0-360度缩放为0-255位)。计算直方图可以包括计算离散色调和饱和度范围的每一个处的像素数量。
图6A和6B示出了裁剪后的兴趣图像区域(图6A和6B的左侧)的两个样本输出以及按色调(最左侧的直方图)和饱和度(延伸到右侧的直方图)的相应像素群直方图。在这个过程中发现，当通过这种技术处理大多数成熟农产品(尤其是番茄和甜椒)的适当曝光的RGB图像时，可以看到色调直方图中的清晰峰(或最大值)，其中心点正好按色调比例标度对应于农产品的成熟度，可以先验测量并针对每个农产品品种进行校准(在所示示例的情况下，番茄在6度的色调值下完全成熟，在80的色调值下完全未成熟或不成熟)。然后将对应于完全成熟的色相值和对应于完全未成熟的色相值之间的色调值线性内插值到总体成熟度百分比。
根据上文，在图7的方法的动作725中，色调直方图中的最大峰值是通过，例如，找出对应于色调上最大的像素群的峰值来确定的。在动作730中，根据该农产品项目的色调直方图中峰值的中心位置确定该农产品项目的成熟度％。可以使用经验确定的查找表或拟合函数将色调映射到成熟度百分比，其中成熟度表示为从0％(完全未成熟)到100％(完全成熟)的百分比。
根据设计，该技术对于由于其他部分遮挡农产品产生的偏斜结果具有高鲁棒性。这方面的一个极好的例子显示在图6A中，其中在兴趣区域中可以看到不是预期目标的成熟番茄的明显的一部分。这个不需要的番茄出现在直方图中，作为较小幅度的第二个最大值，在确定最大峰值的中心色调值时自动丢弃。方便的是，这个相同的色调直方图可以作为一个光谱来查看和分析，其中每个主峰对应于不同且独特的成熟度水平的不同农产品，并且相应峰的大小表示该农产品项目在兴趣区域的相对面积。同样，由于在本节开头建立的假设，我们可以非常确定地(在经验测试中超过98％)假设主峰准确对应于预期目标农产品的成熟度。
应该注意的是，虽然在这种情况下使用了一种“朴素的”峰值查找方法，其中将直方图全局最大值作为主要峰值中心点，可以使用光谱(直方图与之类似)中的许多替代且广为人知的“寻峰”方法来更准确地定位主峰的中心色调值，并更好地抵抗微小变化或噪声。如果该信息对收集有价值，也可以使用其他峰值查找技术来分离该区域在其他成熟度下可见的其他部分农产品。
迄今为止，这种用于计算成熟度的整体方案在现场测试中已被证明非常可靠，并且已被农业专业人士确认来分配成熟度百分比，该成熟度百分比达到或超过他们的手动分级标度。虽然在提供的示例中评估了番茄的成熟度，但该方法可以扩展到许多不同品种的成熟农产品。这种方法的计算效率也很高，可以使用标准计算机在不到5毫秒的时间内对高分辨率图像进行处理。
在图7的方法的动作735中，一个农产品的成熟度百分比可以转换为成熟度分级。在一些实施方式中，成熟度分级的种植者规则可用于将成熟度％转换为分级等级，例如，转换为五个或六个成熟度分级中的一个。在一些实施方式中，成熟度分级可能是比计算的成熟度％更容易用于确定一个农产品是否准备好收割的参数。
在动作740中，成熟度％和/或成熟度分级可以被传输到被配置为收割农产品项目的农业机器人。机器人***可以将测量的成熟度值连同通过分析包括该农产品的图像而获得的该农产品的位置的指示一起存储到本地数据库(动作745)，例如，用于在获得相同位置的其他农产品相应信息之后的后续分析。
在动作750中，应用收割成熟度启发式(harvesting ripeness heuristic)，其中，机器人***或相关联的计算机***使用考虑成熟度分级和/或成熟度％来确定哪些农产品项目可以收割的启发式函数。
在动作755中，农业机器人或相关联的计算机***做出特定农产品项目是否通过收割成熟度启发式测试的决定。如果是，则农业机器人收割农产品项目(动作760)。如果特定的农产品项目没有通过收割成熟度启发式测试，则决定是否要收割另一个农产品，或者结束该方法(动作765)。
示例***
用于执行本文公开的方法的方面和实施例的***的示例，例如用于评估农产品的成熟度，在图8中示意性地示出。该***800包括被配置为测量以不同频率从所述农产品反射的光的强度的图像传感器805，和配置为从以不同频率从所述农产品反射的光的相对强度，确定所述农产品的成熟度的分级的处理器810。处理器可以是例如可从IntelCorporation获得的诸如众所周知的PentiumTM或CoreTM类处理器的市售处理器或特殊用途的专用集成电路(ASIC)。***800包括存储器815，例如用于存储处理器810的编程指令或存储捕获的图像或图像数据的硬盘驱动器或固态存储器。***800还包括一个或多个输入设备820，例如用于接收编程指令的键盘、鼠标、轨迹球、麦克风、触摸屏、电连接器或无线调制解调器，以及一个或多个输出设备825，例如打印用于将数据输出到外部***的设备、显示屏、扬声器或电连接器或无线调制解调器。***800中还包括投影仪830，该投影仪830其被配置为用带宽内的光照射农产品，例如绿光，其从农产品反射的程度随农产品成熟度而变化，以及包括光强度计835，该光强度计835被配置为测量从农产品反射的光的强度。在一些实施例中，图像传感器805和光强度计835可以组合为单个传感器。
***800可以包括在机器人收割机900中，如图9所示。机器人收割机可以包括与***800的处理器810通信的其自己的处理器910，或者可以与处理器810通信并被处理器810操作。收割机900可以被配置为使用例如机械臂905来收割由***800识别为足够成熟以用于收割的农产品项目。机器人收割机900可包括轮子915或履带或其他形式的运动设备，以在整个环境中移动来从环境中的不同植物收割农产品。
已经由此描述了至少一种实施方式的几个方面，应当理解，本领域技术人员将容易想到各种改变、修改和改进。此类改变、修改和改进旨在成为本公开的一部分，并且旨在落入本公开的精神和范围内。此处公开的方法的动作可以按照与所示出的顺序不同的顺序执行，并且可以省略、替换或添加一个或多个动作。本文公开的任何一个示例的一个或多个特征可以与公开的任何其他示例的一个或多个特征组合或替代。因此，前述描述和附图仅作为示例。
这里使用的措辞和术语是为了描述的目的，不应被视为限制。如本文所用，术语“多个”是指两个或更多个项目或部件。如本文所用，被描述为“基本相似”的尺寸应被视为彼此相差约25％以内。术语“包含”、“包括”、“携带”、“具有”、“由……组成”和“涉及”，无论是在书面说明还是权利要求等中，都是开放式术语，即表示“包括但不仅限于”。因此，此类术语的使用旨在涵盖其后列出的项目及其等价物，以及附加项目。对于权利要求，仅过渡短语“由……组成”和“基本上由……组成”分别是封闭或半封闭的过渡短语。在权利要求中使用诸如“第一”、“第二”、“第三”等顺序术语来修饰权利要求要素本身并不意味着一个权利要求要素相对于另一个权利要求要素的任何优先权、优先级或顺序或方法的动作执行的时间顺序，而仅用作标签以将具有特定名称的一个权利要求要素与具有相同名称的另一个要素(但用于序数术语的使用)区分开来以区分权利要求要素。

Claims (31)

1.一种评估农产品成熟度的方法，其特征在于，所述方法包括：
用光照射所述农产品；
测量以不同频率从所述农产品反射的所述光的强度；以及
从以所述不同频率从所述农产品反射的所述光的相对强度，确定所述农产品的成熟度的分级。
2.根据权利要求1所述的方法，其特征在于，还包括选择与要计算成熟度的单个目标农产品项目的大小相同的所述农产品的图像的裁剪区域。
3.根据权利要求2所述的方法，其特征在于，选择所述图像的所述裁剪区域，使得所述图像的所述裁剪区域中50％以上的像素被包括在所述单个目标农产品项目的图像中。
4.根据权利要求3所述的方法，其特征在于，还包括将所述图像的所述裁剪区域转换为色调、饱和度和明度(HSV)色彩表示。
5.根据权利要求4所述的方法，其特征在于，还包括通过色调和饱和度计算所述图像的所述裁剪区域的像素群的直方图。
6.根据权利要求5所述的方法，其特征在于，还包括识别所述色调直方图中的峰值。
7.根据权利要求6所述的方法，其特征在于，还包括根据所述色调直方图中的所述峰值的位置确定所述单个目标农产品项目的成熟度的分级。
8.根据权利要求7所述的方法，其特征在于，还包括针对不同品种的所述农产品校准色调直方图峰值位置与农产品成熟度标度对比。
9.根据权利要求1所述的方法，其特征在于，其中所述方法用于评估农产品的成熟度，当所述农产品成熟时，所述农产品表现出β-胡萝卜素、叶黄素、番茄红素或其他类胡萝卜素中的一种或多种的浓度变化。
10.根据权利要求9所述的方法，其特征在于，所述方法用于评估选自由西红柿、辣椒和黄瓜组成的组的农产品的成熟度。
11.根据权利要求1所述的方法，其特征在于，还包括基于对所述农产品的所述成熟度的分级的确定，来提供所述农产品是否足够成熟到可以收割的指示。
12.根据权利要求11所述的方法，其特征在于，还包括将所述农产品是否足够成熟到可以收割的所述指示传送到被配置为收割所述农产品的机器人***。
13.根据权利要求12所述的方法，其特征在于，还包括响应于所述农产品足够成熟到可以收割，使用所述机器人***来收割所述农产品。
14.一种在室内农业环境中评估农产品成熟度的方法，所述室内农业环境具有不同于自然室外光的功率谱的环境光功率谱，其特征在于，所述方法包括：
用从所述农产品反射的带宽内的光照射所述农产品，所述光的程度随所述农产品的成熟度而变化；
测量从所述农产品反射的所述光的强度；以及
根据从所述农产品反射的所述光的所述强度，确定所述农产品的成熟度的分级。
15.根据权利要求14所述的方法，其特征在于，照射所述农产品包括用绿光照射所述农产品。
16.根据权利要求15所述的方法，其特征在于，照射所述农产品包括用520nm-560nm频带内的光照射所述农产品。
17.一种评估农产品成熟度的***，其特征在于，所述***包括：
图像传感器，所述图像传感器被配置为测量以不同频率从所述农产品反射的光的强度；和
处理器，所述处理器被配置为从以不同频率从所述农产品反射的所述光的相对强度，确定所述农产品的成熟度的分级。
18.根据权利要求17所述的***，其特征在于，所述处理器还被配置为选择与要计算成熟度的单个目标农产品项目的大小相同的所述农产品的图像的裁剪区域。
19.根据权利要求18所述的***，其特征在于，所述处理器还被配置为选择所述图像的所述裁剪区域，使得所述图像的所述裁剪区域中50％以上的像素被包括在所述单个目标农产品项目的图像中。
20.根据权利要求19所述的***，其特征在于，所述处理器还被配置为将所述图像的所述裁剪区域转换为色调、饱和度和明度(HSV)色彩表示。
21.根据权利要求20所述的***，其特征在于，所述处理器还被配置为通过色调和饱和度计算所述图像的所述裁剪区域的像素群的直方图。
22.根据权利要求21所述的***，其特征在于，所述处理器还被配置为识别所述色调直方图中的峰值。
23.根据权利要求22所述的***，其特征在于，所述处理器还被配置为根据所述色调直方图中的所述峰值的位置确定所述单个目标农产品项目的成熟度的分级。
24.根据权利要求23所述的***，其特征在于，还包括与所述处理器通信并被配置为收割所述单个目标农产品项目的机器人收割机。
25.根据权利要求17所述的***，其特征在于，所述处理器还被配置为响应于确定所述农产品的所述成熟度的分级，来提供所述述农产品是否足够成熟到可以收割的指示。
26.根据权利要求25所述的***，其特征在于，所述处理器还被配置为将所述农产品是否足够成熟到可以收割的所述指示传送到被配置为收割所述农产品的机器人***。
27.根据权利要求26所述的***，其特征在于，还包括被配置为收割所述农产品的机器人***。
28.一种机器人收割机，其特征在于，被配置为收割被根据权利要求17所述的***识别为足够成熟到可以收割的农产品。
29.一种在室内农业环境中评估农产品成熟度的***，所述室内农业环境具有不同于自然室外光的功率谱的环境光功率谱，其特征在于，所述***包括：
投影仪，所述投影仪被配置为用从所述农产品反射的带宽内的光照射所述农产品，所述光的程度随所述农产品的成熟度而变化；
光强度计，所述光强度计被配置为测量从所述农产品反射的所述光的强度；和
处理器，所述处理器被配置为根据从所述农产品反射的所述光的所述强度，确定所述农产品的成熟度的分级。
30.根据权利要求29所述的***，其特征在于，所述投影仪被配置为输出绿光。
31.根据权利要求30所述的***，其特征在于，所述投影仪被配置为输出520nm至560nm频带内的光。
CN202080028646.4A 2019-02-15 2020-02-14 使用色调色彩空间和峰值查找的成熟度检测*** Pending CN113692222A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962806492P 2019-02-15 2019-02-15
US62/806,492 2019-02-15
PCT/US2020/018395 WO2020168264A1 (en) 2019-02-15 2020-02-14 Ripeness detection system using hue color space and peak finding

Publications (1)

Publication Number Publication Date
CN113692222A true CN113692222A (zh) 2021-11-23

Family

ID=72040961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080028646.4A Pending CN113692222A (zh) 2019-02-15 2020-02-14 使用色调色彩空间和峰值查找的成熟度检测***

Country Status (9)

Country Link
US (3) US11147228B2 (zh)
EP (1) EP3923701A4 (zh)
CN (1) CN113692222A (zh)
AU (1) AU2020221400A1 (zh)
CA (1) CA3150934A1 (zh)
IL (1) IL285591A (zh)
MA (1) MA54018A1 (zh)
MX (1) MX2021009715A (zh)
WO (1) WO2020168264A1 (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050126144A1 (en) * 2003-12-12 2005-06-16 Vision Robotics Corporation Robot mechanical picker system and method
US20080101657A1 (en) * 2006-10-30 2008-05-01 The Regents Of The University Of California Method and apparatus for performing qualitative and quantitative analysis of produce (fruit, vegetables) using spatially structured illumination
US7378576B1 (en) * 2006-02-23 2008-05-27 Syngenta Participations Ag Soybean cultivar MT110501
CN104597051A (zh) * 2015-01-24 2015-05-06 无锡桑尼安科技有限公司 基于品种鉴别的西红柿成熟度检测***
CN204346928U (zh) * 2015-01-25 2015-05-20 无锡桑尼安科技有限公司 基于无人机检测的农作物成熟度识别平台
CN106454302A (zh) * 2016-10-12 2017-02-22 中国农业大学 一种果蔬成熟度检测方法及装置
CN106485203A (zh) * 2016-09-19 2017-03-08 天津大学 颈动脉超声图像内中膜厚度测量方法及***
CN108122238A (zh) * 2018-01-30 2018-06-05 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN108279238A (zh) * 2018-01-30 2018-07-13 深圳春沐源控股有限公司 一种果实成熟度判断方法及装置
CN108494996A (zh) * 2018-05-14 2018-09-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN108572174A (zh) * 2018-04-25 2018-09-25 苏州农业职业技术学院 一种农产品品质指标无损检测方法
CN108617264A (zh) * 2018-05-03 2018-10-09 无锡智高点技术研发有限公司 一种果实自动采摘方法及机器人

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9810771D0 (en) * 1998-05-19 1998-07-15 Active Silicon Limited Method of detecting colours
US7854108B2 (en) * 2003-12-12 2010-12-21 Vision Robotics Corporation Agricultural robot system and method
US7326831B1 (en) * 2006-02-23 2008-02-05 Syngenta Participations Ag Soybean cultivar S06-MT9211059
US8212119B1 (en) * 2008-03-27 2012-07-03 Syngenta Participations Ag Soybean cultivar 04RM149036
US8704046B2 (en) * 2011-03-28 2014-04-22 Syngenta Participations Ag Soybean cultivar WN0912893
US9198373B2 (en) 2012-03-23 2015-12-01 Syngenta Participations Ag Soybean cultivar WN1012471
US8791336B2 (en) 2012-03-26 2014-07-29 Syngenta Participations Ag Soybean cultivar OW1012932
US9488152B2 (en) 2013-05-29 2016-11-08 Ford Global Technologies, Llc Method for purging condensate from a charge air cooler
WO2015121809A1 (es) * 2014-02-12 2015-08-20 Federacion Nacional De Cafeteros De Colombia Equipo portátil para la cosecha selectivacon identificación de frutos por color
US10113910B2 (en) * 2014-08-26 2018-10-30 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9468152B1 (en) * 2015-06-09 2016-10-18 Harvest Moon Automation Inc. Plant pruning and husbandry
CN106067181A (zh) * 2016-05-30 2016-11-02 湖南生物机电职业技术学院 柑橘果实颜色多重分形描述及分级方法
CN108064560A (zh) * 2016-11-14 2018-05-25 广东技术师范学院 基于Kinect景深相机的水果自动采摘***及方法
KR102002632B1 (ko) * 2017-08-03 2019-07-23 경북대학교 산학협력단 Ｉｏｔ 기반 과수 모니터링 시스템 및 방법

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050126144A1 (en) * 2003-12-12 2005-06-16 Vision Robotics Corporation Robot mechanical picker system and method
US7378576B1 (en) * 2006-02-23 2008-05-27 Syngenta Participations Ag Soybean cultivar MT110501
US20080101657A1 (en) * 2006-10-30 2008-05-01 The Regents Of The University Of California Method and apparatus for performing qualitative and quantitative analysis of produce (fruit, vegetables) using spatially structured illumination
CN104597051A (zh) * 2015-01-24 2015-05-06 无锡桑尼安科技有限公司 基于品种鉴别的西红柿成熟度检测***
CN204346928U (zh) * 2015-01-25 2015-05-20 无锡桑尼安科技有限公司 基于无人机检测的农作物成熟度识别平台
CN106485203A (zh) * 2016-09-19 2017-03-08 天津大学 颈动脉超声图像内中膜厚度测量方法及***
CN106454302A (zh) * 2016-10-12 2017-02-22 中国农业大学 一种果蔬成熟度检测方法及装置
CN108122238A (zh) * 2018-01-30 2018-06-05 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN108279238A (zh) * 2018-01-30 2018-07-13 深圳春沐源控股有限公司 一种果实成熟度判断方法及装置
CN108572174A (zh) * 2018-04-25 2018-09-25 苏州农业职业技术学院 一种农产品品质指标无损检测方法
CN108617264A (zh) * 2018-05-03 2018-10-09 无锡智高点技术研发有限公司 一种果实自动采摘方法及机器人
CN108494996A (zh) * 2018-05-14 2018-09-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端

Also Published As

Publication number Publication date
US20220164989A1 (en) 2022-05-26
MA54018A1 (fr) 2022-04-29
EP3923701A1 (en) 2021-12-22
US11805745B2 (en) 2023-11-07
IL285591A (en) 2021-09-30
US20220000062A1 (en) 2022-01-06
MX2021009715A (es) 2021-12-10
US20200260678A1 (en) 2020-08-20
WO2020168264A1 (en) 2020-08-20
AU2020221400A1 (en) 2021-09-09
US11147228B2 (en) 2021-10-19
EP3923701A4 (en) 2022-11-23
CA3150934A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
Bhargava et al. Fruits and vegetables quality evaluation using computer vision: A review
Gomes et al. Applications of computer vision techniques in the agriculture and food industry: a review
Abdullah et al. Stepwise discriminant analysis for colour grading of oil palm using machine vision system
Shearer et al. Color and defect sorting of bell peppers using machine vision
Bac et al. Robust pixel-based classification of obstacles for robotic harvesting of sweet-pepper
Abdullah et al. Discrimination and classification of fresh-cut starfruits (Averrhoa carambola L.) using automated machine vision system
Wang et al. Outdoor color rating of sweet cherries using computer vision
Mahendran et al. Application of computer vision technique on sorting and grading of fruits and vegetables
Jahns et al. Measuring image analysis attributes and modelling fuzzy consumer aspects for tomato quality grading
Vélez-Rivera et al. Computer vision system applied to classification of “Manila” mangoes during ripening process
Laykin et al. Image–processing algorithms for tomato classification
Lee et al. Robust color space conversion and color distribution analysis techniques for date maturity evaluation
KR20190118562A (ko) 측정된 물체의 측정 이미지를 포착하는 시스템 및 방법
Shrestha et al. Classification of different tomato seed cultivars by multispectral visible-near infrared spectroscopy and chemometrics
US11003958B2 (en) Food quality image classification
Eissa et al. Understanding color image processing by machine vision for biological materials
EP2731408A1 (en) Control apparatus and illumination apparatus
Cubero et al. Application for the estimation of the standard citrus colour index (CCI) using image processing in mobile devices
US20220108543A1 (en) Method and Device for Analyzing Plants
Sabri et al. Evaluation of color models for palm oil fresh fruit bunch ripeness classification
Gaikwad et al. Multi-spectral imaging for fruits and vegetables
CN109324509A (zh) 信息调控方法、装置及***
Hernández-Hernández et al. Search for optimum color space for the recognition of oranges in agricultural fields
CN113692222A (zh) 使用色调色彩空间和峰值查找的成熟度检测***
JP6929136B2 (ja) 果実検出装置および果実検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211123