ES2947222T3 - Procedimiento automatizado de selección y de recolección de frutas y equipo mecánico que pone en práctica el procedimiento - Google Patents

Abstract

La invención se sitúa en el campo de la recolección automatizada de frutos, en particular de frutos en racimo como la uva. Se refiere a un método de recolección de frutos llevados por un tallo que comprende un procesamiento de imágenes realizado en dos fases. Según la invención, el método (100) comprende:- un paso (120) de detección de áreas de interés en una imagen general que representa un conjunto de plantas, en el que se detectan una o más áreas de interés en la imagen general utilizando un proceso de procesamiento de imágenes, comprendiendo cada zona de interés al menos parte de un fruta, - una etapa de adquisición de imágenes locales (130), en la que se adquiere una imagen local en las inmediaciones de cada zona de interés, representando cada imagen local al menos una parte del fruto de la zona de interés considerada, y - una etapa de identificación de varillas (150), en la que se identifica una varilla en cada imagen local. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Procedimiento automatizado de selección y de recolección de frutas y equipo mecánico que pone en práctica el procedimiento

Ámbito técnico

La invención se sitúa en el ámbito de la automatización agrícola y, más concretamente, en el ámbito de la identificación automática de las frutas que haya que recolectar. Se refiere a un método de recolección de frutas llevadas por un tallo, en particular frutas en forma de racimo, tales como los racimos de uvas, y un equipo mecánico para la recolección de frutas.

Estado de la técnica anterior

La recolección de frutas, denominada comúnmente «vendimia» para las uvas, se puede realizar por método mecánico o manual. El método mecánico se puede realizar por sacudida o batido de las plantas de vid, con el fin de separar los granos del escobajo y hacerlas caer sobre una estera de recogida. Tal método puede ser perfectamente adecuado para ciertas variedades de uva en las que los escobajos de los racimos no necesitan ser conservados, y en las que los granos de uva no temen las consecuencias de la oxidación ni de la coloración del jugo por la piel. La alteración de las bayas provoca en efecto una oxidación del jugo y una disolución por éste de las sustancias colorantes contenidas en la piel. Por las razones anteriores, la vendimia por método manual se realiza por un corte de los racimos enteros, a la altura de su pedúnculo, con el fin de evitar la apertura de los granos y de conservar el escobajo y sus cualidades durante el prensado. La misma requiere una mano de obra importante durante un período relativamente corto, habitualmente del orden de 10 a 15 días, durante el cual las uvas muestran una madurez adecuada.

Una dificultad adicional resulta del hecho de que la vid presenta diferentes grados de madurez en el momento de la vendimia, entre las distintas cepas pero también en una misma cepa. Para dar respuesta a este problema, se ha propuesto integrar en las máquinas de recolección de frutas medios para determinar el grado de madurez de las frutas y medios para recolectar y clasificar de forma individualizada las frutas que hayan alcanzado un grado de madurez adecuado.

La solicitud FR 2760595 A1 describe un procedimiento de recolección de racimos de uva que comprende una etapa preliminar de colocación manual de medios de marcado en los pedúnculos de los racimos de uva que hayan alcanzado un grado de madurez satisfactorio, una etapa de detección de los medios de marcado y de guía de una herramienta de corte a cada medio de marcado, y una etapa de corte de los pedúnculos a nivel de cada medio de marcado. Esta solución permite recolectar solo las uvas maduras preservando la integridad de las bayas y del racimo entero. Sin embargo, la misma requiere todavía una importante cantidad de mano de obra cualificada para realizar la colocación de los medios de marcado.

Los documentos CN 110832991 A y US 2006101797 A1 describen robots recolectores que utilizan cámaras y procedimientos de análisis de imágenes. Sin embargo, estos documentos no permiten discriminar eficazmente entre los tallos o pedúnculos y otros objetos alargados.

Habida cuenta de lo que precede, la invención tiene por objetivo proporcionar un procedimiento de recolección de frutas totalmente automatizado que permita preservar la integridad de las bayas y del racimo. En particular, el procedimiento de recolección debe permitir identificar y localizar las frutas que haya que recolectar, preferentemente en función de su grado de madurez. La invención tiene todavía por objetivo proporcionar un procedimiento cuyos costes de implementación y de explotación sean compatibles con una utilización en una explotación agrícola.

Exposición de la invención

A tal efecto, la invención propone un método de recolección de frutas que comprende una identificación y una localización automatizada de los tallos, o pedúnculos, de las frutas, y un corte individual y automatizado de las frutas a nivel de estos tallos o pedúnculos. La identificación y la localización de los tallos se realizan en dos fases: en una primera fase se adquiere una imagen denominada global, que representa una parte relativamente grande de un árbol, un arbusto o una planta, y se detectan una o varias frutas en esta imagen global; en una segunda fase, se adquieren imágenes denominadas locales para cada fruta detectada, y se identifican y se localizan los tallos o pedúnculos de estas frutas con vistas a su corte individual.

Más concretamente, la invención tiene por objetivo un procedimiento de recolección de frutas llevadas por un tallo o un pedúnculo, como se describe en la reivindicación 1. En particular, el procedimiento según la invención comprende:

• una etapa de detección de zonas de interés en una imagen global que representa un conjunto vegetal, en la cual se detectan una o varias zonas de interés en la imagen global con la ayuda de un proceso de tratamiento de imágenes, comprendiendo cada zona de interés al menos una parte de una fruta,

• una etapa de adquisición de imágenes locales, en la cual se adquiere una imagen local en las inmediaciones de cada zona de interés, representando cada imagen local al menos una parte de la fruta de la zona de interés considerada, y

• una etapa de identificación de los tallos o de los pedúnculos, en la cual se identifica un tallo o un pedúnculo en cada imagen local.

Se supone que el conjunto vegetal lleva un conjunto de frutas, por ejemplo, frutas en racimo. El mismo está formado por ejemplo por un árbol o arbusto frutal, una planta trepadora (por ejemplo de pepino o tomate), o incluso una cepa de vid. En este último caso, las frutas que haya que recolectar son racimos de uvas. La imagen global representa todo o parte de este conjunto vegetal. Como ejemplo, la imagen global puede representar un superficie de aproximadamente 1 m2 (metro cuadrado).

La imagen global puede ser una imagen bidimensional o tridimensional. Una imagen bidimensional se forma generalmente con la ayuda de una cámara que comprende un sensor formado por un conjunto de elementos fotosensibles (o píxeles) organizados en una matriz. Cada píxel puede estar asociado a intensidades de radiación en varias bandas de longitudes de onda del espectro visible, ultravioleta y/o infrarrojo. El espectro visible se define como el espectro electromagnético con una longitud de onda comprendida entre 390 nm (nanómetros) y 780 nm; el espectro ultravioleta 30 se define como el espectro electromagnético de longitud de onda comprendida entre 10 nm y 390 nm; y el espectro infrarrojo se define como el espectro electromagnético de longitud de onda comprendida entre 780 nm y 0,1 mm (milímetro). Cada píxel en particular puede estar asociado a una intensidad de radiación en una banda de longitudes de onda del espectro infrarrojo cercano comprendidas entre 780 nm y 3 gm (micrómetros). La imagen global es por ejemplo una imagen multiespectral, es decir que captura datos en una pluralidad de bandas de longitudes de onda generalmente disjuntas, o una imagen hiperespectral, es decir que captura datos en una pluralidad de bandas de longitudes que cubren un amplio rango de longitudes de onda.

Una imagen tridimensional comprende una nube de puntos definidos cada uno por una posición en el espacio. Cada punto de la imagen tridimensional puede además estar asociado a intensidades de radiación en varias bandas de longitudes de onda del espectro visible, ultravioleta y/o infrarrojo.

El tratamiento de imágenes utilizado para la detección de las zonas de interés en la imagen global puede comprender un método de clasificación, supervisado o no, basado en la forma y los colores.

Las imágenes locales se adquieren con el objetivo de permitir la identificación y la localización de los tallos o de los pedúnculos de las frutas. Las mismas se adquieren así con un campo de visión más restringido, apuntando a una sola fruta, a saber la fruta de la zona de interés detectada. Todavía a modo de ejemplo, cada imagen local puede representar una superficie del orden de 300 cm2. En la medida en que, por gravedad, el tallo de las frutas se encuentra situado normalmente por encima de la parte principal de la fruta, las imágenes locales se adquieren preferentemente con un campo de visión dirigido hacia abajo, es decir, por debajo de la línea del horizonte, para permitir la visualización del tallo en la imagen local.

Cada imagen local puede ser una imagen local bidimensional o tridimensional. Cada imagen local bidimensional comprende un conjunto de píxeles definidos cada uno por intensidades de radiación en varias bandas de longitudes de onda del espectro visible y/o infrarrojo. Cada imagen local tridimensional comprende una nube de puntos definidos cada uno por una posición en el espacio y por intensidades de radiación en varias bandas de longitudes de onda del espectro visible y/o infrarrojo.

La etapa de identificación de los tallos o de los pedúnculos puede comprender una subetapa de detección de objetos alargados, en la cual se detectan los elementos de forma alargada en cada imagen local, y una subetapa de discriminación, en la cual se determina si cada objeto alargado es un tallo o un pedúnculo, o bien un objeto alargado de otro tipo. Un elemento puede definirse como que presenta una forma alargada cuando la relación entre su dimensión mayor y su dimensión ortogonal o cada una de las otras dos dimensiones ortogonales es superior o igual a tres.

La subetapa de discriminación se puede realizar con la ayuda de diferentes criterios. Estos criterios pueden estar relacionados con el espectro electromagnético reflejado por los objetos alargados, las dimensiones de estos objetos alargados, su forma y su orientación. Los mismos pueden ser utilizados solos o en combinación.

Según una primera variante de realización, la subetapa de discriminación comprende una clasificación de cada objeto alargado en función de las intensidades de radiación de sus píxeles o de sus puntos. En particular, durante la citada subetapa de clasificación, se puede determinar si el espectro de cada objeto alargado está situado al menos en parte en una banda de longitudes de onda correspondiente al verde o al marrón. En el caso de un racimo de uvas, el color verde corresponde normalmente a un pedúnculo y el color marrón a un sarmiento. Durante la subetapa de clasificación de objetos alargados, se puede determinar igualmente si el espectro de cada objeto alargado está situado, al menos en parte, dentro de una banda de longitudes de onda del infrarrojo cercano reveladora de la presencia o de la ausencia de clorofila, por ejemplo, la banda de longitud de onda comprendida entre 680 nm y 850 nm.

Según una segunda variante de realización, la subetapa de discriminación comprende una determinación de una longitud de cada objeto alargado. Un objeto alargado puede ser considerado entonces como un tallo o un pedúnculo si su longitud está comprendida dentro de un rango de longitudes predeterminado. Para un racimo de uvas, el citado rango está comprendido por ejemplo entre 0,5 cm (centímetro) y 3 cm. Una longitud superior a 3 cm corresponde típicamente a un alambre de emparrado.

Según una tercera variante de realización, la subetapa de discriminación comprende una determinación de una posición relativa de cada objeto alargado con respecto a un cuerpo de la fruta. Un objeto alargado se puede considerar como un tallo o un pedúnculo si está situado por encima del cuerpo de la fruta.

Según una cuarta variante de realización, la subetapa de discriminación comprende una determinación de una curvatura de cada objeto alargado. Dado que la probabilidad de que un tallo o un pedúnculo se extiendan verticalmente hacia abajo es relativamente pequeña, el racimo provoca generalmente, bajo el efecto de su peso, una curvatura del tallo o del pedúnculo. Un objeto alargado puede ser considerado como un tallo o un pedúnculo cuando presente una curvatura superior a un umbral de curvatura predeterminado.

Según una quinta variante de realización, la subetapa de discriminación comprende una determinación de uno o varios ángulos formados entre un eje longitudinal de cada objeto alargado y un eje predeterminado de un alambre de emparrado. Los vegetales pueden estar alineados de modo que formen una pluralidad de filas alineadas paralelas entre sí. En cada fila, pueden estar instalados uno o varios alambres de emparrado con el fin de servir de soporte a los vegetales. Cada alambre de emparrado forma entonces un objeto alargado susceptible de ser identificado como un tallo o un pedúnculo de fruta. Con el objetivo de excluir estos alambres de emparrado de los objetos alargados detectados, cada objeto alargado cuyo eje longitudinal forme al menos un ángulo inferior a un ángulo predeterminado puede ser considerado como alambre de emparrado. Por el contrario, un objeto alargado puede ser considerado como un tallo o un pedúnculo cuando cada ángulo o al menos uno de los ángulos formados entre su eje longitudinal y un eje predeterminado de alambre de emparrado sea superior a un ángulo predeterminado, por ejemplo igual a 10 grados.

La etapa de adquisición de imágenes locales puede comprender una subetapa de posicionamiento de una cámara en la proximidad de cada zona de interés detectada en la imagen global, siendo dispuesta la cámara para adquirir las imágenes locales. Preferentemente, la cámara se sitúa por encima de cada fruta, de manera que permita la visualización del tallo o del pedúnculo que lleva esta fruta.

Según una forma particular de realización, el procedimiento comprende, además, una etapa de determinación del grado de madurez de la fruta, en la cual se determina un indicador del grado de madurez de la fruta de cada zona de interés detectada. El indicador del grado de madurez de una fruta puede ser determinado en particular en función de su radiación en uno o más rangos de longitudes de onda predeterminados. Estos rangos de longitudes de onda pueden ser reveladores de una tasa de azúcar y/o de una tasa de antocianina.

Todavía según una forma de realización particular, compatible con la precedente, el procedimiento comprende, además una etapa de determinación del estado sanitario de la fruta, en la cual se determina un indicador del estado sanitario de la fruta para la fruta de cada zona de interés detectada. El indicador del estado sanitario puede ser, en particular, representativo de la presencia de un bioagresor en o sobre la fruta. El bioagresor es por ejemplo un agente patógeno (bacteria, virus, hongo, etc.) o un organismo nocivo (molusco, arácnido, plaga de insectos, etc.). El indicador del estado sanitario puede ser determinado en función de su radiación en uno o varios rangos de longitudes de onda predeterminados. Estos rangos de longitudes de onda pueden ser reveladores de la presencia de un bioagresor, por ejemplo, αdio y/o mildiu y/o botritis. El indicador del estado sanitario puede ser determinado por un reconocimiento de forma. En particular, para un racimo de uvas, el indicador del estado sanitario puede ser determinado por un reconocimiento de la forma de las bayas del racimo de uvas.

El indicador del grado de madurez y/o el indicador del estado sanitario pueden ser determinados para cada fruta a partir de la imagen global y/o de una imagen local.

El procedimiento puede comprender igualmente una etapa de selección de las frutas que haya que recolectar, en la cual las frutas que haya que recolectar se seleccionan en función del indicador del grado de madurez y/o del indicador del estado sanitario.

El procedimiento puede comprender también una etapa de determinación de la presencia de obstáculos, en la cual se determina si obstáculos dificultan la recolección de las frutas. La etapa de determinación de la presencia de obstáculos puede ser determinada para cada fruta a partir de la imagen global o, preferentemente, a partir de la imagen local correspondiente. Durante la etapa de selección de las frutas que haya que recolectar, las frutas que haya que recolectar pueden ser entonces seleccionadas igualmente en función de la presencia o de la ausencia de obstáculos.

Ventajosamente, el procedimiento comprende además una etapa de recolección de las frutas, en la cual se corta el tallo o el pedúnculo identificado en cada imagen local. Preferentemente, cada tallo o pedúnculo es cortado inmediatamente después de su identificación. Cuando el procedimiento comprende una etapa de selección de las frutas que haya que recolectar, sólo se recolectan las frutas seleccionadas durante la etapa de recolección de las frutas.

El procedimiento puede comprender igualmente una etapa de establecimiento de una cartografía de las frutas que quedan por recolectar, en la cual se determinan las coordenadas geográficas para cada zona de interés detectada en la cual no se haya recolectada la fruta. Este es el caso, por ejemplo, cuando no se pudo identificar el tallo o el pedúnculo de la fruta, cuando el indicador del grado de madurez de la fruta no es el adecuado o cuando algún obstáculo impida la recolección. La cartografía de las frutas que quedan por recolectar permite conocer la cantidad y la posición de las frutas que requieren recolección manual, y por lo tanto planificar los trabajos manuales necesarios.

El procedimiento puede comprender también una etapa de establecimiento de una cartografía de las frutas, en la cual se determinan las coordenadas geográficas para cada zona de interés detectada. Esta cartografía permite determinar la distribución y densidad de las frutas en una parcela.

La invención tiene por objeto igualmente un equipo mecánico para la recolección de frutas dispuesto para implementar el procedimiento descrito anteriormente. En particular, el equipo mecánico puede comprender un sistema de selección de las frutas que haya que recolectar que comprende:

■ una cámara principal, dispuesta para adquirir imágenes globales, que representan cada una un conjunto vegetal,

■ una unidad de detección de zona de interés, dispuesta para detectar una o varias zonas de interés en cada imagen global, comprendiendo cada zona de interés al menos una parte de una fruta,

■ una o varias cámaras secundarias, dispuestas para adquirir una imagen local en las inmediaciones de cada zona de interés, representando cada imagen local al menos una parte de la fruta de la zona de interés considerada, y

■ una unidad de identificación de los tallos o de los pedúnculos, dispuesta para identificar un tallo o un pedúnculo en cada imagen local.

El equipo mecánico podrá estar provisto de medios de propulsión con el fin de asegurar su desplazamiento. El mismo forma entonces una máquina robótica autónoma. El equipo mecánico puede estar montado igualmente en un tractor agrícola o en un soporte rodante destinado a ser remolcado.

Cada cámara (principal y secundaria) puede comprender un sensor formado por un conjunto de elementos fotosensibles (o píxeles) organizados en matriz. Cada cámara está preferentemente dispuesta para adquirir imágenes en al menos una parte del espectro visible. La misma puede estar dispuesta igualmente para cubrir, además, una parte del espectro ultravioleta y/o del espectro infrarrojo.

Cada cámara secundaria puede ser igualmente una cámara de visión estereoscópica, es decir que comprende dos sensores dispuestos para permitir la construcción de imágenes tridimensionales, comprendiendo cada imagen tridimensional una nube de puntos definidos cada uno por una posición en el espacio. Alternativamente, cada cámara secundaria puede ser una cámara plenóptica.

El equipo mecánico puede comprender además uno o varios brazos robotizados, llevando cada brazo robotizado una cámara secundaria y estando dispuesto para situarla sucesivamente en las proximidades de zonas de interés. El equipo mecánico comprende por ejemplo tres o cuatro brazos robotizados. Los brazos robotizados son controlados para que, en cada zona de interés, una de las cámaras secundarias adquiera una imagen local.

Según una forma de realización particular, el equipo mecánico comprende además un sistema de recolección de las frutas. El sistema de recolección comprende al menos un medio de corte dispuesto para cortar los tallos o los pedúnculos de las frutas.

Según una primera variante de realización, un medio de corte está montado en cada brazo robotizado. Cada brazo robotizado está dispuesto entonces para situar sucesivamente la cámara secundaria que este lleva a las proximidades de una zona de interés y el medio de corte a nivel del tallo o del pedúnculo que haya que cortar.

Según una segunda variante de realización, cada medio de corte está montado en un brazo robotizado dedicado, estando dispuesto el brazo de corte robotizado para situar el medio de corte sucesivamente a nivel de cada tallo o pedúnculo identificado, de modo que permita su corte.

Según una forma de realización particular, el sistema de selección de las frutas que haya que recolectar comprende además:

■ una unidad de determinación de un grado de madurez de las frutas, dispuesta para determinar un grado de madurez en la fruta de cada zona de interés detectada, y/o

■ una unidad de determinación de un estado sanitario de las frutas, dispuesta para determinar un indicador del estado sanitario en la fruta de cada zona de interés detectada.

El sistema de recolección de frutas puede comprender además un medio de agarre montado en cada brazo robotizado, estando dispuesto cada medio de agarre para agarrar el tallo o el pedúnculo en el lado de la fruta antes, durante y después del corte. En su caso, el sistema de recolección de frutas puede comprender igualmente un medio de agarre montado en cada brazo de corte robotizado. Ventajosamente, el medio de agarre está montado en el mismo brazo que el medio de corte.

El sistema de recolección de frutas puede comprender también una o varias bandejas de recuperación de las frutas cortadas.

Según una primera variante de realización, el sistema de recolección de frutas comprende una única bandeja de recuperación, y cada brazo robotizado y el medio de agarre que este lleva están dispuestos para depositar cada fruta cortada por el medio de corte en una de las bandejas de recuperación. La bandeja de recuperación es por ejemplo solidaria de un bastidor del equipo mecánico.

Según una segunda variante de realización, el sistema de recolección de frutas comprende varias bandejas de recuperación, y cada brazo robotizado y los medios de agarre que llevan están dispuestos para depositar cada fruta cortada por los medios de corte en una de las bandejas de recuperación, en función del estado sanitario determinado para esta fruta. Esta variante de realización permite clasificar automáticamente las frutas sanas de las frutas enfermas o dañadas. Las bandejas de recuperación son por ejemplo solidarias de un bastidor del equipo mecánico.

Según una tercera variante de realización, el sistema de recolección de frutas comprende una bandeja de recuperación montada en cada brazo robotizado que lleva el medio de corte, debajo del citado medio de corte.

El sistema de selección de las frutas que haya que recolectar puede comprender, además, una unidad de determinación de la presencia de obstáculos, dispuesta para determinar si obstáculos obstaculizan la recolección de las frutas. En particular, la unidad de determinación de la presencia de obstáculos puede estar dispuesta para determinar si hay un espacio suficiente, entre las ramas de la vegetación y, si es necesario, los alambres de emparrado, para permitir el paso de un brazo robotizado y el de la fruta cortada. La presencia de obstáculos es determinada, por ejemplo, a partir de una imagen global o de una imagen local.

Por otra parte, el equipo mecánico puede comprender, además, un dispositivo de soplado dispuesto para formar un flujo de aire en las proximidades de cada zona de interés. Preferentemente, el flujo de aire se forma en las proximidades de cada zona de interés cuando se adquiere una imagen local en las proximidades de esta zona de interés y/o cuando se realiza una operación de corte. El dispositivo de soplado comprende, por ejemplo, un soplador central montado en un bastidor del equipo mecánico, una boquilla de soplado montada en cada brazo robotizado y conductos de aire que unen cada uno una boquilla de soplado al soplador central. En otra forma de realización, el dispositivo de soplado puede comprender una máquina de soplado montada en cada brazo robotizado.

Según una forma de realización particular, el equipo mecánico está dispuesto para permitir la recolección de frutas durante su desplazamiento. En particular, los brazos robotizados pueden estar dispuestos para compensar el desplazamiento global del equipo mecánico durante las operaciones de adquisición de las imágenes locales y de agarre y de corte de los tallos o de los pedúnculos de las frutas.

Breve descripción de los dibujos

Otras características, detalles y ventajas de la invención se pondrán de manifiesto con la lectura de la descripción que sigue, dada únicamente a modo de ejemplo y haciendo referencia a los dibujos adjuntos en los cuales:

- la figura 1A representa esquemáticamente, en una vista en perspectiva, un ejemplo de equipo mecánico para la recolección de racimos de uva en un viñedo;

- la figura 1B representa esquemáticamente, en una vista lateral, el equipo mecánico de la figura 1A en un viñedo;

- la figura 2 representa un ejemplo de procedimiento de recolección de frutas según la invención;

- la figura 3 ilustra el resultado de una etapa de detección de zonas de interés en el procedimiento de la figura 2;

- La figura 4 representa un ejemplo de implementación de una etapa de identificación de los tallos en el procedimiento de la figura 2.

Discusión detallada de realizaciones particulares

Las figuras 1A y 1B representan esquemáticamente un ejemplo de equipo mecánico para la recolección de frutas según la invención. En la figura 1A está representado el equipo mecánico en una vista en perspectiva y en la figura 1B está representado en una vista lateral en una fila de cepas que se extienden según un eje y. En el ejemplo descrito a continuación, el equipo mecánico es utilizado para la recolección de racimos de uvas de un viñedo. Sin embargo, la invención se aplica igualmente a la recolección de cualquier otra fruta. La cepa 10 visible en la figura 1B comprende un tronco 11 del que salen sarmientos 12 y racimos 13 unidos cada uno a un sarmiento 12 por un pedúnculo 14. El equipo mecánico 20 está dispuesto para identificar el pedúnculo 14 de cada racimo 13 y cortarle. Este comprende un bastidor 21 montado sobre ejes 22 con el fin de permitir su desplazamiento. El equipo mecánico 20 puede ser remolcado manualmente, por un tractor, o estar equipado con medios de propulsión que aseguren un desplazamiento autónomo. Comprende además dos brazos robotizados 23A, 23B, un sistema de selección de las frutas que haya que recolectar 30, un sistema de recolección de las frutas 40 y una unidad de control 50.

Cada brazo robotizado 23A, 23B está montado en el bastidor 21 y comprende un extremo distal apto para ser desplazado con respecto al bastidor 21 según varios grados de libertad. En el ejemplo de realización de las figuras 1A y 1B, cada brazo robotizado 23A, 23B comprende un primer segmento 231 que se extiende según el eje x, un segundo segmento 232 en unión pivotante con el primer segmento 231 según el eje z y un tercer segmento 233 en unión pivote con el segundo segmento según un eje del plano (x,y). Cada brazo robotizado 23A, 23B comprende además un primer sistema de guía 234 que lleva el primer segmento 231, de modo que permita su desplazamiento en traslación según el eje x, un segundo sistema de guía 235 que lleva el primer sistema de guía 234, para permitir su desplazamiento en traslación a lo largo del eje z, y un tercer sistema de guía 236 que lleva el segundo sistema de guía 235, de modo que permia su desplazamiento en traslación a lo largo del eje y. El tercer segmento 233 de cada brazo robotizado ^{2 3 a ,} 23B es así apto para ser desplazado con respecto al bastidor 21 según cinco grados de libertad. Cada brazo robotizado 23A, 23B puede por tanto ser calificado de «brazo robotizado de 5 ejes». Por supuesto, el equipo mecánico para la recolección de frutas según la invención podría comprender cualquier otro tipo de brazo robotizado, en particular brazos robotizados que presenten un mayor número de grados de libertad. El tercer segmento 233 de cada brazo robotizado 23A, 23B está dispuesto para llevar una cámara y herramientas, como se explica a continuación.

El sistema de selección 30 comprende una cámara principal 32 y una cámara secundaria 33A, 33B para cada brazo robotizado 23A, 23B. La cámara principal 32 está dispuesta para adquirir imágenes denominadas globales de una o varias cepas 10, o al menos de una parte de una o varias cepas 10. La cámara principal 32 puede estar montada de forma fija en el bastidor 21. Esta está por ejemplo orientada de modo que su línea de visión sea ortogonal al eje y. La cámara principal 32 es una cámara denominada RGB, es decir que comprende un conjunto de elementos fotosensibles aptos para asignar una intensidad luminosa en al menos tres bandas de longitudes de onda del espectro visible a cada punto de un espacio imagen. La cámara principal 32 podría cubrir igualmente una parte del espectro ultravioleta y/o del espectro infrarrojo. Cada brazo robotizado 23A, 23B lleva en su segmento 233 una cámara secundaria 33A, ^{3 3 b ,} respectivamente. Este está dispuesto para poder situar la respectiva cámara secundaria 33A, 33B en emplazamientos sucesivos deseados a nivel de la vid, como se explica a continuación. Cada cámara secundaria 33A, 33B está dispuesta para adquirir las imágenes denominadas locales, que normalmente cubren un solo raimo o parte de racimo. Las cámaras secundarias 33A, 33B son, por ejemplo, cámaras estereoscópicas, es decir, equipadas cada una con dos sensores fotosensibles dispuestos para adquirir dos imágenes de una misma escena según ángulos distintos y generar así imágenes tridimensionales (3D). Cada sensor fotosensible puede estar dispuesto para adquirir intensidades de radiación en varias bandas de longitudes de onda en el espectro visible, ultravioleta y/o infrarrojo. Así, una cámara estereoscópica permite recoger a la vez informaciones espectrales e informaciones de posición en la escena observada. En la práctica, cada imagen local 3D puede consistir en una nube de puntos asociados cada uno a intensidades de radiación en varias bandas de longitudes de onda.

El sistema de recolección 40 comprende, para cada brazo robotizado 23A, 23B, un medio de corte 41 y un medio de agarre 42 montados en el segmento 233 del brazo robotizado considerado. Comprende además dos bandejas de recuperación 43A, 43B. El medio de corte 41 está dispuesto para cortar los pedúnculos 14 y el medio de agarre 42 está dispuesto para agarrar cada pedúnculo durante el corte. Las bandejas de recuperación ^{4 3 a ,} 43B están montadas en el bastidor 21 y están dispuestas cada una para recibir los racimos cortados.

La unidad de control 50 está dispuesta para recibir las imágenes globales generadas por la cámara principal 32 y las imágenes locales generadas por cada una de las cámaras secundarias 33A, 33B. Esta está dispuesta además para tratar estas imágenes, como se explica a continuación, y controlar los brazos robotizados 23A, 23B, el medio de corte 41 y el medio de agarre 42.

El equipo mecánico según la invención puede comprender, además, un sistema de geolocalización y una unidad de cartografía, no representados. El sistema de geolocalización está dispuesto para determinar las coordenadas geográficas del equipo mecánico o de uno de sus componentes. En particular, el equipo mecánico puede comprender un sistema de geolocalización montado en cada brazo robotizado 23A, 23B, de modo que determine las coordenadas geográficas de cada cámara secundaria 33A, 33B y por lo tanto de cada objeto fotografiado por estas cámaras. Cada sistema de geolocalización puede comprender un sistema de posicionamiento por satélites y/o una central inercial. La unidad de cartografía está dispuesta para generar una cartografía que define las posiciones de las frutas detectadas en las imágenes globales. Si es necesario, la cartografía puede tener en cuenta diferentes criterios, por ejemplo, un grado de madurez y/o un estado sanitario de la fruta, y/o el hecho de que no se haya podido identificar el tallo de una fruta, como se explica a continuación.

La figura 2 representa un ejemplo de procedimiento de recolección de frutas según la invención y la figura 3 ilustra el resultado de una etapa de este procedimiento, en la cual se detectan zonas de interés. El procedimiento se describe con referencia al equipo mecánico descrito con referencia a la figura 1. El procedimiento 100 comprende una etapa 110 de adquisición de una imagen global, una etapa 120 de detección de zonas de interés, una etapa 130 de adquisición de imágenes locales, una etapa 140 de determinación de un indicador de un grado de madurez y de un indicador de un estado sanitario de las frutas, una etapa 150 de identificación de los tallos, una etapa 160 de corte de los tallos, una etapa 170 de depósito de los racimos cortados y una etapa 180 de establecimiento de una cartografía de las frutas. Durante la etapa 110 de adquisición de una imagen global, la cámara principal 32 adquiere una imagen global, con la referenciada 200 en la figura 3, y la transmite a la unidad de control 50. Durante la etapa 120, la unidad de control 50 efectúa un tratamiento de imagen consistente en detectar las zonas de interés en la imagen global 200, comprendiendo cada zona de interés un racimo de uvas. Las zonas de interés llevan la referencia 201 en la figura 3. La etapa 120 de detección de zonas de interés puede comprender un método de clasificación basado en la forma y el color de los racimos que haya que recolectar. Como se ilustra en la figura 3, unos racimos pueden estar representados solo parcialmente en una imagen global y unas zonas de interés 201 pueden comprender solo la parte visible de los racimos 13. Las etapas 130, 140, 150, 160, 170 son realizadas después para cada una de las zonas de interés detectadas en la imagen global. Durante la etapa 130, una de las cámaras secundarias 33A, 33B es situada en las proximidades del zona de interés 201 considerada por el accionamiento del brazo robotizado correspondiente 23A, 23B, y se adquiere una imagen 3D local para esta zona de interés y se transmite a la unidad de control 50. Durante la etapa 140, la unidad de control 50 determina un indicador de un grado de madurez y un indicador de un estado sanitario de los racimos para cada zona de interés detectada. Estos indicadores se determinan en función de las intensidades de radiación en uno o varios rangos de longitudes de onda predeterminados de las imágenes 3D locales correspondientes. Cuando el grado de madurez se considera satisfactorio para la zona de interés considerada, el procedimiento continúa para esta zona de interés con la etapa 150. En cambio, cuando este indicador no es satisfactorio para la zona de interés considerada, la citada zona de interés es excluida para el resto del procedimiento. La etapa 150 consiste en identificar el pedúnculo de cada racimo con la ayuda de la imagen 3D local correspondiente. Durante la etapa 160, el brazo robotizado 23A, 23B utilizado para posicionar la cámara secundaria que haya adquirido la citada imagen 3D local sitúa el medio de corte 41 y el medio de agarre 42 a nivel de cada pedúnculo identificado; el medio de agarre 42 es accionado para agarra el pedúnculo; después se acciona el medio de corte 41 para cortar el pedúnculo aguas arriba del medio de agarre 42. La etapa 170 de depósito de los racimos cortados consiste en depositar el racimo cortado en una de las bandejas de recuperación 43A, 43B, en función de su indicador de estado sanitario. Esta etapa 170 se realiza accionando el correspondiente brazo robotizado 23A, 23B, continuando el medio de agarre 42 el agarre del pedúnculo hasta que el racimo cortado llegue al bandeja de recuperación seleccionada 43A, 43B. La etapa 180 de establecimiento de una cartografía de las frutas consiste en determinar las coordenadas geográficas de todas las frutas detectadas en la imagen global o de una parte de las mismas respondiendo a criterios predeterminados. A modo de ejemplo, se puede establecer una cartografía para las frutas que presenten un grado de madurez insuficiente o las frutas en las cuales no se haya podido identificar el tallo durante la etapa 150. El procedimiento 100 puede entonces continuar en bucle con la adquisición de una nueva imagen global que representa otra parte de la vid.

Cabe señalar que las etapas 110 a 170 del procedimiento de recolección de frutas según la invención pueden ser realizadas mientras el equipo mecánico 20 está parado o en desplazamiento, por ejemplo, en desplazamiento a una velocidad relativamente constante. En el caso de una ejecución del procedimiento durante el desplazamiento del equipo mecánico, los brazos robotizados pueden estar dispuestos entonces para compensar el desplazamiento del equipo mecánico, en particular para la etapa 130 de adquisición de las imágenes locales y la etapa 160 de corte de los tallos.

La figura 4 representa un ejemplo de realización de la etapa 150 de identificación de los tallos. En este ejemplo, la etapa 150 comprende una subetapa 151 de detección de objetos alargados y una subetapa 152 de clasificación de objetos alargados. La subetapa 151 consiste en detectar en cada imagen 3D local los elementos que presenten una forma alargada. Se define, por ejemplo, que un elemento tiene una forma alargada cuando la relación entre su dimensión más grande y cada una de las otras dos dimensiones ortogonales es superior o igual a un umbral predeterminado. Este umbral se establece, por ejemplo, en tres. La subetapa 152 consiste en determinar si cada objeto alargado es un pedúnculo o un objeto de otro tipo. Esta se lleva a cabo, por ejemplo, comprobando que el objeto alargado no tiene ramificaciones. Puede ser realizada igualmente determinando si el espectro de cada objeto alargado está al menos en parte situado en una banda de longitudes de onda predeterminada. En particular, para un racimo de uvas, un objeto alargado de color verde se puede clasificar en la clase de los pedúnculos, un objeto alargado de color marrón se puede clasificar en la clase de los sarmientos y un objeto alargado de color gris se puede clasificar en la clase de alambres de emparrado. La subetapa 152 de clasificación de los objetos alargados puede ser realizada también determinando una longitud, una curvatura y/o una orientación de cada objeto alargado.

Cabe señalar que la unidad de control 50 realiza un primer tratamiento de imagen consistente en detectar las zonas de interés en la imagen global y un segundo tratamiento de imagen consistente en identificar los tallos (o pedúnculos) en las imágenes locales. La unidad de control 50 determina también el indicador del grado de madurez y el indicador del estado sanitario de las frutas, y la presencia de obstáculos. La unidad de control 50 puede así ser considerada que comprende una unidad de detección de zonas de interés, una unidad de identificación de los tallos, una unidad de determinación de un grado de madurez de la fruta, una unidad de determinación de un estado sanitario de la fruta y una unidad de determinación de la presencia de obstáculos. La unidad de control 50 realiza además el control de los brazos robotizados 23A, 23B, del medio de corte 41 y del medio de agarre 42. Si es necesario, la unidad de control 50 compensa también el desplazamiento del equipo mecánico durante la identificación y el corte de tallos. En la práctica, puede así estar formada por varios elementos distintos de hardware y/o de software.

Claims (14)

REIVINDICACIONES

1. Procedimiento de recolección de frutas llevadas por un tallo o un pedúnculo, comprendiendo el procedimiento (100):

■ una etapa (120) de detección de zonas de interés en una imagen global que representa un conjunto vegetal, en la cual se detectan una o varias zonas de interés (201) en la imagen global (200) con la ayuda de un proceso de tratamiento de imágenes, comprendiendo cada zona de interés (201) al menos una parte de una fruta (13),

■ una etapa (130) de adquisición de imágenes locales, en la cual se adquiere una imagen local en las proximidades de cada zona de interés (201), representando cada imagen local al menos una parte de la fruta de la zona de interés considerada, y

■ una etapa (150) de identificación de los tallos o de los pedúnculos, en la cual se identifica un tallo o un pedúnculo (14) en cada imagen local.

comprendiendo la etapa (150) de identificación de los tallos o de los pedúnculos:

■ una subetapa (151) de detección de objetos alargados, en la cual se detectan los elementos que presentan una forma alargada en cada imagen local, y

■ una subetapa de discriminación, en la cual se determina si cada objeto alargado es un tallo o un pedúnculo (14), o un objeto alargado de otro tipo.

2. Procedimiento según la reivindicación 1, en el cual la subetapa de discriminación comprende:

■ una clasificación de cada objeto alargado en función de las intensidades de radiación de sus píxeles o de sus puntos,

■ una determinación de una longitud de cada objeto alargado,

■ una determinación de una posición relativa de cada objeto alargado con respecto a un cuerpo de la fruta,

■ una determinación de una curvatura de cada objeto alargado, y/o

■ una determinación de uno o varios ángulos formados entre un eje longitudinal del objeto alargado y un eje predeterminado de un alambre de emparrado.

3. Procedimiento según una de las reivindicaciones precedentes, en el cual la etapa (130) de adquisición de imágenes locales comprende una subetapa de posicionamiento de una cámara en las proximidades de cada zona de interés detectada en la imagen global, estando dispuesta la cámara (33A, 33B) para adquirir las imágenes locales.

4. Procedimiento según una de las reivindicaciones precedentes, que comprende además:

■ una etapa (140) de determinación de un grado de maduración de las frutas, en la cual se determina un indicador del grado de maduración para la fruta de cada zona de interés detectada (201), y/o

■ una etapa (140) de determinación de un estado sanitario de las frutas, en la cual se determina un indicador del estado sanitario en la fruta de cada zona de interés detectada (201), comprendiendo el procedimiento, además, una etapa de selección de las frutas que haya que recolectar, en la cual se seleccionan las frutas que haya que recolectar en función del indicador del grado de maduración y/o del indicador del estado sanitario.

5. Procedimiento según una de las reivindicaciones precedentes, que comprende además:

■ una etapa (160) de recolección de las frutas, en la cual se corta el tallo o el pedúnculo (14) identificado en cada imagen local, y

■ una etapa (170) de establecimiento de una cartografía de las frutas que quedan por recolectar, en la cual se determinan coordenadas geográficas para cada zona de interés detectada en la cual la fruta no ha sido recolectada.

6. Equipo mecánico para la recolección de frutas que comprende un sistema de selección de las frutas que haya que recolectar, comprendiendo el sistema de selección (30):

■ una cámara principal (32), dispuesta para adquirir imágenes globales (200), que representan cada una un conjunto vegetal,

■ una unidad de detección de zonas de interés, dispuesta para detectar una o varias zonas de interés (201) en cada imagen global (200), comprendiendo cada zona de interés al menos una parte de una fruta (13),

■ una o varias cámaras secundarias (33A, 33B), dispuestas para adquirir una imagen local en las proximidades de cada zona de interés (201), representando cada imagen local al menos una parte de la fruta de la zona de interés considerada, y

■ una unidad de identificación de los tallos o de los pedúnculos, dispuesta para detectar objetos alargados, siendo detectados los elementos los elementos que presentan una forma alargada en cada imagen local, y para determinar si cada objeto alargado es un tallo o un pedúnculo (14), o un objeto alargado de otro tipo, para identificar un tallo o un pedúnculo (14) en cada imagen local.

7. Equipo mecánico según la reivindicación 6, que comprende además uno o varios brazos robotizados (23A, 23B), llevando cada brazo robotizado una cámara secundaria (33A, 33B) y estando dispuesto para situarlo sucesivamente en las proximidades de zonas de interés. (201).

8. Equipo mecánico según una de las reivindicaciones 6 y 7, que comprende además un sistema de recolección de las frutas, comprendiendo el sistema de recolección (40) al menos un medio de corte (41) dispuesto para cortar los tallos o los pedúnculos de las frutas.

9. Equipo mecánico según las reivindicaciones 7 y 8, en el cual un medio de corte está montado en cada brazo robotizado (23A, 23B), estando dispuesto cada brazo robotizado para situar sucesivamente la cámara secundaria que el mismo lleva en las proximidades de una zona de interés y el medio de corte a nivel del tallo o del pedúnculo que haya que cortar.

10. Equipo mecánico de acuerdo con una de las reivindicaciones 6 a 9, en el cual el sistema de selección de las frutas que haya que a recolectar comprende, además, una unidad de determinación de un estado sanitario de la fruta, dispuesta para determinar un indicador del estado sanitario de la fruta de cada zona de interés detectada.

11. Equipo mecánico según una de las reivindicaciones 6 a 10, en el cual el sistema de recolección de frutas comprende, además, un medio de agarre montado en cada brazo robotizado, estando dispuesto cada medio de agarre para agarrar el tallo o el pedúnculo en el lado de la fruta antes, durante y después del corte.

12. Equipo mecánico de acuerdo con las reivindicaciones 10 y 11, en el cual el sistema de recolección de las frutas que haya que recolectar comprende, además, varias bandejas de recuperación, y cada brazo robotizado y el medio de agarre que este lleva están dispuestos para depositar cada fruta cortada por el medio de corte a una de las bandejas de recuperación, en función del indicador del estado sanitario determinado para esta fruta.

13. Equipo mecánico según una de las reivindicaciones 11 y 12, en el cual el sistema de selección de las frutas que haya que recolectar comprende, además, una unidad de determinación de la presencia de obstáculos, dispuesta para determinar si obstáculos dificultan la recolección de las frutas.

14. Equipo mecánico según una de las reivindicaciones 6 a 13, que comprende, además, un dispositivo de soplado dispuesto para formar un flujo de aire en las proximidades de cada zona de interés.