ES2253135B2 - Sistema de vision artificial para recolectar pequeños frutos cultivados en hileras. - Google Patents

Abstract

Sistema de visión artificial para recolectar pequeños frutos cultivados en hileras. Esta invención consiste en un sistema de visión que permite el guiado preciso de un dispositivo robótico (6) para la aprehensión, corte y depósito del fruto en el lugar deseado. El sistema designa con precisión el punto 3-D exacto al que dirigir el mecanismo terminal (7) que asirá el pedúnculo de una fruta madura y lo cortará por encima a la distancia prefijada, distinguiéndolo de los pedúnculos de otras frutas próximas que no se deben cortar. El sistema de visión básico está compuesto por: dos cámaras de color (1), una matriz de diodos láser ópticos puntuales (tipo spot) de bajo coste (2), montada sobre una plataforma (3) orientable en acimut y elevación, que se utilizará para orientar la matriz al ángulo deseado; y un diodo láser adicional (4), capaz de proyectar un haz óptico plano o en abanico.

Description

Sistema de visión artificial para recolectar pequeños frutos cultivados en hileras.

Sector técnico

La invención se enmarca en el sector de los sistemas automatizados para uso en agricultura, y en concreto en el de sistemas robotizados, basados en visión artificial, para tareas de manipulación y recolección en horticultura.

Estado de la técnica

Es conocido el interés del sector de producción agraria por disponer de sistemas robotizados, automatizados o semiautomatizados, de recolección de frutos para diferentes modalidades de cultivo, incluyendo frutos en árbol, frutos cultivados en suelo o frutos cultivados en alto, como en los cultivos hidropónicos. Esta invención se refiere a la recolección de pequeños frutos delicados cultivados en alto, como, por ejemplo, fresas en cultivos hidropónicos de invernadero. En este tipo de cultivos, las plantas de fruto crecen en hileras, plantadas sobre un soporte físico, como por ejemplo canaletas plásticas, que se disponen longitudinalmente, a una altura variable sobre el suelo del invernadero. Los frutos crecen y maduran con el pedúnculo colgando hacia fuera del soporte de cultivo. En algunas instalaciones, las hileras se pueden subir o bajar a diferentes alturas, individualmente o por grupos, para facilitar el acceso a las plantas en las tareas de cultivo y recolección.

El problema tecnológico general a resolver es el de la concepción de un vehículo autónomo, dotado de los sistemas de visión y manipulación necesarios para efectuar una recolección cuidadosa de frutos delicados, con mínima asistencia humana. Para ser viable, el sistema ha de satisfacer al menos los siguientes tres requisitos:

Primero, ha de ser capaz de recolectar los frutos con extrema delicadeza, para garantizar su máxima duración y calidad. En particular, debe recolectar sin aprehender el fruto, y depositarlo en el recipiente de almacenado sin someterlo a ningún proceso que implique golpeos o rozamientos.

Segundo, para asegurar la eficiencia y rentabilidad de la labor, el sistema debe ser capaz de recoger todos los frutos maduros y no sólo los que son fácilmente identificables por estar aislados. Por ello, debe ser capaz de reconocer y aislar los frutos que crecen en racimos, debiéndose entender por racimo, a estos efectos, la concentración espacial de varios frutos. Asimismo, debe ser capaz de resolver el problema de las oclusiones, muy especialmente las que se producen por la ocultación parcial de frutos maduros recolectables por otros no maduros.

Tercero, por la misma razón de eficiencia ha de ser capaz de recolectar los frutos a una velocidad razonablemente alta. En este contexto, debe entenderse por velocidad razonablemente alta aquélla que está limitada sólo por la capacidad de movimiento del dispositivo robótico seleccionado y no por las limitaciones de tiempo de adquisición, operación y procesado de los sistemas de detección y localización de frutos. Esta circunstancia impone unos requerimientos explícitos sobre el sistema de detección y localización.

Pues bien, no existen dispositivos prácticos capaces de satisfacer estos tres requisitos simultáneamente en el grado deseado. La limitación principal se encuentra, hasta ahora, en el propio sistema de visión, entendiendo por tal el conjunto de medios y algoritmos cuya misión es la de detectar y localizar, con la precisión requerida, la posición del fruto maduro y, singularmente, de su pedúnculo en disposiciones de frutos en racimo. Las soluciones para frutas u hortalizas que crecen siempre aisladamente (pepino, berenjena, etc.) son inadecuadas para la recolección de frutos delicados que pueden crecer agrupados.

Los sistemas de visión propuestos para aplicaciones de recolección están preferentemente basados en el uso de una cámara, cuya salida se procesa para detectar por color, curvatura o forma la presencia del fruto y efectuar una primera localización en el plano de la imagen 2-D. Para determinar la tercera coordenada (profundidad o distancia del fruto al sistema de visión), la información 2-D de la cámara se complementa con la información de la tercera coordenada de rango (distancia), que suministra un dispositivo de medida de distancia. Este puede ser un dispositivo emisor-receptor de ultrasonidos o una pareja de dispositivos (emisor y receptor) de tipo láser operando en el infrarrojo o en el visible. Este es el fundamento, por ejemplo de los sistemas propuestos en las patentes JP8112021, JP2004180554, JP5174131, JP5168334, JP5168333. En la mayoría de los casos, la determinación de la distancia o el cálculo del mapa de distancias se realiza por triangulación, estimando el retardo o la diferencia de fase entre la señal emitida por el dispositivo emisor y la recibida en el receptor. Así, en la patente JP5168334 la radiación emitida por el emisor se deflecta con un espejo controlado mecánicamente, que enfoca la radiación hacia la zona a explorar, donde se refleja para ser captada por el dispositivo receptor u ojo electrónico. Conocida la geometría de la disposición, para cada ángulo de deflexión, una simple triangulación trigonométrica permite calcular la distancia del punto de reflexión. Lamentablemente, estos sistemas tienen una resolución espacial limitada, suficiente probablemente para algunas aplicaciones pero insuficiente para discriminar con la precisión requerida la posición de un pequeño fruto en un racimo y en especial la posición 3-D del pedúnculo. Cualquier aumento de resolución posible exige un proceso de deflexión más lento y en consecuencia una velocidad de operación más reducida en la recolección.

En estos sistemas, la cámara y/o el medidor de distancia pueden estar fijos sobre el vehículo o ir montados en el extremo del brazo robótico recolector.

En otras propuestas ideadas específicamente para la recolección de frutos de tamaño medio o grande que crecen aislados (ver por ejemplo JP2001095348), el sistema de visión está constituido por dos cámaras que operan secuencialmente, una fija que analiza globalmente la escena completa y localiza el fruto en el plano 2-D y otra, montada en el extremo del manipulador, que guía al brazo a medida que éste se aproxima a su objetivo.

Otra solución teóricamente posible para resolver el problema podría pensarse que fuera la largamente conocida de la visión estereoscópica, consistente en disponer dos cámaras con visión solapada y con perspectivas ligeramente dispares de la escena. La posición 3-D desconocida de un punto dado en la escena se puede determinar a partir de sus posiciones 2-D en las imágenes captadas por las cámaras (proyecciones). Estos sistemas no parecen tener por el momento uso práctico en el tipo de recolección de nuestro interés, a pesar de permitir teóricamente una localización precisa en el espacio mediante una simple triangulación. Ello es debido a la dificultad práctica de identificar en las dos imágenes puntos correspondientes (asociados), es decir, sendos puntos 2-D que realmente corresponden al mismo punto 3-D de la escena.

Se insiste en que la etapa crítica de un sistema de recolección de frutos delicados, como la fresa, es la determinación tridimensional precisa del punto al que se ha de guiar el elemento terminal de corte del brazo manipulador, de manera que éste pueda operar con la máxima limpieza sólo en el punto designado sin necesidad de tocar los frutos y a la máxima velocidad posible. Esto implica la detección precisa de un punto dado del pedúnculo de cada una de las frutas maduras en la hilera recolectada. En la solicitud de patente P200501586/5 se propone un método basado en un láser óptico de línea para la designación y localización precisa de un punto de un pedúnculo aislado, una vez localizado el fruto. En esta invención, se resuelve el problema completo combinando el uso de láseres de spot para determinar la posición del fruto en un racimo con el de un láser de línea, que se apunta en sucesivas elevaciones para identificar y posicionar el pedúnculo deseado.

El elemento terminal necesario para la recolección es uno del tipo prensil-cortador, constituido por un elemento en forma de pinza que agarra el pedúnculo en el punto designado y otro en forma de tijera que lo corta por encima a la distancia prefijada (como el mencionado, por ejemplo, en JP2004180554). Se hace notar que, para este tipo de recolección delicada, no son apropiados otros mecanismos cuya operación implique una agresión al fruto en cualquiera de las fases (como succión o tracción).

Finalmente, la recolección en un invernadero en el que las plantas se cultivan en hileras paralelas dispuestas en alto requiere instalar los elementos de visión y recolección sobre un vehículo controlado por el propio sistema de visión, capaz de desplazarse longitudinalmente a lo largo del cultivo, de modo que el sistema de visión acceda sucesivamente a las escenas de recolección. El sistema podría desplazarse con tracción independiente sobre raíles dispuestos sobre el suelo o ir montado en una plataforma deslizante, que a su vez permita el acceso al conjunto de hileras del invernadero.

Descripción detallada

El núcleo de la invención se basa en un sistema de visión que permite el guiado preciso de un brazo robótico para la aprehensión, corte y posterior traslado y depósito delicado de cada pequeño fruto maduro en la posición designada de una bandeja o recipiente. El problema que permite resolver es el de designar con precisión el punto 3-D exacto al que dirigir el mecanismo terminal prensil-cortador que asirá el pedúnculo de una fruta madura y lo cortará por encima a la distancia prefijada. Las dos dificultades prácticas que resuelve esta invención son: primero, la de la detección y localización del fruto que se ha de recolectar, cuando éste se presenta en una agrupación espacial con otros frutos (racimo), y, por tanto, es difícilmente distinguible por métodos tradicionales basados sólo en color o forma; y, segundo, la de la determinación de un punto exacto de su pedúnculo, distinguiéndolo de los pedúnculos de otras frutas próximas que no se deben cortar. El sistema de control y procesado puede operar sobre un PC comercial y permite gestionar el brazo robótico aprovechando su máxima capacidad de movimiento. Tres ventajas con respecto a cualquier otra solución ideada hasta la fecha para este tipo de recolección precisa son:

1) Es capaz de designar con precisión del orden de 1 mm. la posición del punto de corte del pedúnculo de un fruto recolectable, incluso y especialmente en el caso de frutos que maduran en agrupaciones (por ejemplo, fresas), distinguiéndolo de los pedúnculos de otros frutos, maduros o no, en el mismo racimo. Por tanto, el sistema presenta una eficiencia de recolección óptima, en la medida en que es capaz de recolectar la mayoría de los frutos de las hileras (y no sólo los que crecen aislados).

2) Por otro lado, esta precisión permite utilizar un dispositivo de corte de tipo tijera; el fruto, por tanto, se puede asir y cortar por el pedúnculo, y transportarlo sin rozarlo a su punto de destino en la bandeja recolectora, lo que asegura una calidad única del fruto recolectado porque no es tocado o sometido a ninguna agresión en el proceso.

3) Finalmente, la velocidad de operación del sistema de visión y procesado es tal que el brazo robótico no tiene ningún tiempo de espera muerto, lo que supone la máxima velocidad de recolección (lo que no es posible con otros sistemas de visión).

El sistema de visión básico (Fig. 1) está compuesto por: dos cámaras CCD (1) en color dispuestas preferiblemente con los ejes paralelos apuntando a la región en la que están los frutos (5), una matriz (2) de diodos láser ópticos puntuales (tipo spot) de bajo coste (por ejemplo, lápices o punteros láser comerciales en una longitud de onda próxima a 650 nm.) montada sobre una plataforma orientable (3) del tipo pan-tilt (esto es, orientable en acimut y elevación), que se utilizará para orientar la matriz al ángulo deseado; y un diodo láser adicional (4), también sobre la plataforma, que proyecta un haz óptico plano en el instante y lugar designado. Este diodo comercial no es más que un diodo de spot, como los que constituyen la matriz, con una lente que esparce horizontalmente la luz para proyectar un haz en forma de abanico en vez de un punto o spot.

La invención, como se muestra en la Fig. 2, junto con el manipulador robótico (6) dotado de un elemento terminal prensil-cortador (7), va instalada sobre un vehículo (8), que lleva adosado un remolque con bandejas (9) en las que se depositarán los frutos recolectados. El vehículo, como se muestra en la Fig. 3, se desliza sobre sendos rieles (10) en el suelo o montados en una plataforma (11) dispuesta en la misma dirección que las hileras de plantas (5a) y (5b) de las que penden los frutos que se desea recolectar.

Con la plataforma fija en una determinada posición centrada entre dos hileras, el vehículo se va desplazando, a pasos sobre los rieles, de un lado al otro del invernadero, recogiendo en su camino de ida las frutas de una de las hileras (5a) y en su camino de vuelta las de la hilera simétrica (5b), o bien alternadamente en las dos hileras sólo en su camino de ida.

Los sistemas auxiliares de alimentación, tracción y control de dispositivos y el ordenador de procesado y control se alojan en el interior del vehículo, así como el panel de selección de parámetros desde el que se prefijan los parámetros relacionados con el grado de madurez requerido para el corte, los calibres de clasificación, etc., de acuerdo con el tipo y variedad de fruto, las preferencias según la época, etc.

En un modo de realización, el sistema lleva cuatro cámaras dispuestas en dos parejas estereoscópicas, utilizándose independientemente la pareja izquierda en la visión de la correspondiente hilera izquierda y la pareja de la derecha en la hilera simétrica de la derecha. En otro modo de realización, una única pareja de cámaras realiza la visión de ambas hileras, girando 180º solidariamente en el momento que se requiera, comandadas por el sistema de control.

Las operaciones que se realizan en cada posición de recolección (vehículo estático) son las que se describen a continuación:

En primer lugar, el par de cámaras toma sendas imágenes de la escena; éstas se digitalizan y se almacenan en tiempo real. A continuación, se convierten las imágenes desde el formato RGB, en el que capturan las cámaras, al formato HSV, que es apropiado para realizar una segmentación eficiente de la escena.

La operación de segmentación consiste en identificar y aislar en las imágenes los píxeles que corresponden a las características del fruto, distinguiéndolos de aquellos otros que corresponden al resto (fondo, hojas, tallos, bolsas de plantación, etc). En general, es apropiado realizar una pre-segmentación basándose en el color y la tonalidad o saturación, trabajando sobre las coordenadas H y S. En cada píxel se determina si los valores de las coordenadas H y S corresponden a los que tiene el fruto maduro (por ejemplo, determinado rojo en el caso de la fresa), comprobando si se encuentran en los márgenes de valores especificados. Los valores de estos márgenes, que se pueden introducir y variar a través del panel de control, dependen de la variedad de la fruta y del grado de madurez especificado para la recolección. Este primer procesado elimina los píxeles cuyo color y saturación no se corresponden con los del fruto maduro.

Una vez realizada esta pre-segmentación, cuyo resultado es una clasificación binaria de los píxeles de la escena en píxeles del color de la fruta y píxeles de otro color, se realiza un post-procesado, consistente en eliminar los píxeles que aparecen aislados (ruido), para quedarse sólo con aquellos píxeles agrupados en manchas o "blobs", es decir, grupos de píxeles conectados (vecinos) entre sí, que corresponden al fruto o a una agrupación de frutos en racimo.

El siguiente paso es calcular las coordenadas 3-D de determinados puntos singulares de la escena, con el objetivo último de determinar si los "blobs" corresponden a un fruto aislado o a un grupo. Para ello, primero se marcan puntos singulares en cada uno de los "blobs" 2-D de las dos imágenes estereoscópicas segmentadas, con el objeto de realizar el proceso de correspondencia (proceso de identificar, en cada una de las dos imágenes, los puntos 2-D que se corresponden con un mismo y único punto espacial de la escena 3-D). En el sistema de visión de esta invención, según muestra la Fig. 4, para cada "blob" (12) de cada una de las dos imágenes, se calcula la posición 2-D de su centroide (13) (centro geométrico en 2-D) y, trazando virtualmente sendas líneas horizontal y vertical que pasan por las coordenadas del centroide, se marcan también los cuatro puntos extremos del "blob": superior (14), inferior (15), derecho (16) e izquierdo (17), que servirán para determinar el tamaño del "blob" y si éste corresponde a una fruta aislada (y, en este caso, determinar su calibre) o a un racimo.

A continuación se realiza la correspondencia entre los centroides 2-D de todos los "blobs" de las dos imágenes, es decir, se determinan las parejas de centroides correspondientes al mismo punto espacial (aproximado). Para realizar la correspondencia de los centroides se puede utilizar cualquier método conocido. En nuestra invención, al punto centroide de una imagen se hace corresponder en la otra aquél que está a la misma altura (coordenada Y) y cuya disparidad en X (diferencia de sus coordenadas X) es compatible con la geometría de las cámaras para la distancia de visión media. Establecida la correspondencia entre los centroides, y por tanto entre los "blobs", se calculan las coordenadas reales en el espacio 3-D del centro aparente del "blob" (centroide). También se calculan, en el espacio 3-D, los puntos correspondientes a los puntos extremos del "blob" antes marcados (superior, inferior, etc.). La reconstrucción 3-D de un punto a partir de sus proyecciones estereoscópicas es un problema trivial de solución conocida, que en el caso real requiere únicamente conocer la matriz de transformación correspondiente a las cámaras del sistema estéreo, que se calcula en un proceso previo de calibración.

Obviamente, las posiciones 3-D calculadas se han de referir a un origen de coordenadas fijo, que se puede tomar en cualquier punto del sistema robótico o del vehículo. En un prototipo de esta invención se ha tomado como origen de coordenadas el punto medio central entre las cámaras, en el plano en el que se fijan mecánicamente (sobre el vehículo). Este punto se habrá de fijar en el proceso de calibración y será asimismo el origen de coordenadas al que se referirá el movimiento del brazo robótico y de la plataforma pan-tilt.

Una vez determinadas las posiciones 3-D de los puntos característicos de cada "blob" de la escena (centroide y extremos), se analiza cada uno de los "blobs" de forma secuencial de izquierda a derecha (o de derecha a izquierda), del modo que se describe a continuación.

Primeramente se determina si el "blob" corresponde a una sola fruta aislada o a varias agrupadas. Para ello se comparan las distancias en 3-D entre el punto superior y el punto inferior y entre el punto derecho y el punto izquierdo del "blob", respectivamente con los valores de referencia diametrales del tipo de fruto que se recolecta (que previamente se han introducido en el panel de control y que dependen del tipo de variedad del fruto).

Si la comparación es consistente con la hipótesis de que el "blob" corresponde a un único fruto aislado, las medidas tomadas se utilizan directamente para estimar el calibre de la fruta para su posterior clasificación, y se procede a determinar si su grado de madurez es el deseado para su recolección; para ello se calcula el porcentaje de píxeles para los que las coordenadas H y S toman valores entre los prefijados para la fruta madura.

Si el porcentaje es inferior al especificado (seleccionable en el panel de control), la fruta se clasifica como no madura y se pasa a analizar otro "blob".

Si el porcentaje es superior al especificado, la fruta se clasifica como madura y se ha de ordenar al brazo dirigir su dispositivo prensil-cortador a un punto del pedúnculo de la fruta. La pinza agarrará el pedúnculo, el dispositivo en tijera lo cortará por encima y trasladará el fruto a la bandeja designada donde la depositará en el receptáculo que corresponda, de acuerdo con su calibre.

Para ello, en general, es imprescindible detectar antes con precisión la posición del pedúnculo. Esto es cierto incluso cuando el fruto maduro está aislado porque puede haber en las proximidades pedúnculos de otros frutos (no maduros y, por tanto, no detectados) que no se han de cortar. La detección precisa de pedúnculo se describe más abajo.

Si se determinara que el "blob" no corresponde a una única fruta madura aislada, pasa a tratarse como una agrupación de varias en racimo. En tal caso, se inicia el procedimiento para individualizar en el racimo las frutas una a una sucesivamente, empezando por aquélla que está más próxima al sistema de visión.

Para ello, comandando la plataforma pan-tilt, se orienta la matriz de diodos láser hacia la agrupación de frutos, usando como referencia de orientación del eje de la matriz las coordenadas 3-D del centroide del "blob" calculado previamente. La lógica de control de encendido/apagado de los láseres hace que éstos generen una retícula de puntos de luz láser (marcas o spots) sobre el "blob" de frutos, como muestra la Fig. 5, durante un breve espacio de tiempo, durante el que la escena es captada por el sistema estereoscópico de cámaras. El siguiente paso es el de determinar con precisión la posición 3-D de cada uno de los puntos de luz (18) de la retícula en el grupo de frutos (19). Las marcas de luz tienen un diámetro a la distancia de recolección típica de entre un milímetro y milímetro y medio. En cada una de las dos imágenes bidimensionales tomadas por las cámaras, se aíslan las marcas, usando por ejemplo un algoritmo de segmentación similar al descrito para la pre-segmentación de "blobs". En aquel caso se comparaban las coordenadas H y S con los umbrales deseados. En este caso, los píxeles que corresponden a la marca en cada proyección se pueden detectar comparando sus valores de V con un umbral mínimo, aprovechando que la marca tiene una luminosidad considerablemente más alta que el resto de la escena. Otra opción, aún más simple, es realizar una operación de sustracción en la coordenada V de la imagen iluminada por los láseres y la imagen sin iluminar. El resultado es una imagen en la que sólo quedan las marcas de los láseres, directamente segmentadas.

Segmentadas las marcas, se calculan sus centroides 2-D en ambas imágenes por el procedimiento descrito más arriba, se realiza la correspondencia entre ellos en las dos imágenes por el procedimiento también descrito y se realiza la reconstrucción 3-D de la marca sobre el grupo de frutos. Se tiene así un mapa de puntos tridimensionales sobre la superficie de la agrupación de frutos.

Cuantas más marcas láser haya en una agrupación, mejor será la representación 3-D de la misma. Sin embargo, a mayor número de marcas, más difícil será el proceso de correspondencia entre las dos imágenes. Para facilitar el proceso de correspondencia entre las dos imágenes sin renunciar a una buena representación 3-D de la agrupación, se pueden utilizar láseres de diferente color (longitud de onda) intercalados: de este modo, utilizando, además de la coordenada V, la coordenada de color H, sólo habrá que realizar la correspondencia de aquellas marcas que tengan el mismo color.

Sobre el mapa de puntos tridimensionales obtenido se realiza el siguiente procesado para estimar la posición de cada uno de los frutos a recolectar: primero, se toma aquel mas próximo al sistema de visión. A continuación se determina cuáles de los puntos 3-D adyacentes a aquel en la retícula corresponden al mismo fruto, sin más que calcular las distancias tridimensionales entre ellos y descartando aquéllos cuya distancia sea superior a un número relacionado con el calibre del fruto.

Determinados los puntos 3-D de la retícula que pertenecen al mismo fruto, se tiene localizada, con precisión del orden del cm., la posición del fruto en el racimo. En concreto, se puede determinar la posición 3-D aproximada del punto superior del fruto, promediando la coordenada x (lateral) de todos los puntos que pertenecen a ese fruto y tomando las coordenadas y (altura) y z (profundidad) del punto de la fruta que tenga una coordenada y (altura) mayor. Este punto se corresponderá aproximadamente con el lugar donde nace el pedúnculo del fruto. Se procede entonces a localizar su pedúnculo con precisión del orden del milímetro.

Para detectar con precisión el pedúnculo, esta invención extiende el método descrito en P200501586/5 para detección de pedúnculos aislados. Para ello, de nuevo controlando la plataforma de pan-tilt sobre la que se ubica también el láser de línea (4), se dirige éste para que proyecte la línea láser (20) aproximadamente a 1 cm. por encima de la parte superior de la fruta, usando como referencia la posición 3-D del punto superior del fruto calculada como se describe más arriba, de forma que la línea intercepte un punto (21) del pedúnculo (22), como muestra la Fig. 6. Una vez orientado según el eje deseado, la lógica de control del diodo de línea lo alimenta, éste proyecta el haz (23) y aparece explícitamente un spot (21) aislado en el punto iluminado del pedúnculo. Si el pedúnculo estuviera aislado (no hubiera pedúnculos próximos) se adquiriría la escena con las cámaras, este spot único se segmentaría, se correspondería en las dos imágenes y se reconstruiría su posición 3-D, teniendo así las coordenadas casi exactas del punto del pedúnculo al que se ha de dirigir el mecanismo prensil-cortador.

En la práctica, el pedúnculo objetivo está o puede estar próximo a otros de otras frutas (del racimo o de otras no maduras no detectadas) y, por tanto, la iluminación con el láser de línea genera varias marcas (una por pedúnculo). Para determinar cuál es el pedúnculo objetivo se repite la iluminación en sucesivos ángulos de elevación, como se ilustra en la Fig. 7, de forma que se genera una traza de marcas (24) por cada uno de los pedúnculos presentes. El pedúnculo que se ha de cortar es aquél para el que una extrapolación simple de la traza de marcas pase más cerca del punto superior del fruto a recolectar, cuya posición 3-D se había calculado previamente.

Al punto deseado del pedúnculo, precisamente determinado por el procedimiento anterior, se dirige la pinza, que agarra el pedúnculo suavemente y separa fraccionalmente el fruto del racimo para aislarlo del resto de frutos. No queda sino tratarlo como un fruto aislado del modo descrito más arriba para frutos aislados: se determina su grado de madurez y su calibre y, en caso de que proceda cortarlo, se corta y se deposita en la correspondiente bandeja receptora. Caso contrario, se suelta suavemente y se repite la operación completa en otra región del "blob".

Después de cada corte de fruto, se repite la operación sobre el "blob" desde el principio, identificando, localizando, clasificando y cortando, en su caso, las otras frutas del racimo, posiblemente ocluidas en las imágenes tomadas previamente. El proceso se continúa hasta que no queden frutos en el racimo o hasta que las que queden no se hayan de recolectar porque no han alcanzado el punto de madurez deseado.

Una vez recolectados todos los frutos en todos los "blobs" de la escena, el vehículo se desplaza longitudinalmente sobre la plataforma la distancia necesaria para que las cámaras capten una escena adyacente sobre la hilera en recolección.

El modo de realizar el patrón de iluminación de los láseres de la matriz admite diversas variantes, todas ellas viables. A modo de ejemplo, esta parte de la invención se puede realizar:

- utilizando un único lápiz láser que, instalado sobre la plataforma orientable, se deflecta mecánicamente de forma sucesiva, y se ilumina de forma sincronizada con el sistema de visión-captación. En cada posición se ilumina la marca correspondiente y la pareja de cámaras toma las proyecciones de la escena, permitiendo una correspondencia unívoca de los puntos de cada imagen.

A pesar de la simplificación en la correspondencia de los spots, este modo de operación no es el recomendado, porque ralentiza innecesariamente el proceso de reticulación al requerir una deflexión mecánica, suponiendo a cambio una ligera ventaja económica.

- utilizando una matriz de láseres que se iluminan secuencialmente a la misma velocidad 0 que la de captación de las cámaras que toman las sucesivas imágenes de los spots proyectados sobre el racimo. La correspondencia entre los puntos de las dos proyecciones es también directa porque en cada par de imágenes solamente aparece una marca cada vez.

- utilizando, como se ha descrito, una matriz de láseres con la misma disposición, pero iluminando todos ellos simultáneamente y realizando una correspondencia multipunto. En este caso, si se desea facilitar los algoritmos de correspondencia e identificar rápidamente cada par, los láseres pueden alternar de color (rojo, verde, azul, etc.), o bien ser del mismo color pero de diferente potencia, para que el diferente brillo de cada spot permita discriminarlos por intensidad.

Finalmente, el láser de línea puede ir instalado en la mano del brazo robótico en lugar de integrado en la plataforma pan-tilt. En ese caso el apuntamiento se controla orientando adecuadamente el brazo. El encendido puede realizarse en el momento que se desee (por ejemplo, se puede guiar primero el brazo hacia los frutos y encender el láser cuando la mano esté próxima).

Breve descripción de los dibujos

Fig.1 Elementos principales del sistema de visión. Las dos cámaras CCD (1) apuntan a la zona donde están los frutos (5) para captar la escena y la matriz de láseres puntuales (2) y el láser de línea (4), montados sobre la plataforma orientable (3), se apuntarán hacia la zona indicada en cada caso.

Fig.2 Vista esquemática del vehículo (8) sobre el que se colocará el sistema de visión (compuesto por las cámaras (1), la plataforma orientable (3), la matriz de láseres puntuales (2) y el láser de línea (4)) y el brazo robótico (6) dotado de un terminal prensil-cortador (7), que se encargará de recolectar los frutos que indique el sistema de visión. El vehículo lleva adosado un remolque con bandejas (9) donde se depositarán los frutos recolectados.

Fig.3 Vista esquemática en perspectiva del movimiento del vehículo (8) sobre los raíles (10) de la plataforma (11) en relación a la disposición de los frutos a recolectar (5a) y (5b).

Fig.4 Ejemplo de imagen obtenida tras la pre-segmentación y post-procesado en la que se observan varios "blobs" (12) de distinto tamaño. Se indican los puntos centroide (13), superior (14), inferior (15), derecho (16) e izquierdo (17) de cada uno de ellos, a partir de los cuales se estima su tamaño.

Fig.5 Ejemplo de la retícula de puntos (18) que proyecta la matriz de láseres sobre una agrupación (19) de frutos en racimo.

Fig.6 Vista esquemática en perspectiva del fundamento de operación del láser de línea. La luz en abanico (23) emitida por el láser de línea (4) que es interceptada por el pedúnculo (22) genera un punto aislado (21) sobre éste.

Fig.7 Perfil (a) y alzado (b) de la iluminación en sucesivos ángulos de elevación que realiza el láser de línea (4). Se indica la traza de puntos (24) que produce en cada pedúnculo este procedimiento.

Fig.8 Esquema de la caja (25) en la que se coloca la matriz de láseres (2) y el láser de línea (4) en un modo de realización.

Fig.9 Esquema del brazo robótico (6) en el que se muestran los accesorios terminales de agarre (26) y corte (27).

Fig.10 Ejemplo de disposición posible en el interior del vehículo (8). En él se sitúan la unidad controladora del brazo (28), los alimentadores de las cámaras (29), las controladoras de las plataformas (30), el PC de control (31) con el panel de selección de parámetros, compuesto por el propio teclado (32) del ordenador y una pantalla TFT plana abatible convencional (33), y el cableado (34).

Fig.11 Esquema de interconexiones e intercambio de señales entre los distintos bloques del sistema.

Exposición de un modo de realización

Todos los elementos necesarios para realizar esta invención están disponibles, comercialmente listos para ser integrados; los algoritmos necesarios para realizar las operaciones de visión pueden codificarse siguiendo las instrucciones detalladas en la sección anterior. Los algoritmos para controlar los movimientos del brazo robótico están disponibles en la literatura abierta como métodos de cinemática inversa para controlar robots de varios grados de libertad y es común además que los suministre el propio fabricante.

Como ejemplo de modo de realización concreta de la invención se tomará el caso de sistema de visión compuesto sólo por dos cámaras dispuestas para realizar la visión lateral con respecto a la línea de movimiento del vehículo y montadas sobre una plataforma giratoria con capacidad de girar sobre sí misma 180º para que las cámaras puedan realizar la visión lateral en la línea opuesta. En esta realización, la recolección se realiza primero en una línea de cultivo desde un lado del invernadero (principio) al otro (final). Luego, girando las cámaras, en el camino de vuelta (de final a principio), se realiza la recolección en la línea opuesta.

Los láseres (los puntuales y el de línea) se pueden elegir entre los abundantes disponibles comercialmente. Una opción recomendable es seleccionarlos en una longitud de onda próxima a 650 nm, por su bajo coste. Los láseres, encapsulados con su lente en un dispositivo cilíndrico, se disponen en forma de matriz como se indica a modo de ilustración en la Fig. 8, en la que aparecen dispuestos en una geometría de 3 filas y 7 columnas (21 láseres de spot). Se hace notar que la configuración de láseres debe elegirse en función de las características de cultivo y en especial en función del tamaño máximo de los racimos de frutos. La matriz de láseres (2) se dispone en una caja (25), en la que se puede alojar también el láser de línea (4). Los láseres se controlan individualmente con la lógica de encendido/apagado, que no es más que una lógica que alimenta o no a cada uno de los láseres, según indique el control central del PC.

La caja con la matriz de láseres va fijada sobre una plataforma pan-tilt controlada mediante interfaz RS232 desde el PC de control sincronizadamente con el resto del sistema de visión.

El vehículo, con el remolque adosado que transporta el sistema de bandejas, se dispone sobre los rieles de la plataforma. El vehículo se desplaza longitudinalmente, recolectando los frutos sobre la plataforma, del modo indicado más arriba.

El movimiento se realiza por la acción de un servomotor que actúa de forma convencional sobre el sistema de tracción del vehículo y cuyo desplazamiento en cada paso se determina por el campo de visión de las cámaras elegidas, de manera que en la posición siguiente la visión de las cámaras sea adyacente a la anterior. La orden de movimiento la da el PC de control, a través de la controladora del servomotor, en el momento en que se termina la recolección de cada escena. Al final del pasillo de recolección, se dispone un simple interruptor que se activa al ser alcanzado por una de las ruedas del vehículo, indicando que ha alcanzado el final del pasillo e invirtiendo el sentido del movimiento del vehículo y girando 180º la plataforma de las cámaras. La operación de recolección se realiza entonces en la línea de cultivo gemela en la dirección contraria hasta que el vehículo alcanza el principio del invernadero.

Es evidente que la filosofía de movimiento entre las hileras puede ejecutarse de varias formas dependiendo de la geometría del invernadero.

En la parte superior del vehículo se dispone la plataforma giratoria con las cámaras paralelas, y con el ángulo de elevación necesario para que capten las escenas de recolección. La plataforma pan-tilt sobre la que va fijada la matriz de láseres y el láser de línea se dispone de forma que sea capaz de ser dirigida a un lado o al otro.

Puesto que las plataformas pan-tilt comerciales suelen tener una capacidad de giro acimutal limitada (por ejemplo, de +-160º), se ha de disponer de manera que el sector angular ciego, al que no se pueden dirigir los láseres, no coincida con las zonas de recolección.

De la misma manera, el brazo o dispositivo robótico debe disponerse de manera que la región accesible por el extremo (mano con elementos terminales) incluya las zonas de recolección a ambos lados del vehículo y la zona de la bandeja receptora de frutos en el vehículo portabandejas.

El brazo (6), como muestra la Fig. 9, lleva en su extremo los accesorios de agarre (26) y 15 corte (27), que se controlan independientemente. El dispositivo prensil agarra primero el pedúnculo de la fruta en el punto indicado por el sistema de visión, a 10-15 mm de la fruta aproximadamente. El dispositivo de corte corta inmediatamente el pedúnculo a 10 mm. por encima. La fruta es transportada por el dispositivo prensil del brazo y depositada en la bandeja o cesta receptora.

En el interior del vehículo se disponen del modo que mejor convenga a su geometría (ver una posible disposición en Fig. 10): la unidad controladora del brazo (28), los alimentadores de las cámaras (29), las controladoras de las plataformas (30), el PC de control (31) con el panel de selección de parámetros, que en esta realización se elige que sea el propio teclado (32) del ordenador y una pantalla TFT plana abatible convencional (33), y el cableado (34).

Las interconexiones e intercambio de señales entre los bloques de la realización se realizan como se indica a continuación (ver Fig. 11):

Cada una de las cámaras se conecta, a través de un cable coaxial RG-58-U a la correspondiente tarjeta capturadora de imágenes comercial (tipo frame-grabber), encargada de digitalizar las imágenes y transferirlas a la memoria del PC a través del bus PCI, comandada por el programa principal.

La plataforma encargada de orientar los láseres es una pan-tilt (azimut-elevación) comercial con precisión mejor que una décima de grado, capacidad de giro en elevación de entre -45 y +30º y en azimut de +-160º, lo que permite orientarla a ambos lados de visión. El control de movimiento se realiza desde el PC a través de interfaz RS232, comunicando las coordenadas del movimiento deseado a la controladora de la unidad.

El manipulador puede ser un brazo articulado vertical de cinco grados de libertad, con repetibilidad de movimientos mejor que +-0.02 mm. Sus movimientos se determinan por la unidad controladora, para acceder a las coordenadas indicadas por el PC a través de ethernet TCP/IP o a través del puerto serie. El brazo se monta con una base de elementos terminales standard ISO 9409, sobre la que se fijan los dos elementos terminales, que se pueden actuar eléctricamente o neumáticamente a través del propio brazo, por la controladora que ejecuta las órdenes dadas desde el programa de control en el PC. Los elementos terminales son: una pinza con dedos paralelos y un dispositivo de corte comerciales compatibles con ISO 9409.

Los láseres se controlan desde el programa principal a través del puerto paralelo o de una tarjeta PCI generadora de señales (tantas como láseres), que se encarga de alimentar individualmente a los láseres en el momento preciso.

Aplicación industrial

La invención tiene aplicación industrial inmediata usada como sistema de recolección de frutos pequeños cultivados en hileras. Es especialmente adecuado para la recolección automatizada en invernaderos de frutos cultivados en estructuras regulares, en los que un sistema de visión guía al sistema robótico, que realiza las tareas de aprehensión, corte y depósito del fruto en el lugar deseado. La invención permite designar eficazmente la posición 3-D precisa del punto al que guiar el mecanismo terminal, que asirá el pedúnculo de una fruta madura y lo cortará por encima a la distancia prefijada, distinguiéndolo de los pedúnculos de otras frutas próximas que no se deben cortar.

Claims (4)

1. Sistema de visión artificial estereoscópica para guiado preciso de manipulador robótico para detectar, localizar y recolectar pequeños frutos, que pueden crecer agrupados en racimos, con capacidad para aislar y determinar la posición de cada fruto, y de un punto de su pedúnculo hacia el que se guiará el manipulador robótico, caracterizado por:

\bullet

diferenciar y localizar los frutos individuales en los racimos o grupos a partir de la reconstrucción tridimensional de los spots o marcas proyectadas en el racimo por un conjunto de láseres ópticos puntuales dispuestos en matriz, y

\bullet

detectar con precisión los pedúnculos a partir de las marcas generadas sobre ellos por los haces en abanico proyectados por un láser óptico de línea orientado en sucesivos ángulos de elevación.

2. Sistema según reivindicación 1, caracterizado porque las proyecciones láser se consiguen deflectando un puntero láser, según el patrón prefijado, para generar la matriz de spots.

3. Sistema según reivindicación 1, caracterizado porque los spots se generan con láseres de diferente longitud de onda o con láseres de diferente poten-
cia.

4. Sistema según reivindicaciones 1, 2 ó 3, para utilizarse en la recolección de fresas u otras pequeñas frutas delicadas cultivadas en hileras en alto, como en los cultivos hidropónicos en invernaderos, dotado de un dispositivo robótico con pinzas de agarre y corte, instalado sobre un vehículo deslizante, con contenedor adosado con bandejas para depositar la fruta, que realiza, en cada pasillo, la recolección en los dos sentidos de movimiento longitudinal, usando o bien dos pares de cámaras o bien sólo un par con capacidad de girar 180º acimutalmen-
te.