ES2914630T3 - Sistema y método para la operación autónoma de maquinaria pesada - Google Patents

Sistema y método para la operación autónoma de maquinaria pesada Download PDF

Info

Publication number
ES2914630T3
ES2914630T3 ES19207829T ES19207829T ES2914630T3 ES 2914630 T3 ES2914630 T3 ES 2914630T3 ES 19207829 T ES19207829 T ES 19207829T ES 19207829 T ES19207829 T ES 19207829T ES 2914630 T3 ES2914630 T3 ES 2914630T3
Authority
ES
Spain
Prior art keywords
heavy machinery
site
camera
images
current position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19207829T
Other languages
English (en)
Inventor
Tzach Ram-On
Mor Ram-On
Gil Avraham Weiss
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intsite Ltd
Original Assignee
Intsite Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intsite Ltd filed Critical Intsite Ltd
Application granted granted Critical
Publication of ES2914630T3 publication Critical patent/ES2914630T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/085—Taking automatic action to adjust vehicle attitude in preparation for collision, e.g. braking for nose dropping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063—Automatically guided
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C19/00—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
    • E01C19/004—Devices for guiding or controlling the machines along a predetermined path
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2041—Automatic repositioning of implements, i.e. memorising determined positions of the implement
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2045—Guiding machines along a predetermined path
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/17—Construction vehicles, e.g. graders, excavators

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Jib Cranes (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

Un sistema (100) para la operación autónoma de maquinaria pesada (50), que comprende: al menos una cámara (110), configurada para acoplarse a la maquinaria pesada o para ubicarse en otro lugar en un lugar que permita que la cámara capture imágenes de al menos una porción móvil (56) de la maquinaria pesada y al menos una porción de un sitio en el que opera la maquinaria pesada caracterizado por un controlador (120) configurado para: recibir de la al menos una cámara al menos dos imágenes de la porción al menos móvil de la maquinaria pesada y la porción del sitio; determinar una posición actual (320) de la porción móvil de la maquinaria pesada y una carga transportada por la porción móvil; recibir una posición de destino (330) de la porción móvil de la maquinaria pesada y la carga; identificar ubicaciones y dimensiones de objetos (310) ubicados en un área del sitio que comprende la posición actual y la posición de destino en base al análisis de al menos dos imágenes recibidas; calcular una trayectoria (300) para al menos la porción móvil de la maquinaria pesada y la carga desde la posición actual hasta la posición de destino, para evitar la colisión de al menos uno de: la porción móvil de la maquinaria pesada y la carga con cualquiera de los objetos; y mover de forma autónoma al menos la porción móvil de la maquinaria pesada a lo largo de la trayectoria calculada.

Description

DESCRIPCIÓN
Sistema y método para la operación autónoma de maquinaria pesada
Campo técnico de la invención
Esta invención se relaciona en general con la operación y control de maquinaria pesada y más particularmente con una operación y control autónomo de maquinaria pesada y monitoreo automático de parámetros relacionados con la operación y control de maquinaria pesada.
Antecedentes de la invención
La operación de maquinaria pesada, tal como: grúas; bulldozers; excavadoras; retroexcavadoras; camiones; carretillas elevadoras; y similares, en una construcción abarrotada y empacada u otros sitios es muy desafiante. Los métodos de operación actuales dependen en gran medida de la profesionalidad del operador que maneja la maquinaria pesada o del señalero (también conocido como "dogger", "rigger" o "swamper") que dirige al operador. Por ejemplo, para dirigir una grúa en un sitio de construcción, al menos dos personas diferentes deben comunicarse entre sí (por ejemplo, por medios de comunicación inalámbrica) el operador y un señalero. Además, los hombres que cargan y descargan la grúa también deben estar incluidos en la sesión de comunicación. Por lo tanto, el señalero debe dirigir al operador desde el punto de carga hasta el punto de descarga evitando la colisión con otros objetos, edificios o personas en el sitio. Esta forma de operación manual requiere mucho tiempo, es peligrosa y está sujeta a muchos errores humanos.
Un ejemplo para la navegación autónoma de una máquina industrial se proporciona en el documento EP 2187166. La máquina industrial tiene una unidad principal, un implemento de trabajo instalado en la unidad principal y dos cámaras, cada una montada en una posición conocida con respecto a un centro de máquina de la unidad principal. Se instalan al menos tres objetivos en el implemento de trabajo para que los objetivos estén dentro del campo visual de cada una de las dos cámaras. Un procesamiento aritmético extrae las imágenes de al menos tres blancos comunes a las imágenes de las imágenes estereoscópicas tomadas por las dos cámaras, para obtener una posición tridimensional de cada imagen del objetivo, y para calcular una posición y una postura del implemento con respecto a la unidad principal de la máquina industrial en base a la posición tridimensional obtenida.
Otro ejemplo de navegación autónoma de una máquina industrial se proporciona en el documento WO 2017/120336. Se proporcionan sistemas y métodos para navegar un vehículo autónomo mediante el uso de técnicas de aprendizaje por refuerzo. En una implementación, un sistema de navegación para un vehículo anfitrión puede incluir al menos un dispositivo de procesamiento programado para: recibir, desde una cámara, una pluralidad de imágenes representativas de un entorno del vehículo anfitrión; analizar la pluralidad de imágenes para identificar un estado de navegación asociado con el vehículo anfitrión; proporcionar el estado de navegación a un sistema de navegación entrenado; recibir, desde el sistema de navegación entrenado, una acción de navegación deseada para que la ejecute el vehículo anfitrión en respuesta al estado de navegación identificado; analizar la acción de navegación deseada relativa a una o más restricciones de navegación predefinidas; determinar una acción de navegación real para el vehículo anfitrión, en donde la acción de navegación real incluye al menos una modificación de la acción de navegación deseada determinada en base a una o más restricciones de navegación predefinidas; y provocar al menos un ajuste de un accionador de navegación del vehículo anfitrión en respuesta a la acción de navegación real determinada para el vehículo anfitrión.
Por lo tanto, existe la necesidad de un sistema automatizado y autónomo para la operación de maquinaria pesada que sea más seguro y rápido.
Resumen de la invención
La invención está dirigida a un sistema para la operación autónoma de maquinaria pesada. El sistema incluye al menos una cámara, configurada para acoplarse a la maquinaria pesada o para ubicarse en otro lugar en una ubicación que permita que la cámara capture imágenes de al menos una porción móvil de la maquinaria pesada y al menos una porción de un sitio en que opera la maquinaria pesada; y un controlador configurado para: recibir desde la al menos una cámara al menos dos imágenes de dicha porción al menos móvil de la maquinaria pesada y la porción del sitio; determinar una posición actual de dicha porción al menos móvil de la maquinaria pesada; recibir una posición de destino de dicha porción al menos móvil de la maquinaria pesada; identificar ubicaciones y dimensiones de objetos ubicados en un área del sitio que comprende la posición actual y la posición de destino en base al análisis de al menos dos imágenes recibidas; calcular una trayectoria para dicha porción al menos móvil de la maquinaria pesada desde la posición actual hasta la posición de destino, para evitar la colisión de dicha porción al menos móvil de la maquinaria pesada con cualquiera de los objetos; y mover automáticamente dicha porción al menos móvil de la maquinaria pesada a lo largo de la trayectoria calculada.
En modalidades preferidas, determinar al menos una de la posición actual y la posición de destino puede incluir recibir la posición desde al menos uno de: un sistema de posicionamiento, un puntero de rayo láser y una base de datos que comprende un modelo digital del sitio. En algunas modalidades, determinar al menos una de la posición actual y la posición de destino comprende calcular al menos una de la posición actual y las posiciones de destino a partir de las imágenes recibidas.
En algunas modalidades, el controlador se puede configurar además para: recibir desde la al menos una cámara una pluralidad de imágenes de la trayectoria durante el movimiento de la maquinaria pesada; identificar al menos uno de: ubicaciones y dimensiones adicionales de objetos ubicados a lo largo de la trayectoria; y cambiar la trayectoria en función de al menos uno de: ubicaciones y dimensiones adicionales identificadas.
En modalidades preferidas, las ubicaciones y dimensiones adicionales de los objetos pueden incluir al menos una de: nuevas ubicaciones de objetos ya identificados y ubicaciones y dimensiones de nuevos objetos. En algunas modalidades, el sistema puede incluir además uno o más sensores, en algunas modalidades, el uno o más sensores se seleccionan de un grupo que consta de: Sensor de detección de luz y alcance (LIDAR), Sistema de navegación por satélite global (GNSS), Unidad de Medición Inercial (IMU), barómetro, detector de RF, detector láser, sensor ultrasónico, micrófono, sensor de temperatura y humedad, acelerómetro, giroscopio, cámara IR, cámara estéreo, codificadores, sensor de proximidad, potenciómetro de baliza, sensor de inclinación y similares.
En modalidades preferidas, calcular una trayectoria puede incluir: calcular márgenes de seguridad entre los objetos y dicha porción al menos móvil de dicha maquinaria pesada y su carga. En algunas modalidades, el cálculo de una trayectoria puede incluir: recibir datos adicionales: los datos adicionales pueden incluir al menos uno de: dimensiones de una carga transportada por dicha porción al menos móvil de dicha maquinaria pesada, dimensiones de la maquinaria pesada, requisitos reglamentarios, requisitos de seguridad, condiciones ambientales y modelo digital del sitio; y calcular la trayectoria en base a los datos adicionales.
En modalidades preferidas, calcular una trayectoria para la maquinaria pesada desde la posición actual hasta la posición de destino puede incluir: calcular dicha trayectoria que puede reducir el tiempo de viaje de la carga desde la posición actual hasta la posición de destino. En algunas modalidades, el sistema puede incluir además un módulo de comunicación para comunicarse con: al menos uno de: el procesador de la maquinaria pesada, los actuadores de la maquinaria pesada y el dispositivo informático externo.
La invención también está dirigida a un método para la operación autónoma de maquinaria pesada, el método incluye las etapas de: recibir de al menos una cámara al menos dos imágenes de al menos una porción móvil de una maquinaria pesada y al menos una porción de un sitio, en donde la al menos una cámara se configura para acoplarse a la maquinaria pesada o para ubicarse en otro lugar en un lugar que permita a la cámara capturar imágenes de dicha porción al menos móvil de la maquinaria pesada y al menos la porción de un sitio en donde se opera la maquinaria pesada; determinar una posición actual de dicha porción al menos móvil de la maquinaria pesada; determinar una posición de destino de dicha porción al menos móvil de la maquinaria pesada; identificar ubicaciones y dimensiones de objetos ubicados en un área del sitio incluye la posición actual y la posición de destino en base al análisis de al menos dos imágenes recibidas; calcular una trayectoria para dicha porción al menos móvil de la maquinaria pesada desde la posición actual hasta la posición de destino, para evitar la colisión de la maquinaria pesada con cualquiera de los objetos; y mover de forma autónoma dicha porción al menos móvil de la maquinaria pesada a lo largo de la trayectoria calculada.
En modalidades preferidas, el cálculo de la trayectoria puede incluir la determinación de la velocidad y/o aceleración a la que se puede mover la carga a lo largo de la trayectoria. En algunas modalidades, al menos uno de: la trayectoria, la velocidad y la aceleración pueden calcularse además para reducir las vibraciones o fluctuaciones de dicho objeto al menos móvil. En algunas modalidades, al menos uno de: la trayectoria, la velocidad y la aceleración pueden calcularse además para reducir el tiempo de viaje de la carga a lo largo de la trayectoria.
En modalidades preferidas, determinar al menos una de la posición actual y la posición de destino puede incluir recibir la posición desde al menos uno de: un sistema de posición, un puntero de rayo láser y una base de datos que comprende un modelo digital del sitio. En algunas modalidades, determinar al menos una de la posición actual y la posición de destino comprende calcular al menos una de la posición actual y las posiciones de destino a partir de las imágenes recibidas. En algunas modalidades, recibir desde la al menos una cámara una pluralidad de imágenes de la trayectoria durante el movimiento de la maquinaria pesada; identificar al menos uno de: ubicaciones y dimensiones adicionales de objetos ubicados a lo largo de la trayectoria; y cambiar la trayectoria en base a al menos una de: ubicaciones y dimensiones adicionales identificadas. En algunas modalidades, las ubicaciones y dimensiones adicionales de los objetos incluyen al menos una de: nuevas ubicaciones de objetos ya identificados y ubicaciones y dimensiones de nuevos objetos. En algunas modalidades, el método puede incluir además el cálculo de márgenes de seguridad entre los objetos y dicha porción al menos móvil de la maquinaria pesada.
Breve descripción de los dibujos
El objeto considerado como la invención se señala en particular y se reivindica claramente en la porción final de la especificación. Sin embargo, la invención, tanto en cuanto a la organización como al método de operación, junto con los objetos, las características y las ventajas de la misma, puede entenderse mejor con referencia a la siguiente descripción detallada cuando se lee con los dibujos adjuntos en los que:
La Figura 1 es un diagrama de bloques de alto nivel de un sistema para la operación autónoma de maquinaria pesada de acuerdo con algunas modalidades de la invención;
La Figura 2 es un diagrama de flujo de un método de operación autónoma de maquinaria pesada de acuerdo con algunas modalidades de la invención; y
La Figura 3 es una ilustración de una trayectoria calculada para mover la maquinaria pesada de acuerdo con algunas modalidades de la invención.
Se apreciará que, por simplicidad y claridad de la ilustración, los elementos que se muestran en las figuras no se han dibujado necesariamente a escala. Por ejemplo, las dimensiones de algunos de los elementos pueden exagerarse con relación a otros elementos para mayor claridad. Además, cuando se considere apropiado, los números de referencia pueden repetirse entre las figuras para indicar elementos correspondientes o análogos. Descripción detallada de la presente invención
En la siguiente descripción detallada, se exponen numerosos detalles específicos para proporcionar una comprensión completa de la invención. Sin embargo, los expertos en la técnica entenderán que la presente invención puede practicarse sin estos detalles específicos. En otros casos, los métodos, procedimientos y componentes bien conocidos no se han descrito en detalle para no oscurecer la presente invención.
Algunos aspectos de la invención pueden estar dirigidos a un sistema y método de operación y control autónomos de maquinaria pesada. Como se usa en la presente descripción, la maquinaria pesada de acuerdo con las modalidades de la invención puede incluir todos los vehículos/máquinas de servicio pesado, especialmente diseñados para ejecutar tareas, por ejemplo, tareas de construcción, tareas de carga, tareas de descarga, tareas de perforación, tareas de excavación, tareas de transporte, tareas que incluyen operaciones de movimiento de tierras y similares. Por ejemplo, la maquinaria pesada puede incluir: tractores; grúas; bulldozers; excavadoras; carretillas elevadoras retroexcavadoras; y similares. Algunas modalidades de la invención pueden estar dirigidas a maquinaria pesada que se configura para moverse y maniobrar en un sitio. Tal como se usa en la presente descripción, la palabra "sitio" puede referirse a cualquier sitio que pueda requerir el uso de maquinaria pesada, por ejemplo, un sitio de construcción, una mina, un puerto, almacenes logísticos, sitios agrícolas, un aeropuerto, un proyecto de ingeniería civil y similares.
Un sistema y método de acuerdo con las modalidades de la invención pueden permitir la operación completamente automatizada de la maquinaria pesada, por ejemplo, en el sitio, mediante el uso de métodos de visión artificial, inteligencia artificial (IA), aprendizaje automático (ML) y aprendizaje profundo (DL). El sistema puede recibir dos o más imágenes que incluyan al menos una porción móvil de la maquinaria pesada y al menos una porción de un sitio en el que se opera la maquinaria pesada, de manera que el sistema pueda identificar la ubicación de dicha porción al menos móvil de la maquinaria pesada en el sitio. Después de determinar la ubicación actual (por ejemplo, el punto de carga de la carga), el sistema puede recibir una posición de destino (por ejemplo, el punto de descarga de la carga) y calcular una trayectoria para dicha porción al menos móvil de la maquinaria pesada desde la posición de carga hasta la posición de descarga.
En algunas modalidades, la trayectoria calculada puede tener en cuenta tanto objetos estacionarios como objetos móviles ubicados en el sitio. El sistema puede controlar automáticamente al menos la porción móvil de la maquinaria pesada, por ejemplo, comunicándose con el controlador de maquinaria pesada y/o actuadores para mover (su porción móvil) a lo largo de la trayectoria calculada. En algunas modalidades, el sistema puede inspeccionar continuamente los objetos móviles (por ejemplo, personas, equipo en movimiento, etc.) en el sitio, durante el movimiento de la maquinaria pesada, para decidir si se debe calcular una nueva trayectoria. En algunas modalidades, la trayectoria calculada puede además tener en cuenta requisitos adicionales, tales como: reducir el tiempo de viaje de las cargas, reducir las vibraciones de la carga durante el viaje y similares. Estas consideraciones pueden aumentar la eficiencia general del proceso de construcción. El sistema y el método automatizados y autónomos de acuerdo con algunas modalidades de la invención pueden permitir horas de operación ilimitadas, por lo que pueden aumentar aún más la eficiencia del proceso de construcción.
Ahora se hace referencia a la Figura 1, que es un diagrama de bloques de alto nivel de un sistema para el operación autónoma de maquinaria pesada de acuerdo con algunas modalidades de la invención. Un sistema 100 para operación autónoma de maquinaria pesada puede incluir al menos una cámara 110 y al menos un controlador 120. Al menos una cámara 110 se puede configurar para acoplarse a una maquinaria pesada 50 en una ubicación que permita que la cámara 110 capture imágenes de al menos una porción móvil 56 de la maquinaria pesada 50 y al menos una porción de un sitio en el que la maquinaria pesada 50 está en operación. Adicional o alternativamente, la cámara 110 puede estar ubicada en otro lugar (por ejemplo, en el sitio) lo que puede permitir que la cámara 110 capture imágenes de al menos una porción móvil 56 de la maquinaria pesada 50 y al menos una porción de un sitio en el que se encuentra operando la maquinaria pesada 50, por ejemplo, la cámara 110 se puede ubicar en un dron que vuela sobre maquinaria pesada 50. La cámara 110 puede ser cualquier dispositivo de captura de imágenes, que puede capturar imágenes en tiempo real, en luz visible, infrarrojos o cualquier otra longitud de onda adecuada, por ejemplo, cámara térmica, cámara estéreo, cámara monocular, cámara de profundidad. Al menos una cámara 110 puede capturar imágenes discretas (por ejemplo, únicas) o puede filmar un flujo de imágenes (por ejemplo, un vídeo).
En algunas modalidades, al menos una cámara 110 puede ubicarse en una parte de la maquinaria pesada 50 que puede permitir que la cámara 110 capture al menos una porción del sitio y una porción de al menos la porción móvil de la maquinaria pesada 50 en el mismo marco. Por ejemplo, la cámara se puede unir a la superficie inferior del brazo horizontal de una grúa torre (por ejemplo, una porción estacionaria de la grúa), mirando hacia abajo hacia el sitio mientras captura también al menos una porción de un cable y el gancho que sostiene la carga. En algunas modalidades, se pueden ubicar dos o más cámaras 110 en diferentes ubicaciones (por ejemplo, piezas) en maquinaria pesada 50, por ejemplo, se puede unir una cámara a la superficie inferior de la pluma horizontal de la grúa torre y otra cámara a la mástil de la grúa torre. En algunas modalidades, la cámara se puede conectar a una porción móvil de la maquinaria pesada, por ejemplo, en un carro que se desplaza a lo largo del brazo horizontal. En aun otro ejemplo, al menos una cámara 110 puede estar unida a la parte delantera de un bulldozer o una excavadora, por ejemplo, en la parte superior del bastidor de la cabina del operador. En algunas modalidades, al menos otra cámara 110 se puede ubicar en la parte trasera del bulldozer o la excavadora, para detectar movimientos hacia atrás y/o en los lados del bulldozer o la excavadora (por ejemplo, los lados derecho o izquierdo del marco-cabeza de la cabina del operador).
En algunas modalidades, al menos una cámara 110 puede estar en comunicación (ya sea por cable o inalámbrica) con al menos un controlador 120. El controlador 120 puede incluir un procesador 122 que puede ser cualquier unidad de procesamiento (por ejemplo, un chip) configurada para procesar datos (por ejemplo, imágenes o videos tomados) y ejecutar instrucciones, una memoria 124 para almacenar instrucciones y/o datos y un módulo de comunicación 126 para comunicarse con otros dispositivos. La memoria 124 puede incluir códigos y/o instrucciones de métodos de acuerdo con algunas modalidades de la invención, por ejemplo, un método de operación autónoma de maquinaria pesada. La memoria 124 puede ser un medio legible no transitorio de ordenador o procesador, o un medio de almacenamiento no transitorio de ordenador. En algunas modalidades, el controlador 120 puede estar en comunicación o puede incluir una base de datos 130.
La base de datos 130 puede almacenar datos asociados con el sitio o sitios, por ejemplo, planos bidimensionales (2D) y/o tridimensionales (3D) del sitio (por ejemplo, de los edificios), un Modelado de información de construcción (BIM), imágenes del sitio tomadas previamente (por ejemplo, tomadas, por ejemplo, de la(s) cámara(s) 110, de un dron y similares), datos asociados con la maquinaria pesada 50 (como, por ejemplo, limitaciones de maniobrabilidad, altura, ubicación, alcance, etc.), datos relacionados con la carga (por ejemplo, posiciones de carga y descarga en el sitio, tipo de carga, peso, prioridad, requisitos de manejo, etc.) y similares. En algunas modalidades, el procesador 122, la memoria 124 y/o la base de datos 130 pueden ser servicios de procesamiento y/o almacenamiento basados en la nube.
El módulo de comunicación 126 puede incluir cualquier módulo o módulos para comunicación inalámbrica y por cable con, al menos, una cámara 110, un procesador 52 que controla maquinaria pesada 50, base de datos 130 o cualquier otro dispositivo computarizado externo. El módulo de comunicación 126 puede incluir una tarjeta de interfaz de red (NIC) cableada y/o inalámbrica. En algunas modalidades, la integración/comunicación entre el módulo de comunicación 126 del sistema 100, el módulo de comunicación 54 de la maquinaria pesada 50 y/o cualquier dispositivo externo (por ejemplo, un dron que lleva una cámara) puede lograrse mediante el uso de cualquier tipo de conexión remota, por ejemplo, cualquier protocolo de radiofrecuencia (RF) conocido. Por ejemplo, si la maquinaria pesada 50 incluye un procesador/controlador controlable como el procesador 54, el sistema 100 puede usar cualquier protocolo de reprogramación conocido para reprogramar (por ejemplo, hacerse cargo) del procesador 54, mediante el uso de PLC, CAN y similares. En algunas modalidades, si la maquinaria pesada 50 no incluye un procesador/controlador controlable, se puede ensamblar un módulo programable y conectarlo eléctricamente directamente a la unidad de control eléctrico de los motores (PLC/CAN-ECU) o al tablero de potencia de la maquinaria pesada 50, entre la red eléctrica y la placa de alimentación. El módulo programable puede estar en comunicación con el módulo de comunicación 126 y puede recibir instrucciones del procesador 122.
En algunas modalidades, el sistema 100 puede incluir además o estar en comunicación con uno o más sensores 112 y/o 114 para proporcionar datos adicionales adquiridos desde el sitio al controlador 120. Uno o más sensores 112 y/o 114 pueden ubicarse o unirse a maquinaria pesada 50 o en cualquier otro lugar del sitio. En algunas modalidades, uno o más sensores 112 y/o 114 pueden ubicarse o conectarse a diferentes dispositivos asociados con el sitio, por ejemplo, un dron que vuela sobre el sitio. Se pueden seleccionar uno o más sensores 112 y/o 114 de un grupo que consta de: sensor de detección de luz y medición de distancia (LIDAR), sistema global de navegación por satélite (GNSS), unidad de medición inercial (IMU), barómetro, detector de RF, detector láser, Sensor ultrasónico, micrófono, sensor de temperatura y humedad, acelerómetro, giroscopio, cámara IR, cámara estéreo, baliza (usando etiquetas RFID, Bluetooth, BLE, NFC y similares), potenciómetro, sensor de inclinación, codificadores, sensor de proximidad y similares.
La maquinaria pesada (50) incluye al menos una porción móvil 56 (por ejemplo, con respecto a otras partes de la maquinaria pesada 50), por ejemplo, en una grúa torre la porción al menos móvil puede incluir: una unidad de giro, el brazo horizontal, un cabrestante de polipasto, los cables y el gancho. En algunas modalidades, la maquinaria pesada 50 puede incluir partes estacionarias (no ilustradas), configuradas para soportar la porción móvil, por ejemplo, la base y el mástil de una grúa torre.
En algunas modalidades, la maquinaria pesada 50 puede incluir un módulo de comunicación 54 para comunicarse de forma inalámbrica con el sistema 100, por ejemplo, a través del módulo de comunicación 126. Por ejemplo, el módulo de comunicación 54 puede incluir un transmisor o módem celular, una unidad de comunicación Wi-Fi, una unidad de comunicación por satélite o similar para comunicarse con dispositivos remotos a través de una red de comunicación, como, por ejemplo, Internet. En algunas modalidades, el módulo de comunicación 54 puede incluir una unidad de interfaz para comunicarse con el procesador 52 de la maquinaria pesada 50.
En algunas modalidades, el sistema 100 puede incluir una interfaz hombre-máquina (HMI), por ejemplo, por razones reglamentarias, como monitoreo, servidumbres de desempeño en tiempo real, toma de control manual y más; ya sea por solicitud del usuario o por necesidades de mantenimiento. En algunas modalidades, la HMI puede basarse en uno o más de: dispositivo de realidad aumentada\virtual (AR\VR), pantalla táctil, reconocimiento de gestos, comando vocal (por ejemplo, procesamiento de lenguaje natural) y similares.
Ahora se hace referencia a la Figura 2, que es un diagrama de flujo de un método de operación autónoma de maquinaria pesada de acuerdo con algunas modalidades de la invención. El método de la Figura 2 puede ser ejecutado por el controlador 120 del sistema 100 o por cualquier otro controlador adecuado. En la etapa 210, el controlador puede recibir de al menos una cámara al menos dos imágenes, incluyendo cada una de las al menos dos imágenes la porción al menos móvil de la maquinaria pesada y la porción del sitio. Por ejemplo, el controlador 120 puede recibir de la cámara 110 situada en la superficie inferior del brazo horizontal, de una grúa torre, dos imágenes diferentes, incluyendo cada una al menos el gancho (y opcionalmente también la carga) y dos vistas diferentes del sitio. En otro ejemplo, la cámara 110 ubicada en el marco de la cabeza de la cabina del operador de un bulldozer puede capturar al menos dos imágenes diferentes, cada una de las cuales incluye la cuchilla del bulldozer y una porción del sitio, por ejemplo, cambiando el ángulo desde el cual la cámara captura las imágenes. En aun otro ejemplo, la cámara 110 ubicada en la parte superior del marco de la cabina del operador de una excavadora puede capturar al menos dos imágenes diferentes, cada una de las cuales incluye la pluma de la excavadora y una porción del sitio. En algunas modalidades, la cámara 110 ubicada en un dron puede proporcionar al menos dos imágenes diferentes, cada una de las cuales incluye la pluma de una excavadora y una porción del sitio, por ejemplo, al cambiar la posición del dron.
Alternativamente, las dos imágenes pueden recibirse desde dos cámaras 110 ubicadas en dos ubicaciones diferentes en la maquinaria pesada, proporcionando de esta manera imágenes desde dos ángulos diferentes que pueden permitir la formación de un modelo 3D de la porción móvil 54 y sus alrededores en el sitio.
En la etapa 220, el controlador puede determinar una posición actual de la porción móvil de la maquinaria pesada. En algunas modalidades, el controlador 120 puede determinar la posición actual a partir del análisis de las dos imágenes recibidas, mediante el uso de cualquier método de análisis de imágenes conocido, por ejemplo, localización y mapeo simultáneos (SLAM) y detección de puntos clave, o unir imágenes superpuestas mientras se realizan las acciones necesarias de escalado y rotación, para que las imágenes se mezclen sin problemas. Además, o alternativamente, la posición actual puede recibirse o determinarse mediante el uso de otros sensores (por ejemplo, los sensores 112 y 114), por ejemplo, la posición actual puede ser coordenadas GNSS, puede determinarse mediante el uso de un LIDAR y similares. En algunas modalidades, la posición actual de la maquinaria pesada (y/o la ubicación de la porción móvil o parte de la maquinaria pesada) puede ser la posición inicial para cargar la carga. En algunas modalidades, la posición inicial puede ser diferente de la posición actual y el sistema 100 puede controlar la maquinaria pesada 50 (y/o la porción móvil de la misma) para moverse a la posición inicial. En algunas modalidades, la posición inicial se puede recibir, desde una interfaz de usuario (por ejemplo, una HMI), automáticamente desde un programa informático para la gestión de sitios y similares. La posición inicial puede recibirse, por ejemplo, como coordenadas GNSS, una ubicación en un modelo 3D del sitio, ya sea generada por el sistema 100 (por ejemplo, a partir de las imágenes) y/o recibida desde una base de datos (por ejemplo, la base de datos 130) y similares.
En la etapa 230, el controlador puede recibir una posición de destino para la porción móvil de la maquinaria pesada. En algunas modalidades, la posición de destino puede ser la posición inicial, cuando la maquinaria pesada 50 no está en la posición inicial para cargar la maquinaria pesada. Alternativamente, la posición de destino puede ser el destino para proporcionar y descargar la maquinaria pesada cuando la maquinaria pesada ya se encuentra en la posición inicial. La posición de destino puede recibirse a través de una interfaz de usuario, automáticamente desde un programa informático para la gestión de sitios y similares. La posición de destino puede recibirse como, por ejemplo, coordenadas GNSS, una ubicación en un modelo 3D del sitio, ya sea generada por el sistema 100 (por ejemplo, a partir de las imágenes) y/o recibida desde una base de datos (por ejemplo, la base de datos 130) y similares.
En algunas modalidades, el controlador puede recibir además imágenes del sitio que incluyen la ubicación actual, la ubicación de destino y un área entre las dos ubicaciones. En algunas modalidades, la ubicación actual y la ubicación de destino pueden incluirse en una sola imagen. En algunas modalidades, la ubicación actual y la ubicación de destino pueden incluirse en dos imágenes diferentes. En algunas modalidades, el controlador puede generar y/o recibir un modelo 3D del sitio y puede recibir la ubicación actual y la ubicación de destino puede incluirse como ubicaciones en el modelo 3D. De acuerdo con la invención, el controlador (120) recibe datos relacionados con la carga a cargar y transferir mediante la maquinaria pesada 50, por ejemplo, el tipo, el peso, las dimensiones exteriores y similares.
En algunas modalidades, se puede recibir desde un BIM un modelo 3D del sitio en el día actual (por ejemplo, el día laboral en el que se va a mover la carga). El modelo BIM 3D recibido puede actualizarse en función del análisis de al menos una imagen recibida. Las imágenes tomadas del sitio durante el día actual (pueden analizarse y combinarse con el BIM de manera que se tenga en cuenta un estado más preciso de los objetos en el sitio (por ejemplo, un edificio adicional ya construido).
En la etapa 240, el controlador puede identificar ubicaciones y dimensiones de objetos ubicados en un área del sitio que comprende la posición actual y la posición de destino en base al análisis de al menos dos imágenes recibidas. El controlador 120 puede identificar la ubicación y los límites exteriores de todos los objetos ubicados en un área del sitio que comprende la posición actual y la posición de destino. El controlador 120 puede configurarse para recibir imágenes adicionales en tiempo real y además puede identificar cambios en la posición de los objetos, por ejemplo, movimiento de personas, movimiento de otras máquinas o vehículos, reemplazo de cargas y bienes, etc. En algunas modalidades, el controlador 120 determina la posición instantánea y el rumbo de cada objeto en movimiento en tiempo real, para evitar la colisión de la porción móvil 56 con los objetos en movimiento
En algunas modalidades, el controlador 120 puede recibir además datos adicionales de sensores adicionales, como LIDAR para el cálculo de la ubicación y los límites exteriores (por ejemplo, las distancias) entre elementos en la porción relevante del sitio. En aun otro ejemplo, el controlador 120 puede recibir además datos adicionales de un sensor ultrasónico colocado en el gancho de la grúa que puede medir los alrededores cercanos del gancho, a medida que se mueve en el sitio
Ahora se hace referencia a la Figura 3, que es una ilustración de una porción de un sitio que incluye una posición actual 320 (indicada como "inicio") y una posición de destino 330 (indicada como "objetivo") de acuerdo con algunas modalidades de la invención. La porción ilustrada en la Figura 3 incluye varios objetos 310 (por ejemplo, edificios) ubicados en el área del sitio que comprende la posición actual y la posición de destino. El controlador 120 puede proporcionar un mapa/modelo 3D de la porción como se describe en la presente descripción, por ejemplo, mediante el uso de una combinación de BIM y las imágenes y/o la transmisión de video recibidos.
En la etapa 250, el controlador puede calcular una trayectoria para al menos la porción móvil de la maquinaria pesada desde la posición actual hasta la posición de destino, para evitar la colisión de la maquinaria pesada con cualquiera de los objetos, por ejemplo, una trayectoria 300 ilustrada en la Figura 3. La trayectoria puede calcularse para mantener los márgenes de seguridad entre la porción móvil de la maquinaria pesada y los objetos en la porción del sitio.
En algunas modalidades, el cálculo de una trayectoria para la maquinaria pesada puede incluir métodos de geocercas con o sin el uso de la tecnología del Sistema Global de Navegación por Satélite (GNSS). En algunas modalidades, el controlador 112 puede dividir virtualmente el sitio en sectores/áreas, teniendo un requisito común, por ejemplo: zonas "seguras" o zonas "de exclusión aérea" en las que la maquinaria pesada tiene prohibido viajar. Los sectores o áreas se pueden definir por cercas virtuales, definidas a partir de imágenes tomadas por la cámara 110 mediante el uso de métodos de procesamiento de imágenes (basados en visión), o mediante el uso de HMI. Adicional o alternativamente, las cercas virtuales de sectores o áreas pueden definirse a partir de datos recibidos de bacons (por ejemplo, sensores) por ejemplo: RFID marcando obstáculos o los límites de los sectores o áreas.
En algunas modalidades, el cálculo de la trayectoria puede incluir la determinación de la velocidad y/o aceleración a la que se puede mover la carga a lo largo de la trayectoria. En algunas modalidades, la trayectoria, la velocidad y/o la aceleración pueden calcularse para reducir las vibraciones o fluctuaciones de la carga, por ejemplo, vibraciones o fluctuaciones en el cable de la grúa. En tal caso, la carga puede moverse a lo largo de una trayectoria que permita la menor vibración posible del cable. En algunas modalidades, el controlador 120 puede recibir además datos ambientales, como la velocidad y la dirección del viento, y puede calcular además la trayectoria, la velocidad y/o la aceleración en base a los datos ambientales.
En algunas modalidades, la trayectoria, la velocidad y/o la aceleración pueden calcularse para reducir el tiempo de viaje de la carga a lo largo de la trayectoria. En algunas modalidades, tal cálculo puede aumentar la eficiencia del edificio al reducir el tiempo de viaje de las cargas y/o los daños a las cargas producidos debido a vibraciones o fluctuaciones.
En algunas modalidades, calcular una trayectoria para la maquinaria pesada puede incluir recibir datos adicionales. En algunas modalidades, los datos adicionales pueden incluir al menos uno de: dimensiones de una carga transportada por la maquinaria pesada, información relacionada con la maquinaria pesada, requisitos reglamentarios, requisitos de seguridad, condiciones ambientales y modelo digital del sitio. Por ejemplo, las dimensiones de una carga transportada por la maquinaria pesada pueden incluir limitaciones estructurales y físicas, como peso, volumen, forma, área superficial, densidad y similares. Las dimensiones de la carga pueden permitir que el procesador 122 coloque la carga entre obstáculos y objetos de forma segura para evitar colisiones. Las dimensiones de una carga transportada por la maquinaria pesada pueden recibirse del BIM o de un usuario a través del módulo de comunicación 126 o una interfaz de usuario incluida en el controlador 120.
En algunas modalidades, la información relacionada con la maquinaria pesada puede incluir limitaciones estructurales y físicas tales como la dimensión, posición y postura de la máquina, limitaciones e instrucciones de fabricación, por ejemplo, fuerzas y momentos de carga máximos y similares. La información relacionada con la maquinaria pesada puede recibirse de la fabricación de las bases de datos de maquinaria pesada, manuales y similares. En algunas modalidades, el procesador 122 puede calcular la trayectoria teniendo en cuenta las limitaciones de movimiento y tamaño de la maquinaria pesada 50 (por ejemplo, cuál es el radio de giro mínimo de la maquinaria pesada 50).
En algunas modalidades, los requisitos reglamentarios (por ejemplo, la legislación reglamentaria) pueden tenerse en cuenta además al calcular la trayectoria. Por ejemplo, un jardín de infantes cercano al sitio puede requerir una zona de seguridad de varios metros desde las cercas del jardín de infantes en la que no pueda pasar maquinaria pesada o balancear una carga desde arriba.
En algunas modalidades, los requisitos de seguridad, tales como los protocolos de seguridad del sitio (por ejemplo, protocolos de seguridad para operar una mina, protocolos de seguridad para operar un aeropuerto, etc.) pueden tenerse en cuenta adicionalmente al calcular la trayectoria. Por ejemplo, los lugares definidos como "poblados" (por ejemplo, una caravana de trabajadores, una cantina, un centro de asistencia médica, etc.) pueden requerir una zona de seguridad de varios metros desde los límites de dichos lugares poblados por la que no puede pasar maquinaria pesada.
En algunas modalidades, las condiciones ambientales tales como el viento, la humedad y la temperatura también pueden tenerse en cuenta al calcular la trayectoria. En algunas modalidades, el procesador 122 puede determinar la influencia del viento, la lluvia, la humedad y similares en la maniobrabilidad de la maquinaria pesada 50. Por ejemplo, el lodo profundo o el viento fuerte pueden limitar la maniobrabilidad de la maquinaria pesada 50.
En algunas modalidades, el procesador 122 puede recibir el modelo digital del sitio y usar datos del modelo digital, tal como BIM. El procesador 122 puede usar los datos recibidos de los sensores 112 y/o 114 para calcular la trayectoria. Por ejemplo, el procesador 122 puede usar datos del transceptor GNSS para estimar la posición actual de la maquinaria pesada 50.
En la etapa 260, al menos la porción móvil de la maquinaria pesada puede moverse de forma autónoma a lo largo de la trayectoria calculada. En algunas modalidades, el controlador 120 puede comunicarse con el procesador 52 de la maquinaria pesada 50 a través de los módulos de comunicación 126 y 54 para proporcionar al procesador 52 instrucciones sobre dónde mover la maquinaria pesada 50. En algunas modalidades, el controlador 120 y/o el procesador 52 pueden convertir la trayectoria 300 en una serie de instrucciones para los motores y actuadores que proporcionan el movimiento a la porción móvil 56. Esta serie de instrucciones puede convertirse en el movimiento de la porción móvil 56 a lo largo de la trayectoria 300.
Para controlar con seguridad el movimiento de al menos la porción móvil de la maquinaria pesada, el procesador 122 puede tener que volver a calcular o determinar la ubicación de la porción móvil 56 en tiempo real. Por ejemplo, la re determinación de la ubicación de la porción móvil 56 se puede realizar en dos etapas. Una primera etapa puede incluir mapear el sitio mediante el uso de una pluralidad de imágenes tomadas previamente por la cámara 110 o desde otras cámaras en la misma ubicación. El mapeo puede incluir la identificación de objetos estacionarios y el paisaje del sitio. Una segunda etapa puede incluir el hacer coincidir una imagen en tiempo real tomada de la cámara 110 para identificar la ubicación actual de la porción móvil 56.
En otro ejemplo, la re determinación de la ubicación de la porción móvil 56 puede llevarse a cabo mediante el uso de cualquier algoritmo de localización y mapeo simulado (SLAM) conocido. En aun otro ejemplo, la re determinación de la ubicación de la porción móvil 56 se puede realizar mediante el uso de sensores tales como GNSS, Beacon o similares para estimar la ubicación de la porción móvil.
En algunas modalidades, el controlador 120 puede recibir un flujo continuo de imágenes y/o señales a medida que la maquinaria pesada 50 se mueve a lo largo de la trayectoria 300. En algunas modalidades, el controlador 120 puede recibir una pluralidad de imágenes de la trayectoria de al menos una cámara durante el movimiento de la maquinaria pesada y puede identificar al menos una de: ubicaciones y dimensiones adicionales de objetos ubicados a lo largo de la trayectoria. Por ejemplo, se pueden inspeccionar personas o vehículos (por ejemplo, otra maquinaria pesada) que crucen la trayectoria, analizando las imágenes capturadas durante el movimiento de la maquinaria pesada 50. El análisis se puede realizar mediante el uso de cualquier método de análisis de imágenes adecuado (por ejemplo, métodos clásicos de procesamiento de imágenes, métodos de aprendizaje automático/profundo y similares), por ejemplo, métodos configurados para identificar objetos en movimiento y personas en movimiento, obstáculos y similares. En algunas modalidades, el controlador 120 también puede predecir el rumbo general de cada objeto en movimiento identificado (por ejemplo, hacia donde se dirige la persona) y puede volver a calcular la trayectoria 300 para evitar la colisión con el objeto en movimiento identificado, ya que tanto el objeto como la maquinaria pesada 50 están en movimiento. En algunas modalidades, el controlador 120 puede cambiar la trayectoria en base a al menos uno de: ubicaciones y dimensiones adicionales identificadas de los objetos en movimiento.
En algunas modalidades, el método puede incluir además el cálculo de márgenes de seguridad entre el movimiento previsto de objetos móviles (por ejemplo, dinámicos) y la maquinaria pesada. Por ejemplo: para objetos lentos y estáticos, los márgenes de seguridad pueden ser más cortos, ya que existe un menor riesgo de movimiento inesperado (por ejemplo, 3 metros), mientras que, para objetos en movimiento, se puede usar un margen mayor (por ejemplo, 6 metros en la dirección del destino). Además, los márgenes de seguridad también pueden estar determinados por la posible dirección del movimiento, por ejemplo, para un vehículo, los márgenes de seguridad de sus lados serán más bajos que su dirección de conducción, ya que no hay posibilidad de conducir en forma perpendicular a su dirección de conducción.
Aunque ciertas características de la invención se han ilustrado y descrito en la presente descripción, ahora se les ocurrirán muchas modificaciones, sustituciones, cambios y equivalentes a los expertos en la materia. Por lo tanto, debe entenderse que las reivindicaciones adjuntas pretenden cubrir todas las modificaciones y cambios que caen dentro del alcance de la invención tal como se define en las reivindicaciones.

Claims (15)

REIVINDICACIONES
1. Un sistema (100) para la operación autónoma de maquinaria pesada (50), que comprende:
al menos una cámara (110), configurada para acoplarse a la maquinaria pesada o para ubicarse en otro lugar en un lugar que permita que la cámara capture imágenes de al menos una porción móvil (56) de la maquinaria pesada y al menos una porción de un sitio en el que opera la maquinaria pesada caracterizado por un controlador (120) configurado para:
recibir de la al menos una cámara al menos dos imágenes de la porción al menos móvil de la maquinaria pesada y la porción del sitio;
determinar una posición actual (320) de la porción móvil de la maquinaria pesada y una carga transportada por la porción móvil;
recibir una posición de destino (330) de la porción móvil de la maquinaria pesada y la carga;
identificar ubicaciones y dimensiones de objetos (310) ubicados en un área del sitio que comprende la posición actual y la posición de destino en base al análisis de al menos dos imágenes recibidas; calcular una trayectoria (300) para al menos la porción móvil de la maquinaria pesada y la carga desde la posición actual hasta la posición de destino, para evitar la colisión de al menos uno de: la porción móvil de la maquinaria pesada y la carga con cualquiera de los objetos; y
mover de forma autónoma al menos la porción móvil de la maquinaria pesada a lo largo de la trayectoria calculada.
2. El sistema de acuerdo con la reivindicación 1, en donde determinar al menos una de la posición actual y la posición de destino comprende recibir la posición desde al menos uno de: un sistema de posición, un puntero de rayo láser, una baliza, métodos de procesamiento de imágenes, un transceptor GPS y un base de datos que comprende un modelo digital 2D o 3D del sitio.
3. El sistema de acuerdo con la reivindicación 1, en donde determinar al menos una de la posición actual y la posición de destino comprende calcular al menos una de la posición actual y las posiciones de destino a partir de las imágenes recibidas.
4. El sistema de acuerdo con una cualquiera de las reivindicaciones anteriores, en donde el controlador se configura además para:
recibir de la al menos una cámara una pluralidad de imágenes de la trayectoria durante el movimiento de la porción móvil de la maquinaria pesada;
identificar al menos uno de: ubicaciones y dimensiones adicionales de objetos ubicados a lo largo de la trayectoria; y
cambiar la trayectoria en función de al menos uno de: ubicaciones y dimensiones adicionales identificadas.
5. El sistema de acuerdo con la reivindicación 4, en donde las ubicaciones y dimensiones adicionales de los objetos incluyen al menos una de: nuevas ubicaciones de objetos ya identificados y ubicaciones y dimensiones de nuevos objetos.
6. El sistema de acuerdo con una cualquiera de las reivindicaciones anteriores, que comprende además uno o más sensores, en donde uno o más sensores se seleccionan de un grupo que consta de: transceptor GNSS, sensor de ultrasonido y detección de luz, sensor de rango (LIDAR), potenciómetro de baliza y Sensor de inclinación.
7. El sistema de acuerdo con una cualquiera de las reivindicaciones anteriores, en donde calcular la trayectoria comprende:
calcular los márgenes de seguridad entre los objetos y la maquinaria pesada y su carga.
8. El sistema de acuerdo con una cualquiera de las reivindicaciones anteriores, en donde calcular la trayectoria comprende:
recibir datos adicionales: los datos adicionales incluyen al menos uno de:
dimensiones de una carga transportada por la maquinaria pesada, información relacionada con la maquinaria pesada, requisitos reglamentarios, requisitos de seguridad, condiciones ambientales y modelo digital del sitio; y
calcular la trayectoria también en base a los datos adicionales.
9. El sistema de acuerdo con una cualquiera de las reivindicaciones anteriores, que comprende además un módulo de comunicación para comunicarse con al menos uno de: el procesador de la maquinaria pesada, los actuadores de la maquinaria pesada y el dispositivo informático externo.
10. Un método para la operación autónoma de maquinaria pesada, caracterizado por las etapas de:
recibir de al menos una cámara (110) al menos dos imágenes de al menos la porción móvil (56) de la maquinaria pesada (50) y la porción de un sitio, en donde la al menos una cámara se configura para acoplarse a la maquinaria pesada o estar ubicada en otro lugar en un lugar que permita que la cámara capture imágenes de al menos la porción móvil de la maquinaria pesada y al menos la porción de un sitio en donde se opera la maquinaria pesada;
determinar una posición actual de la porción móvil de la maquinaria pesada y una carga transportada por la porción móvil;
determinar una posición de destino de la porción móvil de la maquinaria pesada y la carga;
identificar ubicaciones y dimensiones de objetos ubicados en un área del sitio que comprende la posición actual y la posición de destino en base al análisis de al menos dos imágenes recibidas;
calcular una trayectoria para al menos la porción móvil de la maquinaria pesada desde la posición actual hasta la posición de destino, para evitar la colisión de al menos uno de: la porción móvil de la maquinaria pesada y la carga con cualquiera de los objetos; y
mover de forma autónoma al menos la porción móvil de la maquinaria pesada a lo largo de la trayectoria calculada.
11. El método de acuerdo con la reivindicación 10, en donde determinar al menos una de la posición actual y la posición de destino comprende recibir la posición desde al menos uno de: un sistema de posición, un puntero de rayo láser y una base de datos que comprende un modelo digital del sitio.
12. El método de acuerdo con la reivindicación 10, en donde determinar al menos una de la posición actual y la posición de destino comprende calcular al menos una de la posición actual y las posiciones de destino a partir de las imágenes recibidas.
13. El método de acuerdo con una cualquiera de las reivindicaciones 10-12, que comprende, además:
recibir desde la al menos una cámara una pluralidad de imágenes de la trayectoria durante el movimiento de la maquinaria pesada;
identificar al menos uno de: ubicaciones y dimensiones adicionales de objetos ubicados a lo largo de la trayectoria; y
cambiar la trayectoria en función de al menos uno de: ubicaciones y dimensiones adicionales identificadas.
14. El método de acuerdo con la reivindicación 13, en donde las ubicaciones y dimensiones adicionales de los objetos incluyen al menos una de: nuevas ubicaciones de objetos ya identificados y ubicaciones y dimensiones de nuevos objetos.
15. El método de acuerdo con una cualquiera de las reivindicaciones 10-14, en donde calcular la trayectoria comprende:
recibir o concluir/analizar datos adicionales: los datos adicionales incluyen al menos uno de: dimensiones de la carga transportada por la maquinaria pesada, información relacionada con la maquinaria pesada, requisitos reglamentarios, requisitos de seguridad, condiciones ambientales y modelo digital del sitio; y calcular la trayectoria también en base a los datos adicionales.
ES19207829T 2018-11-08 2019-11-07 Sistema y método para la operación autónoma de maquinaria pesada Active ES2914630T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201862757192P 2018-11-08 2018-11-08

Publications (1)

Publication Number Publication Date
ES2914630T3 true ES2914630T3 (es) 2022-06-14

Family

ID=68502984

Family Applications (1)

Application Number Title Priority Date Filing Date
ES19207829T Active ES2914630T3 (es) 2018-11-08 2019-11-07 Sistema y método para la operación autónoma de maquinaria pesada

Country Status (4)

Country Link
US (1) US20200149248A1 (es)
EP (1) EP3660231B1 (es)
JP (1) JP2020097488A (es)
ES (1) ES2914630T3 (es)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109696846A (zh) * 2018-12-26 2019-04-30 北京百度网讯科技有限公司 一种感知***的固定装置及其固定方法
JP7277256B2 (ja) * 2019-05-24 2023-05-18 コニカミノルタ株式会社 作業分析システム、作業分析装置、および作業分析プログラム
DE102019211674A1 (de) * 2019-08-02 2021-02-04 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ausgeben eines Steuersignals an eine Einheit einer mobilen Arbeitsmaschine, insbesondere einer Hubarbeitsbühne
WO2021229576A2 (en) * 2020-05-14 2021-11-18 Ultrawis Ltd. Systems and methods for remote control and automation of a tower crane
EP3926431A1 (en) * 2020-06-15 2021-12-22 Volvo Autonomous Solutions AB A method for controlling an autonomous vehicle operating at a worksite
KR102489290B1 (ko) * 2020-11-20 2023-01-17 부산대학교 산학협력단 영상처리와 위치추적 기술을 활용한 작업장 내 위험지역 접근 감지 및 알림 시스템 및 방법
US11898321B2 (en) * 2020-12-17 2024-02-13 Topcon Positioning Systems, Inc. Input shaping for error detection and recovery in dynamically agile grading machines
AU2022258326A1 (en) * 2021-04-12 2023-11-23 Structural Services, Inc. Systems and methods for assisting a crane operator
CN114708406A (zh) * 2022-03-31 2022-07-05 平煤神马建工集团有限公司 一种基于物联网技术的建筑施工方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611412A (en) * 1995-07-07 1997-03-18 Otis Elevator Company Elevator car hitch
JP5227139B2 (ja) * 2008-11-12 2013-07-03 株式会社トプコン 建設機械
EP3400419A2 (en) * 2016-01-05 2018-11-14 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
CN106796433A (zh) * 2016-03-31 2017-05-31 株式会社小松制作所 作业机械的控制***、作业机械和作业机械的控制方法
US11167959B2 (en) * 2016-07-04 2021-11-09 Siemens Aktiengesellschaft Method and system for avoiding collisions in cranes

Also Published As

Publication number Publication date
EP3660231B1 (en) 2022-02-23
US20200149248A1 (en) 2020-05-14
EP3660231A1 (en) 2020-06-03
JP2020097488A (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
ES2914630T3 (es) Sistema y método para la operación autónoma de maquinaria pesada
Asadi et al. An integrated UGV-UAV system for construction site data collection
EP3635500B1 (en) Method of navigating a vehicle and system thereof
JP6863991B2 (ja) 自律的な移動ロボットのための仮想的なライン追従方法及び改造方法並びに移動ロボット
US9688518B2 (en) Three dimensional rendering of job site
CN110352393B (zh) 多地形考察机器人装置及其配置及引导方法
KR102159066B1 (ko) 건설 기계
US20080262669A1 (en) Autonomous vehicle controller
US20160031680A1 (en) Crane productivity coordination
JP2016181119A (ja) 移動機器の周囲状況提示システム
KR102339320B1 (ko) 크레인 자동 머신 가이던스 시스템 및 그의 제어 방법
KR20210139297A (ko) 건설기계, 지원시스템
CN113377102A (zh) 用于挖掘机的控制方法、处理器、装置及挖掘机
CN115893201A (zh) 一种塔吊的自动驾驶方法、装置、设备及存储介质
JP6730763B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
WO2018106419A2 (en) Control systems and methods to optimize machine placement for additive construction operations
CN114391060A (zh) 地下工地中的移动设备的定位
JP7369375B1 (ja) 建築物又は土木構造物の管理支援システム
ES2968924T3 (es) Método, sistema y producto de programa informático de control de vehículos aéreos no tripulados
US20240127372A1 (en) Construction management system, data processing device, and construction management method
CN114872051B (zh) 通行地图获取***、方法、机器人及计算机可读存储介质
US20240135469A1 (en) Construction management system, data processing device, and construction management method
CN118369678A (zh) 施工管理***及施工管理方法
JP2023058204A (ja) 作業現場監視システム
KR20230154656A (ko) 건설 기계 및 이를 이용한 위치 추정 방법