ES2874506T3 - Procesamiento selectivo de datos de sensor - Google Patents

Procesamiento selectivo de datos de sensor Download PDF

Info

Publication number
ES2874506T3
ES2874506T3 ES14909276T ES14909276T ES2874506T3 ES 2874506 T3 ES2874506 T3 ES 2874506T3 ES 14909276 T ES14909276 T ES 14909276T ES 14909276 T ES14909276 T ES 14909276T ES 2874506 T3 ES2874506 T3 ES 2874506T3
Authority
ES
Spain
Prior art keywords
vehicle
images
imaging devices
image
uav
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES14909276T
Other languages
English (en)
Inventor
Tao Wang
Jiaqi Yan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Application granted granted Critical
Publication of ES2874506T3 publication Critical patent/ES2874506T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G01C11/34—Aerial triangulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/15—UAVs specially adapted for particular uses or applications for conventional or electronic warfare
    • B64U2101/19—UAVs specially adapted for particular uses or applications for conventional or electronic warfare for use as targets or decoys
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/248—Aligning, centring, orientation detection or correction of the image by interactive preprocessing or interactive shape modelling, e.g. feature points assigned by a user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

Sistema de navegación, que comprende: un vehículo aéreo no tripulado (300), UAV, que comprende una o más unidades de propulsión (304, 306) configuradas para realizar el movimiento del vehículo (300) y una pluralidad de dispositivos de obtención de imágenes (308, 310, 312) configurados, cada uno, para capturar una pluralidad de imágenes; y uno o más procesadores operativamente acoplados a la pluralidad de dispositivos de obtención de imágenes (308, 310, 312) y configurados de manera individual o colectiva para: (a) evaluar la calidad de imagen de la pluralidad de imágenes a partir de cada dispositivo de obtención de imágenes (308, 310, 312); (b) seleccionar un subconjunto de la pluralidad de dispositivos de obtención de imágenes (308, 310, 312) basándose en la calidad de imagen según la evaluación de la etapa (a); (c) generar información de navegación para navegar el vehículo (300) dentro del entorno usando la pluralidad de imágenes a partir del subconjunto seleccionado de dispositivos de obtención de imágenes y no usando las imágenes a partir de los dispositivos de obtención de imágenes restantes de la pluralidad de dispositivos de obtención de imágenes (308, 310, 312), en el que la información de navegación incluye información de estado para el vehículo (300) e información de entorno para el entorno; y (d) emitir señales para controlar el vehículo (300) basándose en la información de navegación generada en la etapa (c); caracterizado porque el número de dispositivos de obtención de imágenes en el subconjunto se basa en una característica de un entorno que rodea al vehículo (300).

Description

DESCRIPCIÓN
Procesamiento selectivo de datos de sensor
Antecedentes
Los vehículos no tripulados, tales como vehículos aéreos no tripulados (UAV), pueden usarse para realizar tareas de vigilancia, reconocimiento y exploración en una amplia variedad de entornos para aplicaciones militares y civiles. Un UAV puede controlarse manualmente por un usuario remoto o puede hacerse funcionar de una manera semiautónoma o totalmente autónoma. Tales UAV pueden incluir sensores configurados para recopilar datos de sensor a partir del entorno circundante y procesadores para calcular y determinar información para navegar el UAV a partir de los datos recopilados.
Los enfoques existentes para evaluar información de navegación pueden no llegar a ser óptimos en algunos casos. Por ejemplo, los datos de sensor recopilados a partir de un único sensor pueden presentar mala calidad. Por otro lado, si se procesan datos de sensor a partir de múltiples sensores para evaluar o determinar información de estado, puede aumentarse el retardo de procesamiento del sistema. Los datos de sensor de mala calidad o retardos de procesamiento aumentados pueden tener un efecto perjudicial sobre las funciones de UAV.
El documento US 2012/197461 A1 describe un método para proporcionar vuelo estacionario en el sitio basado en visión a un vehículo aéreo que se da a conocer. Se recibe información visual usando uno o más sensores de imágenes en el vehículo aéreo y basándose en la posición del vehículo aéreo. Se calculan varios desplazamientos visuales a partir de la información visual. Se calculan uno o más valores de movimiento basándose en los desplazamientos visuales. Se generan una o más señales de control basándose en los valores de movimiento.
El documento US 2013/211659 A1 describe un aparato y un método para procesar datos de sensor con el fin de navegar un vehículo terrestre, procediendo los datos de sensor de un sensor montado en el vehículo. El método puede incluir: para varias etapas de tiempo, medir un valor de un parámetro de una escena usando el sensor para producir una secuencia de imágenes de la escena; determinar un valor de una o más métricas de calidad de imagen en cada imagen en la secuencia; e identificar como válida o inválida una subsecuencia de imágenes en la secuencia basándose en los valores de métrica determinados.
El documento US 2010/063672 A1 describe un aparato para procesar datos de sensor y controlar el movimiento de un vehículo. Se identifica un entorno de funcionamiento alrededor del vehículo y se seleccionan datos de sensor a partir de un conjunto de sensores. El movimiento del vehículo se controla basándose en el entorno de funcionamiento identificado. En otra realización ilustrativa, un sistema de sensores tiene algunos sensores que son más precisos en un entorno particular que otros sensores. Se identifica una condición dinámica mediante el sistema de sensores y se envían órdenes al sistema de dirección, al sistema de propulsión y al sistema de frenado para mover el vehículo usando los datos de sensor detectados por el sistema de sensores. El entorno se identifica usando la pluralidad de diferentes tipos de sensores en el vehículo.
Sumario
La presente invención se refiere a un sistema de navegación y a un método según las reivindicaciones adjuntas.
Realizaciones dadas a conocer en el presente documento proporcionan enfoques mejorados para evaluar información de estado de vehículos tales como UAV dentro de un entorno. En muchas realizaciones, un uAv incluye una pluralidad de dispositivos de obtención de imágenes usados para recopilar información referente al entorno circundante. Los datos obtenidos a partir de cada uno de los dispositivos de obtención de imágenes pueden procesarse, por ejemplo, para determinar la calidad de los datos de imagen a lo largo de un intervalo de tiempo para cada dispositivo de obtención de imágenes. Basándose en la calidad de los datos de imagen, puede seleccionarse un subconjunto de los datos de imagen del dispositivo de obtención de imágenes para procesarse con el fin de evaluar información de estado del UAV. Ventajosamente, los enfoques de procesamiento selectivo descritos en el presente documento proporcionan una precisión mejorada de la información de estado evaluada al tiempo que se conservan recursos de cálculo y pueden usarse para mejorar la funcionalidad de UAV en diversos tipos de entorno y condiciones de funcionamiento.
Por tanto, en un aspecto, se proporciona un sistema de navegación. El sistema comprende un vehículo que comprende una pluralidad de dispositivos de obtención de imágenes configurados, cada uno, para capturar una pluralidad de imágenes; y uno o más procesadores operativamente acoplados a la pluralidad de dispositivos de obtención de imágenes y configurados de manera individual o colectiva para: (a) calcular un número de puntos característicos en cada imagen de la pluralidad de imágenes a partir de cada dispositivo de obtención de imágenes; (b) seleccionar al menos uno de la pluralidad de dispositivos de obtención de imágenes basándose en dicho número de puntos característicos; y (c) evaluar información de estado para el vehículo usando la pluralidad de imágenes a partir del/de los dispositivo(s) de obtención de imágenes seleccionado(s).
En algunas realizaciones, el vehículo puede ser un vehículo aéreo no tripulado. El vehículo aéreo no tripulado puede pesar no más de 10 kg. La dimensión máxima del vehículo aéreo no tripulado puede ser de no más de 1,5 m. El vehículo aéreo no tripulado puede estar configurado para volar a una altura de no más de 400 m. Opcionalmente, el vehículo aéreo no tripulado puede estar configurado para detectar la presencia de una zona de vuelo restringida y no volar dentro de una distancia predeterminada de la zona de vuelo restringida. La zona de vuelo restringida puede ser un aeropuerto. El vehículo aéreo no tripulado puede ser una aeronave de múltiples rotores.
En algunas realizaciones, el vehículo puede comprender una o más unidades de propulsión configuradas para realizar el movimiento del vehículo. La una o más unidades de propulsión pueden comprender uno o más rotores configurados para proporcionar sustentación al vehículo.
En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes están dispuestos en el vehículo de tal manera que cada dispositivo de obtención de imágenes de la pluralidad de dispositivos de obtención de imágenes está configurado para capturar la pluralidad de imágenes a partir de un campo de visión diferente. En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes puede comprender al menos tres dispositivos de obtención de imágenes. Alternativamente, la pluralidad de dispositivos de obtención de imágenes puede comprender al menos cuatro dispositivos de obtención de imágenes. La pluralidad de dispositivos de obtención de imágenes pueden estar orientados, cada uno, en una dirección diferente con respecto al vehículo. Las diferentes direcciones pueden ser direcciones ortogonales. Alternativamente, o en combinación, las diferentes direcciones pueden comprender al menos cuatro direcciones diferentes. Al menos una de las diferentes direcciones puede estar sustancialmente a lo largo de una dirección de movimiento del vehículo. La pluralidad de dispositivos de obtención de imágenes pueden estar ubicados en tres o más de las siguientes ubicaciones: un lado delantero, lado trasero, lado izquierdo, lado derecho, lado superior o lado inferior del vehículo.
En algunas realizaciones, la pluralidad de imágenes puede comprender una pluralidad de tramas de imagen sucesivas capturadas a lo largo de un intervalo de tiempo predeterminado. El intervalo de tiempo predeterminado puede estar dentro de un intervalo de desde aproximadamente 0,02 segundos hasta aproximadamente 0,1 segundos.
En algunas realizaciones, el número de puntos característicos en cada imagen puede ser indicativo de saliencia de dicha imagen. El número de puntos característicos en cada imagen puede calcularse usando un algoritmo de detección de esquinas. El algoritmo de detección de esquinas puede ser un algoritmo de características a partir de la prueba de segmentos acelerada (FAST).
En algunas realizaciones, la etapa (b) puede comprender evaluar si dicho número de puntos característicos supera un umbral predeterminado.
En algunas realizaciones, la información de estado puede comprender al menos una de una posición, una actitud, una velocidad o una aceleración del vehículo. La actitud puede comprender al menos una de una orientación de alabeo, una orientación de cabeceo o una orientación de guiñada del vehículo.
En algunas realizaciones, el uno o más procesadores pueden estar configurados además para: (d) emitir señales de control para realizar el movimiento del vehículo basándose en la información de estado.
En algunas realizaciones, las etapas (a)-(c) pueden repetirse durante el funcionamiento del vehículo. Las etapas (a)-(c) pueden repetirse de aproximadamente una vez cada 0,02 segundos a aproximadamente una vez cada 0,1 segundos. En otro aspecto, se proporciona un método para evaluar información de estado de un vehículo en movimiento conectado a una pluralidad de dispositivos de obtención de imágenes. El método comprende: (a) capturar una pluralidad de imágenes con cada dispositivo de obtención de imágenes de la pluralidad de dispositivos de obtención de imágenes; (b) calcular, con la ayuda de un procesador, un número de puntos característicos en cada imagen de la pluralidad de imágenes a partir de cada dispositivo de obtención de imágenes; (c) seleccionar, con la ayuda del procesador, al menos uno de la pluralidad de dispositivos de obtención de imágenes basándose en dicho número de puntos característicos; y (d) evaluar, con la ayuda del procesador, información de estado para el vehículo usando la pluralidad de imágenes a partir del/de los dispositivo(s) de obtención de imágenes seleccionado(s).
En algunas realizaciones, el vehículo puede ser un vehículo aéreo no tripulado. El vehículo aéreo no tripulado puede pesar no más de 10 kg. La dimensión máxima del vehículo aéreo no tripulado puede ser de no más de 1,5 m. El vehículo aéreo no tripulado puede estar configurado para volar a una altura de no más de 400 m. Opcionalmente, el vehículo aéreo no tripulado puede estar configurado para detectar la presencia de una zona de vuelo restringida y no volar dentro de una distancia predeterminada de la zona de vuelo restringida. La zona de vuelo restringida puede ser un aeropuerto. El vehículo aéreo no tripulado puede ser una aeronave de múltiples rotores.
En algunas realizaciones, el vehículo puede comprender una o más unidades de propulsión configuradas para realizar el movimiento del vehículo. La una o más unidades de propulsión pueden comprender uno o más rotores configurados para proporcionar sustentación al vehículo.
En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes están dispuestos en el vehículo de tal manera que cada una de la pluralidad de imágenes se captura a partir de un campo de visión diferente. En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes puede comprender al menos tres dispositivos de obtención de imágenes. Alternativamente, la pluralidad de dispositivos de obtención de imágenes puede comprender al menos cuatro dispositivos de obtención de imágenes. La pluralidad de dispositivos de obtención de imágenes pueden estar orientados, cada uno, en una dirección diferente con respecto al vehículo. Las diferentes direcciones pueden ser direcciones ortogonales. Alternativamente, o en combinación, las diferentes direcciones pueden comprender al menos cuatro direcciones diferentes. Al menos una de las diferentes direcciones puede estar sustancialmente a lo largo de una dirección de movimiento del vehículo. La pluralidad de dispositivos de obtención de imágenes pueden estar ubicados en tres o más de las siguientes ubicaciones: un lado delantero, lado trasero, lado izquierdo, lado derecho, lado superior o lado inferior del vehículo.
En algunas realizaciones, la pluralidad de imágenes puede comprender una pluralidad de tramas de imagen sucesivas capturadas a lo largo de un intervalo de tiempo predeterminado. El intervalo de tiempo predeterminado puede estar dentro de un intervalo de desde aproximadamente 0,02 segundos hasta aproximadamente 0,1 segundos.
En algunas realizaciones, el número de puntos característicos en cada imagen puede ser indicativo de saliencia de dicha imagen. El número de puntos característicos en cada imagen puede calcularse usando un algoritmo de detección de esquinas. El algoritmo de detección de esquinas puede ser un algoritmo de características a partir de la prueba de segmentos acelerada (FAST).
En algunas realizaciones, la etapa (c) puede comprender evaluar si dicho número de puntos característicos supera un umbral predeterminado.
En algunas realizaciones, la información de estado puede comprender al menos una de una posición, una actitud, una velocidad o una aceleración del vehículo. La actitud puede comprender al menos una de una orientación de alabeo, una orientación de cabeceo o una orientación de guiñada del vehículo.
En algunas realizaciones, el método puede comprender además emitir señales de control para realizar el movimiento del vehículo basándose en la información de estado.
En algunas realizaciones, las etapas (a)-(d) pueden repetirse durante el funcionamiento del vehículo. Las etapas (a)-(d) pueden repetirse de aproximadamente una vez cada 0,02 segundos a aproximadamente una vez cada 0,1 segundos. En otro aspecto, se proporciona un sistema de navegación. El sistema comprende: un vehículo que comprende una o más unidades de propulsión configuradas para realizar el movimiento del vehículo y una pluralidad de obtención de imágenes configurados, cada uno, para capturar una pluralidad de imágenes; y uno o más procesadores operativamente acoplados a la pluralidad de dispositivos de obtención de imágenes y configurados de manera individual o colectiva para: (a) evaluar la calidad de imagen de la pluralidad de imágenes a partir de cada dispositivo de obtención de imágenes; (b) seleccionar al menos uno de la pluralidad de dispositivos de obtención de imágenes basándose en la evaluación de la etapa (a); y (c) evaluar información de estado para el vehículo usando la pluralidad de imágenes a partir del/de los dispositivo(s) de obtención de imágenes seleccionado(s). En algunas realizaciones, el uno o más procesadores están configurados además para: (d) emitir señales de control a la una o más unidades de propulsión para realizar el movimiento del vehículo, basándose en la información de estado.
En algunas realizaciones, el vehículo puede ser un vehículo aéreo no tripulado. El vehículo aéreo no tripulado puede pesar no más de 10 kg. La dimensión máxima del vehículo aéreo no tripulado puede ser de no más de 1,5 m. El vehículo aéreo no tripulado puede estar configurado para volar a una altura de no más de 400 m. Opcionalmente, el vehículo aéreo no tripulado puede estar configurado para detectar la presencia de una zona de vuelo restringida y no volar dentro de una distancia predeterminada de la zona de vuelo restringida. La zona de vuelo restringida puede ser un aeropuerto. El vehículo aéreo no tripulado puede ser una aeronave de múltiples rotores.
En algunas realizaciones, la una o más unidades de propulsión pueden comprender uno o más rotores configurados para proporcionar sustentación al vehículo.
En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes están dispuestos en el vehículo de tal manera que cada dispositivo de obtención de imágenes de la pluralidad de dispositivos de obtención de imágenes está configurado para capturar la pluralidad de imágenes a partir de un campo de visión diferente. En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes puede comprender al menos tres dispositivos de obtención de imágenes. Alternativamente, la pluralidad de dispositivos de obtención de imágenes puede comprender al menos cuatro dispositivos de obtención de imágenes. La pluralidad de dispositivos de obtención de imágenes pueden estar orientados, cada uno, en una dirección diferente con respecto al vehículo. Las diferentes direcciones pueden ser direcciones ortogonales. Alternativamente o en combinación, las diferentes direcciones pueden comprender al menos cuatro direcciones diferentes. Al menos una de las diferentes direcciones puede estar sustancialmente a lo largo de una dirección de movimiento del vehículo. La pluralidad de dispositivos de obtención de imágenes pueden estar ubicados en tres o más de las siguientes ubicaciones: un lado delantero, lado trasero, lado izquierdo, lado derecho, lado superior o lado inferior del vehículo.
En algunas realizaciones, la pluralidad de imágenes puede comprender una pluralidad de tramas de imagen sucesivas capturadas a lo largo de un intervalo de tiempo predeterminado. El intervalo de tiempo predeterminado puede estar dentro de un intervalo de desde aproximadamente 0,02 segundos hasta aproximadamente 0,1 segundos.
En algunas realizaciones, la calidad de imagen puede basarse en un número de puntos característicos en cada imagen de dicha pluralidad de imágenes. El número de puntos característicos en cada imagen puede calcularse usando un algoritmo de detección de esquinas. El algoritmo de detección de esquinas puede ser un algoritmo de características a partir de la prueba de segmentos acelerada (FAST). La calidad de imagen puede basarse en la saliencia de cada imagen de dicha pluralidad de imágenes. La calidad de imagen puede basarse en al menos uno de un nivel de exposición o nivel de contraste en cada imagen de dicha pluralidad de imágenes. La calidad de imagen puede basarse en la idoneidad de dicha pluralidad de imágenes para su uso en la evaluación de la información de estado para el vehículo.
En algunas realizaciones, la etapa (a) puede comprender evaluar si la calidad de imagen de dicha pluralidad de imágenes supera un umbral predeterminado. La etapa (a) puede comprender identificar cuál de la pluralidad de imágenes tiene la calidad de imagen más alta.
En algunas realizaciones, la información de estado puede comprender al menos una de una posición, una actitud, una velocidad o una aceleración del vehículo. La actitud comprende al menos una de una orientación de alabeo, una orientación de cabeceo o una orientación de guiñada del vehículo.
En algunas realizaciones, las etapas (a)-(c) pueden repetirse durante el funcionamiento del vehículo. Las etapas (a)-(c) pueden repetirse de aproximadamente una vez cada 0,02 segundos a aproximadamente una vez cada 0,1 segundos. En otro aspecto, se proporciona un método para controlar un vehículo en movimiento conectado a una pluralidad de dispositivos de obtención de imágenes. El método comprende: (a) capturar una pluralidad de imágenes con cada dispositivo de obtención de imágenes de la pluralidad de dispositivos de obtención de imágenes; (b) evaluar, con la ayuda de un procesador, la calidad de imagen de la pluralidad de imágenes a partir de cada dispositivo de obtención de imágenes; (c) seleccionar, con la ayuda del procesador, al menos uno de la pluralidad de dispositivos de obtención de imágenes basándose en la evaluación de la etapa (b); y (d) evaluar, con la ayuda del procesador, información de estado para el vehículo usando la pluralidad de imágenes a partir del/de los dispositivo(s) de obtención de imágenes seleccionado(s). En algunas realizaciones, el método comprende además: (e) emitir, con la ayuda del procesador, señales de control a una o más unidades de propulsión montadas en el vehículo para realizar el movimiento del vehículo, basándose en la información de estado.
En algunas realizaciones, el vehículo puede ser un vehículo aéreo no tripulado. El vehículo aéreo no tripulado puede pesar no más de 10 kg. La dimensión máxima del vehículo aéreo no tripulado puede ser de no más de 1,5 m. El vehículo aéreo no tripulado puede estar configurado para volar a una altura de no más de 400 m. Opcionalmente, el vehículo aéreo no tripulado puede estar configurado para detectar la presencia de una zona de vuelo restringida y no volar dentro de una distancia predeterminada de la zona de vuelo restringida. La zona de vuelo restringida puede ser un aeropuerto. El vehículo aéreo no tripulado puede ser una aeronave de múltiples rotores.
En algunas realizaciones, la una o más unidades de propulsión pueden comprender uno o más rotores configurados para proporcionar sustentación al vehículo.
En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes están dispuestos en el vehículo de tal manera que cada una de la pluralidad de imágenes se captura a partir de un campo de visión diferente. En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes puede comprender al menos tres dispositivos de obtención de imágenes. Alternativamente, la pluralidad de dispositivos de obtención de imágenes puede comprender al menos cuatro dispositivos de obtención de imágenes.
En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes pueden estar orientados, cada uno, en una dirección diferente con respecto al vehículo. Las diferentes direcciones pueden ser direcciones ortogonales. Alternativamente, o en combinación, las diferentes direcciones pueden comprender al menos cuatro direcciones diferentes. Al menos una de las diferentes direcciones puede estar sustancialmente a lo largo de una dirección de movimiento del vehículo. La pluralidad de dispositivos de obtención de imágenes pueden estar ubicados en tres o más de las siguientes ubicaciones: un lado delantero, lado trasero, lado izquierdo, lado derecho, lado superior o lado inferior del vehículo.
En algunas realizaciones, la pluralidad de imágenes puede comprender una pluralidad de tramas de imagen sucesivas capturadas a lo largo de un intervalo de tiempo predeterminado. El intervalo de tiempo predeterminado puede estar dentro de un intervalo de desde aproximadamente 0,02 segundos hasta aproximadamente 0,1 segundos.
En algunas realizaciones, la calidad de imagen puede basarse en un número de puntos característicos en cada imagen de dicha pluralidad de imágenes. El número de puntos característicos en cada imagen puede calcularse usando un algoritmo de detección de esquinas. El algoritmo de detección de esquinas puede ser un algoritmo de características a partir de la prueba de segmentos acelerada (FAST). La calidad de imagen puede basarse en la saliencia de cada imagen de dicha pluralidad de imágenes. La calidad de imagen puede basarse en al menos uno de un nivel de exposición o nivel de contraste en cada imagen de dicha pluralidad de imágenes. La calidad de imagen puede basarse en la idoneidad de dicha pluralidad de imágenes para su uso en la evaluación de la información de estado para el vehículo.
En algunas realizaciones, la etapa (b) puede comprender evaluar si la calidad de imagen de dicha pluralidad de imágenes supera un umbral predeterminado.
En algunas realizaciones, la etapa (b) puede comprender identificar cuál de la pluralidad de imágenes tiene la calidad de imagen más alta.
En algunas realizaciones, la información de estado puede comprender al menos una de una posición, una actitud, una velocidad o una aceleración del vehículo. La actitud comprende al menos una de una orientación de alabeo, una orientación de cabeceo o una orientación de guiñada del vehículo.
En algunas realizaciones, las etapas (a)-(d) pueden repetirse durante el funcionamiento del vehículo. Las etapas (a)-(d) pueden repetirse de aproximadamente una vez cada 0,02 segundos a aproximadamente una vez cada 0,1 segundos. En otro aspecto, se proporciona un sistema de navegación. El sistema comprende: un vehículo que comprende una pluralidad de dispositivos de obtención de imágenes configurados, cada uno, para capturar una pluralidad de imágenes, en el que la pluralidad de dispositivos de obtención de imágenes comprende un dispositivo de obtención de imágenes primario y uno o más dispositivos de obtención de imágenes secundarios; y uno o más procesadores operativamente acoplados a la pluralidad de dispositivos de obtención de imágenes y configurados de manera individual o colectiva para: (a) evaluar la calidad de imagen de la pluralidad de imágenes a partir del dispositivo de obtención de imágenes primario para determinar si dicha calidad de imagen cumple un umbral predeterminado; (b) evaluar la calidad de imagen de la pluralidad de imágenes a partir del uno o más dispositivos de obtención de imágenes secundarios si la calidad de imagen de la etapa (a) no cumple el umbral predeterminado; (c) seleccionar al menos uno del uno o más dispositivos de obtención de imágenes secundarios basándose en la evaluación de la etapa (b); y (d) evaluar información de estado para el vehículo usando la pluralidad de imágenes a partir del/de los dispositivo(s) de obtención de imágenes secundario(s) seleccionado(s).
En algunas realizaciones, el vehículo puede ser un vehículo aéreo no tripulado. El vehículo aéreo no tripulado puede pesar no más de 10 kg. La dimensión máxima del vehículo aéreo no tripulado puede ser de no más de 1,5 m. El vehículo aéreo no tripulado puede estar configurado para volar a una altura de no más de 400 m. Opcionalmente, el vehículo aéreo no tripulado puede estar configurado para detectar la presencia de una zona de vuelo restringida y no volar dentro de una distancia predeterminada de la zona de vuelo restringida. La zona de vuelo restringida puede ser un aeropuerto. El vehículo aéreo no tripulado puede ser una aeronave de múltiples rotores.
En algunas realizaciones, la una o más unidades de propulsión pueden comprender uno o más rotores configurados para proporcionar sustentación al vehículo.
En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes están dispuestos en el vehículo de tal manera que cada dispositivo de obtención de imágenes de la pluralidad de dispositivos de obtención de imágenes está configurado para capturar la pluralidad de imágenes a partir de un campo de visión diferente. En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes puede comprender al menos tres dispositivos de obtención de imágenes. Alternativamente, la pluralidad de dispositivos de obtención de imágenes puede comprender al menos cuatro dispositivos de obtención de imágenes. La pluralidad de dispositivos de obtención de imágenes pueden estar orientados, cada uno, en una dirección diferente con respecto al vehículo. Las diferentes direcciones pueden ser direcciones ortogonales. Alternativamente o en combinación, las diferentes direcciones pueden comprender al menos cuatro direcciones diferentes. El dispositivo de obtención de imágenes primario puede estar orientado sustancialmente a lo largo de una dirección de movimiento del vehículo. La pluralidad de dispositivos de obtención de imágenes pueden estar ubicados en tres o más de las siguientes ubicaciones: un lado delantero, lado trasero, lado izquierdo, lado derecho, lado superior o lado inferior del vehículo.
En algunas realizaciones, la pluralidad de imágenes puede comprender una pluralidad de tramas de imagen sucesivas capturadas a lo largo de un intervalo de tiempo predeterminado. El intervalo de tiempo predeterminado puede estar dentro de un intervalo de desde aproximadamente 0,02 segundos hasta aproximadamente 0,1 segundos.
En algunas realizaciones, la calidad de imagen de las etapas (a) y (b) puede basarse, cada una, en un número de puntos característicos en cada imagen de dicha pluralidad de imágenes. El número de puntos característicos en cada imagen puede calcularse usando un algoritmo de detección de esquinas. El algoritmo de detección de esquinas puede ser un algoritmo de características a partir de la prueba de segmentos acelerada (FAST).
En algunas realizaciones, la calidad de imagen de las etapas (a) y (b) puede basarse, cada una, en la saliencia de cada imagen de dicha pluralidad de imágenes. La calidad de imagen de las etapas (a) y (b) puede basarse, cada una, en al menos uno de un nivel de exposición o nivel de contraste en cada imagen de dicha pluralidad de imágenes. La calidad de imagen de las etapas (a) y (b) puede basarse, cada una, en la idoneidad de dicha pluralidad de imágenes para su uso en la evaluación de la información de estado para el vehículo.
En algunas realizaciones, la etapa (b) puede comprender evaluar si la calidad de imagen de dicha pluralidad de imágenes supera un segundo umbral predeterminado. La etapa (b) puede comprender identificar cuál de dicha pluralidad de imágenes tiene la calidad de imagen más alta.
En algunas realizaciones, la información de estado puede comprender al menos una de una posición, una actitud, una velocidad o una aceleración del vehículo. La actitud puede comprender al menos una de una orientación de alabeo, una orientación de cabeceo o una orientación de guiñada del vehículo.
En algunas realizaciones, las etapas (a)-(d) pueden repetirse durante el funcionamiento del vehículo. Las etapas (a)-(d) pueden repetirse de aproximadamente una vez cada 0,02 segundos a aproximadamente una vez cada 0,1 segundos. En otro aspecto, se proporciona un método para evaluar información de estado de un vehículo en movimiento conectado a una pluralidad de dispositivos de obtención de imágenes. El método comprende: (a) capturar una pluralidad de imágenes con cada dispositivo de obtención de imágenes de la pluralidad de dispositivos de obtención de imágenes, y en el que la pluralidad de dispositivos de obtención de imágenes comprende un dispositivo de obtención de imágenes primario y uno o más dispositivos de obtención de imágenes secundarios; (b) evaluar, con la ayuda de un procesador, la calidad de imagen de la pluralidad de imágenes a partir del dispositivo de obtención de imágenes primario para determinar si dicha calidad de imagen cumple un umbral predeterminado; (c) evaluar, con la ayuda del procesador, la calidad de imagen de la pluralidad de imágenes a partir del uno o más dispositivos de obtención de imágenes secundarios si la calidad de imagen de la etapa (b) no cumple el umbral predeterminado; (d) seleccionar, con la ayuda del procesador, al menos uno del uno o más dispositivos de obtención de imágenes secundarios basándose en la evaluación de la etapa (c); y (e) evaluar, con la ayuda del procesador, información de estado para el vehículo usando la pluralidad de imágenes a partir del/de los dispositivo(s) de obtención de imágenes secundario(s) seleccionado(s).
En algunas realizaciones, el vehículo puede ser un vehículo aéreo no tripulado. El vehículo aéreo no tripulado puede pesar no más de 10 kg. La dimensión máxima del vehículo aéreo no tripulado puede ser de no más de 1,5 m. El vehículo aéreo no tripulado puede estar configurado para volar a una altura de no más de 400 m. Opcionalmente, el vehículo aéreo no tripulado puede estar configurado para detectar la presencia de una zona de vuelo restringida y no volar dentro de una distancia predeterminada de la zona de vuelo restringida. La zona de vuelo restringida puede ser un aeropuerto. El vehículo aéreo no tripulado puede ser una aeronave de múltiples rotores.
En algunas realizaciones, la una o más unidades de propulsión pueden comprender uno o más rotores configurados para proporcionar sustentación al vehículo.
En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes están dispuestos en el vehículo de tal manera que cada una de la pluralidad de imágenes se captura a partir de un campo de visión diferente. En algunas realizaciones, la pluralidad de dispositivos de obtención de imágenes puede comprender al menos tres dispositivos de obtención de imágenes. La pluralidad de dispositivos de obtención de imágenes puede comprender al menos cuatro dispositivos de obtención de imágenes. La pluralidad de dispositivos de obtención de imágenes pueden estar orientados, cada uno, en una dirección diferente con respecto al vehículo. Las diferentes direcciones pueden ser direcciones ortogonales. Alternativamente o en combinación, las diferentes direcciones pueden comprender al menos cuatro direcciones diferentes. El dispositivo de obtención de imágenes primario puede estar orientado sustancialmente a lo largo de una dirección de movimiento del vehículo. La pluralidad de dispositivos de obtención de imágenes pueden estar ubicados en tres o más de las siguientes ubicaciones: un lado delantero, lado trasero, lado izquierdo, lado derecho, lado superior o lado inferior del vehículo.
En algunas realizaciones, la pluralidad de imágenes puede comprender una pluralidad de tramas de imagen sucesivas capturadas a lo largo de un intervalo de tiempo predeterminado. El intervalo de tiempo predeterminado puede estar dentro de un intervalo de desde aproximadamente 0,02 segundos hasta aproximadamente 0,1 segundos.
En algunas realizaciones, la calidad de imagen de las etapas (b) y (c) puede basarse, cada una, en un número de puntos característicos en cada imagen de dicha pluralidad de imágenes. El número de puntos característicos en cada imagen puede calcularse usando un algoritmo de detección de esquinas. El algoritmo de detección de esquinas puede ser un algoritmo de características a partir de la prueba de segmentos acelerada (FAST).
En algunas realizaciones, la calidad de imagen de las etapas (b) y (c) puede basarse, cada una, en la saliencia de cada imagen de dicha pluralidad de imágenes. La calidad de imagen de las etapas (b) y (c) puede basarse, cada una, en al menos uno de un nivel de exposición o nivel de contraste en cada imagen de dicha pluralidad de imágenes. La calidad de imagen de las etapas (b) y (c) puede basarse, cada una, en la idoneidad de dicha pluralidad de imágenes para su uso en la evaluación de la información de estado para el vehículo.
En algunas realizaciones, la etapa (c) puede comprender evaluar si la calidad de imagen de dicha pluralidad de imágenes supera un segundo umbral predeterminado. La etapa (c) puede comprender identificar cuál de dicha pluralidad de imágenes tiene la calidad de imagen más alta.
En algunas realizaciones, la información de estado puede comprender al menos una de una posición, una actitud, una velocidad o una aceleración del vehículo. La actitud puede comprender al menos una de una orientación de alabeo, una orientación de cabeceo o una orientación de guiñada del vehículo.
En algunas realizaciones, las etapas (a)-(e) pueden repetirse durante el funcionamiento del vehículo. Las etapas (a)-(e) pueden repetirse de aproximadamente una vez cada 0,02 segundos a aproximadamente una vez cada 0,1 segundos.
Debe entenderse que diferentes aspectos de la invención pueden apreciarse de manera individual, colectiva o en combinación entre sí. Diversos aspectos de la invención descritos en el presente documento pueden aplicarse a cualquiera de las aplicaciones particulares expuestas a continuación o para cualquier otro tipo de objeto móvil. Cualquier descripción en el presente documento de un vehículo aéreo puede aplicarse a, y usarse para, cualquier objeto móvil, tal como cualquier vehículo. Adicionalmente, los sistemas, dispositivos y métodos dados a conocer en el presente documento en el contexto de movimiento aéreo (por ejemplo, vuelo) también pueden aplicarse en el contexto de otros tipos de movimiento, tales como movimiento en tierra o en el agua, movimiento submarino o movimiento en el espacio. Además, cualquier descripción en el presente documento de un rotor o conjunto de rotor puede aplicarse a, y usarse para, cualquier sistema, dispositivo o mecanismo de propulsión configurado para generar una fuerza propulsora mediante rotación (por ejemplo, hélices, ruedas, ejes).
En otro aspecto, se proporciona un sistema para navegar un vehículo dentro de un entorno. El sistema comprende un vehículo que comprende una pluralidad de sensores dispuestos en el vehículo de tal manera que cada sensor de la pluralidad de sensores está configurado para obtener datos de sensor a partir de un campo de visión diferente; uno o más procesadores operativamente acoplados a la pluralidad de sensores y configurados de manera individual o colectiva para: (a) seleccionar un subconjunto de la pluralidad de sensores que van a usarse para navegar el vehículo dentro del entorno basándose en uno o más criterios predeterminados; (b) procesar los datos de sensor a partir del/de los sensor(es) seleccionado(s) para generar información de navegación para navegar el vehículo dentro del entorno; y (c) emitir señales para controlar el vehículo basándose en la información de navegación.
En algunas realizaciones, el subconjunto se selecciona al menos evaluando cada sensor para determinar si dicho sensor cumple el uno o más criterios predeterminados y seleccionando dicho sensor si dicho sensor cumple el uno o más criterios predeterminados. El uno o más criterios predeterminados pueden comprender si dicho sensor está orientado sustancialmente a lo largo de una dirección de movimiento del vehículo. El uno o más criterios predeterminados pueden comprender si la calidad de los datos de sensor obtenidos por dicho sensor supera un umbral predeterminado. El uno o más criterios predeterminados pueden comprender si dicho sensor tiene la calidad de datos de sensor más alta de la pluralidad de sensores. El uno o más criterios predeterminados pueden comprender si el consumo de potencia de dicho sensor está por debajo de un umbral predeterminado. El uno o más criterios predeterminados pueden comprender si dicho sensor tiene el consumo de potencia más bajo de la pluralidad de sensores.
En algunas realizaciones, el número de sensores en el subconjunto varía basándose en una dirección de movimiento del vehículo. El número de sensores en el subconjunto puede variar basándose en complejidad de entorno del entorno. En algunas realizaciones, el vehículo es un vehículo aéreo no tripulado. El vehículo puede comprender una o más unidades de propulsión configuradas para realizar el movimiento del vehículo. La una o más unidades de propulsión comprenden uno o más rotores configurados para proporcionar sustentación al vehículo.
En algunas realizaciones, la pluralidad de sensores comprende una pluralidad de tipos de sensor diferentes. La pluralidad de sensores puede comprender uno o más de: un dispositivo de obtención de imágenes, un sensor de ultrasonidos, un sensor de lidar o un sensor de radar. La pluralidad de sensores puede comprender al menos tres sensores o al menos cuatro sensores. Cada sensor puede estar orientado en una dirección diferente con respecto al vehículo. Las diferentes direcciones pueden ser direcciones ortogonales. Las diferentes direcciones pueden comprender al menos cuatro direcciones diferentes. Al menos una de las diferentes direcciones puede estar sustancialmente a lo largo de una dirección de movimiento del vehículo.
En algunas realizaciones, la pluralidad de sensores están ubicados en tres o más de las siguientes ubicaciones: un lado delantero, lado trasero, lado izquierdo, lado derecho, lado superior o lado inferior del vehículo.
En algunas realizaciones, la información de navegación comprende información de estado para el vehículo. La información de estado puede comprender al menos una de una posición, una actitud, una velocidad o una aceleración del vehículo. La actitud puede comprender al menos una de una orientación de alabeo, una orientación de cabeceo o una orientación de guiñada del vehículo.
En algunas realizaciones, la información de navegación comprende información de entorno para el entorno. La información de entorno puede comprender ubicaciones de uno o más obstáculos en el entorno. Las señales pueden hacer que el vehículo evite el uno o más obstáculos.
En otro aspecto, se proporciona un método para navegar un vehículo dentro de un entorno. El método comprende: (a) seleccionar, con la ayuda de un procesador, un subconjunto de una pluralidad de sensores que van a usarse para navegar el vehículo dentro del entorno basándose en uno o más criterios predeterminados, en el que la pluralidad de sensores están dispuestos en el vehículo de tal manera que cada sensor de la pluralidad de sensores está configurado para obtener datos de sensor a partir de un campo de visión diferente; (b) procesar, con la ayuda del procesador, los datos de sensor a partir del/de los sensor(es) seleccionado(s) para generar información de navegación para navegar el vehículo dentro del entorno; y (c) emitir, con la ayuda del procesador, señales para controlar el vehículo basándose en la información de navegación.
En algunas realizaciones, seleccionar el subconjunto comprende evaluar cada sensor para determinar si dicho sensor cumple el uno o más criterios predeterminados y seleccionar dicho sensor si dicho sensor cumple el uno o más criterios predeterminados. El uno o más criterios predeterminados pueden comprender si dicho sensor está orientado sustancialmente a lo largo de una dirección de movimiento del vehículo. El uno o más criterios predeterminados pueden comprender si la calidad de los datos de sensor obtenidos por dicho sensor supera un umbral predeterminado. El uno o más criterios predeterminados pueden comprender si dicho sensor tiene la calidad de datos de sensor más alta de la pluralidad de sensores. El uno o más criterios predeterminados pueden comprender si el consumo de potencia de dicho sensor está por debajo de un umbral predeterminado. El uno o más criterios predeterminados pueden comprender si dicho sensor tiene el consumo de potencia más bajo de la pluralidad de sensores.
En algunas realizaciones, el número de sensores en el subconjunto varía basándose en una dirección de movimiento del vehículo. El número de sensores en el subconjunto puede variar basándose en complejidad de entorno del entorno. En algunas realizaciones, el vehículo es un vehículo aéreo no tripulado. El vehículo puede comprender una o más unidades de propulsión configuradas para realizar el movimiento del vehículo. La una o más unidades de propulsión comprenden uno o más rotores configurados para proporcionar sustentación al vehículo.
En algunas realizaciones, la pluralidad de sensores comprende una pluralidad de tipos de sensor diferentes. La pluralidad de sensores puede comprender uno o más de: un dispositivo de obtención de imágenes, un sensor de ultrasonidos, un sensor de lidar o un sensor de radar. La pluralidad de sensores puede comprender al menos tres sensores o al menos cuatro sensores. Cada sensor puede estar orientado en una dirección diferente con respecto al vehículo. Las diferentes direcciones pueden ser direcciones ortogonales. Las diferentes direcciones pueden comprender al menos cuatro direcciones diferentes. Al menos una de las diferentes direcciones puede estar sustancialmente a lo largo de una dirección de movimiento del vehículo.
En algunas realizaciones, la pluralidad de sensores están ubicados en tres o más de las siguientes ubicaciones: un lado delantero, lado trasero, lado izquierdo, lado derecho, lado superior o lado inferior del vehículo.
En algunas realizaciones, la información de navegación comprende información de estado para el vehículo. La información de estado puede comprender al menos una de una posición, una actitud, una velocidad o una aceleración del vehículo. La actitud puede comprender al menos una de una orientación de alabeo, una orientación de cabeceo o una orientación de guiñada del vehículo.
En algunas realizaciones, la información de navegación comprende información de entorno para el entorno. La información de entorno puede comprender ubicaciones de uno o más obstáculos en el entorno. Las señales pueden hacer que el vehículo evite el uno o más obstáculos.
Otros objetivos y características de la presente invención resultarán evidentes mediante una revisión de la memoria descriptiva, las reivindicaciones y las figuras adjuntas.
Incorporación por referencia
Breve descripción de los dibujos
Las características novedosas de la invención se exponen con particularidad en las reivindicaciones adjuntas. Se obtendrá una mejor comprensión de las características y ventajas de la presente invención haciendo referencia a la siguiente descripción detallada que expone realizaciones ilustrativas, en las que se usan los principios de la invención, y los dibujos adjuntos de los cuales:
la figura 1 ilustra un UAV que funciona en un entorno exterior, según realizaciones;
la figura 2 ilustra un UAV que funciona en un entorno interior, según realizaciones;
la figura 3 ilustra un UAV acoplado con múltiples sensores, según realizaciones;
la figura 4 ilustra sensores con campos de visión diferentes, según realizaciones;
la figura 5 ilustra un método para navegar un vehículo dentro de un entorno, según realizaciones;
la figura 6 ilustra un sistema para procesar información de estado de un UAV usando imágenes a partir de una pluralidad de dispositivos de obtención de imágenes, según realizaciones;
la figura 7 ilustra un método para evaluar información de estado y controlar un vehículo basándose en la información procesada, según realizaciones;
la figura 8 ilustra un método para evaluar información de estado basándose en calcular un número de puntos característicos, según realizaciones;
la figura 9 ilustra una vista desde arriba de un UAV en movimiento con un dispositivo de obtención de imágenes primario y dispositivos de obtención de imágenes secundarios, según realizaciones;
la figura 10 ilustra un método para evaluar información de estado basándose en dispositivos de obtención de imágenes primarios y secundarios, según realizaciones;
la figura 11 ilustra números de puntos característicos a modo de ejemplo para tres secuencias de imágenes obtenidas mediante tres dispositivos de obtención de imágenes secundarios, según realizaciones;
la figura 12 ilustra un UAV, según realizaciones;
la figura 13 ilustra un objeto móvil que incluye un soporte y una carga útil, según realizaciones; y
la figura 14 ilustra un sistema para controlar un objeto móvil, según realizaciones.
Descripción detallada
La presente divulgación proporciona sistemas y métodos de navegación para evaluar información de estado de vehículos, tales como un vehículo aéreo no tripulado (UAV). En algunas realizaciones, el UAV puede estar adaptado para portar una pluralidad de sensores configurados para recopilar datos de entorno. En algunas realizaciones, los sensores pueden comprender dispositivos de obtención de imágenes tales como cámaras. Los enfoques descritos en el presente documento pueden implicar usar más de un dispositivo de obtención de imágenes para obtener una pluralidad de imágenes con campos de visión diferentes. En algunas realizaciones, la calidad de tramas de imagen tomadas por la pluralidad de dispositivos de obtención de imágenes puede compararse a lo largo de un intervalo de tiempo para determinar un dispositivo de obtención de imágenes primario con la secuencia de imágenes de la calidad más alta para ese periodo de tiempo. Un procesador puede procesar información a partir únicamente de las tramas de imagen tomadas por el dispositivo de obtención de imágenes primario para determinar o evaluar el estado para el UAV. Este enfoque puede ser ventajoso para proporcionar información de estado precisa y fiable en situaciones en las que es difícil que un único dispositivo de obtención de imágenes obtenga imágenes de alta calidad a lo largo de un periodo de tiempo. Procesar imágenes para obtener información de estado a partir únicamente de imágenes capturadas por el dispositivo de obtención de imágenes primario puede reducir el tiempo y retardo de procesamiento y reducir los recursos de cálculo que se necesitan. El uso de múltiples dispositivos de obtención de imágenes para recopilar datos de entorno tal como se da a conocer en el presente documento puede mejorar la precisión de determinación de información de estado para el UAV incluso en diversos entornos y condiciones de funcionamiento, potenciando de ese modo la robustez y flexibilidad de funcionalidades de UAV tales como navegación y evitación de obstáculos.
Las realizaciones proporcionadas en el presente documento pueden aplicarse a diversos tipos de vehículos, tales como UAV. Por ejemplo, el UAV puede ser un UAV a escala pequeña que pesa no más de 10 kg y/o tiene una dimensión máxima de no más de 1,5 m. En algunas realizaciones, el UAV puede ser un giroavión, tal como una aeronave de múltiples rotores que se propulsa para moverse a través del aire mediante una pluralidad de hélices (por ejemplo, un cuadricóptero). A continuación se describen con más detalle ejemplos adicionales de UAV, otros vehículos y otros objetos móviles adecuados para su uso con las realizaciones presentadas en el presente documento.
Los UAV descritos en el presente documento pueden hacerse funcionar de manera completamente autónoma (por ejemplo, mediante un sistema informático adecuado tal como un controlador a bordo), semiautónoma o manual (por ejemplo, por un usuario humano). El UAV puede recibir órdenes a partir de una entidad adecuada (por ejemplo, usuario humano o sistema de control autónomo) y responder a tales órdenes realizando una o más acciones. Por ejemplo, el UAV puede controlarse para despegar, moverse por el aire (por ejemplo, con hasta tres grados de libertad en traslación y hasta tres grados de libertad en rotación), moverse hasta una ubicación objetivo o hasta una secuencia de ubicaciones objetivo, volar de manera estacionaria en el aire, aterrizar y así sucesivamente. Como otro ejemplo, el UAV puede controlarse para moverse a una velocidad y/o aceleración especificadas (por ejemplo, con hasta tres grados de libertad en traslación y hasta tres grados de libertad en rotación) o a lo largo de un trayecto de movimiento especificado. Además, las órdenes pueden usarse para controlar uno o más componentes de UAV, tales como los componentes descritos en el presente documento (por ejemplo, sensores, accionadores, unidades de propulsión, carga útil, etc.). Por ejemplo, algunas órdenes pueden usarse para controlar la posición, orientación y/o funcionamiento de una carga útil de UAV tal como una cámara. Opcionalmente, el UAV puede estar configurado para funcionar según una o más reglas de funcionamiento predeterminadas. Las reglas de funcionamiento pueden usarse para controlar cualquier aspecto adecuado del UAV, tal como la posición (por ejemplo, latitud, longitud, altitud), orientación (por ejemplo, alabeo, cabeceo, guiñada), velocidad (por ejemplo, de traslación y/o angular) y/o aceleración (por ejemplo, de translación y/o angular) del UAV. Por ejemplo, las reglas de funcionamiento pueden estar diseñadas de tal manera que no se permite que el UAV vuele más allá de una altura umbral, por ejemplo, el UAV puede estar configurado para volar a una altura de no más de 400 m desde el terreno. En algunas realizaciones, las reglas de funcionamiento pueden estar adaptadas para proporcionar mecanismos automatizados para mejorar la seguridad de UAV y prevenir incidentes de seguridad. Por ejemplo, el UAV puede estar configurado para detectar una zona de vuelo restringida (por ejemplo, un aeropuerto) y no volar dentro de una distancia predeterminada de la zona de vuelo restringida, evitando de ese modo posibles colisiones con aeronaves y otros obstáculos.
La figura 1 ilustra un UAV 102 que funciona en un entorno exterior 100, según realizaciones. El entorno exterior 100 puede ser un contexto urbano, suburbano o rural, o cualquier otro entorno que no está al menos parcialmente dentro de un edificio. El UAV 102 puede hacerse funcionar relativamente cerca del terreno 104 (por ejemplo, baja altitud) o relativamente lejos del terreno 104 (por ejemplo, alta altitud). Por ejemplo, puede considerarse que un uAv 102 que funciona a menos de, o igual a, aproximadamente 10 m del terreno está a baja altitud, mientras que puede considerarse que un UAV 102 que funciona a más de, o igual a, aproximadamente 10 m del terreno está a alta altitud.
En algunas realizaciones, el entorno exterior 100 incluye uno o más obstáculos 108a-d. Un obstáculo puede incluir cualquier objeto o entidad que puede obstruir el movimiento del UAV 102. Algunos obstáculos pueden estar situados en el terreno 104 (por ejemplo, los obstáculos 108a, 108d), tales como edificios, vehículos terrestres (por ejemplo, coches, motocicletas, camiones, bicicletas), seres humanos, animales, plantas (por ejemplo, árboles, arbustos) y otras estructuras artificiales o naturales. Algunos obstáculos pueden estar en contacto con, y/o soportados por, el terreno 104, agua, estructuras artificiales o estructuras naturales. Alternativamente, algunos obstáculos pueden estar completamente ubicados en el aire 106 (por ejemplo, los obstáculos 108b, 108c), incluyendo vehículos aéreos (por ejemplo, aviones, helicópteros, globos aerostáticos, otros UAV) o pájaros. Los obstáculos aéreos pueden no estar soportados por el terreno 104, o por agua, o por ninguna estructura natural o artificial. Un obstáculo ubicado en el terreno 104 puede incluir porciones que se extienden sustancialmente en el aire 106 (por ejemplo, estructuras altas tales como torres, rascacielos, farolas, torres de radio, tendido eléctrico, árboles, etc.).
La figura 2 ilustra un UAV 152 que funciona en un entorno interior 150, según realizaciones. El entorno interior 150 está dentro del interior de un edificio 154 que tiene un suelo 156, una o más paredes 158 y/o un techo o tejado 160. Los edificios a modo de ejemplo incluyen edificios residenciales, comerciales o industriales tales como casas, apartamentos, oficinas, instalaciones de fabricación, instalaciones de almacenamiento y así sucesivamente. El interior del edificio 154 puede estar completamente encerrado por el suelo 156, las paredes 158 y el techo 160 de tal manera que el UAV 152 está restringido al espacio interior. A la inversa, al menos uno del suelo 156, las paredes 158 o el techo 160 puede estar ausente, permitiendo de ese modo que el UAV 152 vuele desde el interior hasta el exterior o viceversa. Alternativamente o en combinación, una o más aberturas 164 pueden estar formadas en el suelo 156, las paredes 158 o el techo 160 (por ejemplo, una puerta, ventana, tragaluz).
De manera similar al entorno exterior 100, el entorno interior 150 puede incluir uno o más obstáculos 162a-d. Algunos obstáculos pueden estar situados en el suelo 156 (por ejemplo, el obstáculo 162a), tales como mobiliario, aparatos, seres humanos, animales, plantas y otros objetos artificiales o naturales. A la inversa, algunos obstáculos pueden estar ubicados en el aire (por ejemplo, el obstáculo 162b), tales como pájaros u otros UAV. Algunos obstáculos en el entorno interior 150 pueden estar soportados por otras estructuras u objetos. Los obstáculos también pueden estar conectados al techo 160 (por ejemplo, el obstáculo 162c), tales como dispositivos de iluminación, ventiladores de techo, vigas u otros aparatos o estructuras montados en el techo. En algunas realizaciones, los obstáculos pueden estar conectados a las paredes 158 (por ejemplo, el obstáculo 162d), tales como dispositivos de iluminación, estanterías, armarios y otras estructuras o aparatos montados en la pared. De manera notable, también puede considerarse que los componentes estructurales del edificio 154 son obstáculos, incluyendo el suelo 156, las paredes 158 y el techo 160.
Los obstáculos descritos en el presente documento pueden ser sustancialmente estacionarios (por ejemplo, edificios, plantas, estructuras) o sustancialmente móviles (por ejemplo, seres humanos, animales, vehículos u otros objetos que pueden realizar movimiento). Algunos obstáculos pueden incluir una combinación de componentes estacionarios y móviles (por ejemplo, un molino de viento). Los obstáculos o componentes de obstáculos móviles pueden moverse según un patrón o trayecto predeterminado o predecible. Por ejemplo, el movimiento de un coche puede ser relativamente predecible (por ejemplo, según la forma de la carretera). Alternativamente, algunos obstáculos o componentes de obstáculos móviles pueden moverse a lo largo de trayectorias aleatorias o de otro modo impredecibles. Por ejemplo, un ser vivo tal como un animal puede moverse de una manera relativamente impredecible.
Con el fin de garantizar un funcionamiento seguro y eficiente, puede resultar beneficioso proporcionar al UAV mecanismos para evaluar información de entorno tal como las ubicaciones de objetos en el entorno circundante y/o información de estado de UAV tal como posición, velocidad, actitud y aceleración. Adicionalmente, la evaluación precisa de información de entorno y/o de estado puede facilitar la navegación, particularmente cuando el UAV está funcionando de una manera semiautónoma o totalmente autónoma y puede ser valiosa para una amplia variedad de funcionalidades de UAV.
Por consiguiente, los UAV descritos en el presente documento pueden incluir uno o más sensores configurados para recopilar datos de sensor que pueden procesarse para obtener información de navegación para navegar el UAV. La información de navegación puede incluir información referente al estado de UAV, el entorno circundante o los objetos dentro del entorno. Basándose en los datos de sensor que se recopilan, puede ser posible generar señales de control para controlar la navegación de UAV. Los sensores a modo de ejemplo adecuados para su uso con las realizaciones dadas a conocer en el presente documento incluyen sensores de ubicación (por ejemplo, sensores de sistema de posicionamiento global (GPS), transmisores de dispositivos móviles que permiten la triangulación de la ubicación), sensores de visión (por ejemplo, dispositivos de obtención de imágenes que pueden detectar luz visible, infrarroja o ultravioleta, tales como cámaras), sensores de proximidad o alcance (por ejemplo, sensores de ultrasonidos, lidar, cámaras de tiempo de vuelo o profundidad, radar), sensores inerciales (por ejemplo, acelerómetros, giroscopios, unidades de medición inerciales (IMU)), sensores de altitud, sensores de actitud (por ejemplo, brújulas), sensores de presión (por ejemplo, barómetros), sensores de audio (por ejemplo, micrófonos) o sensores de campo (por ejemplo, magnetómetros, sensores electromagnéticos). Puede usarse cualquier número adecuado y combinación de sensores, tal como uno, dos, tres, cuatro, cinco, seis, siete, ocho o más sensores. Opcionalmente, los datos pueden recibirse a partir de sensores de diferentes tipos (por ejemplo, dos, tres, cuatro, cinco, seis, siete, ocho o más tipos). Los sensores de diferentes tipos pueden medir diferentes tipos de señales o información (por ejemplo, posición, orientación, velocidad, aceleración, proximidad, presión, etc.) y/o usar diferentes tipos de técnicas de medición para obtener datos. Por ejemplo, los sensores pueden incluir cualquier combinación adecuada de sensores activos (por ejemplo, sensores que generan y miden energía a partir de su propia fuente de energía) y sensores pasivos (por ejemplo, sensores que detectan energía disponible). Como otro ejemplo, algunos sensores pueden generar datos de medición absolutos que se proporcionan con respecto a un sistema de coordenadas global (por ejemplo, datos de posición proporcionados por un sensor de GPS, datos de actitud proporcionados por una brújula o magnetómetro), mientras que otros sensores pueden generar datos de medición relativos que se proporcionan con respecto a un sistema de coordenadas local (por ejemplo, velocidad angular relativa proporcionada por un giroscopio; aceleración de traslación relativa proporcionada por un acelerómetro; información de actitud relativa proporcionada por un sensor de visión; información de distancia relativa proporcionada por un sensor de ultrasonidos, lidar o cámara de tiempo de vuelo). En algunos casos, el sistema de coordenadas local puede ser un sistema de coordenadas del cuerpo que se define con respecto al UAV.
Los sensores pueden estar configurados para recopilar diversos tipos de datos de sensor útiles para la navegación, tales como datos relacionados con el UAV, el entorno circundante u objetos dentro del entorno. Los datos de sensor pueden procesarse (por ejemplo, mediante uno o más procesadores) para obtener información de navegación, tal como información de estado o información de entorno. Por ejemplo, al menos algunos de los sensores pueden estar configurados para proporcionar datos referentes a un estado del UAV y los datos de sensor obtenidos mediante tales sensores pueden procesarse para obtener información de estado para el UAV. La información de estado proporcionada por un sensor puede incluir información referente a una disposición espacial del UAV (por ejemplo, información de ubicación o posición tal como longitud, latitud y/o altitud; información de orientación o actitud tal como alabeo, cabeceo y/o guiñada). La información de estado también puede incluir información referente al movimiento del UAV (por ejemplo, velocidad de traslación, aceleración de traslación, velocidad angular, aceleración angular, etc.). Un sensor puede estar configurado, por ejemplo, para determinar una disposición espacial y/o movimiento del UAV con respecto a hasta seis grados de libertad (por ejemplo, tres grados de libertad en posición y/o traslación, tres grados de libertad en orientación y/o rotación). La información de estado puede proporcionarse con respecto a un sistema de coordenadas global o con respecto a un sistema de coordenadas local (por ejemplo, con respecto al UAV o a otra entidad). Por ejemplo, un sensor puede estar configurado para determinar la distancia entre el UAV y el usuario que controla el UAV o la distancia entre el UAV y el punto de partida de vuelo para el UAV.
Alternativa o adicionalmente, los datos obtenidos mediante los sensores pueden procesarse para proporcionar diversos tipos de información de entorno. Por ejemplo, los datos de sensor pueden ser indicativos de un tipo de entorno, tal como un entorno interior, entorno exterior, entorno de baja altitud o entorno de alta altitud. Los datos de sensor también pueden proporcionar información referente a condiciones de entorno actuales, incluyendo climatología (por ejemplo, despejado, lluvioso, nieve), condiciones de visibilidad, velocidad del viento, hora del día y así sucesivamente. Además, la información de entorno recopilada por los sensores puede incluir información referente a los objetos en el entorno, tal como los obstáculos descritos en el presente documento. La información de obstáculos puede incluir información referente al número, densidad, geometría y/o ubicación de uno o más obstáculos en el entorno.
En algunas realizaciones, la información de entorno puede incluir información referente a la complejidad del entorno circundante. “Complejidad de entorno” puede usarse en el presente documento para referirse al grado al que un entorno está ocupado por obstáculos. La complejidad de entorno puede ser una medida cuantitativa o cualitativa. En algunas realizaciones, la complejidad de entorno se determina basándose en uno o más de: el número de obstáculos, el volumen o porcentaje de espacio ocupado por obstáculos, el volumen o porcentaje de espacio dentro de una determinada proximidad al UAV ocupado por obstáculos, el volumen o porcentaje de espacio no obstruido por obstáculos, el volumen o porcentaje de espacio dentro de una determinada proximidad al UAV no obstruido por obstáculos, la proximidad de obstáculos al UAV, la densidad de obstáculos (por ejemplo, número de obstáculos por unidad de espacio), los tipos de obstáculos (por ejemplo, estacionarios o móviles), la disposición espacial de obstáculos (por ejemplo, posición, orientación), el movimiento de obstáculos (por ejemplo, velocidad, aceleración) y así sucesivamente. Por ejemplo, un entorno que tiene una densidad de obstáculos relativamente alta tendrá una alta complejidad de entorno (por ejemplo, entorno interior, entorno urbano), mientras que un entorno que tiene una densidad de obstáculos relativamente baja tendrá una baja complejidad de entorno (por ejemplo, entorno de alta altitud). Como otro ejemplo, un entorno en el que un gran porcentaje de espacio está ocupado por obstáculos tendrá una complejidad superior, mientras que un entorno que tiene un gran porcentaje de espacio no obstruido tendrá una complejidad inferior.
En algunas realizaciones, la información de navegación obtenida a partir del procesamiento de los datos de sensor se usa para generar señales para controlar diversos aspectos de la navegación de UAV, tales como movimiento, evitación de obstáculos, mapeo de entorno y así sucesivamente. Las señales pueden emitirse a diversos componentes de UAV, por ejemplo, unidades de propulsión, para realizar la navegación de UAV dentro de un entorno. En algunas realizaciones, tal navegación puede producirse de manera autónoma o semiautónoma, de tal manera que se requiere poca o ninguna entrada de usuario para controlar el UAV.
Con el fin de optimizar la navegación del UAV dentro de un entorno, puede resultar beneficioso optimizar la precisión de la información de navegación usada como base para controlar el UAV. La precisión de la información de navegación puede depender de la precisión, fiabilidad y calidad de los datos de sensor usados para generar la información de navegación. En algunos casos, es posible que un único sensor no pueda proporcionar datos de sensor satisfactorios para el funcionamiento de UAV en todo momento, por ejemplo, debido a fallo de dispositivo, calidad de datos de sensor inferior a la óptima, limitaciones en el campo de visión de sensor, etc. Por consiguiente, con el fin de garantizar que los datos de sensor obtenidos son satisfactorios con fines de navegación, puede resultar beneficioso proporcionar múltiples sensores en el UAV con fines de navegación, por ejemplo, para proporcionar redundancia, aumentar la cantidad de datos disponibles para procesamiento y compensar fallo o imprecisiones en cualquier sensor individual.
La figura 3 ilustra un UAV 300 acoplado con múltiples sensores 308, 310 y 312, según realizaciones. El UAV 300 puede incluir un cuerpo de vehículo 302. Las unidades de propulsión 304, 306 pueden estar acopladas al cuerpo de vehículo 302. El UAV 300 puede incluir uno o más sensores acoplados al cuerpo 302, tales como los sensores 308, 310, 312. Cada sensor puede tener un campo de visión diferente 314, 316, 318. En la realización de la figura 3, los sensores 308, 310 están acoplados a los lados del cuerpo 302, mientras que el sensor 312 está conectado al cuerpo de vehículo 302 mediante un soporte 320 (por ejemplo, un cardán). Aunque la figura 3 muestra sensores que están acoplados a los lados y conectados al cuerpo de vehículo mediante un soporte, debe entenderse que los sensores de la presente divulgación pueden estar situados en cualquier porción adecuada del UAV, tal como encima, debajo, en el/los lado(s) o dentro de un cuerpo de vehículo del UAV. Algunos sensores pueden estar mecánicamente acoplados al UAV de tal manera que la disposición espacial y/o el movimiento del UAV corresponden a la disposición espacial y/o el movimiento del sensor. Los sensores pueden acoplarse al UAV mediante un acoplamiento rígido, de tal manera que el sensor no se mueve con respecto a la porción del UAV a la que está unido. Alternativamente, el acoplamiento entre el sensor y el UAV puede permitir el movimiento (por ejemplo, movimiento de traslación o rotación con respecto al UAV) del sensor con respecto al UAV. El acoplamiento puede ser un acoplamiento permanente o acoplamiento no permanente (por ejemplo, liberable). Los métodos de acoplamiento adecuados pueden incluir adhesivos, unión, soldadura y/o elementos de sujeción (por ejemplo, tornillos, clavos, pasadores, etc.). Opcionalmente, el sensor puede estar formado de manera solidaria con una porción del UAV. Además, el sensor puede estar eléctricamente acoplado con una porción del UAV (por ejemplo, unidad de procesamiento, sistema de control, almacenamiento de datos) para permitir que los datos recopilados por el sensor se usen para diversas funciones del UAV (por ejemplo, navegación, control, propulsión, comunicación con un usuario u otro dispositivo, etc.), tal como las realizaciones comentadas en el presente documento. El sensor puede estar operativamente acoplado con una porción del UAV (por ejemplo, unidad de procesamiento, sistema de control, almacenamiento de datos).
Aunque la figura 3 representa un UAV con tres sensores, debe entenderse que las realizaciones descritas en el presente documento pueden aplicarse a cualquier número adecuado de sensores, tal como uno, dos, tres, cuatro, cinco, seis, siete, ocho o más sensores. En algunas realizaciones, el UAV incluye al menos uno, al menos dos, al menos tres, al menos cuatro, al menos cinco, al menos seis, al menos siete o al menos ocho sensores. Los sensores pueden apuntar, cada uno, en direcciones diferentes. Los sensores pueden estar posicionados y orientados unos con respecto a otros y con respecto al UAV según se desee. En algunas realizaciones, los sensores pueden estar posicionados unos cerca de otros. Alternativamente, algunos pueden estar posicionados unos lejos de otros. Los sensores pueden estar posicionados en lados opuestos del vehículo, en lados adyacentes del vehículo, en el mismo lado del vehículo, en la misma porción del vehículo o en porciones diferentes del vehículo. Por ejemplo, cada sensor puede estar montado en un lado o superficie diferente del UAV (por ejemplo, superficies delantera, trasera, izquierda, derecha, superior (lado superior) y/o inferior (lado inferior)). En algunas realizaciones, algunos o la totalidad de los sensores están montados en uno o más soportes unidos al UAV. En algunas realizaciones, la pluralidad de sensores pueden estar ubicados en tres o más lados o superficies diferentes del UAV (por ejemplo, lados delantero, trasero, izquierdo, derecho, superior, inferior del vehículo).
Los sensores pueden estar situados en diferentes posiciones y orientaciones de tal manera que el campo de visión de cada sensor es diferente. El campo de visión de un sensor puede ser el alcance del entorno que puede detectarse (por ejemplo, es visible) por el sensor. Sensores con campos de visión diferentes pueden representar porciones diferentes del entorno circundante. Los campos de visión de algunos o la totalidad de los sensores pueden solaparse. Alternativamente, los campos de visión de los sensores pueden no solaparse. Los campos de visión entre dos sensores pueden solaparse pero ser diferentes (por ejemplo, solaparse solo parcialmente). El campo de visión puede estar relacionado con el ángulo de visión, que puede medirse mediante el alcance angular de una escena dada de la que se obtienen imágenes por el sensor. El ángulo de visión de un sensor puede ser un ángulo de menos de, o de aproximadamente, 360o, 300°, 270°, 240°, 180°, 120°, 90°, 60°, 45°, 30°, 20°, 10°, 5° o 1°. El ángulo de visión de cada sensor puede ser diferente. Alternativamente, el ángulo de visión de algunos o la totalidad de los sensores puede ser el mismo.
En algunas realizaciones, la direccionalidad de un sensor con componentes ópticos (por ejemplo, sensores de visión tales como cámaras) puede estar caracterizada por la direccionalidad de su eje óptico. Una pluralidad de sensores pueden estar situados en posiciones y orientaciones diferentes de tal manera que sus ejes ópticos respectivos son diferentes. El eje óptico de un sensor, que también puede denominarse “eje principal”, puede ser una línea a lo largo de la cual hay algún grado de simetría de rotación en el sensor. En algunas realizaciones, el eje óptico del sensor pasa a través del centro de los componentes ópticos (por ejemplo, lente, fotosensor) del sensor. En algunas realizaciones, los sensores pueden estar dispuestos de tal manera que sus ejes ópticos respectivos forman un ángulo de aproximadamente 10°, 20°, 30°, 40°, 50°, 60°, 70°, 80°, 90°, 100°, 110°, 120°, 130°, 140°, 150°, 160°, 170° o 180° unos con respecto a otros. En algunas realizaciones, los sensores pueden estar separados de manera uniforme (por ejemplo, dos dispositivos están separados 180°, tres dispositivos están separados 120°, cuatro dispositivos están separados 90°, etc.). En algunas realizaciones, los sensores pueden estar orientados de manera ortogonal unos con respecto a otros. Alternativamente o en combinación, al menos uno de los sensores puede estar orientado a lo largo de la dirección de movimiento del UAV. El eje óptico puede ser el eje a partir del cual se mide el ángulo de visión. El ángulo de visión puede medirse de manera vertical, horizontal o diagonal a lo largo del eje óptico.
La figura 4 ilustra dos sensores 405, 410 posicionados cerca con campos de visión 415, 420 diferentes, según realizaciones. En algunas realizaciones, los sensores 405, 410 son cámaras. El sensor 405 obtiene datos de sensor con un campo de visión 415 y el sensor 410 obtiene datos de sensor con un campo de visión 420. En la realización de la figura 4, los campos de visión 415, 420 son diferentes y no se solapan. En algunas realizaciones, los ángulos de visión 435, 440 de los sensores 405, 410 medidos horizontalmente son de aproximadamente 60°. El sensor 405 puede tener un eje óptico 425 que forma un ángulo de 90° con respecto al eje óptico 430 del sensor 410. En realizaciones alternativas, los campos de visión 415, 420, los ángulos de visión 435, 440 y/o los ejes ópticos 425, 430 pueden hacerse variar según se desee.
Los sensores portados en un UAV (u otro objeto móvil) pueden ser todos ellos del mismo tipo. Alternativamente, al menos algunos de los sensores pueden ser de tipos diferentes. En algunas realizaciones, los sensores proporcionan, cada uno, datos de sensor de la misma escena a partir de posiciones y/u orientaciones diferentes. Los sensores pueden estar configurados para capturar datos de sensor de una escena al mismo tiempo o aproximadamente al mismo tiempo. Alternativamente, algunos sensores pueden estar configurados para capturar datos de sensor en momentos diferentes de otros sensores.
Tal como se describió anteriormente en el presente documento, el uso de múltiples sensores para recopilar datos de sensor puede mejorar la precisión de información de navegación en algunos casos. Sin embargo, en determinadas situaciones, procesar datos de sensor a partir de múltiples sensores puede requerir más potencia de procesamiento, tiempo de procesamiento y/o recursos de cálculo de lo que resulta ideal. Por ejemplo, es posible que los UAV a pequeña escala (por ejemplo, que pesan menos de 10 kg) y otros objetos móviles pequeños no puedan portar suficientes procesadores, memoria y/u otros tipos de recursos de cálculo para permitir el procesamiento de múltiples conjuntos de datos de sensor a una velocidad suficiente para fines de navegación.
Por consiguiente, en algunas realizaciones, se usa un procesamiento selectivo de datos de sensor para conservar la potencia de procesamiento y los recursos de cálculo y reducir el tiempo de procesamiento. En tales realizaciones, solo se usa un subconjunto de los sensores portados por el UAV para proporcionar datos de sensor para generar información de navegación. El subconjunto de sensores puede seleccionarse basándose en uno o más criterios predeterminados para optimizar la precisión de la información de navegación resultante, así como para mejorar el rendimiento de uAv global (por ejemplo, reducir el consumo de potencia, carga de procesador, complejidad de cálculo). Este enfoque puede mejorar la velocidad y eficiencia del procesamiento de datos de sensor al tiempo que se mantiene una precisión y fiabilidad mejoradas de la información de navegación.
La figura 5 ilustra un método 500 para navegar un vehículo dentro de un entorno, según realizaciones. El método 500 puede aplicarse para controlar un vehículo tal como un UAV que porta una pluralidad de sensores (por ejemplo, dispositivos de obtención de imágenes, sensores de ultrasonidos, sensores de lidar, sensores de radar o combinaciones de los mismos). Opcionalmente, los sensores pueden estar dispuestos en el vehículo de tal manera que cada sensor obtiene datos de sensor respectivos a partir de un campo de visión diferente. Al menos algunos de los campos de visión pueden solaparse entre sí. En algunas realizaciones, al menos algunos de los campos de visión son diferentes. En otras realizaciones, al menos algunos de los campos de visión son iguales. Algunas o la totalidad de las etapas del método 500 pueden realizarse mediante uno o más procesadores que están operativamente acoplados a la pluralidad de sensores. En algunas realizaciones, el método 500 se realiza sin requerir entrada de usuario, permitiendo de ese modo una selección autónoma y procesamiento de datos de sensor para generar información de navegación.
En la etapa 510, se selecciona un subconjunto de una pluralidad de sensores portados por el vehículo, basándose en uno o más criterios predeterminados. El subconjunto puede incluir cualquier número de sensores, tal como al menos uno, dos, tres, cuatro, cinco o más sensores. En algunas realizaciones, el subconjunto es menor que la totalidad de los sensores portados por el vehículo para navegación. En algunas realizaciones, el subconjunto solo incluye un único sensor. El número de sensores que van a seleccionarse para el subconjunto puede variar basándose en determinados factores. Por ejemplo, el número de sensores en el subconjunto puede variar basándose en las características del entorno circundante, tal como la complejidad de entorno. Puede seleccionarse un número mayor de sensores cuando el vehículo está funcionando dentro de un entorno que es relativamente complejo (por ejemplo, alta densidad de obstáculos), mientras que puede seleccionarse un número menor de sensores cuando el vehículo está funcionando dentro de un entorno que no es complejo (por ejemplo, baja densidad de obstáculos). Puede resultar beneficioso seleccionar un número mayor de sensores cuando se navega dentro de entornos altamente complejos con el fin de proporcionar redundancia y precisión adicionales de los datos de sensor y reducir el riesgo de accidentes (por ejemplo, colisiones con obstáculos). En algunas realizaciones, se seleccionan al menos 2, 3, 4, 5 o más sensores cuando el vehículo está funcionando dentro de un entorno altamente complejo.
Como otro ejemplo, el número de sensores seleccionados como parte del subconjunto puede variar basándose en el estado del vehículo, tal como la dirección y/o la velocidad de movimiento del vehículo. En algunas realizaciones, se selecciona un único sensor si la dirección de movimiento es unidimensional (por ejemplo, con respecto a ejes de coordenadas ortogonales del sistema de referencia del vehículo), se seleccionan dos sensores si la dirección de movimiento es bidimensional y se seleccionan tres sensores si la dirección de movimiento es tridimensional. Por ejemplo, puede seleccionarse un único sensor cuando el sensor está alineado con la dirección de movimiento, pueden seleccionarse dos sensores cuando los sensores son oblicuos a la dirección de movimiento pero todavía están dentro del mismo plano de movimiento y pueden seleccionarse tres sensores cuando los sensores son oblicuos a la dirección de movimiento y están fuera del plano de movimiento. La alineación de los sensores con respecto a la dirección de movimiento puede determinarse según el campo de visión, ángulo de visión y/o eje óptico de los sensores, tal como se describió anteriormente en el presente documento.
Pueden usarse diversos tipos de criterios predeterminados para seleccionar sensores. Por ejemplo, los criterios pueden estar relacionados con la orientación y/o el campo de visión del sensor, por ejemplo, si el sensor está orientado sustancialmente a lo largo de la dirección de movimiento del vehículo, si el campo de visión del sensor se solapa con la dirección de movimiento, etc. Como otro ejemplo, los criterios pueden estar relacionados con la calidad de los datos de sensor producidos por el sensor (por ejemplo, relación señal-ruido, idoneidad para el procesamiento, precisión, robustez, fiabilidad), tal como si la calidad supera un umbral predeterminado, si el sensor tiene la calidad de datos de sensor más alta, etc. En algunas realizaciones, se analizan los datos de sensor a partir de cada sensor para determinar la calidad y solo se seleccionan los sensores que producen la calidad de datos más alta. En aún otro ejemplo, los criterios pueden estar relacionados con el consumo de potencia de cada sensor, por ejemplo, si el consumo de potencia está por debajo de un umbral predeterminado, si el sensor tiene el consumo de potencia más bajo, etc. En algunas realizaciones, se seleccionan preferiblemente sensores que muestran un consumo de potencia inferior antes que sensores que muestran un consumo de potencia superior. El uno o más criterios predeterminados pueden proporcionarse de diversas maneras, tales como previamente establecidos o previamente programados en el UAV antes del funcionamiento, transmitidos al UAV durante el funcionamiento, determinados basándose en entrada de usuario antes o durante el funcionamiento, o combinaciones de los mismos. En algunas realizaciones, la etapa 510 implica evaluar cada sensor para determinar si cumple el uno o más criterios predeterminados y seleccionar el sensor si cumple los criterios.
En la etapa 520, se procesan datos de sensor a partir del/de los sensor(es) seleccionado(s) con el fin de generar información de navegación para navegar el vehículo dentro del entorno. Tal como se describió anteriormente en el presente documento, los datos de sensor pueden procesarse para obtener información de estado para el vehículo y/o información de entorno para el entorno. En algunas realizaciones, la información de navegación se determina usando solo los datos de sensor a partir del/de los sensor(es) seleccionado(s), de tal manera que no se procesan datos de sensor a partir de los sensores restantes. Este enfoque de procesamiento selectivo puede mejorar la eficiencia y velocidad de procesamiento para determinar información de navegación, tal como se describió anteriormente en el presente documento.
En la etapa 530, se emiten señales para controlar el vehículo basándose en la información de navegación generada en la etapa 530. Las señales pueden estar configuradas para controlar la navegación del vehículo dentro del entorno. En algunas realizaciones, las señales incluyen señales de control para las unidades de propulsión del vehículo con el fin de controlar la disposición espacial y/o el movimiento del vehículo. Por ejemplo, puede usarse información de entorno referente a la ubicación de uno o más obstáculos para generar señales de control para hacer que el vehículo se mueva de una manera que evita los obstáculos. En otro ejemplo, puede usarse información de estado referente a una velocidad actual del vehículo como retroalimentación para ajustar el funcionamiento de las unidades de propulsión con el fin de garantizar que el vehículo alcanza y mantiene una velocidad deseada.
En algunas realizaciones, los enfoques descritos en el presente documento pueden aplicarse al procesamiento selectivo de datos de imagen obtenidos mediante sensores de visión, también denominados en el presente documento “dispositivos de obtención de imágenes”. Un dispositivo de obtención de imágenes puede estar configurado para detectar radiación electromagnética (por ejemplo, luz visible, infrarroja y/o ultravioleta) y generar datos de imagen basándose en la radiación electromagnética detectada. Por ejemplo, un dispositivo de obtención de imágenes puede incluir un sensor de dispositivo acoplado a carga (CCD) o un sensor de semiconductor complementario de óxido metálico (CMOS) que genera señales eléctricas en respuesta a longitudes de onda de luz. Las señales eléctricas resultantes pueden procesarse para producir datos de imagen. Los datos de imagen generados por un dispositivo de obtención de imágenes pueden incluir una o más imágenes, que pueden ser imágenes estáticas (por ejemplo, fotografías), imágenes dinámicas (por ejemplo, vídeo) o combinaciones adecuadas de las mismas. Los datos de imagen pueden ser policromáticos (por ejemplo, RGB, CMYK, HSV) o monocromáticos (por ejemplo, escala de grises, blanco y negro, sepia). Aunque determinadas realizaciones proporcionadas en el presente documento se describen en el contexto de dispositivos de obtención de imágenes, debe entenderse que la presente divulgación puede aplicarse a cualquier tipo adecuado de sensor y viceversa.
En algunas realizaciones, el dispositivo de obtención de imágenes puede ser una cámara. Una cámara puede ser una cámara de películas o vídeo que captura datos de imagen dinámicos (por ejemplo, vídeo). Una cámara puede ser una cámara de instantáneas que captura imágenes estáticas (por ejemplo, fotografías). Aunque determinadas realizaciones proporcionadas en el presente documento se describen en el contexto de cámaras, debe entenderse que la presente divulgación puede aplicarse a cualquier dispositivo de obtención de imágenes adecuado, y cualquier descripción en el presente documento referente a cámaras también puede aplicarse a cualquier dispositivo de obtención de imágenes adecuado, y cualquier descripción en el presente documento referente a cámaras puede aplicarse a otros tipos de dispositivos de obtención de imágenes. Puede usarse una cámara para generar imágenes en 2D de una escena en 3D (por ejemplo, un entorno, uno o más objetos, etc.). Las imágenes generadas por la cámara pueden representar la proyección de la escena en 3D en un plano de imagen en 2D. Por consiguiente, cada punto en la imagen en 2D corresponde a una coordenada espacial en 3D en la escena.
Las imágenes obtenidas por los dispositivos de obtención de imágenes descritos en el presente documento pueden usarse para una variedad de aplicaciones relacionadas con el funcionamiento de UAV. En algunas realizaciones, las imágenes se usan para facilitar la navegación de UAV dentro de un entorno (por ejemplo, de manera autónoma, semiautónoma o manual). Por ejemplo, las imágenes pueden procesarse para determinar información de estado para el UAV (por ejemplo, información de posición, orientación, velocidad y/o aceleración). Alternativa o adicionalmente, las imágenes pueden procesarse para determinar información de entorno (por ejemplo, complejidad, ubicación de obstáculos). Cualquier descripción en el presente documento referente a información de estado también puede aplicarse a otros tipos de información de navegación tal como información de entorno y viceversa. La información de estado puede determinarse usando imágenes obtenidas mediante un único dispositivo de obtención de imágenes. Alternativamente, la información de estado puede determinarse usando imágenes obtenidas a partir de múltiples dispositivos de obtención de imágenes.
En algunas realizaciones, los dispositivos de obtención de imágenes descritos en el presente documento están configurados para capturar una pluralidad de imágenes que se procesan con el fin de determinar la información de estado. Una pluralidad de imágenes tomadas por un dispositivo de obtención de imágenes pueden denominarse en el presente documento secuencia de imágenes. Una imagen individual capturada por el dispositivo de obtención de imágenes puede denominarse en el presente documento “trama de imagen”. Una secuencia de imágenes puede incluir una o más tramas de imagen. La secuencia de imágenes puede capturarse a una tasa de captura específica. En algunas realizaciones, las tramas de imagen pueden ser tasas de tramas de vídeo convencionales capturadas tales como aproximadamente 24p, 25p, 30p, 48p, 50p, 60p, 72p, 90p, 100p, 120p, 300p, 50i o 60i. En algunas realizaciones, las tramas de imagen pueden capturarse a una tasa menor de o igual a aproximadamente una vez cada 0,0001 segundos, 0,0002 segundos, 0,0005 segundos, 0,001 segundos, 0,002 segundos, 0,005 segundos, 0,002 segundos, 0,05 segundos, 0,01 segundos, 0,02 segundos, 0,05 segundos, 0,1 segundos, 0,2 segundos, 0,5 segundos, 1 segundo, 2 segundos, 5 segundos o 10 segundos. En algunas realizaciones, la tasa de captura puede cambiar dependiendo de la entrada de usuario, información de estado o condiciones externas (por ejemplo, lluvia, nieve, viento, textura de superficie no evidente de entorno).
La secuencia de imágenes puede capturarse a lo largo de un intervalo de tiempo. En algunas realizaciones, la secuencia de imágenes, o pluralidad de imágenes, puede comprender una pluralidad de tramas de imagen sucesivas capturadas a lo largo de un intervalo de tiempo predeterminado. El intervalo de tiempo puede establecerse según se desee por un usuario. El intervalo de tiempo puede ser fijo. Alternativamente, el intervalo de tiempo puede determinarse automáticamente, por ejemplo, por un procesador. El intervalo de tiempo puede permanecer fijo o cambiar durante el transcurso del funcionamiento del UAV o sus componentes (por ejemplo, dispositivos de obtención de imágenes). En algunas realizaciones, el intervalo de tiempo puede ser menor de o igual a aproximadamente 0,005 segundos, 0,002 segundos, 0,05 segundos, 0,01 segundos, 0,02 segundos, 0,05 segundos, 0,1 segundos, 0,2 segundos, 0,5 segundos, 1 segundo, 2 segundos, 5 segundos, 10 segundos, 20 segundos, 50 segundos, 100 segundos, 200 segundos, 500 segundos, 1000 segundos o 3600 segundos. En algunas realizaciones, el intervalo de tiempo puede estar dentro de un intervalo de desde aproximadamente 0,02 segundos hasta aproximadamente 0,1 segundos. En algunas realizaciones, el intervalo de tiempo puede cambiar dependiendo de la entrada de usuario, información de estado o condiciones externas. Los dispositivos de obtención de imágenes pueden capturar dicha secuencia de imágenes durante cualquier duración. En algunas realizaciones, la duración puede ser el tiempo durante el cual el UAV está operativo, el tiempo durante el cual el UAV está moviéndose, el tiempo establecido por el usuario, el tiempo determinado automáticamente por un procesador, el tiempo previamente establecido, el tiempo durante el cual se facilita entrada de usuario, el tiempo durante el cual hay inestabilidad (por ejemplo, turbulencia, deriva) o dependiendo de información de estado.
En algunas realizaciones, las secuencias de imágenes capturadas por los dispositivos de obtención de imágenes pueden procesarse para detectar uno o más puntos característicos presentes en cada imagen de la pluralidad de imágenes a partir de cada dispositivo de obtención de imágenes. Un punto característico puede ser una porción de una imagen (por ejemplo, un borde, esquina, punto de interés, mancha, cresta, etc.) que puede distinguirse de manera única a partir de las porciones restantes de la imagen y/u otros puntos característicos en la imagen. Opcionalmente, un punto característico puede ser relativamente invariable con respecto a transformaciones del objeto del que se obtienen imágenes (por ejemplo, traslación, rotación, ajuste a escala) y/o cambios en las características de la imagen (por ejemplo, brillo, exposición). Un punto característico puede detectarse en porciones de una imagen que es rica en cuanto a contenido de información (por ejemplo, textura en 2D significativa). Un punto característico puede detectarse en porciones de una imagen que son estables frente a perturbaciones (por ejemplo, cuando se varía la iluminación y el brillo de una imagen). La detección de características tal como se describe en el presente documento puede lograrse usando diversos algoritmos que pueden extraer uno o más puntos característicos a partir de datos de imagen y calcular el número total de puntos característicos, o “número de puntos característicos”. El algoritmo puede ser un algoritmo de detección de bordes, un algoritmo de detección de esquinas, un algoritmo de detección de manchas o un algoritmo de detección de crestas. En algunas realizaciones, el algoritmo de detección de esquinas puede ser uno de “características a partir de la prueba de segmentos acelerada” (FAST). En algunas realizaciones, el detector de característica puede extraer puntos característicos y calcular un número de puntos característicos usando FAST. En algunas realizaciones, el detector de característica puede ser un detector de bordes de Canny, operador Sobel, algoritmo de detección de esquinas de Harris & Stephens/Plessy/Shi-Tomasi, el detector de esquinas SUSAN, enfoque de curvatura de curva de nivel, laplaciano de gaussiano, diferencia de gaussianos, determinante de Hessian, MSER, PCBR o manchas de nivel de gris, ORB, FREAK o combinaciones adecuadas de los mismos.
Puede evaluarse información de estado según las características extraídas usando uno o más procesadores. En algunas realizaciones, un procesador puede comprender una matriz de compuertas programable en el campo (FPGA), circuito integrado específico de aplicación (ASIC), producto convencional específico de aplicación (ASSP) o dispositivos lógicos programables complejos (CPLD). En algunas realizaciones, el procesador puede ser un procesador incorporado portado por el UAV. Alternativamente, el procesador puede estar separado del UAV (por ejemplo, en una estación terrestre, que se comunica con el UAV). En algunas realizaciones, el procesador puede tomar los puntos característicos extraídos y compararlos a lo largo de una secuencia de tramas de imagen con el fin de rastrear y mapear objetos y determinar los cambios relativos a lo largo de las tramas de imagen. En algunas realizaciones, el procesador puede determinar información de estado del UAV tal como posición (por ejemplo, longitud, latitud y altitud), actitud, orientación (por ejemplo, alabeo, cabeceo y guiñada), velocidad (por ejemplo, velocidad de translación y angular) y aceleración (por ejemplo, aceleración de translación y angular) analizando los cambios relativos a lo largo de las tramas de imagen basándose en los puntos característicos.
La figura 6 ilustra un sistema 600 para procesar información de estado de un UAV usando imágenes a partir de una pluralidad de dispositivos de obtención de imágenes 602, según realizaciones. El sistema 600 puede incluir una pluralidad de dispositivos de obtención de imágenes 602, un primer procesador 604 y un segundo procesador 606. Cada uno de los dispositivos de obtención de imágenes 602 puede usarse para capturar una secuencia de imágenes. Las secuencias de imágenes capturadas por los dispositivos de obtención de imágenes 602 pueden enviarse al primer procesador 604 (por ejemplo, una FPGA) que procesa las secuencias de imágenes con el fin de detectar puntos característicos en cada una de las imágenes, por ejemplo, usando los algoritmos descritos anteriormente. En algunas realizaciones, el procesador 604 determina una pluralidad de puntos característicos a partir de cada una de las imágenes en las secuencias de imágenes, calcula un número de puntos característicos y usa el número de puntos característicos para evaluar o determinar la calidad de imagen, tal como se describe con más detalle en el presente documento. Los puntos característicos para cada una de las secuencias de imágenes pueden transmitirse al segundo procesador 606 (por ejemplo, un procesador incorporado). El procesador 606 puede procesar adicionalmente las secuencias de imágenes para evaluar la información de estado del UAV. Opcionalmente, el procesador 606 puede determinar la información de estado usando los puntos característicos de las secuencias de imágenes generados por el procesador 604, tal como se describió anteriormente en el presente documento. La información de estado puede emitirse a un módulo de control de vuelo del UAV y usarse como base para emitir señales de control para realizar el movimiento del UAV. Por ejemplo, las señales de control pueden emitirse a la una o más unidades de propulsión montadas en el UAV. Aunque se representa que el sistema 600 incluye dos procesadores independientes 604, 606 para detectar puntos característicos y evaluar información de estado, puede usarse cualquier número adecuado y combinación de procesadores. Por ejemplo, puede usarse un único procesador para realizar la detección de puntos característicos y la determinación de información de estado. En algunas realizaciones, al menos algunos de los procesadores pueden portarse por el UAV. En algunas realizaciones, al menos algunos de los procesadores pueden estar separados del uAv (por ejemplo, en una estación terrestre que se comunica con el UAV). Puede haber uno o más procesadores para detectar los puntos característicos y evaluar la información de estado. Los puntos característicos e información de estado pueden determinarse mediante diferentes procesadores o mediante los mismos procesadores.
La precisión y robustez de la información de estado determinada a partir de imágenes puede depender de la calidad de imagen de las imágenes. En algunas realizaciones, la calidad de imagen se refiere a la idoneidad de la(s) trama(s) de imagen para el procesamiento de imágenes (por ejemplo, para evaluar información de estado de UAV). Las imágenes de mala calidad no adecuadas para el procesamiento pueden proporcionar datos imprecisos mientras que las imágenes de alta calidad adecuadas para el procesamiento pueden proporcionar datos precisos. La calidad de imagen puede estar relacionada con, o depender de, la saliencia de imagen. La saliencia de imagen puede usarse en el presente documento para hacer referencia al grado al que las imágenes tienen características que son fácilmente distinguibles o “sobresalen”, por ejemplo, a partir del fondo y/o los píxeles de imagen circundantes. Cualquier descripción en el presente documento referente a la calidad de imagen también puede aplicarse a la saliencia de imagen y viceversa. En algunas realizaciones, la calidad de imagen puede determinarse mediante el nivel de exposición y/o contraste de la imagen. En algunas realizaciones, la calidad de imagen puede determinarse usando métodos de gradiente de imagen en los que puede calcularse un gradiente para cada píxel en la imagen y pueden usarse los resultados para determinar si la textura de imagen es lo suficientemente rica. Una imagen con una textura más rica puede tener gradientes más grandes lo que puede significar una imagen de calidad superior. En algunas realizaciones, la calidad de imagen se evalúa mediante detección de características, tal como se describió anteriormente en el presente documento. Por ejemplo, la calidad de imagen puede estar relacionada con el número de puntos característicos detectados en la imagen. En algunas realizaciones, se evalúa e identifica el número de puntos característicos en una imagen con el fin de determinar la calidad de imagen. En algunas realizaciones, el número de puntos característicos en cada imagen puede ser indicativo de saliencia de la imagen. Un número de puntos característicos alto puede significar una imagen de alta calidad adecuada para usarse en la evaluación de información de estado mientras que un número de puntos característicos bajo puede significar una imagen de baja calidad no adecuada para usarse en la evaluación de información de estado. Por ejemplo, una imagen de alta calidad puede tener al menos aproximadamente 100, 150, 200, 250, 500, 1000 o más puntos característicos. A la inversa, una imagen de baja calidad puede tener menos de aproximadamente 100, 75, 60, 50, 25 o menos puntos característicos.
En algunas realizaciones, algunas o la totalidad de las tramas de imagen capturadas por un único dispositivo de obtención de imágenes pueden tener una calidad de imagen relativamente mala, por ejemplo, debido a condiciones de obtención de imágenes inferiores a las óptimas. Es posible que los dispositivos de obtención de imágenes no puedan proporcionar datos de imagen satisfactorios en determinadas situaciones, por ejemplo, cuando la iluminación es brillante o tiene un alto contraste, o en condiciones de entorno adversas tales como lluvia, niebla o niebla contaminante. Una mala calidad de imagen puede resultar cuando las imágenes representan entornos repetitivos (por ejemplo, paredes, agua), entornos con bajo contraste (por ejemplo, nieve, periodo nocturno), sobreexposición, subexposición y/o textura de superficie no evidente. Además, aunque la secuencia de imágenes inicial tomada por un dispositivo de obtención de imágenes tenga una buena calidad, imágenes posteriores tomadas por el dispositivo de obtención de imágenes pueden degradarse debido a condiciones de entorno cambiantes. Una mala calidad de imagen puede dar como resultado un número reducido de puntos característicos, dando como resultado el procesamiento de información de estado imprecisa o, en algunas situaciones, la incapacidad de procesar ninguna información de estado.
En algunas realizaciones, una mala calidad de imagen está provocada por sobreexposición de la imagen. Puede describirse que una imagen se ha sometido a sobreexposición cuando tiene una pérdida de detalle de luces y/o cuando partes importantes de una imagen están “difuminadas”. Es posible que un procesador solo pueda detectar puntos característicos a partir de la porción de la imagen sometida a sobreexposición que no estaba difuminada, conduciendo a la identificación de menos puntos característicos que pueden ser difíciles de distinguir con respecto al ruido de imagen.
En algunas realizaciones, se produce una mala calidad de imagen cuando la imagen representa una escena con textura de superficie baja o no evidente (por ejemplo, una pared vacía). La textura de superficie puede ser la naturaleza de una superficie tal como se define mediante orientación, rugosidad de superficie y ondulación. Una imagen con una textura de superficie no evidente puede tener un contraste de imagen relativamente bajo. Una imagen de una superficie con textura de superficie no evidente puede dar como resultado menos puntos característicos que pueden ser difíciles de distinguir con respecto al ruido de imagen.
Para mitigar este problema, un procesador puede determinar información de estado usando una pluralidad de secuencias de imágenes tomadas por una pluralidad de dispositivos de obtención de imágenes. Si están extrayéndose puntos característicos a partir de muchos campos de visión diferentes, puede haber una mayor probabilidad de que al menos uno de los dispositivos de obtención de imágenes produzca una secuencia de imágenes de alta calidad adecuada para determinar la información de estado. Sin embargo, usar múltiples secuencias de tramas de imagen a partir de múltiples dispositivos de obtención de imágenes con el fin de evaluar información de estado del UAV puede aumentar el uso de recursos de cálculo y/o aumentar el tiempo de procesamiento. Por consiguiente, en algunas realizaciones, solo se usa un subconjunto de los múltiples dispositivos de obtención de imágenes para determinar la información de estado. Pueden usarse diversos métodos para seleccionar qué dispositivo(s) de obtención de imágenes usar. Por ejemplo, la selección puede realizarse (por ejemplo, con la ayuda de un procesador) basándose en la calidad de las secuencias de imágenes producidas por los dispositivos de obtención de imágenes. La calidad de imagen puede determinarse basándose en el número de puntos característicos presentes en las imágenes de cada secuencia de imágenes, tal como se describió anteriormente en el presente documento.
En algunas realizaciones, la evaluación de calidad de imagen para cada secuencia de imágenes se realiza en paralelo (por ejemplo, simultáneamente), de tal manera que el retardo de procesamiento del sistema no aumenta necesariamente aunque se procesen imágenes capturadas a partir de múltiples dispositivos de obtención de imágenes. En algunas realizaciones, la determinación de información de estado a partir de cada secuencia de imágenes se realiza en serie (por ejemplo, de manera consecutiva), de tal manera que el retardo de procesamiento del sistema puede aumentarse si se procesa información a partir de múltiples dispositivos de obtención de imágenes para determinar información de estado. Por consiguiente, puede resultar beneficioso seleccionar únicamente un subconjunto de los dispositivos de obtención de imágenes que va a usarse para determinar información de estado mientras se procesan secuencias de imágenes a partir de todos los dispositivos de obtención de imágenes para determinar la calidad de imagen. En algunas realizaciones, solo se selecciona un dispositivo de obtención de imágenes. Alternativamente, pueden seleccionarse dos, tres, cuatro, cinco, seis, siete, ocho o más dispositivos de obtención de imágenes.
La selección de los dispositivos de obtención de imágenes para determinar información de estado puede basarse en uno o más criterios. Los criterios pueden ser criterios predeterminados (por ejemplo, previamente establecidos antes del funcionamiento del UAV por un usuario). Alternativamente, los criterios pueden determinarse durante el funcionamiento del UAV, por ejemplo, automáticamente o basándose en entrada de usuario. Opcionalmente, los criterios pueden ser dinámicos de tal manera que los criterios pueden modificarse durante el funcionamiento del UAV, por ejemplo, en respuesta a condiciones de funcionamiento cambiantes. En algunas realizaciones, los criterios pueden estar relacionados con la calidad de imagen o saliencia de imagen de la secuencia de imágenes y/o imágenes individuales en la secuencia de imágenes. La calidad de imagen o saliencia de imagen pueden estar relacionadas con el número de puntos característicos de la secuencia de imágenes, tal como se describió anteriormente en el presente documento. En algunas realizaciones, el “número de puntos característicos” será intercambiable con la “calidad de imagen” para los fines de determinar los criterios para la selección de dispositivos de obtención de imágenes cuya secuencia de imágenes se evaluará para determinar información de estado. Por ejemplo, los criterios pueden ser si la secuencia de imágenes global o cada imagen en la secuencia ha cumplido un umbral mínimo para la calidad de imagen (por ejemplo, ha cumplido un número de puntos característicos mínimo). Por ejemplo, el número de puntos característicos mínimo usado como umbral de calidad de imagen puede ser de aproximadamente 10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 150, 200, 500 o más puntos característicos. Los criterios pueden ser seleccionar un dispositivo de obtención de imágenes que produce una secuencia de imágenes con la calidad de imagen promedio más alta (por ejemplo, el número de puntos característicos más alto por trama de imagen). Los criterios pueden ser seleccionar un dispositivo de obtención de imágenes con una calidad de imagen máxima más alta dentro de la secuencia de imágenes (por ejemplo, número de puntos característicos máximo más alto). Los criterios pueden ser seleccionar un dispositivo de obtención de imágenes con la calidad de imagen mínima más alta dentro de la secuencia de imágenes (por ejemplo, el número de puntos característicos mínimo más alto). Debe entenderse que los criterios pueden cambiar según el número de dispositivos de obtención de imágenes que van a seleccionarse. Por ejemplo, si van a seleccionarse dos dispositivos de imágenes, los criterios pueden ser seleccionar los dos dispositivos de obtención de imágenes con la primera y segunda calidades de imagen máximas más altas dentro de la secuencia de imágenes (por ejemplo, primer y segundo números de puntos característicos más altos).
Haciendo de nuevo referencia a la figura 6, en algunas realizaciones, uno o más procesadores del sistema 600 pueden evaluar la calidad de imagen de las tramas de imagen capturadas. Por ejemplo, el procesador 604 puede usarse para procesar las secuencias de imágenes a partir de cada uno de los dispositivos de obtención de imágenes 602 con el fin de evaluar la calidad de imagen de cada secuencia de imágenes. El procesador 604 puede procesar cada trama de imagen que se envía al mismo con el fin de determinar una calidad de imagen. Por ejemplo, en algunas realizaciones, el procesador 604 determina una pluralidad de puntos característicos a partir de cada una de las imágenes en las secuencias de imágenes, calcula un número de puntos característicos y usa el número de puntos característicos para determinar la calidad de imagen. El número de puntos característicos para cada secuencia puede transmitirse al procesador 606, que puede usar los números de puntos característicos como base para seleccionar el/los dispositivo(s) de obtención de imágenes para evaluar información de estado. Entonces, las secuencias de imágenes obtenidas por el/los dispositivo(s) de obtención de imágenes seleccionado(s) pueden procesarse por el procesador 606 para generar información de estado.
La figura 7 ilustra un método 1000 para evaluar información de estado y controlar un vehículo basándose en la información procesada, según realizaciones. Las etapas del método 1000, al igual que con todos los métodos presentados en el presente documento, pueden realizarse usando cualquier realización de los sistemas y dispositivos descritos en el presente documento. Por ejemplo, el método 1000 puede realizarse mediante un sistema de navegación portado por el UAV. En algunas realizaciones, las etapas 1010 a 1050 del método 1000 pueden realizarse por uno o más procesadores, al menos algunos de los cuales pueden portarse por el UAV. Además, al menos algunas de las etapas pueden realizarse automáticamente sin requerir entrada de usuario. Alternativamente o en combinación, al menos algunas de las etapas pueden implicar entrada de usuario. Algunas o la totalidad de las etapas del método 1000 pueden repetirse según se desee. Por ejemplo, las etapas 1010 a 1050 pueden repetirse a una tasa deseada. La tasa puede ser menor de o igual a aproximadamente una vez cada 0,005 segundos, 0,01 segundos, 0,02 segundos, 0,05 segundos, 0,1 segundos, 0,2 segundos, 0,5 segundos, 1 segundo, 2 segundos, 5 segundos, 10 segundos, 20 segundos, 50 segundos, 100 segundos, 200 segundos, 500 segundos, 1000 segundos o 3600 segundos. En algunas realizaciones, la tasa puede ser de aproximadamente una vez cada 0,02 segundos a aproximadamente una vez cada 0,1 segundos.
En la etapa 1010, puede capturarse una pluralidad de secuencias de imágenes por la pluralidad de dispositivos de obtención de imágenes a lo largo de un intervalo de tiempo. El intervalo de tiempo puede ser menor de o igual a aproximadamente 0,005 segundos, 0,01 segundos, 0,02 segundos, 0,05 segundos, 0,1 segundos, 0,2 segundos, 0,5 segundos, 1 segundo, 2 segundos, 5 segundos, 10 segundos, 20 segundos, 50 segundos, 100 segundos, 200 segundos, 500 segundos, 1000 segundos o 3600 segundos. En algunas realizaciones, el intervalo de tiempo puede estar dentro de un intervalo de desde aproximadamente 0,02 segundos hasta aproximadamente 0,1 segundos. En algunas realizaciones, el intervalo de tiempo puede estar dentro de un intervalo de desde aproximadamente 0,005 segundos hasta aproximadamente 10 segundos. Una secuencia de imágenes capturada durante el intervalo de tiempo puede estar compuesta por aproximadamente 1 imagen, 2 imágenes, 5 imágenes, 10 imágenes, 20 imágenes, 50 imágenes, 100 imágenes, 200 imágenes, 500 imágenes o 1000 imágenes. Opcionalmente, los dispositivos de obtención de imágenes pueden estar dispuestos en el UAV de tal manera que cada una de la pluralidad de imágenes se captura a partir de un campo de visión diferente, tal como se comentó anteriormente en el presente documento.
En la etapa 1020, la calidad de imagen de la pluralidad de imágenes a partir de cada dispositivo de obtención de imágenes puede evaluarse con la ayuda de un procesador. La calidad de imagen puede estar relacionada con el número de puntos característicos, tal como se describió anteriormente en el presente documento. La determinación de la calidad de imagen puede procesarse en paralelo (por ejemplo, todas las secuencias de imágenes simultáneamente). Por tanto, puede no aumentarse necesariamente el retardo de procesamiento del sistema aunque se procesen imágenes capturadas a partir de múltiples dispositivos de obtención de imágenes para determinar la calidad de imagen.
En la etapa 1030, puede seleccionarse al menos una de las secuencias de imágenes tomadas por la pluralidad de dispositivos de obtención de imágenes basándose en la evaluación de calidad de imagen de la etapa 1020. La selección de los dispositivos de obtención de imágenes puede basarse en uno o más criterios. Los criterios pueden estar relacionados con la calidad de imagen o saliencia de imagen de las secuencias de imágenes, tal como se describió anteriormente en el presente documento. Por ejemplo, los criterios pueden ser si la secuencia de imágenes global o cada imagen en la secuencia cumplen un umbral mínimo para la calidad de imagen. Los criterios pueden ser seleccionar un dispositivo de obtención de imágenes que tiene una secuencia de imágenes con la calidad de imagen promedio más alta. Los criterios pueden ser seleccionar un dispositivo de obtención de imágenes con una calidad de imagen máxima más alta dentro de la secuencia de imágenes. Los criterios pueden ser seleccionar un dispositivo de obtención de imágenes con la calidad de imagen mínima más alta dentro de la secuencia de imágenes. Debe entenderse que los criterios pueden cambiar según el número de dispositivos de obtención de imágenes que van a seleccionarse. Por ejemplo, si se seleccionan dos dispositivos de imágenes, los criterios pueden ser seleccionar los dos dispositivos de obtención de imágenes con la primera y segunda calidades de imagen máximas más altas dentro de la secuencia de imágenes. En algunas realizaciones, el “número de puntos característicos” será intercambiable con la “calidad de imagen” para los fines de determinar los criterios para la selección de dispositivos de obtención de imágenes cuya secuencia de imágenes se evaluará para determinar información de estado.
En la etapa 1040, la información de estado para el UAV puede evaluarse con la ayuda del procesador, usando la pluralidad de imágenes a partir del/de los dispositivo(s) de obtención de imágenes seleccionado(s) en la etapa 1030. Una evaluación o determinación de información de estado a partir del procesador puede realizarse en serie (por ejemplo, una secuencia de imágenes cada vez, de manera consecutiva). Por tanto, el retardo de procesamiento del sistema puede aumentarse si se procesa información a partir de múltiples dispositivos de obtención de imágenes. Teniendo un criterio para seleccionar una secuencia de imágenes a partir de tan solo un subconjunto de los dispositivos de obtención de imágenes que va a procesarse en la determinación de información de estado, puede ahorrarse tiempo de procesamiento y recursos de cálculo. En algunas realizaciones, aunque se evalúa la calidad de imagen para todas las imágenes tomadas por la pluralidad de dispositivos de obtención de imágenes dado que se procesa en paralelo, la información de estado se evalúa usando datos a partir de tan solo un subconjunto de los dispositivos de obtención de imágenes porque se procesa en serie. Además, la determinación de información de estado puede ser computacionalmente más exigente que la determinación de calidad de imagen que puede ser una operación de procesamiento de imágenes de bajo nivel que es computacionalmente económica. Por tanto, la figura 7 puede ilustrar un método de determinación de información de estado que es computacional y temporalmente eficiente.
En la etapa 1050, puede usarse opcionalmente la información de estado como base para emitir señales para hacer que el UAV navegue dentro del entorno. La señal puede incluir señales de control para el sistema de propulsión (por ejemplo, rotores) del UAV para realizar el movimiento del vehículo. La señal puede generarse basándose en órdenes de usuario que se introducen en un terminal remoto u otro dispositivo de usuario y posteriormente se transmiten al UAV. Alternativamente, la señal puede generarse de manera autónoma por el UAV (por ejemplo, un controlador a bordo automatizado). En algunos casos, la señal puede generarse de manera semiautónoma con contribuciones a partir de entrada de usuario así como automatizarse. En algunas realizaciones, la información de estado se usa como entrada para un algoritmo de control de vuelo que produce las señales de control.
La figura 8 ilustra un método 1100 para evaluar información de estado basándose en calcular un número de puntos característicos, según realizaciones. El método 1100 puede entenderse como una versión especializada del método 1000 en el que la calidad de imagen de la pluralidad de imágenes tomadas por cada dispositivo de obtención de imágenes se evalúa calculando un número de puntos característicos en cada imagen de las imágenes.
Las etapas 1110 a 1150 del método 1100 pueden realizarse mediante uno o más procesadores, al menos algunos de los cuales pueden portarse por el UAV. En algunas realizaciones, el método 1100 se realiza mediante un sistema de navegación del UAV. Además, al menos algunas de las etapas pueden realizarse automáticamente sin requerir entrada de usuario. Alternativamente o en combinación, al menos algunas de las etapas pueden implicar entrada de usuario. Algunas o la totalidad de las etapas del método 1100 pueden repetirse según se desee. Por ejemplo, las etapas 1110 a 1150 pueden repetirse a una tasa deseada. La tasa puede ser menor de o igual a aproximadamente una vez cada 0,005 segundos, 0,01 segundos, 0,02 segundos, 0,05 segundos, 0,1 segundos, 0,2 segundos, 0,5 segundos, 1 segundo, 2 segundos, 5 segundos, 10 segundos, 20 segundos, 50 segundos, 100 segundos, 200 segundos, 500 segundos, 1000 segundos o 3600 segundos. En algunas realizaciones, la tasa puede ser de aproximadamente una vez cada 0,02 segundos a aproximadamente una vez cada 0,1 segundos.
En la etapa 1110, puede capturarse una pluralidad de secuencias de imágenes por cada dispositivo de obtención de imágenes de la pluralidad de dispositivos de obtención de imágenes a lo largo de un intervalo de tiempo. El intervalo de tiempo puede ser menor de o igual a aproximadamente 0,005 segundos, 0,01 segundos, 0,02 segundos, 0,05 segundos, 0,1 segundos, 0,2 segundos, 0,5 segundos, 1 segundo, 2 segundos, 5 segundos, 10 segundos, 20 segundos, 50 segundos, 100 segundos, 200 segundos, 500 segundos, 1000 segundos o 3600 segundos. En algunas realizaciones, el intervalo de tiempo puede estar dentro de un intervalo de desde aproximadamente 0,02 segundos hasta aproximadamente 0,1 segundos. En algunas realizaciones, el intervalo de tiempo puede estar dentro de un intervalo de desde aproximadamente 0,005 segundos hasta aproximadamente 10 segundos. Una secuencia de imágenes capturada durante el intervalo de tiempo puede estar compuesta por aproximadamente 1 imagen, 2 imágenes, 5 imágenes, 10 imágenes, 20 imágenes, 50 imágenes, 100 imágenes, 200 imágenes, 500 imágenes o 1000 imágenes. Los dispositivos de obtención de imágenes pueden estar dispuestos en el UAV de tal manera que cada una de la pluralidad de imágenes se captura a partir de un campo de visión diferente, tal como se comentó anteriormente en el presente documento.
En la etapa 1120, se calcula un número de puntos característicos en cada imagen de la pluralidad de imágenes a partir de cada dispositivo de obtención de imágenes, por ejemplo, con la ayuda de un procesador. En algunas realizaciones, el número de puntos característicos puede evaluarse calculando un número de puntos característicos en cada imagen, usando un algoritmo de detección de características tal como FAST. El cálculo del número de puntos característicos puede procesarse en paralelo. Por tanto, puede no aumentarse necesariamente el retardo de procesamiento del sistema aunque se procesen imágenes capturadas a partir de múltiples dispositivos de obtención de imágenes para determinar un número de puntos característicos.
En la etapa 1130, puede seleccionarse al menos uno de la pluralidad de dispositivos de obtención de imágenes basándose en la evaluación de la etapa 1120. La selección de los dispositivos de obtención de imágenes puede basarse en uno o más criterios. Los criterios pueden estar relacionados con el número de puntos característicos de las secuencias de imágenes. Por ejemplo, los criterios pueden ser si la secuencia de imágenes global o cada imagen en la secuencia cumplen un umbral mínimo para un número de puntos característicos. Los criterios pueden ser seleccionar un dispositivo de obtención de imágenes que tiene una secuencia de imágenes con el número de puntos característicos promedio más alto. Los criterios pueden ser seleccionar un dispositivo de obtención de imágenes con un número de puntos característicos máximo más alto dentro de la secuencia de imágenes. Los criterios pueden ser seleccionar un dispositivo de obtención de imágenes con el número de puntos característicos mínimo más alto dentro de la secuencia de imágenes. Debe entenderse que los criterios pueden cambiar según el número de dispositivos de obtención de imágenes que van a seleccionarse. Por ejemplo, si se seleccionan dos dispositivos de imágenes, los criterios pueden ser seleccionar los dos dispositivos de obtención de imágenes con el primer y segundo números de puntos característicos máximos más altos dentro de la secuencia de imágenes.
En la etapa 1140, la información de estado para el UAV puede evaluarse con la ayuda del procesador, usando la pluralidad de imágenes seleccionadas en la etapa 1130. Una determinación de información de estado a partir del procesador puede realizarse en serie. Por tanto, el retardo de procesamiento del sistema puede aumentarse si se procesa información a partir de múltiples dispositivos de obtención de imágenes. Teniendo un criterio para seleccionar un subconjunto de las imágenes que van a procesarse en la determinación de información de estado, puede ahorrarse tiempo de procesamiento y recursos de cálculo.
Opcionalmente, la información de estado puede usarse como base para emitir señales para hacer que el UAV navegue dentro del entorno. La señal puede incluir señales de control para el sistema de propulsión (por ejemplo, rotores) del UAV para realizar el movimiento del vehículo. La señal puede generarse basándose en órdenes de usuario que se introducen en un terminal remoto u otro dispositivo de usuario y posteriormente se transmiten al UAV. Alternativamente, la señal puede generarse de manera autónoma por el UAV (por ejemplo, un controlador a bordo automatizado que implementa algoritmos de control de vuelo adecuados). En algunos casos, la señal puede generarse de manera semiautónoma con contribuciones a partir de entrada de usuario así como automatizarse.
En algunas realizaciones, uno o más dispositivos de obtención de imágenes se designan como dispositivos de obtención de imágenes “por defecto” que van a usarse para evaluar información de estado. Tales dispositivos de obtención de imágenes pueden denominarse en el presente documento “dispositivos de obtención de imágenes primarios”. Los dispositivos de obtención de imágenes que no se seleccionan por defecto pueden denominarse en el presente documento “dispositivos de obtención de imágenes secundarios”. Un dispositivo de obtención de imágenes primario o por defecto puede ser un dispositivo de obtención de imágenes cuya secuencia de imágenes se usa siempre con el fin de determinar la calidad de imagen y cuya secuencia de imágenes se usa para evaluar información de estado del UAV si se considera que la calidad de imagen es satisfactoria. Un dispositivo de obtención de imágenes secundario o no por defecto puede ser un dispositivo de obtención de imágenes cuya secuencia de imágenes se evalúa para determinar la calidad de imagen únicamente si se considera que la calidad de imagen de la secuencia de imágenes tomada por el dispositivo de obtención de imágenes primario no es satisfactoria. Una secuencia de imágenes tomada por un dispositivo de obtención de imágenes secundario puede usarse para evaluar información de estado del UAV únicamente si una secuencia de imágenes tomada por el dispositivo de obtención de imágenes primario tiene una calidad de imagen insatisfactoria. Un UAV puede tener cualquier número adecuado de dispositivos de obtención de imágenes primarios y secundarios. Por ejemplo, un UAV puede tener uno, dos, tres, cuatro, cinco, seis, siete, ocho o más dispositivos de obtención de imágenes primarios. Un UAV puede tener uno, dos, tres, cuatro, cinco, seis, siete, ocho o más dispositivos de obtención de imágenes secundarios. El UAV puede tener más dispositivos de obtención de imágenes primarios que dispositivos de obtención de imágenes secundarios o viceversa. Opcionalmente, el número de dispositivos de obtención de imágenes primarios puede ser igual al número de dispositivos de obtención de imágenes secundarios.
En algunas realizaciones, un dispositivo de obtención de imágenes primario puede ser el dispositivo de obtención de imágenes orientado sustancialmente a lo largo de la dirección de movimiento del UAV. Puede considerarse que el dispositivo de obtención de imágenes primario está orientado sustancialmente a lo largo de la dirección de movimiento cuando el campo de visión del dispositivo de obtención de imágenes primario se solapa con la dirección de movimiento. En algunas realizaciones, puede considerarse que un dispositivo de obtención de imágenes primario está orientado sustancialmente a lo largo de la dirección de movimiento del UAV cuando el campo de visión o eje óptico está alineado con la dirección de movimiento. En algunas realizaciones, puede considerarse que un dispositivo de obtención de imágenes primario está orientado sustancialmente a lo largo de la dirección de movimiento del UAV cuando el campo de visión o eje óptico del dispositivo de obtención de imágenes está dentro o es aproximadamente de 10°, 20°, 30°, 40°, 50°, 60°, 70°, 80°, 90°, 100°, 110°, 120°, 130°, 140°, 150°, 160°, 170° o 180° de la dirección de movimiento. El dispositivo de obtención de imágenes primario puede cambiar a medida que cambia la dirección de movimiento del UAV. Puede que un dispositivo de obtención de imágenes primario ya no esté orientado en la dirección de movimiento del UAV después de que cambie la dirección de movimiento del uAv .
La figura 9 ilustra una vista desde arriba de un UAV 1200 en movimiento con un dispositivo de obtención de imágenes primario 1202 y dispositivos de obtención de imágenes secundarios 1204, 1206, 1208, según realizaciones. El UAV 1200 incluye un cuerpo de vehículo 1210 que porta los dispositivos de obtención de imágenes 1202, 1204, 1206, 1208. Cada uno de los dispositivos de obtención de imágenes 1202, 1204, 1206, 1208 está acoplado a un lado diferente del UAV 1200 y tiene un campo de visión 1212, 1214, 1216, 1218 correspondiente. El uAv 1200 puede propulsarse mediante una o más unidades de propulsión (no mostradas) para moverse a lo largo de una dirección de movimiento (indicada por la flecha 1220). La dirección de movimiento del UAV puede ser en cualquier dirección. El UAV puede moverse horizontalmente (por ejemplo, hacia adelante, hacia atrás, a la izquierda, a la derecha), verticalmente (por ejemplo, hacia arriba, hacia abajo) o en cualquier combinación. En la realización de la figura 9, el dispositivo de obtención de imágenes 1202 está diseñado como dispositivo de obtención de imágenes primario porque el campo de visión 1212 está orientado a lo largo de la dirección de movimiento, mientras que los campos de visión 1214, 1216, 1218 de los dispositivos de obtención de imágenes secundarios 1204, 1206, 1208 no están orientados a lo largo de la dirección de movimiento. En algunas realizaciones, si posteriormente cambia la dirección de movimiento, las designaciones de los dispositivos de obtención de imágenes primarios y secundarios pueden cambiar, de tal manera que se designa que el dispositivo de obtención de imágenes orientado a lo largo de la nueva dirección de movimiento es el nuevo dispositivo de obtención de imágenes primario.
En realizaciones alternativas, la selección del dispositivo de obtención de imágenes primario se realiza independientemente de la dirección de movimiento del UAV. Por ejemplo, pueden seleccionarse dispositivos de obtención de imágenes primarios y secundarios basándose en otros criterios (por ejemplo, preferencia de usuario, número de puntos característicos, calidad de imagen, consumo de potencia, etc.). Por consiguiente, el dispositivo de obtención de imágenes primario puede no estar orientado sustancialmente a lo largo de la dirección de movimiento del UAV.
Puede procesarse una secuencia de imágenes tomada por un dispositivo de obtención de imágenes primario para evaluar la información de estado del UAV, si la calidad de imagen del dispositivo de obtención de imágenes primario satisface unos determinados criterios o pasa un determinado umbral. Los criterios pueden ser si la secuencia de imágenes global cumple un umbral mínimo para la calidad de imagen, si cada imagen en la secuencia cumple un umbral mínimo para la calidad de imagen o si un subconjunto de las imágenes en la secuencia de imágenes cumplen un umbral mínimo para la calidad de imagen. En algunas realizaciones, el “número de puntos característicos” será intercambiable con la “calidad de imagen” para los fines de determinar los criterios de si se usarán imágenes tomadas por el dispositivo de obtención de imágenes primario para el procesamiento de información de estado de UAV. Por ejemplo, el umbral mínimo para la calidad de imagen puede ser un número de puntos característicos, tal como no menos de aproximadamente 10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 150, 200, 500 o más puntos característicos. Si la calidad de imagen del dispositivo de obtención de imágenes primario no satisface unos determinados criterios y/o pasa un determinado umbral, puede determinarse la calidad de imagen de los dispositivos de obtención de imágenes secundarios. Puede seleccionarse al menos uno de los dispositivos de obtención de imágenes secundarios para el procesamiento de información de estado basándose en uno o más criterios.
La selección de los dispositivos de obtención de imágenes para el procesamiento de información de estado cuando el dispositivo de obtención de imágenes primario no tomó una secuencia de imágenes de calidad satisfactoria puede basarse en uno o más criterios. Los criterios pueden ser si la secuencia de imágenes global o cada imagen en la secuencia de imágenes cumple un umbral mínimo para la calidad de imagen. Los criterios pueden ser un dispositivo de obtención de imágenes que tiene una secuencia de imágenes con la calidad de imagen promedio más alta. Los criterios pueden ser un dispositivo de obtención de imágenes con una calidad de imagen máxima más alta dentro de la secuencia de imágenes. Los criterios pueden ser un dispositivo de obtención de imágenes con la calidad de imagen mínima más alta dentro de la secuencia de imágenes. Debe entenderse que los criterios cambiarán según el número de dispositivos de obtención de imágenes que van a seleccionarse. Por ejemplo, si se seleccionan dos dispositivos de imágenes, los criterios pueden ser dos dispositivos de obtención de imágenes con la primera y segunda calidades de imagen máximas más altas dentro de la secuencia de imágenes. En algunas realizaciones, el “número de puntos característicos” será intercambiable con la “calidad de imagen” para los fines de determinar los criterios para la selección de dispositivos de obtención de imágenes cuya secuencia de imágenes se evaluará para determinar información de estado. En algunas realizaciones, los dispositivos de obtención de imágenes secundarios cuya secuencia de imágenes se usó en el procesamiento de información de estado pueden designarse como nuevo dispositivo de obtención de imágenes primario. El dispositivo de obtención de imágenes primario anterior que no tenía una calidad de imagen satisfactoria puede pasar a ser un dispositivo de obtención de imágenes secundario. En algunas realizaciones, la dirección de movimiento del UAV puede no estar asociada con los dispositivos de obtención de imágenes primarios y secundarios.
La figura 10 ilustra un método 1300 para evaluar información de estado basándose en dispositivos de obtención de imágenes primarios y secundarios, según realizaciones. Las etapas 1310-1350 en la figura 10 pueden realizarse por uno o más procesadores, algunos de los cuales pueden portarse por el UAV. En algunas realizaciones, el método 1300 se realiza por un sistema de navegación para el UAV. Además, las etapas pueden realizarse automáticamente sin requerir entrada de usuario. Las etapas 1310-1350 en la figura 10 pueden repetirse a una tasa deseada. La tasa puede ser menor de o igual a aproximadamente cada 0,005 segundos, 0,01 segundos, 0,02 segundos, 0,05 segundos, 0,1 segundos, 0,2 segundos, 0,5 segundos, 1 segundo, 2 segundos, 5 segundos, 10 segundos, 20 segundos, 50 segundos, 100 segundos, 200 segundos, 500 segundos, 1000 segundos o 3600 segundos. En algunas realizaciones, la tasa puede ser de aproximadamente una vez cada 0,02 segundos a aproximadamente una vez cada 0,1 segundos.
En la etapa 1310, puede capturarse una pluralidad de imágenes por cada dispositivo de obtención de imágenes de la pluralidad de dispositivos de obtención de imágenes a lo largo de un intervalo de tiempo. El intervalo de tiempo puede ser menor de o igual a aproximadamente 0,005 segundos, 0,01 segundos, 0,02 segundos, 0,05 segundos, 0,1 segundos, 0,2 segundos, 0,5 segundos, 1 segundo, 2 segundos, 5 segundos, 10 segundos, 20 segundos, 50 segundos, 100 segundos, 200 segundos, 500 segundos, 1000 segundos o 3600 segundos. En algunas realizaciones, el intervalo de tiempo puede estar dentro de un intervalo de desde aproximadamente 0,02 segundos hasta aproximadamente 0,1 segundos. Una secuencia de imágenes capturada durante el intervalo de tiempo puede estar compuesta por aproximadamente 1 imagen, 2 imágenes, 5 imágenes, 10 imágenes, 20 imágenes, 50 imágenes, 100 imágenes, 200 imágenes, 500 imágenes o 1000 imágenes. Los dispositivos de obtención de imágenes pueden estar dispuestos en el UAV de tal manera que cada una de la pluralidad de imágenes se captura a partir de un campo de visión diferente, tal como se comentó anteriormente en el presente documento. Opcionalmente, los dispositivos de obtención de imágenes pueden estar dispuestos en el UAV de tal manera que cada una de la pluralidad de imágenes se captura con un campo de visión diferente. La pluralidad de dispositivos de obtención de imágenes puede incluir uno o más dispositivos de obtención de imágenes primarios (por ejemplo, un único dispositivo de obtención de imágenes primario) y uno o más dispositivos de obtención de imágenes secundarios.
En la etapa 1320, puede evaluarse la calidad de imagen de la pluralidad de imágenes a partir del dispositivo de obtención de imágenes primario (por ejemplo, con la ayuda de un procesador) para determinar si la calidad de imagen cumple un umbral predeterminado, tal como se describió anteriormente. En algunas realizaciones, la calidad de imagen puede determinarse basándose en el número total de puntos característicos en una imagen. Si dicha calidad de imagen en la secuencia de imágenes cumple un umbral predeterminado, las imágenes capturadas por los dispositivos de obtención de imágenes primarios pueden usarse para evaluar o determinar la información de estado. Alternativamente, pueden usarse otros tipos de criterios para evaluar la calidad de imagen de las imágenes a partir del dispositivo de obtención de imágenes primario. Los criterios pueden ser si la secuencia de imágenes global o cada imagen en la secuencia cumplen un umbral mínimo para la calidad de imagen. En algunas realizaciones, el “número de puntos característicos” será intercambiable con la “calidad de imagen” para los fines de determinar los criterios de si se usarán imágenes tomadas por el dispositivo de obtención de imágenes primario para el procesamiento de información de estado de UAV.
En la etapa 1325, si la calidad de imagen cumple el umbral predeterminado (o satisface los criterios) tal como se evalúa en la etapa 1320, la información de estado del UAV puede evaluarse con la ayuda del procesador usando la pluralidad de imágenes tomadas por el dispositivo de obtención de imágenes primario.
En la etapa 1330, si la calidad de imagen en la etapa 1320 no cumplió el umbral predeterminado (o satisfizo los criterios), puede evaluarse la calidad de imagen de la pluralidad de imágenes a partir del uno o más dispositivos de obtención de imágenes secundarios con la ayuda de un procesador. En algunas realizaciones, la calidad de imagen puede evaluarse o determinarse mediante el número total de puntos característicos en una imagen, tal como se describió anteriormente en el presente documento.
En la etapa 1340, puede seleccionarse al menos uno del uno o más dispositivos de obtención de imágenes secundarios basándose en la evaluación de la etapa 1330. La selección de los dispositivos de obtención de imágenes puede basarse en uno o más criterios. Los criterios pueden ser si la secuencia de imágenes global o cada imagen en la secuencia cumplen un umbral mínimo para la calidad de imagen. Los criterios pueden ser un dispositivo de obtención de imágenes que tiene una secuencia de imágenes con la calidad de imagen promedio más alta. Los criterios pueden ser un dispositivo de obtención de imágenes con una calidad de imagen máxima más alta dentro de la secuencia de imágenes. Los criterios pueden ser un dispositivo de obtención de imágenes con la calidad de imagen mínima más alta dentro de la secuencia de imágenes. Debe entenderse que los criterios cambiarán según el número de dispositivos de obtención de imágenes que van a seleccionarse. Por ejemplo, si se seleccionan dos dispositivos de imágenes, los criterios pueden ser dos dispositivos de obtención de imágenes con la primera y segunda calidades de imagen máximas más altas dentro de la secuencia de imágenes. En algunas realizaciones, el “número de puntos característicos” será intercambiable con la “calidad de imagen” para los fines de determinar los criterios para la selección de dispositivos de obtención de imágenes cuya secuencia de imágenes se evaluará para determinar información de estado.
En algunas realizaciones, si las secuencias de imágenes tomadas por el/los dispositivo(s) de obtención de imágenes secundario(s) tienen una calidad de imagen inferior a la del/de los dispositivo(s) de obtención de imágenes primario(s) (por ejemplo, ninguno de los dispositivos de obtención de imágenes capturó una secuencia de imágenes que pasara el umbral predeterminado), puede seleccionarse el dispositivo de obtención de imágenes primario con el fin de evaluar información de estado del UAV a pesar de no haber pasado los criterios o umbral predeterminados.
En la etapa 1350, puede evaluarse la información de estado del UAV con la ayuda del procesador, usando la pluralidad de imágenes a partir del/de los dispositivo(s) de obtención de imágenes secundario(s) seleccionado(s) en la etapa 1340. La información de estado puede determinarse, por ejemplo, basándose en las secuencias de imágenes capturadas por los dispositivos de obtención de imágenes seleccionados tal como se describió anteriormente en el presente documento. En algunas realizaciones, puede evaluarse información de estado del UAV con la ayuda del procesador usando la pluralidad de imágenes tomadas por el dispositivo de obtención de imágenes primario si los dispositivos de obtención de imágenes secundarios tomaron una secuencia de imágenes de calidad inferior a la del dispositivo de obtención de imágenes primario. En algunas realizaciones, los resultados de la evaluación de información de estado pueden variar basándose en el campo de visión de la secuencia de obtención de imágenes usada. Por consiguiente, la evaluación de la información de estado (que puede usarse para la navegación) puede tener en cuenta cualquier cambio en el campo de visión del/de los dispositivo(s) de obtención de imágenes seleccionado(s).
En algunas realizaciones, el/los dispositivo(s) de obtención de imágenes cuya(s) secuencia(s) de imágenes se usó/usaron para evaluar la información de estado del UAV puede(n) pasar a ser o seguir siendo “dispositivo(s) de obtención de imágenes primario(s)”. Un dispositivo de obtención de imágenes primario es un dispositivo de obtención de imágenes cuya secuencia de imágenes siempre se evalúa para determinar la calidad de imagen y cuya secuencia de imágenes se usa para evaluar información de estado del UAV si se considera que la calidad de imagen es satisfactoria. El/los dispositivo(s) de obtención de imágenes cuya(s) secuencia(s) de imágenes no se usó/usaron para evaluar la información de estado del UAV puede(n) pasar a ser o seguir siendo “dispositivo(s) de obtención de imágenes secundario(s)”. Un dispositivo de obtención de imágenes secundario es un dispositivo de obtención de imágenes cuya secuencia de imágenes se evalúa para determinar la calidad de imagen únicamente si se considera que la calidad de imagen de la secuencia de imágenes tomada por el dispositivo de obtención de imágenes primario es insatisfactoria.
Opcionalmente, la información de estado evaluada en la etapa 1350 puede usarse como base para emitir señales para hacer que el UAV navegue dentro del entorno. La señal puede incluir señales de control para el sistema de propulsión (por ejemplo, rotores) del UAV para realizar el movimiento del vehículo. La señal puede generarse basándose en órdenes de usuario que se introducen en un terminal remoto u otro dispositivo de usuario y posteriormente se transmiten al UAV. Alternativamente, la señal puede generarse de manera autónoma por el UAV (por ejemplo, un controlador a bordo automatizado). En algunos casos, la señal puede generarse de manera semiautónoma con contribuciones a partir de entrada de usuario así como automatizarse.
La figura 11 ilustra números de puntos característicos a modo de ejemplo para tres secuencias de imágenes obtenidas por tres dispositivos de obtención de imágenes secundarios, según realizaciones. La secuencia de imágenes 1405 muestra números de puntos característicos para diez tramas de imagen tomadas por el dispositivo de obtención de imágenes secundario n.° 1. La secuencia de imágenes 1410 muestra números de puntos característicos para diez tramas de imagen tomadas por el dispositivo de obtención de imágenes secundario n.° 2. La secuencia de imágenes 1415 muestra números de puntos característicos para diez tramas de imagen tomadas por el dispositivo de obtención de imágenes secundario n.° 3. Los dispositivos de obtención de imágenes n.° 1, n.° 2 y n.° 3 pueden capturar imágenes con campos de visión diferentes y/o con ejes ópticos diferentes, tal como se describió anteriormente en el presente documento. En la realización de la figura 11 el número de puntos característicos en cada trama de imagen tomada por un “dispositivo de obtención de imágenes primario” es menor de un umbral T1 durante un intervalo de tiempo t (no mostrado). El umbral T1 puede ser de aproximadamente 100 puntos característicos. Por tanto, las imágenes tomadas por el dispositivo de obtención de imágenes primario pueden no usarse necesariamente para evaluar información de estado del UAV y puede evaluarse la calidad de imagen de las imágenes tomadas por los dispositivos de obtención de imágenes secundarios que tienen campos de visión diferentes unos con respecto a otros y con respecto al dispositivo de obtención de imágenes primario.
El número de puntos característicos extraídos a partir de cada una de las 10 tramas de imagen tomadas por cada dispositivo de obtención de imágenes secundario durante el tiempo t (por ejemplo, 2 segundos) puede contarse con el fin de determinar si hay una secuencia de imágenes que es más adecuada para evaluar información de estado. En la figura 11, el número de puntos característicos mínimo en 10 tramas tomadas por el dispositivo de obtención de imágenes secundario n.° 1 es 51 (mostrado en la trama 2), el número de puntos característicos mínimo en 10 tramas tomadas por el dispositivo de obtención de imágenes secundario n.° 2 es 62 (mostrado en la trama 6) y el número de puntos característicos mínimo en 10 tramas tomadas por el dispositivo de obtención de imágenes secundario n.° 3 es 49 (mostrado en la trama 1). Puede seleccionarse el dispositivo de obtención de imágenes secundario que ha tomado una trama de imagen con el valor máximo entre estos números mínimos (por ejemplo, el dispositivo de obtención de imágenes secundario n.° 2). El dispositivo de obtención de imágenes secundario seleccionado puede pasar a ser un dispositivo de obtención de imágenes primario y/o seleccionarse para usarse para determinar información de estado. En algunas realizaciones, si el número de puntos característicos mínimo en las 10 tramas tomadas por el dispositivo de obtención de imágenes secundario seleccionado es mayor que un segundo umbral T2, entonces un dispositivo de obtención de imágenes secundario que se había seleccionado puede pasar a ser un dispositivo de obtención de imágenes primario y/o seleccionarse para usarse para determinar información de estado. El umbral T2 puede ser de aproximadamente 120 puntos característicos. En algunas realizaciones, la información de estado del UAV puede procesarse usando una secuencia de imágenes tomada por el nuevo dispositivo de obtención de imágenes primario.
Alternativamente, puede compararse el valor máximo entre el número de puntos característicos en 10 tramas de imagen tomadas por los dispositivos de obtención de imágenes secundarios para seleccionar un dispositivo de obtención de imágenes. En la figura 11, esto es 72 para el dispositivo de obtención de imágenes secundario n.° 1 (mostrado en la trama 4), 82 para el dispositivo de obtención de imágenes secundario n.° 2 (mostrado en la trama 4) y 77 para el dispositivo de obtención de imágenes secundario n.° 3 (mostrado en la trama 10). Puede seleccionarse el dispositivo de obtención de imágenes secundario que había tomado una trama de imagen con el valor máximo entre estos números máximos (por ejemplo, el dispositivo de obtención de imágenes secundario n.° 2). El dispositivo de obtención de imágenes secundario seleccionado puede pasar a ser un dispositivo de obtención de imágenes primario y/o seleccionarse para usarse para evaluar información de estado. En algunas realizaciones, si el número de puntos característicos máximo en las 10 tramas tomadas por el dispositivo de obtención de imágenes secundario seleccionado es mayor que un segundo umbral T2, entonces un dispositivo de obtención de imágenes secundario que se había seleccionado puede pasar a ser un dispositivo de obtención de imágenes primario y/o seleccionarse para usarse para determinar información de estado. En algunas realizaciones, la información de estado del UAV puede procesarse usando una secuencia de imágenes tomada por el nuevo dispositivo de obtención de imágenes primario.
Alternativamente, puede compararse el valor promedio o total de los puntos característicos en 10 tramas de imagen tomadas por los dispositivos de obtención de imágenes secundarios para seleccionar un dispositivo de obtención de imágenes. En la figura 11, esto es 61,1 (611 en total) para el dispositivo de obtención de imágenes secundario n.° 1, 71,3 (713 en total) para el dispositivo de obtención de imágenes secundario n.° 2 y 64,1 (641 en total) para el dispositivo de obtención de imágenes secundario n.° 3. Puede seleccionarse el dispositivo de obtención de imágenes secundario con el valor promedio o total de puntos característicos más alto (por ejemplo, el dispositivo de obtención de imágenes secundario n.° 2). El dispositivo de obtención de imágenes secundario seleccionado puede pasar a ser un dispositivo de obtención de imágenes primario y/o seleccionarse para usarse para determinar información de estado. En algunas realizaciones, si el número promedio o total de puntos característicos en las 10 tramas tomadas por el dispositivo de obtención de imágenes secundario seleccionado es mayor que un segundo umbral T2, entonces un dispositivo de obtención de imágenes secundario que se había seleccionado puede pasar a ser un dispositivo de obtención de imágenes primario y/o seleccionarse para usarse para evaluar información de estado. En algunas realizaciones, la información de estado del UAV puede procesarse usando una secuencia de imágenes tomada por el nuevo dispositivo de obtención de imágenes primario.
Un dispositivo de obtención de imágenes secundario que ha capturado una secuencia de imágenes que tiene el valor de calidad de imagen alto puede elegirse para evaluar la información de estado del UAV cuando el dispositivo de obtención de imágenes primario no captura una secuencia de imágenes adecuada para usarse en la determinación de información de estado. En algunas realizaciones, pueden elegirse otros criterios anteriormente descritos como base para seleccionar un dispositivo de obtención de imágenes más adecuado para evaluar información de estado del UAV. El enfoque descrito en el presente documento y mostrado en la figura 11 puede usarse en combinación con otros métodos (por ejemplo, realizarse como parte de la etapa 1030-1050 del método 1000). Por ejemplo, la información de estado puede evaluarse y usarse como base para emitir señales de control a una o más unidades de propulsión montadas en el vehículo para realizar el movimiento del vehículo.
Los sistemas, dispositivos y métodos descritos en el presente documento pueden aplicarse a una amplia variedad de objetos móviles. Tal como se mencionó anteriormente, cualquier descripción en el presente documento de un vehículo aéreo puede aplicarse a, y usarse para, cualquier objeto móvil. Un objeto móvil de la presente invención puede estar configurado para moverse dentro de cualquier entorno adecuado, tal como en el aire (por ejemplo, una aeronave de alas fijas, una aeronave de alas rotatorias o una aeronave que no tiene ni alas fijas ni alas rotatorias), en el agua (por ejemplo, un barco o un submarino), en tierra (por ejemplo, un vehículo a motor, tal como un coche, camión, autobús, furgoneta, motocicleta; un armazón o estructura móvil tal como un palo, caña de pescar; o un tren), bajo tierra (por ejemplo, un metro), en el espacio (por ejemplo, un avión espacial, un satélite o una sonda) o cualquier combinación de estos entornos. El objeto móvil puede ser un vehículo, tal como un vehículo descrito en otra parte en el presente documento. En algunas realizaciones, el objeto móvil puede estar montado en un sujeto vivo, tal como un ser humano o un animal. Los animales adecuados pueden incluir animales aviarios, caninos, felinos, equinos, bovinos, ovinos, porcinos, delfines, roedores o insectos.
Es posible que el objeto móvil pueda moverse libremente dentro del entorno con respecto a seis grados de libertad (por ejemplo, tres grados de libertad en traslación y tres grados de libertad en rotación). Alternativamente, el movimiento del objeto móvil puede estar restringido con respecto a uno o más grados de libertad, tal como mediante un trayecto, pista u orientación predeterminado. El movimiento puede accionarse mediante cualquier mecanismo de accionamiento adecuado, tal como un motor o una máquina. El mecanismo de accionamiento del objeto móvil puede alimentarse mediante cualquier fuente de energía adecuada, tal como energía eléctrica, energía magnética, energía solar, energía eólica, energía gravitacional, energía química, energía nuclear o cualquier combinación adecuada de las mismas. El objeto móvil puede ser autopropulsado mediante un sistema de propulsión, tal como se describe en otra parte en el presente documento. El sistema de propulsión puede funcionar opcionalmente con una fuente de energía, tal como energía eléctrica, energía magnética, energía solar, energía eólica, energía gravitacional, energía química, energía nuclear o cualquier combinación adecuada de las mismas. Alternativamente, el objeto móvil puede portarse por un ser vivo.
En algunos casos, el objeto móvil puede ser un vehículo. Los vehículos adecuados pueden incluir vehículos acuáticos, vehículos aéreos, vehículos espaciales o vehículos terrestres. Por ejemplo, los vehículos aéreos pueden ser aeronaves de alas fijas (por ejemplo, avión, planeadores), aeronaves de alas rotatorias (por ejemplo, helicópteros, giroaviones), aeronaves que tienen tanto alas fijas como alas rotatorias, o aeronaves que no tienen ninguna (por ejemplo, dirigibles, globos aerostáticos). Un vehículo puede ser autopropulsado, tal como autopropulsado a través del aire, sobre o en el agua, en el espacio o sobre o bajo tierra. Un vehículo autopropulsado puede usar un sistema de propulsión, tal como un sistema de propulsión que incluye uno o más motores, máquinas, ruedas, ejes, imanes, rotores, hélices, palas, boquillas o cualquier combinación adecuada de los mismos. En algunos casos, el sistema de propulsión puede usarse para permitir que el objeto móvil despegue desde una superficie, aterrice sobre una superficie, mantenga su posición y/u orientación actuales (por ejemplo, vuelo estacionario), cambie la orientación y/o cambie la posición.
El objeto móvil puede controlarse de manera remota por un usuario o controlarse localmente por un ocupante dentro del, o sobre el, objeto móvil. En algunas realizaciones, el objeto móvil es un objeto móvil no tripulado, tal como un UAV. Un objeto móvil no tripulado, tal como un UAV, puede no tener un ocupante a bordo del objeto móvil. El objeto móvil puede controlarse por un ser humano o por un sistema de control autónomo (por ejemplo, un sistema de control informático) o cualquier combinación adecuada de los mismos. El objeto móvil puede ser un robot autónomo o semiautónomo, tal como un robot configurado con una inteligencia artificial.
El objeto móvil puede tener cualquier tamaño y/o dimensiones adecuados. En algunas realizaciones, el objeto móvil puede tener un tamaño y/o dimensiones para tener un ocupante humano dentro del, o sobre el, vehículo. Alternativamente, el objeto móvil puede tener un tamaño y/o dimensiones menores que los que pueden tener un ocupante humano dentro del, o sobre el, vehículo. El objeto móvil puede tener un tamaño y/o dimensiones adecuados para levantarse o portarse por un ser humano. Alternativamente, el objeto móvil puede ser mayor que un tamaño y/o dimensiones adecuados para levantarse o portarse por un ser humano. En algunos casos, el objeto móvil puede tener una dimensión máxima (por ejemplo, longitud, anchura, altura, diámetro, diagonal) menor de o igual a aproximadamente: 2 cm, 5 cm, 10 cm, 50 cm, 1 m, 2 m, 5 m o 10 m. La dimensión máxima puede ser mayor de o igual a aproximadamente: 2 cm, 5 cm, 10 cm, 50 cm, 1 m, 2 m, 5 m o 10 m. Por ejemplo, la distancia entre árboles de rotores opuestos del objeto móvil puede ser menor de o igual a aproximadamente: 2 cm, 5 cm, 10 cm, 50 cm, 1 m, 2 m, 5 m o 10 m. Alternativamente, la distancia entre árboles de rotores opuestos puede ser mayor de o igual a aproximadamente: 2 cm, 5 cm, 10 cm, 50 cm, 1 m, 2 m, 5 m o 10 m.
En algunas realizaciones, el objeto móvil puede tener un volumen de menos de 100 cm x 100 cm x 100 cm, menos de 50 cm x 50 cm x 30 cm, o menos de 5 cm x 5 cm x 3 cm. El volumen total del objeto móvil puede ser de menos de o igual a aproximadamente: 1 cm3, 2 cm3, 5 cm3, 10 cm3, 20 cm3, 30 cm3, 40 cm3, 50 cm3, 60 cm3, 70 cm3, 80 cm3, 90 cm3, 100 cm3, 150 cm3, 200 cm3, 300 cm3, 500 cm3, 750 cm3, 1000 cm3, 5000 cm3, 10.000 cm3, 100.000 cm3, 1 m3 o 10 m3 A la inversa, el volumen total del objeto móvil puede ser mayor de o igual a aproximadamente: 1 cm3, 2 cm3, 5 cm3, 10 cm3, 20 cm3, 30 cm3, 40 cm3, 50 cm3, 60 cm3, 70 cm3, 80 cm3, 90 cm3, 100 cm3, 150 cm3, 200 cm3, 300 cm3, 500 cm3, 750 cm3, 1000 cm3, 5000 cm3, 10.000 cm3, 100.000 cm3, 1 m3 o 10 m3
En algunas realizaciones, el objeto móvil puede tener una superficie ocupada (lo cual puede referirse al área en sección transversal lateral abarcada por el objeto móvil) menor de o igual a aproximadamente: 32.000 cm2, 20.000 cm2, 10.000 cm2, 1.000 cm2, 500 cm2, 100 cm2, 50 cm2, 10 cm2 o 5 cm2. A la inversa, la superficie ocupada puede ser mayor de o igual a aproximadamente: 32.000 cm2, 20.000 cm2, 10.000 cm2, 1.000 cm2, 500 cm2, 100 cm2, 50 cm2, 10 cm2 o 5 cm2.
En algunos casos, el objeto móvil puede pesar no más de 1000 kg. El peso del objeto móvil puede ser menor de o igual a aproximadamente: 1000 kg, 750 kg, 500 kg, 200 kg, 150 kg, 100 kg, 80 kg, 70 kg, 60 kg, 50 kg, 45 kg, 40 kg, 35 kg, 30 kg, 25 kg, 20 kg, 15 kg, 12 kg, 10 kg, 9 kg, 8 kg, 7 kg, 6 kg, 5 kg, 4 kg, 3 kg, 2 kg, 1 kg, 0,5 kg, 0,1 kg, 0,05 kg o 0,01 kg. A la inversa, el peso puede ser mayor de o igual a aproximadamente: 1000 kg, 750 kg, 500 kg, 200 kg, 150 kg, 100 kg, 80 kg, 70 kg, 60 kg, 50 kg, 45 kg, 40 kg, 35 kg, 30 kg, 25 kg, 20 kg, 15 kg, 12 kg, 10 kg, 9 kg, 8 kg, 7 kg, 6 kg, 5 kg, 4 kg, 3 kg, 2 kg, 1 kg, 0,5 kg, 0,1 kg, 0,05 kg o 0,01 kg.
En algunas realizaciones, un objeto móvil puede ser pequeño con respecto a una carga portada por el objeto móvil. La carga puede incluir una carga útil y/o un soporte, tal como se describe con más detalle a continuación. En algunos ejemplos, una razón de un peso de objeto móvil con respecto a un peso de carga puede ser mayor de, menor de o igual a aproximadamente 1:1. En algunos casos, una razón de un peso de objeto móvil con respecto a un peso de carga puede ser mayor de, menor de o igual a aproximadamente 1:1. Opcionalmente, una razón de un peso de soporte con respecto a un peso de carga puede ser mayor de, menor de o igual a aproximadamente 1:1. Cuando se desee, la razón de un peso de objeto móvil con respecto a un peso de carga puede ser menor de o igual a: 1:2, 1:3, 1:4, 1:5, 1:10 o incluso menor. A la inversa, la razón de un peso de objeto móvil con respecto a un peso de carga también puede ser mayor de o igual a: 2:1, 3:1, 4:1, 5:1, 10:1 o incluso mayor.
En algunas realizaciones, el objeto móvil puede tener un bajo consumo de energía. Por ejemplo, el objeto móvil puede usar menos de aproximadamente: 5 W/h, 4 W/h, 3 W/h, 2 W/h, 1 W/h o menos. En algunos casos, un soporte del objeto móvil puede tener un bajo consumo de energía. Por ejemplo, el soporte puede usar menos de aproximadamente: 5 W/h, 4 W/h, 3 W/h, 2 W/h, 1 W/h o menos. Opcionalmente, una carga útil del objeto móvil puede tener un bajo consumo de energía, tal como menos de aproximadamente: 5 W/h, 4 W/h, 3 W/h, 2 W/h, 1 W/h o menos.
La figura 12 ilustra un vehículo aéreo no tripulado (UAV) 1500, según realizaciones de la presente invención. El UAV puede ser un ejemplo de un objeto móvil tal como se describe en el presente documento. El UAV 1500 puede incluir un sistema de propulsión que tiene cuatro rotores 1502, 1504, 1506 y 1508. Puede proporcionarse cualquier número de rotores (por ejemplo, uno, dos, tres, cuatro, cinco, seis, siete, ocho o más). Los rotores, conjuntos de rotor u otros sistemas de propulsión del vehículo aéreo no tripulado pueden permitir que el vehículo aéreo no tripulado vuele de manera estacionaria/mantenga la posición, cambie la orientación y/o cambie la ubicación. La distancia entre los árboles de rotores opuestos puede ser cualquier longitud 1510 adecuada. Por ejemplo, la longitud 1510 puede ser menor de o igual a 2 m, o menor de o igual a 5 m. En algunas realizaciones, la longitud 1510 puede estar dentro de un intervalo de desde 40 cm hasta 1 m, desde 10 cm hasta 2 m o desde 5 cm hasta 5 m. Cualquier descripción en el presente documento de un UAV puede aplicarse a un objeto móvil, tal como un objeto móvil de un tipo diferente, y viceversa.
En algunas realizaciones, el objeto móvil puede estar configurado para portar una carga. La carga puede incluir uno o más de pasajeros, cargamento, equipos, instrumentos y similares. La carga puede proporcionarse dentro de un alojamiento. El alojamiento puede ser independiente de un alojamiento del objeto móvil o formar parte de un alojamiento para un objeto móvil. Alternativamente, la carga puede proporcionarse con un alojamiento mientras que el objeto móvil no tiene un alojamiento. Alternativamente, porciones de la carga o la carga entera pueden proporcionarse sin un alojamiento. La carga puede fijarse de manera rígida con respecto al objeto móvil. Opcionalmente, la carga puede ser móvil con respecto al objeto móvil (por ejemplo, trasladable o rotatoria con respecto al objeto móvil).
En algunas realizaciones, la carga incluye una carga útil. La carga útil puede estar configurada para no realizar ninguna operación o función. Alternativamente, la carga útil puede ser una carga útil configurada para realizar una operación o función, también conocida como carga útil funcional. Por ejemplo, la carga útil puede incluir uno o más sensores para vigilar uno o más objetivos. Puede incorporarse cualquier sensor adecuado en la carga útil, tal como un dispositivo de captura de imágenes (por ejemplo, una cámara), un dispositivo de captura de audio (por ejemplo, un micrófono parabólico), un dispositivo de obtención de imágenes infrarrojas o un dispositivo de obtención de imágenes ultravioletas. El sensor puede proporcionar datos de detección estáticos (por ejemplo, una fotografía) o datos de detección dinámicos (por ejemplo, un vídeo). En algunas realizaciones, el sensor proporciona datos de detección para el objetivo de la carga útil. Alternativamente o en combinación, la carga útil puede incluir uno o más emisores para proporcionar señales a uno o más objetivos. Puede usarse cualquier emisor adecuado, tal como una fuente de iluminación o una fuente de sonido. En algunas realizaciones, la carga útil incluye uno o más transceptores, tales como para la comunicación con un módulo remoto con respecto al objeto móvil. Opcionalmente, la carga útil puede estar configurada para interaccionar con el entorno o un objetivo. Por ejemplo, la carga útil puede incluir una herramienta, instrumento o mecanismo que puede manipular objetos, tal como un brazo robótico.
Opcionalmente, la carga puede incluir un soporte. El soporte puede proporcionarse para la carga útil y la carga útil puede acoplarse al objeto móvil a través del soporte, o bien directamente (por ejemplo, entrando directamente en contacto con el objeto móvil) o bien indirectamente (por ejemplo, no entrando en contacto con el objeto móvil). A la inversa, la carga útil puede montarse en el objeto móvil sin requerir un soporte. La carga útil puede estar formada de manera solidaria con el soporte. Alternativamente, la carga útil puede acoplarse de manera liberable al soporte. En algunas realizaciones, la carga útil puede incluir uno o más elementos de carga útil, y uno o más de los elementos de carga útil pueden ser móviles con respecto al objeto móvil y/o al soporte, tal como se describió anteriormente.
El soporte puede estar formado de manera solidaria con el objeto móvil. Alternativamente, el soporte puede acoplarse de manera liberable al objeto móvil. El soporte puede acoplarse al objeto móvil directa o indirectamente. El soporte puede proporcionar apoyo para la carga útil (por ejemplo, soportar al menos parte del peso de la carga útil). El soporte puede incluir una estructura de montaje adecuada (por ejemplo, una plataforma de cardán) que puede estabilizar y/o dirigir el movimiento de la carga útil. En algunas realizaciones, el soporte puede estar adaptado para controlar el estado de la carga útil (por ejemplo, posición y/u orientación) con respecto al objeto móvil. Por ejemplo, el soporte puede estar configurado para moverse con respecto al objeto móvil (por ejemplo, con respecto a uno, dos o tres grados de traslación y/o uno, dos o tres grados de rotación) de tal manera que la carga útil mantiene su posición y/u orientación con respecto a un sistema de referencia adecuado independientemente del movimiento del objeto móvil. El sistema de referencia puede ser un sistema de referencia fijo (por ejemplo, el entorno circundante). Alternativamente, el sistema de referencia puede ser un sistema de referencia móvil (por ejemplo, el objeto móvil, un objetivo de carga útil).
En algunas realizaciones, el soporte puede estar configurado para permitir el movimiento de la carga útil con respecto al soporte y/o al objeto móvil. El movimiento puede ser una traslación con respecto a hasta tres grados de libertad (por ejemplo, a lo largo de uno, dos o tres ejes) o una rotación con respecto a hasta tres grados de libertad (por ejemplo, alrededor de uno, dos o tres ejes) o cualquier combinación adecuada de los mismos.
En algunos casos, el soporte puede incluir un conjunto de armazón de soporte y un conjunto de accionamiento de soporte. El conjunto de armazón de soporte puede proporcionar apoyo estructural a la carga útil. El conjunto de armazón de soporte puede incluir componentes de armazón de soporte individuales, algunos de los cuales pueden ser móviles unos con respecto a otros. El conjunto de accionamiento de soporte puede incluir uno o más accionadores (por ejemplo, motores) que accionan el movimiento de los componentes de armazón de soporte individuales. Los accionadores pueden permitir el movimiento de múltiples componentes de armazón de soporte simultáneamente o pueden estar configurados para permitir el movimiento de un único componente de armazón de soporte a la vez. El movimiento de los componentes de armazón de soporte puede producir un movimiento correspondiente de la carga útil.
Por ejemplo, el conjunto de accionamiento de soporte puede accionar una rotación de uno o más componentes de armazón de soporte alrededor de uno o más ejes de rotación (por ejemplo, eje de alabeo, eje de cabeceo o eje de guiñada). La rotación del uno o más componentes de armazón de soporte puede provocar que una carga útil rote alrededor de uno o más ejes de rotación con respecto al objeto móvil. Alternativamente o en combinación, el conjunto de accionamiento de soporte puede accionar una traslación de uno o más componentes de armazón de soporte a lo largo de uno o más ejes de traslación y de ese modo producir una traslación de la carga útil a lo largo de uno o más ejes correspondientes con respecto al objeto móvil.
En algunas realizaciones, el movimiento del objeto móvil, el soporte y la carga útil con respecto a un sistema de referencia fijo (por ejemplo, el entorno circundante) y/o unos con respeto a otros puede controlarse por un terminal. El terminal puede ser un dispositivo de control remoto en una ubicación distante con respecto al objeto móvil, al soporte y/o a la carga útil. El terminal puede estar dispuesto sobre, o fijado a, una plataforma de apoyo. Alternativamente, el terminal puede ser un dispositivo portátil o que puede llevarse puesto. Por ejemplo, el terminal puede incluir un teléfono inteligente, tableta, ordenador portátil, ordenador, gafas, guantes, casco, micrófono o combinaciones adecuadas de los mismos. El terminal puede incluir una interfaz de usuario, tal como un teclado, ratón, palanca de mando, pantalla táctil o elemento de visualización. Puede usarse cualquier entrada de usuario adecuada para interaccionar con el terminal, tal como órdenes introducidas manualmente, control por voz, control por gestos o control de posición (por ejemplo, mediante un movimiento, ubicación o inclinación del terminal).
El terminal puede usarse para controlar cualquier estado adecuado del objeto móvil, el soporte y/o la carga útil. Por ejemplo, el terminal puede usarse para controlar la posición y/u orientación del objeto móvil, el soporte y/o la carga útil con respecto a una referencia fija y/o unos con respecto a otros. En algunas realizaciones, el terminal puede usarse para controlar elementos individuales del objeto móvil, el soporte y/o la carga útil, tales como el conjunto de accionamiento del soporte, un sensor de la carga útil o un emisor de la carga útil. El terminal puede incluir un dispositivo de comunicación inalámbrico adaptado para comunicarse con uno o más del objeto móvil, el soporte o la carga útil.
El terminal puede incluir una unidad de visualización adecuada para visualizar información del objeto móvil, el soporte y/o la carga útil. Por ejemplo, el terminal puede estar configurado para visualizar información del objeto móvil, el soporte y/o la carga útil con respecto a la posición, velocidad de traslación, aceleración de traslación, orientación, velocidad angular, aceleración angular o cualquier combinación adecuada de los mismos. En algunas realizaciones, el terminal puede visualizar información proporcionada por la carga útil, tal como datos proporcionados por una carga útil funcional (por ejemplo, imágenes grabadas por una cámara u otro dispositivo de captura de imágenes).
Opcionalmente, el mismo terminal puede tanto controlar el objeto móvil, el soporte y/o la carga útil, o un estado del objeto móvil, el soporte y/o la carga útil, así como recibir y/o visualizar información a partir del objeto móvil, el soporte y/o la carga útil. Por ejemplo, un terminal puede controlar el posicionamiento de la carga útil con respecto a un entorno, al tiempo que visualiza datos de imagen capturados por la carga útil o información sobre la posición de la carga útil. Alternativamente, pueden usarse diferentes terminales para diferentes funciones. Por ejemplo, un primer terminal puede controlar el movimiento o un estado del objeto móvil, el soporte y/o la carga útil mientras que un segundo terminal puede recibir y/o visualizar información a partir del objeto móvil, el soporte y/o la carga útil. Por ejemplo, un primer terminal puede usarse para controlar el posicionamiento de la carga útil con respecto a un entorno mientras que un segundo terminal visualiza datos de imagen capturados por la carga útil. Pueden usarse diversos modos de comunicación entre un objeto móvil y un terminal integrado que tanto controla el objeto móvil como recibe datos, o entre el objeto móvil y múltiples terminales que tanto controlan el objeto móvil como reciben datos. Por ejemplo, pueden formarse al menos dos modos de comunicación diferentes entre el objeto móvil y el terminal que tanto controla el objeto móvil como recibe datos a partir del objeto móvil.
La figura 13 ilustra un objeto móvil 1600 que incluye un soporte 1602 y una carga útil 1604, según realizaciones. Aunque se representa que el objeto móvil 1600 es una aeronave, no se pretende que esta representación sea limitativa y puede usarse cualquier tipo adecuado de objeto móvil, tal como se describió anteriormente en el presente documento. Un experto en la técnica apreciará que cualquiera de las realizaciones descritas en el presente documento en el contexto de sistemas de aeronave puede aplicarse a cualquier objeto móvil adecuado (por ejemplo, un UAV). En algunos casos, la carga útil 1604 puede proporcionarse en el objeto móvil 1600 sin requerir el soporte 1602. El objeto móvil 1600 puede incluir mecanismos de propulsión 1606, un sistema de detección 1608 y un sistema de comunicación 1610.
Los mecanismos de propulsión 1606 pueden incluir uno o más de rotores, hélices, palas, motores, máquinas, ruedas, ejes, imanes o boquillas, tal como se describió anteriormente. Por ejemplo, los mecanismos de propulsión 1606 pueden ser conjuntos de rotor u otras unidades de propulsión rotatorias, tal como se da a conocer en otra parte en el presente documento. El objeto móvil puede tener uno o más, dos o más, tres o más o cuatro o más mecanismos de propulsión. Los mecanismos de propulsión pueden ser todos ellos del mismo tipo. Alternativamente, uno o más mecanismos de propulsión pueden ser tipos diferentes de mecanismos de propulsión. Los mecanismos de propulsión 1606 pueden montarse en el objeto móvil 1600 usando cualquier medio adecuado, tal como un elemento de apoyo (por ejemplo, un árbol de accionamiento) tal como se describe en otra parte en el presente documento. Los mecanismos de propulsión 1606 pueden montarse en cualquier porción adecuada del objeto móvil 1600, tal como en la parte superior, parte inferior, parte delantera, parte trasera, lados o combinaciones adecuadas de los mismos.
En algunas realizaciones, los mecanismos de propulsión 1606 pueden permitir que el objeto móvil 1600 despegue verticalmente desde una superficie o aterrice verticalmente sobre una superficie sin requerir ningún movimiento horizontal del objeto móvil 1600 (por ejemplo, sin desplazarse por una pista de aterrizaje). Opcionalmente, los mecanismos de propulsión 1606 pueden hacerse funcionar para permitir que el objeto móvil 1600 vuele de manera estacionaria en el aire en una posición y/u orientación especificadas. Uno o más de los mecanismos de propulsión 1600 pueden controlarse independientemente de los otros mecanismos de propulsión. Alternativamente, los mecanismos de propulsión 1600 pueden estar configurados para controlarse simultáneamente. Por ejemplo, el objeto móvil 1600 puede tener múltiples rotores orientados horizontalmente que pueden proporcionar sustentación y/o empuje al objeto móvil. Los múltiples rotores orientados horizontalmente pueden accionarse para proporcionar capacidades de despegue vertical, aterrizaje vertical y vuelo estacionario al objeto móvil 1600. En algunas realizaciones, uno o más de los rotores orientados horizontalmente pueden girar en un sentido de las agujas del reloj, mientras que uno o más de los rotores horizontales pueden girar en un sentido contrario a las agujas del reloj. Por ejemplo, el número de rotores en el sentido de las agujas del reloj puede ser igual al número de rotores en el sentido contrario a las agujas del reloj. La velocidad de rotación de cada uno de los rotores orientados horizontalmente puede hacerse variar independientemente con el fin de controlar la sustentación y/o el empuje producidos por cada rotor y de ese modo ajustar la disposición espacial, velocidad y/o aceleración del objeto móvil 1600 (por ejemplo, con respecto a hasta tres grados de traslación y hasta tres grados de rotación).
El sistema de detección 1608 puede incluir uno o más sensores que pueden detectar la disposición espacial, velocidad y/o aceleración del objeto móvil 1600 (por ejemplo, con respecto a hasta tres grados de traslación y hasta tres grados de rotación). El uno o más sensores pueden incluir sensores de sistema de posicionamiento global (GPS), sensores de movimiento, sensores inerciales, sensores de proximidad o sensores de imágenes. Los datos de detección proporcionados por el sistema de detección 1608 pueden usarse para controlar la disposición espacial, velocidad y/u orientación del objeto móvil 1600 (por ejemplo, usando una unidad de procesamiento y/o módulo de control adecuado, tal como se describe a continuación). Alternativamente, el sistema de detección 1608 puede usarse para proporcionar datos referentes al entorno que rodea al objeto móvil, tal como condiciones climatológicas, proximidad a posibles obstáculos, ubicación de características geográficas, ubicación de estructuras artificiales y similares.
El sistema de comunicación 1610 permite la comunicación con el terminal 1612 que tiene un sistema de comunicación 1614 a través de señales inalámbricas 1616. Los sistemas de comunicación 1610, 1614 pueden incluir cualquier número de transmisores, receptores y/o transceptores adecuados para la comunicación inalámbrica. La comunicación puede ser comunicación unidireccional, de tal manera que solo pueden transmitirse datos en un sentido. Por ejemplo, la comunicación unidireccional puede implicar únicamente que el objeto móvil 1600 transmite datos al terminal 1612 o viceversa. Los datos pueden transmitirse desde uno o más transmisores del sistema de comunicación 1610 hasta uno o más receptores del sistema de comunicación 1612 o viceversa. Alternativamente, la comunicación puede ser comunicación bidireccional, de tal manera que pueden transmitirse datos en ambos sentidos entre el objeto móvil 1600 y el terminal 1612. La comunicación bidireccional puede implicar transmitir datos desde uno o más transmisores del sistema de comunicación 1610 hasta uno o más receptores del sistema de comunicación 1614 y viceversa.
En algunas realizaciones, el terminal 1612 puede proporcionar datos de control a uno o más del objeto móvil 1600, el soporte 1602 y la carga útil 1604 y recibir información a partir de uno o más del objeto móvil 1600, el soporte 1602 y la carga útil 1604 (por ejemplo, información de posición y/o movimiento del objeto móvil, el soporte o la carga útil; datos detectados por la carga útil tales como datos de imagen capturados por una cámara de carga útil). En algunos casos, los datos de control a partir del terminal pueden incluir instrucciones para posiciones, movimientos, accionamientos o controles relativos del objeto móvil, el soporte y/o la carga útil. Por ejemplo, los datos de control pueden dar como resultado una modificación de la ubicación y/u orientación del objeto móvil (por ejemplo, mediante control de los mecanismos de propulsión 1606) o un movimiento de la carga útil con respecto al objeto móvil (por ejemplo, mediante control del soporte 1602). Los datos de control a partir del terminal pueden dar como resultado el control de la carga útil, tal como control del funcionamiento de una cámara u otro dispositivo de captura de imágenes (por ejemplo, tomar imágenes instantáneas o en movimiento, ampliar o reducir el aumento, encender o apagar, cambiar modos de obtención de imágenes, cambiar resolución de imagen, cambiar enfoque, cambiar profundidad de campo, cambiar tiempo de exposición, cambiar ángulo de visión o campo de visión). En algunos casos, las comunicaciones a partir del objeto móvil, el soporte y/o la carga útil pueden incluir información a partir de uno o más sensores (por ejemplo, del sistema de detección 1608 o de la carga útil 1604). Las comunicaciones pueden incluir información detectada a partir de uno o más tipos diferentes de sensores (por ejemplo, sensores de GPS, sensores de movimiento, sensor inercial, sensores de proximidad o sensores de imágenes). Tal información puede referirse a la posición (por ejemplo, ubicación, orientación), movimiento o aceleración del objeto móvil, el soporte y/o la carga útil. Tal información a partir de una carga útil puede incluir datos capturados por la carga útil o un estado detectado de la carga útil. Los datos de control proporcionados transmitidos por el terminal 1612 pueden estar configurados para controlar un estado de uno o más del objeto móvil 1600, el soporte 1602 o la carga útil 1604. Alternativamente o en combinación, el soporte 1602 y la carga útil 1604 también pueden incluir, cada uno, un módulo de comunicación configurado para comunicarse con el terminal 1612, de tal manera que el terminal puede comunicarse con, y controlar, cada uno del objeto móvil 1600, el soporte 1602 y la carga útil 1604 de manera independiente.
En algunas realizaciones, el objeto móvil 1600 puede estar configurado para comunicarse con otro dispositivo remoto además del terminal 1612 o en vez del terminal 1612. El terminal 1612 también puede estar configurado para comunicarse con otro dispositivo remoto así como el objeto móvil 1600. Por ejemplo, el objeto móvil 1600 y/o el terminal 1612 pueden comunicarse con otro objeto móvil o un soporte o carga útil de otro objeto móvil. Cuando se desee, el dispositivo remoto puede ser un segundo terminal u otro dispositivo informático (por ejemplo, ordenador, ordenador portátil, tableta, teléfono inteligente u otro dispositivo móvil). El dispositivo remoto puede estar configurado para transmitir datos al objeto móvil 1600, recibir datos a partir del objeto móvil 1600, transmitir datos al terminal 1612 y/o recibir datos a partir del terminal 1612. Opcionalmente, el dispositivo remoto puede estar conectado a Internet o a otra red de telecomunicaciones, de tal manera que datos recibidos a partir del objeto móvil 1600 y/o el terminal 1612 pueden cargarse en un sitio web o servidor.
La figura 14 es una ilustración esquemática a modo de diagrama de bloques de un sistema 1700 para controlar un objeto móvil, según realizaciones. El sistema 1700 puede usarse en combinación con cualquier realización adecuada de los sistemas, dispositivos y métodos dados a conocer en el presente documento. El sistema 1700 puede incluir un módulo de detección 1702, una unidad de procesamiento 1704, un medio legible por ordenador no transitorio 1706, un módulo de control 1708 y un módulo de comunicación 1710.
El módulo de detección 1702 puede usar diferentes tipos de sensores que recopilan información referente a los objetos móviles de diferentes maneras. Los diferentes tipos de sensores pueden detectar diferentes tipos de señales o señales a partir de diferentes fuentes. Por ejemplo, los sensores pueden incluir sensores inerciales, sensores de GPS, sensores de proximidad (por ejemplo, lidar) o sensores de visión/imágenes (por ejemplo, una cámara). El módulo de detección 1702 puede estar operativamente acoplado a una unidad de procesamiento 1704 que tiene una pluralidad de procesadores. En algunas realizaciones, el módulo de detección puede estar operativamente acoplado a un módulo de transmisión 1712 (por ejemplo, un módulo de transmisión de imágenes por Wi-Fi) configurado para transmitir directamente datos de detección a un sistema o dispositivo externo adecuado. Por ejemplo, el módulo de transmisión 1712 puede usarse para transmitir imágenes capturadas por una cámara del módulo de detección 1702 a un terminal remoto.
La unidad de procesamiento 1704 puede tener uno o más procesadores, tales como un procesador programable (por ejemplo, una unidad de procesamiento central (CPU)). La unidad de procesamiento 1704 puede estar operativamente acoplada a un medio legible por ordenador no transitorio 1706. El medio legible por ordenador no transitorio 1706 puede almacenar instrucciones lógicas, de código y/o de programa ejecutables por la unidad de procesamiento 1704 para realizar una o más etapas. El medio legible por ordenador no transitorio puede incluir una o más unidades de memoria (por ejemplo, medios extraíbles o almacenamiento externo tal como una tarjeta SD o memoria de acceso aleatorio (RAM)). En algunas realizaciones, pueden transmitirse datos a partir del módulo de detección 1702 directamente a, y almacenarse dentro de, las unidades de memoria del medio legible por ordenador no transitorio 1706. Las unidades de memoria del medio legible por ordenador no transitorio 1706 pueden almacenar instrucciones lógicas, de código y/o de programa ejecutables por la unidad de procesamiento 1704 para realizar cualquier realización adecuada de los métodos descritos en el presente documento. Por ejemplo, la unidad de procesamiento 1704 puede estar configurada para ejecutar instrucciones que hacen que uno o más procesadores de la unidad de procesamiento 1704 analicen datos de detección producidos por el módulo de detección. Las unidades de memoria pueden almacenar datos de detección a partir del módulo de detección que van a procesarse por la unidad de procesamiento 1704. En algunas realizaciones, las unidades de memoria del medio legible por ordenador no transitorio 1706 pueden usarse para almacenar los resultados de procesamiento producidos por la unidad de procesamiento 1704.
En algunas realizaciones, la unidad de procesamiento 1704 puede estar operativamente acoplada a un módulo de control 1708 configurado para controlar un estado del objeto móvil. Por ejemplo, el módulo de control 1708 puede estar configurado para controlar los mecanismos de propulsión del objeto móvil para ajustar la disposición espacial, velocidad y/o aceleración del objeto móvil con respecto a seis grados de libertad. Alternativamente o en combinación, el módulo de control 1708 puede controlar uno o más de un estado de un soporte, carga útil o módulo de detección.
La unidad de procesamiento 1704 puede estar operativamente acoplada a un módulo de comunicación 1710 configurado para transmitir y/o recibir datos a partir de uno o más dispositivos externos (por ejemplo, un terminal, dispositivo de visualización u otro controlador remoto). Puede usarse cualquier medio adecuado de comunicación, tal como comunicación por cable o comunicación inalámbrica. Por ejemplo, el módulo de comunicación 1710 puede usar uno o más de redes de área local (LAN), redes de área ancha (WAN), infrarrojos, radio, WiFi, redes de punto a punto (P2P), redes de telecomunicación, comunicación en la nube y similares. Opcionalmente, pueden usarse estaciones de retransmisión, tales como torres, satélites o estaciones móviles. Las comunicaciones inalámbricas pueden depender de la proximidad o ser independientes de la proximidad. En algunas realizaciones, puede o no requerirse línea de visión para las comunicaciones. El módulo de comunicación 1710 puede transmitir y/o recibir uno o más de datos de detección a partir del módulo de detección 1702, resultados de procesamiento producidos por la unidad de procesamiento 1704, datos de control predeterminados, órdenes de usuario a partir de un terminal o controlador remoto y similares.
Los componentes del sistema 1700 pueden estar dispuestos en cualquier configuración adecuada. Por ejemplo, uno o más de los componentes del sistema 1700 pueden estar ubicados en el objeto móvil, soporte, carga útil, terminal, sistema de detección o un dispositivo externo adicional en comunicación con uno o más de los anteriores. Adicionalmente, aunque la figura 14 representa una única unidad de procesamiento 1704 y un único medio legible por ordenador no transitorio 1706, un experto en la técnica apreciará que no se pretende que esto sea limitativo, y que el sistema 1700 puede incluir una pluralidad de unidades de procesamiento y/o medios legibles por ordenador no transitorios. En algunas realizaciones, uno o más de la pluralidad de unidades de procesamiento y/o medios legibles por ordenador no transitorios pueden estar situados en diferentes ubicaciones, tal como en el objeto móvil, soporte, carga útil, terminal, módulo de detección, dispositivo externo adicional en comunicación con uno o más de los anteriores o combinaciones adecuadas de las mismas, de tal manera que cualquier aspecto adecuado de las funciones de procesamiento y/o memoria realizadas por el sistema 1700 puede producirse en una o más de las ubicaciones anteriormente mencionadas.
Tal como se usa en el presente documento, A y/o B abarca uno o más de A o B y combinaciones de los mismos tal como A y B.

Claims (15)

REIVINDICACIONES
1. Sistema de navegación, que comprende:
un vehículo aéreo no tripulado (300), UAV, que comprende una o más unidades de propulsión (304, 306) configuradas para realizar el movimiento del vehículo (300) y una pluralidad de dispositivos de obtención de imágenes (308, 310, 312) configurados, cada uno, para capturar una pluralidad de imágenes; y uno o más procesadores operativamente acoplados a la pluralidad de dispositivos de obtención de imágenes (308, 310, 312) y configurados de manera individual o colectiva para:
(a) evaluar la calidad de imagen de la pluralidad de imágenes a partir de cada dispositivo de obtención de imágenes (308, 310, 312);
(b) seleccionar un subconjunto de la pluralidad de dispositivos de obtención de imágenes (308, 310, 312) basándose en la calidad de imagen según la evaluación de la etapa (a);
(c) generar información de navegación para navegar el vehículo (300) dentro del entorno usando la pluralidad de imágenes a partir del subconjunto seleccionado de dispositivos de obtención de imágenes y no usando las imágenes a partir de los dispositivos de obtención de imágenes restantes de la pluralidad de dispositivos de obtención de imágenes (308, 310, 312), en el que la información de navegación incluye información de estado para el vehículo (300) e información de entorno para el entorno; y
(d) emitir señales para controlar el vehículo (300) basándose en la información de navegación generada en la etapa (c); caracterizado porque el número de dispositivos de obtención de imágenes en el subconjunto se basa en una característica de un entorno que rodea al vehículo (300).
2. Sistema según la reivindicación 1, en el que la pluralidad de dispositivos de obtención de imágenes (308, 310, 312) están dispuestos en el vehículo de tal manera que cada dispositivo de obtención de imágenes de la pluralidad de dispositivos de obtención de imágenes (308, 310, 312) está configurado para capturar la pluralidad de imágenes a partir de un campo de visión diferente.
3. Sistema según la reivindicación 1, en el que la pluralidad de imágenes comprende una pluralidad de tramas de imagen sucesivas capturadas a lo largo de un intervalo de tiempo predeterminado.
4. Sistema según la reivindicación 1, en el que la calidad de imagen se basa en un número de puntos característicos en cada imagen de dicha pluralidad de imágenes.
5. Sistema según la reivindicación 4, en el que el número de puntos característicos en cada imagen se calcula usando un algoritmo de detección de esquinas.
6. Sistema según la reivindicación 5, en el que el algoritmo de detección de esquinas es un algoritmo de características a partir de la prueba de segmentos acelerada (FAST).
7. Sistema según la reivindicación 1, en el que la calidad de imagen se basa en la saliencia de cada imagen de dicha pluralidad de imágenes, o
en el que la calidad de imagen se basa en al menos uno de un nivel de exposición o nivel de contraste en cada imagen de dicha pluralidad de imágenes, o
en el que la calidad de imagen se basa en la idoneidad de dicha pluralidad de imágenes para su uso en la evaluación de la información de estado para el vehículo (300).
8. Sistema según la reivindicación 1, en el que la etapa (a) comprende determinar que la calidad de imagen de dicha pluralidad de imágenes tomadas por dicho subconjunto de uno o más dispositivos de obtención de imágenes primarios supera un umbral predeterminado.
9. Sistema según la reivindicación 1, en el que la información de estado comprende al menos una de una posición, una actitud, una velocidad o una aceleración del vehículo (300).
10. Método para controlar un vehículo aéreo no tripulado (300), UAV, en movimiento conectado a una pluralidad de dispositivos de obtención de imágenes (308, 310, 312), que comprende:
(a) capturar una pluralidad de imágenes con cada dispositivo de obtención de imágenes de la pluralidad de dispositivos de obtención de imágenes (308, 310, 312);
(b) evaluar, con la ayuda de un procesador, la calidad de imagen de la pluralidad de imágenes a partir de cada dispositivo de obtención de imágenes (308, 310, 312);
(c) seleccionar, con la ayuda del procesador, un subconjunto de la pluralidad de dispositivos de obtención de imágenes (308, 310, 312) basándose en la calidad de imagen según la evaluación de la etapa (b);
(d) generar, con la ayuda del procesador, información de navegación para navegar el vehículo (300) dentro del entorno usando la pluralidad de imágenes a partir del subconjunto seleccionado de dispositivos de obtención de imágenes y no usando las imágenes a partir de los dispositivos de obtención de imágenes restantes de la pluralidad de dispositivos de obtención de imágenes (308, 310, 312), en el que la información de navegación incluye información de estado para el vehículo (300) e información de entorno para el entorno; y
(e) emitir, con la ayuda del procesador, señales para controlar el vehículo (300) basándose en la información de navegación generada en la etapa (c);
caracterizado porque el número de dispositivos de obtención de imágenes en el subconjunto se basa en una característica de un entorno que rodea al vehículo (300).
11. Método según la reivindicación 10, en el que la calidad de imagen se basa en un número de puntos característicos en cada imagen de dicha pluralidad de imágenes.
12. Método según la reivindicación 10, en el que la calidad de imagen se basa en la saliencia de cada imagen de dicha pluralidad de imágenes, o
en el que la calidad de imagen se basa en al menos uno de un nivel de exposición o nivel de contraste en cada imagen de dicha pluralidad de imágenes, o
en el que la calidad de imagen se basa en la idoneidad de dicha pluralidad de imágenes para su uso en la evaluación de la información de estado para el vehículo (300).
13. Método según la reivindicación 10, en el que la etapa (b) comprende determinar que la calidad de imagen de dicha pluralidad de imágenes tomadas por dicho subconjunto de uno o más dispositivos de obtención de imágenes primarios supera un umbral predeterminado.
14. Método según la reivindicación 10, en el que las etapas (a)-(d) se repiten durante el funcionamiento del vehículo (300).
15. Método según la reivindicación 10, en el que se selecciona un número mayor de dispositivos de obtención de imágenes para el subconjunto de la pluralidad de dispositivos de obtención de imágenes (308, 310, 312) cuando el vehículo (300) está funcionando dentro de un entorno con una alta densidad de obstáculos, mientras que se selecciona un número menor de dispositivos de obtención de imágenes para el subconjunto de la pluralidad de dispositivos de obtención de imágenes (308, 310, 312) cuando el vehículo (300) está funcionando dentro de un entorno que tiene una baja densidad de obstáculos.
ES14909276T 2014-12-31 2014-12-31 Procesamiento selectivo de datos de sensor Active ES2874506T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/095983 WO2016106715A1 (en) 2014-12-31 2014-12-31 Selective processing of sensor data

Publications (1)

Publication Number Publication Date
ES2874506T3 true ES2874506T3 (es) 2021-11-05

Family

ID=56283987

Family Applications (1)

Application Number Title Priority Date Filing Date
ES14909276T Active ES2874506T3 (es) 2014-12-31 2014-12-31 Procesamiento selectivo de datos de sensor

Country Status (7)

Country Link
US (3) US9778661B2 (es)
EP (2) EP3123260B1 (es)
JP (1) JP6312178B2 (es)
CN (2) CN107209514B (es)
DK (1) DK3123260T3 (es)
ES (1) ES2874506T3 (es)
WO (1) WO2016106715A1 (es)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10618168B2 (en) * 2016-05-13 2020-04-14 General Electric Company Robot system path planning for asset health management
CN104469158A (zh) * 2014-12-15 2015-03-25 安徽华米信息科技有限公司 一种运动拍摄、拍摄控制方法及装置
ES2874506T3 (es) * 2014-12-31 2021-11-05 Sz Dji Technology Co Ltd Procesamiento selectivo de datos de sensor
US9836053B2 (en) 2015-01-04 2017-12-05 Zero Zero Robotics Inc. System and method for automated aerial system operation
US10126745B2 (en) 2015-01-04 2018-11-13 Hangzhou Zero Zero Technology Co., Ltd. System and method for automated aerial system operation
US10358214B2 (en) 2015-01-04 2019-07-23 Hangzhou Zero Zro Technology Co., Ltd. Aerial vehicle and method of operation
EP3062066A1 (en) * 2015-02-26 2016-08-31 Hexagon Technology Center GmbH Determination of object data by template-based UAV control
US9911344B2 (en) * 2015-07-24 2018-03-06 Honeywell International Inc. Helicopter landing system using a camera for obstacle detection
US9720413B1 (en) * 2015-12-21 2017-08-01 Gopro, Inc. Systems and methods for providing flight control for an unmanned aerial vehicle based on opposing fields of view with overlap
US9740200B2 (en) 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US9609288B1 (en) 2015-12-31 2017-03-28 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
WO2017187275A2 (en) 2016-04-24 2017-11-02 Hangzhou Zero Zero Technology Co., Ltd. Aerial system propulsion assembly and method of use
US10345107B2 (en) * 2016-06-22 2019-07-09 Aptiv Technologies Limited Automated vehicle sensor selection based on map data density and navigation feature density
CN109478320B (zh) 2016-07-12 2022-03-18 深圳市大疆创新科技有限公司 处理图像以获得环境信息
JP6785412B2 (ja) * 2016-07-22 2020-11-18 パナソニックＩｐマネジメント株式会社 無人航空機システム
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
US20180186472A1 (en) * 2016-12-30 2018-07-05 Airmada Technology Inc. Method and apparatus for an unmanned aerial vehicle with a 360-degree camera system
US10067513B2 (en) 2017-01-23 2018-09-04 Hangzhou Zero Zero Technology Co., Ltd Multi-camera system and method of use
US10488912B1 (en) * 2017-01-27 2019-11-26 Digimarc Corporation Method and apparatus for analyzing sensor data
JP2018136315A (ja) * 2017-02-22 2018-08-30 株式会社日本環境調査研究所 マルチコプターおよびマルチコプターを利用した大気環境測定方法
WO2018170074A1 (en) * 2017-03-14 2018-09-20 Starsky Robotics, Inc. Vehicle sensor system and method of use
WO2018167893A1 (ja) * 2017-03-15 2018-09-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
US11125910B2 (en) * 2017-11-09 2021-09-21 Redzone Robotics, Inc. Underground infrastructure sensing using unmanned aerial vehicle (UAV)
US10717435B2 (en) * 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on classification of detected objects
US11423791B2 (en) * 2018-01-05 2022-08-23 Gopro, Inc. Adaptive object detection
US10860020B2 (en) 2018-01-23 2020-12-08 Toyota Research Institute, Inc. System and method for adaptive perception in a vehicle
WO2019152312A1 (en) * 2018-01-31 2019-08-08 Walmart Apollo, Llc A system and method for autonomous decision making, corrective action, and navigation in a dynamically changing world
JP6575628B1 (ja) * 2018-03-30 2019-09-18 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
CN111052020A (zh) * 2018-04-02 2020-04-21 深圳市大疆创新科技有限公司 导航设备
JP6989849B2 (ja) * 2018-04-19 2022-01-12 株式会社Ｇｅｏソリューションズ 被検査構造体の検査システム
CN108313277B (zh) * 2018-05-11 2024-02-27 苏州中森无人机科技有限公司 一种监测巡检无人机
CN108827306B (zh) * 2018-05-31 2022-01-07 北京林业大学 一种基于多传感器融合的无人机slam导航方法及***
US11561251B2 (en) 2018-08-01 2023-01-24 Florida Power & Light Company Remote autonomous inspection of utility system components utilizing drones and rovers
CN109375647A (zh) * 2018-11-20 2019-02-22 中国航空工业集团公司西安航空计算技术研究所 微型多源感知计算***
CN109343572B (zh) * 2018-12-20 2021-07-30 深圳市道通智能航空技术股份有限公司 一种无人机自主降落方法、装置及无人机
US10976380B2 (en) * 2019-01-18 2021-04-13 Rockwell Collins, Inc. System and method for magnetometer monitoring
FR3094079B1 (fr) * 2019-03-21 2021-02-26 Nexter Systems Procede de pointage et d'acquisition de cible pour une plateforme, nacelle et dispositif permettant la mise en oeuvre de ce procede
US11182623B2 (en) * 2019-04-30 2021-11-23 Baidu Usa Llc Flexible hardware design for camera calibration and image pre-procesing in autonomous driving vehicles
SE543432C2 (en) * 2019-06-27 2021-02-16 Vricon Systems Ab A method and system for navigation of a vehicle
GB2582842B (en) * 2019-08-19 2021-06-09 Drone Evolution Ltd Unmanned aerial vehicle for transporting a payload
DE102019124378A1 (de) * 2019-09-11 2021-03-11 Gottfried Wilhelm Leibniz Universität Hannover Verfahren sowie Vermessungsvorrichtung zur Vermessung eines Bauwerks
DE102019126398A1 (de) * 2019-09-30 2021-04-01 Ford Global Technologies, Llc Verfahren zum Betrieb eines Kraftfahrzeugs mit einem Stereokamerasystem und mit einem LIDAR-Sensor
CN111177869B (zh) * 2020-01-02 2023-09-01 北京百度网讯科技有限公司 传感器布局方案的确定方法、装置及设备
CN115004695A (zh) * 2020-01-27 2022-09-02 索尼集团公司 成像控制设备和成像控制方法
CN111539388B (zh) * 2020-06-22 2020-10-09 湖南联智科技股份有限公司 一种高空抛物监测方法
US11938941B2 (en) 2020-08-31 2024-03-26 Denso International America, Inc. Mode selection according to system conditions
US11995920B2 (en) 2020-10-23 2024-05-28 Argo AI, LLC Enhanced sensor health and regression testing for vehicles
FR3118000A1 (fr) 2020-12-21 2022-06-24 Airbus Helicopters procédé de pilotage d’un aéronef ayant une pluralité de senseurs de navigation dissimilaires et un aéronef
US11964398B2 (en) * 2021-01-28 2024-04-23 Micropharmacy Corporation Systems and methods for autonomous robot distributed processing
US11810057B2 (en) * 2021-02-05 2023-11-07 Here Global B.V. Method, apparatus, and computer program product for vantage view assistance

Family Cites Families (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4940925A (en) * 1985-08-30 1990-07-10 Texas Instruments Incorporated Closed-loop navigation system for mobile robots
JPS62155140A (ja) * 1985-12-27 1987-07-10 Aisin Warner Ltd 車両制御用道路画像入力方式
JPS62169516A (ja) 1986-01-21 1987-07-25 Mitsubishi Electric Corp 優先入力選択回路
JPH05327667A (ja) 1992-04-03 1993-12-10 Nec Corp 多入力信号選択回路
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP3255360B2 (ja) * 1999-09-22 2002-02-12 富士重工業株式会社 距離データの検査方法およびその検査装置
GB0101043D0 (en) 2001-01-15 2001-02-28 Univ Aberdeen Input parameter selection process
US6804607B1 (en) * 2001-04-17 2004-10-12 Derek Wood Collision avoidance system and method utilizing variable surveillance envelope
US6577764B2 (en) * 2001-08-01 2003-06-10 Teranex, Inc. Method for measuring and analyzing digital video quality
JP2003122394A (ja) * 2001-10-16 2003-04-25 Yamatake Corp 識別対象を認識する方法と装置及び該装置を搭載したロボット
GB2383983B (en) * 2002-01-11 2005-08-17 Roger Aylward Route navigation, guidance & control - automated vehicle steering & safety braking
JP2005539296A (ja) * 2002-08-21 2005-12-22 ニール，ソロモン マルチ−ロボットシステム内での自己設定可能なモバイルロボットエージェントの組織化団体の為のシステムと方法と装置
US6975923B2 (en) * 2002-10-01 2005-12-13 Roke Manor Research Limited Autonomous vehicle guidance on or near airports
US7385626B2 (en) * 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
US6930593B2 (en) * 2003-02-24 2005-08-16 Iteris, Inc. Lane tracking system employing redundant image sensing devices
US7436429B2 (en) * 2003-11-24 2008-10-14 The Boeing Company Virtual pan/tilt camera system and method for vehicles
US7664292B2 (en) * 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
US8224639B2 (en) * 2004-03-29 2012-07-17 Sony Computer Entertainment Inc. Methods and apparatus for achieving thermal management using processing task scheduling
JP2008506167A (ja) * 2004-06-25 2008-02-28 デジタルグローブ インコーポレイテッド 画像に関連するロケーションを確定する方法および装置
US7610123B2 (en) * 2005-01-04 2009-10-27 Deere & Company Vision-aided system and method for guiding a vehicle
US7876927B2 (en) * 2005-01-04 2011-01-25 Deere & Company Method and system for guiding a vehicle with vision-based adjustment
US7242791B2 (en) * 2005-01-04 2007-07-10 Deere & Company Method and system for guiding a vehicle with vision enhancement
US7792607B2 (en) * 2005-01-04 2010-09-07 Deere & Company Vision-aided system and method for guiding a vehicle
US7233683B2 (en) * 2005-01-04 2007-06-19 Deere & Company Method and system for guiding a vehicle with vision-based adjustment
US8150574B2 (en) * 2005-01-04 2012-04-03 Deere & Company Method and system for guiding a vehicle with vision-based adjustment
US7299056B2 (en) * 2005-02-23 2007-11-20 Deere & Company Vehicular navigation based on site specific sensor quality data
US8305430B2 (en) * 2005-09-16 2012-11-06 Sri International System and method for multi-camera visual odometry
US8855846B2 (en) * 2005-10-20 2014-10-07 Jason W. Grzywna System and method for onboard vision processing
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US20070233361A1 (en) * 2006-03-30 2007-10-04 Ford Global Technologies, Llc Centralized Image Processing For An Automobile With A Navigation System
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
US8581981B2 (en) * 2006-04-28 2013-11-12 Southwest Research Institute Optical imaging system for unmanned aerial vehicle
WO2008085536A2 (en) * 2006-05-23 2008-07-17 Avid, Llc Dual-use modular propulsion surveillance vehicle with detachable unmanned airborne vehicles
JP2007316966A (ja) * 2006-05-26 2007-12-06 Fujitsu Ltd 移動ロボット、その制御方法及びプログラム
CN101109640A (zh) * 2006-07-19 2008-01-23 北京航空航天大学 基于视觉的无人驾驶飞机自主着陆导航***
US7725257B2 (en) * 2006-09-05 2010-05-25 Honeywell International Inc. Method and system for navigation of an ummanned aerial vehicle in an urban environment
US20080195316A1 (en) * 2007-02-12 2008-08-14 Honeywell International Inc. System and method for motion estimation using vision sensors
US7817653B2 (en) * 2007-04-19 2010-10-19 Hewlett-Packard Development Company, L.P. Priority selection circuit
US8757548B2 (en) * 2007-04-30 2014-06-24 The Boeing Company Apparatus for an automated aerial refueling boom using multiple types of sensors
US7769543B2 (en) * 2007-04-30 2010-08-03 The Boeing Company Fault detection and reconfiguration of an automated refueling boom
CN101196551A (zh) * 2007-05-10 2008-06-11 北京深浪电子技术有限公司 高压输电线路地线巡检机器人
CN100495274C (zh) * 2007-07-19 2009-06-03 上海港机重工有限公司 大型工程车辆自动驾驶控制方法及***
US8213706B2 (en) * 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
TWM348676U (en) * 2008-07-22 2009-01-11 Iner Aec Executive Yuan Environmental survey robot
US9188980B2 (en) * 2008-09-11 2015-11-17 Deere & Company Vehicle with high integrity perception system
US8818567B2 (en) * 2008-09-11 2014-08-26 Deere & Company High integrity perception for machine localization and safeguarding
US8543265B2 (en) * 2008-10-20 2013-09-24 Honeywell International Inc. Systems and methods for unmanned aerial vehicle navigation
EP2209091B1 (en) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
JP2010191867A (ja) * 2009-02-20 2010-09-02 Panasonic Corp 画像圧縮器、画像圧縮方法および車載画像記録装置
US8340852B2 (en) * 2009-04-29 2012-12-25 Honeywell International Inc. System and method for simultaneous localization and map building
FR2947401B1 (fr) * 2009-06-26 2012-07-13 Thales Sa Systeme de communication multi-antennes
JP2011010109A (ja) * 2009-06-26 2011-01-13 Canon Inc 画像伝送装置
US8569680B2 (en) * 2009-12-21 2013-10-29 University Of Wyoming Hyperacuity from pre-blurred sampling of a multi-aperture visual sensor
JP4803304B2 (ja) * 2010-02-22 2011-10-26 カシオ計算機株式会社 画像処理装置及びプログラム
WO2011123758A1 (en) * 2010-04-03 2011-10-06 Centeye, Inc. Vision based hover in place
FR2961601B1 (fr) * 2010-06-22 2012-07-27 Parrot Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote
EP2423871B1 (en) * 2010-08-25 2014-06-18 Lakeside Labs GmbH Apparatus and method for generating an overview image of a plurality of images using an accuracy information
US9135510B2 (en) * 2010-08-25 2015-09-15 University Of Sydney Method of processing sensor data for navigating a vehicle
US8676498B2 (en) * 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
US8965598B2 (en) * 2010-09-30 2015-02-24 Empire Technology Development Llc Automatic flight control for UAV based solid modeling
US8712679B1 (en) * 2010-10-29 2014-04-29 Stc.Unm System and methods for obstacle mapping and navigation
CN102480593B (zh) 2010-11-25 2014-04-16 杭州华三通信技术有限公司 双镜头摄像机切换方法及装置
KR101157484B1 (ko) * 2010-12-14 2012-06-20 주식회사 대한항공 무인항공기 자동회수 방법
US20120173185A1 (en) * 2010-12-30 2012-07-05 Caterpillar Inc. Systems and methods for evaluating range sensor calibration data
JP5699670B2 (ja) * 2011-02-18 2015-04-15 日産自動車株式会社 走行経路生成装置、及び走行経路生成方法
US8660338B2 (en) * 2011-03-22 2014-02-25 Honeywell International Inc. Wide baseline feature matching using collobrative navigation and digital terrain elevation data constraints
EP2538298A1 (en) * 2011-06-22 2012-12-26 Sensefly Sàrl Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers
CN102339062A (zh) * 2011-07-11 2012-02-01 西北农林科技大学 基于dsp和双目视觉的微型农业机械导航与远程监控***
JP5787695B2 (ja) * 2011-09-28 2015-09-30 株式会社トプコン 画像取得装置
KR101901586B1 (ko) * 2011-12-23 2018-10-01 삼성전자주식회사 로봇 위치 추정 장치 및 그 방법
US9031782B1 (en) * 2012-01-23 2015-05-12 The United States Of America As Represented By The Secretary Of The Navy System to use digital cameras and other sensors in navigation
US9384668B2 (en) * 2012-05-09 2016-07-05 Singularity University Transportation using network of unmanned aerial vehicles
US9137675B2 (en) * 2012-06-13 2015-09-15 All Purpose Networks LLC Operational constraints in LTE TDD systems using RF agile beam forming techniques
CN102819263B (zh) * 2012-07-30 2014-11-05 中国航天科工集团第三研究院第八三五七研究所 多摄像头无人车视觉感知***
US9195914B2 (en) * 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection
US9221461B2 (en) * 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
US9056395B1 (en) * 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
US8996228B1 (en) * 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
DE102013019488A1 (de) * 2012-11-19 2014-10-09 Mace Wolf Bilderfassung mit schutz der privatsphäre
US8909391B1 (en) * 2012-12-28 2014-12-09 Google Inc. Responsive navigation of an unmanned aerial vehicle to a remedial facility
CN103019245A (zh) * 2013-01-07 2013-04-03 西北农林科技大学 一种基于多传感器信息融合的山地农业机器人避障***
CN103921933A (zh) * 2013-01-10 2014-07-16 深圳市大疆创新科技有限公司 飞行器变形结构及微型飞行器
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103135551B (zh) * 2013-02-28 2015-05-06 上海大学 一种精确定位火灾搜救机器人
US9196084B2 (en) * 2013-03-15 2015-11-24 Urc Ventures Inc. Determining object volume from mobile device images
CN203299134U (zh) * 2013-05-06 2013-11-20 中国计量学院 基于四轴飞行器的风力发电机叶片表面裂纹检测装置
CN103324196A (zh) * 2013-06-17 2013-09-25 南京邮电大学 基于模糊逻辑的多机器人路径规划与协调避碰方法
WO2014203334A1 (ja) * 2013-06-18 2014-12-24 トヨタ自動車 株式会社 運転支援装置
DE102013211414A1 (de) * 2013-06-18 2014-12-18 Kuka Laboratories Gmbh Fahrerloses Transportfahrzeug und Verfahren zum Betreiben einesfahrerlosen Transportfahrzeugs
CN103490842B (zh) * 2013-09-26 2016-09-28 深圳市大疆创新科技有限公司 数据传输***及方法
CN103592947B (zh) * 2013-11-19 2015-11-11 华南农业大学 一种农用飞行器安全作业飞行监控装置及其控制算法
CN103630138A (zh) 2013-12-09 2014-03-12 天津工业大学 基于摄像机头标定算法的无人机视觉导航方法
CN103914075B (zh) * 2013-12-13 2017-05-03 深圳市大疆创新科技有限公司 一种无人飞行器的控制方法及装置
US9843647B2 (en) * 2014-02-25 2017-12-12 Here Global B.V. Method and apparatus for providing selection and prioritization of sensor data
CN103914065B (zh) * 2014-03-24 2016-09-07 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN203950203U (zh) * 2014-06-11 2014-11-19 江苏数字鹰科技发展有限公司 可在夜间判断障碍物距离的无人机
CN104102218B (zh) * 2014-06-30 2017-04-05 西北工业大学 基于视觉伺服的感知与规避方法及***
US9318014B1 (en) * 2014-11-26 2016-04-19 Elwha Llc Systems and methods for reporting visibility to drones
ES2874506T3 (es) * 2014-12-31 2021-11-05 Sz Dji Technology Co Ltd Procesamiento selectivo de datos de sensor

Also Published As

Publication number Publication date
US20170045895A1 (en) 2017-02-16
US10802509B2 (en) 2020-10-13
CN111506109B (zh) 2023-08-25
DK3123260T3 (da) 2021-06-14
JP6312178B2 (ja) 2018-04-18
CN107209514A (zh) 2017-09-26
US20210065400A1 (en) 2021-03-04
EP3889728A3 (en) 2021-12-01
CN111506109A (zh) 2020-08-07
WO2016106715A1 (en) 2016-07-07
JP2017509981A (ja) 2017-04-06
US20170364095A1 (en) 2017-12-21
CN107209514B (zh) 2020-06-05
EP3123260A4 (en) 2017-04-05
EP3123260B1 (en) 2021-04-14
US9778661B2 (en) 2017-10-03
EP3889728A2 (en) 2021-10-06
EP3123260A1 (en) 2017-02-01

Similar Documents

Publication Publication Date Title
ES2874506T3 (es) Procesamiento selectivo de datos de sensor
US10599149B2 (en) Salient feature based vehicle positioning
US10936869B2 (en) Camera configuration on movable objects
US10645300B2 (en) Methods and apparatus for image processing
US11879737B2 (en) Systems and methods for auto-return
US10650235B2 (en) Systems and methods for detecting and tracking movable objects
ES2876449T3 (es) Cartografía de entorno de múltiples sensores
JP2019050007A (ja) 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体