ES2865491T3

ES2865491T3 - Sistema y método para seleccionar un modo de operación de una plataforma móvil

Info

Publication number: ES2865491T3
Application number: ES15871315T
Authority: ES
Inventors: Jiaqi Yan; You Zhou
Original assignee: SZ DJI Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd
Priority date: 2015-06-26
Filing date: 2015-06-26
Publication date: 2021-10-15
Anticipated expiration: 2035-06-26
Also published as: US20200354058A1; WO2016206107A1; CN107710091B; EP3806038A1; EP3195076B1; JP2017522621A; EP3195076A4; US10730618B2; US11465743B2; DK3195076T3; US20180105269A1; JP6666245B2; CN107710091A; EP3195076A1

Abstract

Método implementado por ordenador para seleccionar un modo de operación (131) de una plataforma móvil (200), que comprende: al despegar, iniciar la plataforma móvil (200) para operar bajo un primer modo de altura (411), en el que el primer modo de altura (411) es un modo monocular, determinar una altura (121) de la plataforma móvil (200) que representa una distancia vertical entre la plataforma móvil (200) y el nivel del suelo y/o una disparidad (122) entre la primera y la segunda imágenes de un objeto desde la perspectiva de la plataforma móvil (200); y seleccionar un modo de operación (131) de la plataforma móvil (200) según un resultado de dicha determinación, en el que dicha selección del modo de operación (131) comprende cambiar el modo de operación (131) basándose en al menos una de las alturas determinadas (121) y la disparidad determinada (122), en el que dicha selección del modo de operación (131) comprende cambiar la plataforma móvil (200) desde el primer modo de altura a un segundo modo de altura (412) en un segundo rango de altura cuando la altura (121) es mayor que un primer umbral de altura, o en el que dicha selección del modo de operación (131) comprende cambiar la plataforma móvil (200) desde el primer modo de altura a un segundo modo de altura (412) cuando la disparidad (122) es menor que un primer umbral de disparidad, o en el que dicha selección del modo de operación (131) comprende cambiar la plataforma móvil (200) desde el primer modo de altura al segundo modo de altura (412) cuando la altura (121) es mayor que un primer umbral de altura y la disparidad (122) es menor que la primera disparidad umbral, y en el que dicho cambio de plataforma móvil a un segundo modo de altura comprende seleccionar un modo de visión estéreo con una primera resolución.

Description

DESCRIPCIÓN

Sistema y método para seleccionar un modo de operación de una plataforma móvil

Campo

Las realizaciones divulgadas se refieren en general a operaciones de plataformas móviles y, más en particular, pero no exclusivamente, a sistemas y métodos para operar una plataforma móvil dentro de un amplio rango de alturas.

Antecedentes

Los vehículos aéreos no tripulados ("UAV") normalmente se navegan y se operan mediante tecnología de visión. Sin embargo, el rendimiento y la precisión de la tecnología de visión son limitados y pueden variar de acuerdo con la altura del UAV.

La tecnología de visión disponible actualmente solo puede garantizar su rendimiento y precisión dentro de un cierto rango de altura. A alturas más bajas o más altas, la precisión para operar la plataforma móvil es limitada y no puede garantizarse debido a las deficiencias inherentes de la tecnología de visión.

En vista de las razones anteriores, existe la necesidad de un sistema y de un método para operar eficazmente la plataforma móvil en un amplio rango de alturas.

BROCKERS ROLAND ETAL : "Towards autonomous navigation of miniature UAV", conferencia IEEE 2014 sobre visión por ordenador y talleres de reconocimiento de patrones, IEEE, 23 de junio de 2014, páginas 645-651, XP032649698 presenta el micro helicóptero más pequeño actualmente que navega puramente basado en la visión y con detección pasiva únicamente.

KIM JIN HYO ET AL: "Multi-UAV-based stereo vision system without GPS for grant obstacle mapping to assist path planning of UGV", Electronics LET, IEE Stevenage, GB, vol. 50, n.° 20, 25 de septiembre de 2014, páginas 1431-1432, XP006049487 propone un sistema de visión estéreo basado en múltiples UAV, que puede generar de manera óptima el mapa de profundidad de los objetos terrestres y detectar obstáculos de manera robusta. El sistema propuesto basado en múltiples UAV con una línea de base móvil supera las limitaciones de un sistema de visión estéreo basado en un solo UAV con una línea de base fija.

Sumario

La invención se define mediante las reivindicaciones independientes. Se describen realizaciones preferidas mediante las reivindicaciones dependientes.

Breve descripción de los dibujos

La figura 1 es un diagrama de flujo de nivel superior de ejemplo, que ilustra una realización de un método para seleccionar un modo de operación en un amplio rango de alturas.

La figura 2 es un diagrama esquemático de ejemplo, que ilustra una plataforma móvil equipada con dispositivos para realizar el método de la figura 1, en el que dichos dispositivos incluyen un barómetro, un GPS, un detector ultrasónico y un sistema de visión estéreo.

La figura 3 es un diagrama de flujo de ejemplo de una realización alternativa del método de la figura 1, en el que el método incluye categorizar modos de operación para diferentes alturas.

La figura 4 es un diagrama de bloques de ejemplo de una realización alternativa del método de la figura 3, en el que el método clasifica cuatro modos de operación en función de las alturas.

La figura 5 es un diagrama de bloques de ejemplo de otra realización alternativa del método de la figura 1, en el que la altura y la información de disparidad se usan para decidir un modo de operación de trabajo.

La figura 6 es un diagrama de bloques de ejemplo de una realización alternativa de la plataforma móvil de la figura 2, en la que la plataforma móvil usa el barómetro, el detector ultrasónico y/o el GPS para obtener la información de altura. La figura 7 es un diagrama de nivel superior de ejemplo, que ilustra otra realización alternativa de la plataforma móvil de la figura 2, en la que un procesador recopila datos de estado y controla los modos de operación.

La figura 8 es un diagrama de flujo de ejemplo de otra realización alternativa del método de la figura 1, que ilustra las condiciones de conmutación entre cuatro modos de operación diferentes.

La figura 9 es un dibujo en detalle de ejemplo que ilustra una realización de un método de formación de imágenes estereoscópicas, en el que se decide la disparidad del método de la figura 1.

La figura 10 es un diagrama de ejemplo de una realización alternativa del método de la figura 9, que ilustra un método de ejemplo para hacer coincidir dos imágenes con un área superpuesta.

La figura 11 es un diagrama de ejemplo que ilustra una realización alternativa del método de la figura 9, en el que una primera imagen se empareja con una segunda imagen con una pluralidad de puntos característicos.

La figura 12 es un diagrama de ejemplo que ilustra una realización alternativa del método de la figura 11, en el que cada punto característico se empareja calculando una similitud.

La figura 13 es un diagrama de flujo de nivel superior de ejemplo de una realización alternativa del método para determinar un modo de operación, en el que los sensores de la plataforma móvil se seleccionan para cada uno de los cuatro modos de operación de la figura 4.

La figura 14 es un diagrama de flujo de ejemplo de una realización alternativa del método de la figura 13, que ilustra una manera de seleccionar el sensor en función de cada uno de los modos de operación.

La figura 15 es un diagrama de nivel superior de ejemplo que ilustra otra realización alternativa más de un sistema operativo de vuelo de la plataforma móvil de la figura 2, en el que un procesador selecciona sensores de la plataforma móvil para cada uno de los cuatro modos de operación.

Cabe señalar que las figuras no están dibujadas a escala y que los elementos de estructuras o funciones similares se representan generalmente mediante números de referencia similares con fines ilustrativos en todas las figuras. También debe tenerse en cuenta que las figuras solo están destinadas a facilitar la descripción de las realizaciones preferidas. Las figuras no ilustran todos los aspectos de las realizaciones descritas y no limitan el alcance de la presente divulgación.

Descripción detallada de las realizaciones preferidas

La navegación de vehículos aéreos no tripulados ("UAV") se realiza comúnmente mediante el uso de tecnología de visión estéreo para operar los UAV. Sin embargo, la precisión de la tecnología de visión estéreo es limitada y puede variar según la altura.

Los sistemas de visión estéreo típicamente realizan la navegación considerando un área superpuesta de una escena tal como la ve cada una de las dos lentes del sistema de visión estéreo. La longitud de la línea de base entre las lentes de los sistemas de visión estéreo convencionales suele estar entre cuatro centímetros y veinte centímetros. Sin embargo, el rango de altura aplicable de la tecnología de visión estéreo está restringido por la longitud de la línea de base. En otras palabras, el rango de altura medible está limitado por la longitud de la línea de base.

Se confía en el área de superposición de la escena para operar el UAV. A baja altitud, por ejemplo, la distancia entre las lentes del sistema de formación de imágenes binoculares y el suelo es demasiado corta para formar un área superpuesta utilizable entre cada escena vista por las lentes del dispositivo de formación de imágenes binoculares. Mientras que, a gran altitud, la distancia entre las lentes del sistema de visión estéreo y el suelo es demasiado larga. En tal caso, la larga distancia genera una línea de base corta entre las dos lentes del sistema de visión estéreo, lo que genera resultados de cálculo inexactos.

Dado que los sistemas de navegación por visión estéreo disponibles actualmente están restringidos por longitudes de línea de base, un sistema y un método móviles que puedan cumplir con los requisitos de operar el UAV a varias alturas cambiando entre modos de operación basados en la altura del sistema móvil y una disparidad pueden resultar deseables y proporcionar una base para la medición precisa de la profundidad, para sistemas tales como sistemas UAV y otros sistemas móviles. Este resultado puede lograrse, de acuerdo con una realización descrita en la figura 1.

Con referencia ahora a la figura 1, una realización de ejemplo de un método 100 para seleccionar un modo de operación de una plataforma móvil 200 (mostrada en la figura 2) en un amplio rango de alturas. En la figura 1, en 120, se puede detectar una altura 121 y/o una disparidad 122 como base para determinar un modo de operación para la plataforma móvil 200. La altura 121 y/o la disparidad 122 pueden representar un grado de altura. En una realización preferida, tal detección se puede realizar en tiempo real y/o de manera retardada. La altura 121 está asociada con una información de elevación, tal como la altura de vuelo, o altitud, de la plataforma móvil 200. La disparidad 122 representa una diferencia en la ubicación de la imagen de un objeto representado en dos imágenes o cuadros. La disparidad 122 puede decidirse estática y/o dinámicamente de la manera mostrada y descrita a continuación con referencia a las figuras 9-12. La plataforma móvil 200 puede comprender cualquier forma de vehículo aéreo que pueda tener una elevación mientras dicha plataforma móvil 200 está en operación. La altura 121 se puede determinar de la manera que se muestra y describe a continuación con referencia a la figura 6.

En 130, la plataforma móvil 200 puede usar la pendiente de altura adquirida, es decir, la altura 121 y/o la disparidad 122, para seleccionar o cambiar entre varios modos de operación 131 predeterminados. Los modos de operación 131 pueden comprender operaciones que implican varios dispositivos asociados con la plataforma móvil 200, que pueden incluirse en cualquier momento. Dichos dispositivos se muestran y describen a continuación con referencia a las figuras 6 y 7. La selección o conmutación de los modos de operación 131 se mostrará y describirá en detalle con referencia a la figura 8.

Aunque se muestra y describe usando la altura 121 y/o la disparidad 122 como criterios para seleccionar o cambiar modos de operación solo con fines ilustrativos, se pueden usar otros datos de condición adecuados para los criterios de selección o conmutación entre modos de operación.

La figura 2 muestra una plataforma móvil 200 con dispositivos 251-254 para detectar condiciones que pueden ser la base para realizar el método 100 al cambiar los modos de operación 131. En la figura 2, los dispositivos 251-254 pueden incluir al menos un barómetro 251, uno o más detectores ultrasónicos 252, un GPS 253 y un dispositivo de formación de imágenes binoculares 254. Entre los dispositivos 251-254, el barómetro 251, el detector ultrasónico 252 y/o el GPS 253 se pueden usar para detectar la altura 121 (o altitud) de la plataforma móvil 200, y el dispositivo de imagen binocular 254 puede ser una fuente de información de la disparidad 122. En la figura 2, el detector ultrasónico 252 se puede usar para detectar una distancia a un objeto 288 que puede ser el suelo. Por tanto, la distancia entre el detector ultrasónico 252 y el objeto 288 puede representar una altura vertical 121 de la plataforma móvil 200 con relación al nivel del suelo.

En la figura 2, el barómetro 251 se puede instalar en la parte superior de un cuerpo 260 de la plataforma móvil 200. Los detectores ultrasónicos 252 pueden disponerse alrededor de una parte inferior del cuerpo 260. El GPS 253 se puede instalar en el cuerpo 260 de la plataforma móvil 200. El dispositivo de formación de imágenes binoculares 254 se puede disponer bajo el cuerpo 260. Sin embargo, según esta divulgación, el barómetro 251 y el GPS 253 pueden disponerse en cualquier parte de la plataforma móvil 200, tal como dentro del cuerpo 260, debajo del cuerpo 260 o en cualquier lado del cuerpo 260, etc. Los detectores ultrasónicos 252 pueden disponerse en cualquier parte del cuerpo 260. El dispositivo de formación de imágenes binoculares 254 puede disponerse en cualquier posición adecuada de la parte inferior del cuerpo 260.

Aunque se muestra y describe como el uso de los dispositivos 251-254 solo con fines de ilustración, también se puede usar cualquier otro dispositivo adecuado para detectar las condiciones para determinar la conmutación entre los modos de operación 131. La plataforma móvil 200 puede comprender cualquier tipo convencional de plataforma móvil que pueda tener una elevación y se ilustra en la figura 2 como que comprende un vehículo aéreo no tripulado UAV 250 solo con fines ilustrativos y no con fines de limitación.

La figura 3 muestra otra realización alternativa de ejemplo del método 100 para seleccionar un modo de operación en un amplio rango de alturas. En la figura 3, el método 100 puede comprender un procedimiento de categorizar modos de operación, en 310. Los modos de operación se pueden clasificar, por ejemplo, basándose en diferentes grados de altura, es decir, rango de altura y/o valores de disparidad. Como se discutió anteriormente, las operaciones de un solo modo actualmente disponibles no pueden cumplir con los requisitos de diferentes alturas, por ejemplo, un sistema binocular que usa tecnología de visión estéreo no puede satisfacer los requisitos de una gran altitud/altura y una muy baja altitud/altura. Por otro lado, otros modos de operación disponibles de una plataforma móvil 200 pueden ser más adecuados para la gran altitud/altura o la baja altitud/altura.

A diferentes alturas o altitudes, se puede usar una variación de modos de operación para operar la plataforma móvil 200. A los efectos de operar la plataforma móvil 200 en todas las alturas, los modos de operación se pueden clasificar según varios grados de altura. A continuación, se mostrarán y describirán detalles adicionales de la categorización con referencia a la figura 4.

Aunque se describe como categorizar los modos de operación de acuerdo con diferentes grados de altura solo con fines ilustrativos, la categorización bajo esta divulgación puede basarse en cualquier otra información adecuada, tal como en base a una combinación de la altura 121 y la disparidad 122.

La figura 4 muestra una realización de los modos de operación de categorización en cuatro modos para el método 100. En la figura 4, se pueden proporcionar un primer modo de altura 411, un segundo modo de altura 412, un tercer modo de altura 413 y un cuarto modo de altura 414 de acuerdo con diferentes grados de altura. El cuarto modo de altura 414 está diseñado para usarse con, por ejemplo, un cuarto rango de altura de veinte metros (20 m) y más. Bajo el cuarto modo de altura 414, la plataforma móvil 200 (mostrada en la figura 2) puede funcionar con un modo monocular de gran altitud. En el modo monocular de gran altitud, para determinar la altura 121, se puede determinar la profundidad de un objeto, por ejemplo, con una combinación de un barómetro 251, un GPS 253 y/o detección de visión. Se puede determinar un modo de operación de la plataforma móvil 200 basándose en la información de altura.

El tercer modo de altura 413 está diseñado para usarse con, por ejemplo, un tercer rango de altura de tres metros y medio (3,5 m) a veinte metros (20 m). Dentro del tercer rango de altura, un dispositivo binocular con una resolución normal de trescientos veinte por doscientos cuarenta (320x240) no puede cumplir con los requisitos de detección de profundidad y selección de un modo de operación de la plataforma móvil 200. Para tratar el problema, bajo el tercer modo de altura 413, se puede usar un modo binocular de resolución mejorada para determinar la altura 121 y seleccionar un modo de operación de la plataforma móvil 200. En el modo binocular de resolución mejorada, la resolución puede ser de al menos seiscientos cuarenta por cuatrocientos ochenta (640x480).

El segundo modo de altura 412 está diseñado para usarse con, por ejemplo, un segundo rango de altura de cincuenta centímetros (50 cm) a tres metros y medio (3,5 m). Dentro del segundo rango de altura, el segundo modo de altura 412 puede usar un modo binocular de resolución normal, que puede usar una resolución de trescientos veinte por doscientos cuarenta (320x240).

El primer modo de altura 411 está diseñado para usarse, por ejemplo, con un primer rango de altura de diez centímetros (10 cm) a cincuenta centímetros (50 cm). Dentro del primer rango de altura, puede que no haya suficiente superposición entre las imágenes adquiridas con dos lentes para un sistema binocular debido a la corta distancia entre las lentes y un objeto de interés. Por lo tanto, bajo el primer modo de altura 411, se puede usar un modo monocular de muy baja altitud; en el que se pueden emplear otros sensores de distancia para detectar una distancia entre un centro óptico de una lente y el nivel del suelo, es decir, la profundidad del objeto, para seleccionar un modo de operación de la plataforma móvil 200.

Aunque se muestra y describe categorizando los modos de operación en cuatro categorías únicamente con fines ilustrativos, se puede usar cualquier número adecuado de categorías según la presente divulgación. Además de la altura 121 al suelo, la presente divulgación puede usar otras condiciones para categorizar y/o cambiar entre los modos de operación. Tales condiciones pueden comprender la disparidad 122.

La figura 5 muestra otra realización de ejemplo del método 100, en el que se puede usar una altura 121 y/o una disparidad 122 para decidir un modo de operación 131. La altura 121 representa una distancia vertical entre la plataforma móvil 200 (mostrada en la figura 2) y el nivel del suelo. La altura 121 puede adquirirse mediante un barómetro 251, un detector ultrasónico 252 y/o un GPS 253, de la manera que se muestra y describe a continuación con referencia a la figura 6. Como se muestra y describe con referencia a la figura 1, la disparidad 122 representa una diferencia en la ubicación de la imagen de un objeto en dos imágenes o cuadros. La disparidad 122 se puede determinar de la manera que se muestra y describe a continuación con referencia a las figuras 9-12.

En 230, la información de altura 121 y disparidad 122 se pueden combinar. La información combinada se puede usar para decidir el modo de operación 131, en 240. Aunque se muestra y describe usando la información combinada para decidir el modo de operación 131, la altura 121 o la disparidad 122 se pueden usar por separado para decidir el modo de operación 131.

La figura 6 muestra una realización de ejemplo de la plataforma móvil 200 que muestra la obtención de la altura 121, en 120, en el método 100. En la figura 6, se puede usar un barómetro 251, un detector ultrasónico 252 y/o un GPS 253 para obtener la altura 121 de la plataforma móvil 200 (mostrada colectivamente en la figura 2). El barómetro 251 puede ser cualquier tipo de barómetro o altímetro de presión, que esté disponible comercialmente en el mercado, para determinar la altura 121 basándose en una medida de la presión atmosférica. Tal barómetro 251 puede comprender un barómetro a base de agua, un barómetro de mercurio, un barómetro de aceite de bomba de vacío, un barómetro aneroide, un barógrafo o un barómetro MEMS. El barómetro 251 también puede incluir otros tipos de barómetros, tal como un barómetro de tormenta.

Además y/o alternativamente, el detector ultrasónico 252 puede usarse para detectar una distancia 121 de un objeto 288 (mostrado en la figura 2) en los alrededores emitiendo ondas ultrasónicas y recibiendo ondas ultrasónicas reflejadas desde el objeto 288. La distancia 121 puede ser una distancia al nivel del suelo, en el que el objeto 288 es el suelo. El nivel del suelo 880 puede ser el suelo real, un nivel de agua o el suelo con cualquier estructura. Tal detector ultrasónico 252 puede comprender cualquier sensor ultrasónico disponible comercialmente. Aunque se muestra y describe usando un solo detector ultrasónico 252 para detectar el objeto 288 en una dirección solo con fines ilustrativos, se pueden proporcionar múltiples detectores ultrasónicos 252 para detectar un objeto 288 en múltiples direcciones.

El GPS 253 es un sistema de navegación por satélite basado en el espacio que puede proporcionar una ubicación, una altura y/o información de tiempo en cualquier lugar de la tierra o cerca de la misma, en el que haya una línea de visión sin obstáculos para cuatro o más satélites GPS. El GPS 252 puede comprender cualquier dispositivo GPS disponible comercialmente en el mercado. La ubicación puede ser proporcionada por el GPS 253 como longitud y latitud. La altura puede ser una altura en metros o pies hasta el nivel del suelo.

La altura 121, aplicable según esta divulgación, puede ser cualquier distancia vertical en un rango de veinticinco centímetros (25 cm) a más de cien metros (100 m) hasta el nivel del suelo. Como se muestra y describe con referencia a la figura 4, la altura 121 se puede clasificar en una primera altura, una segunda altura, una tercera altura y una cuarta altura según esta divulgación. Aunque se muestra y describe usando un barómetro 251, un detector ultrasónico 252 o un GPS 253 para detectar la altura 121 con fines ilustrativos únicamente, se pueden usar otros dispositivos de detección adecuados para detectar la altura 121 de la plataforma móvil 200.

La figura 7 ilustra otra realización de ejemplo de la plataforma móvil 200 de la figura 2. En la figura 7, se puede conectar un procesador 910 con el barómetro 251, el detector ultrasónico 252, el GPS 253 y el dispositivo de formación de imágenes binoculares 254 para recopilar datos de condición y controlar los modos de operación para implementar el método 100. El procesador 910 puede ser un procesador asociado con la plataforma móvil para controlar la plataforma móvil 300. El dispositivo de formación de imágenes binoculares 254 puede ser un dispositivo de formación de imágenes con lentes binoculares que se pueden usar para capturar dos imágenes de un objeto simultáneamente.

En una realización preferida de la plataforma móvil 200, el procesador 910 puede proporcionarse para obtener y procesar la información obtenida del barómetro 251, el detector ultrasónico 252, el GPS 253 y/o el dispositivo binocular 254. Tal información incluye la altura 121 y la disparidad 122 (mostradas colectivamente en la figura 1). El procesador 910 puede determinar qué modo de operación 131 se puede seleccionar basándose en la información. A continuación se mostrarán y describirán detalles adicionales de la determinación del modo de operación 131 con referencia a la figura 8.

El procesador 910 puede comprender cualquier chip de procesamiento disponible comercialmente o ser cualquier chip de procesamiento de diseño personalizado producido especialmente para el aparato 900 para seleccionar un modo de operación de la plataforma móvil 200. Además y/o alternativamente, el procesador 910 puede incluir uno o más microprocesadores de uso general (por ejemplo, procesadores de uno o varios núcleos), circuitos integrados específicos de la aplicación, procesadores de conjuntos de instrucciones específicos de la aplicación, unidades de procesamiento de datos, unidades de procesamiento de física, unidades de procesamiento de señales digitales, coprocesadores, unidades de procesamiento de red, unidades de procesamiento de audio, unidades de procesamiento de encriptación y similares. El procesador 910 puede configurarse para realizar cualquiera de los métodos descritos en este documento, que incluyen, pero no se limitan a una variedad de operaciones relacionadas con la selección del modo de operación. En algunas realizaciones, el procesador 910 puede incluir hardware especializado para procesar operaciones específicas relacionadas con la selección del modo de operación.

La figura 8 muestra otra realización de ejemplo para el método 100, en el que se pueden seleccionar (o cambiar) cuatro modos de operación en base a la altura 121 y/o la disparidad 122. Al despegar, la plataforma móvil 200 (mostrada en la figura 2) puede funcionar a una primera altura. Un aparato para seleccionar un modo de operación de la plataforma móvil 200 puede funcionar con un modo de operación correspondiente, es decir, un primer modo de altura 411. Como se muestra y describe con referencia a la figura 4, el primer modo de altura 411 es un modo monocular de muy baja altitud que se combina con un sensor de distancia (no mostrado) para seleccionar un modo de operación de la plataforma móvil 200.

Cuando se opera bajo el primer modo de altura 411 y se cumplen dos condiciones, en 930, la plataforma móvil 200 puede cambiar a un segundo modo de altura 412. Las dos condiciones pueden incluir que la disparidad 122 del dispositivo de formación de imágenes binoculares 254 sea menor o igual a un primer umbral de disparidad Td1 y que la altura 121 de la plataforma móvil 200 se eleve por encima de un primer umbral de altura Th1. En una realización alternativa, el modo de operación se puede cambiar desde el primer modo de altura 411 al segundo modo de altura 412 cuando solo la altura 121 de la plataforma móvil 200 se eleva por encima de un primer umbral de altura Th1.

El primer umbral de disparidad Td1 se puede seleccionar de un primer intervalo de disparidad de sesenta y dos centímetros (62 cm) a ochenta y dos centímetros (82 cm), y preferiblemente de setenta y dos centímetros (72 cm). El primer umbral de altura Th1 se puede seleccionar de un valor en un primer intervalo de altura de veinte centímetros (20 cm) a ochenta centímetros (80 cm) y preferiblemente cincuenta centímetros (50 cm).

Cuando la disparidad 122 del dispositivo de formación de imágenes binoculares del sistema de visión estéreo es menor o igual a un tercer umbral de disparidad Td3, la plataforma móvil 200 puede cambiar a un tercer modo de altura 413. Como se muestra y describe con referencia a la figura 4, el tercer modo de altura 413 puede comprender un modo binocular de alta resolución.

El tercer umbral de disparidad Td3 se puede seleccionar de un tercer intervalo de disparidad de cinco centímetros (5 cm) a quince centímetros (15 cm) y preferiblemente de diez centímetros (10 cm).

Cuando se cumplen dos condiciones, en 934, el modo de operación se puede cambiar a un cuarto modo de altura 414. Las dos condiciones pueden comprender que la disparidad 122 del dispositivo de formación de imágenes binoculares del sistema de visión estéreo sea menor o igual a un quinto umbral de disparidad Td5 y que la altura de la plataforma móvil 200 se eleve por encima de un tercer umbral de altura Th3. El cuarto modo de altura 414 puede comprender un modo de operación monocular de gran altitud, que puede usar un barómetro, un GPS y/o un detector de visión como se muestra y describe anteriormente con referencia a la figura 4. En una realización alternativa, el modo de operación se puede cambiar desde el tercer modo de altura 413 al cuarto modo de altura 414 cuando solo la altura 121 de la plataforma móvil 200 se eleva por encima de un tercer umbral de altura Th3.

El quinto umbral de disparidad Td5 se puede seleccionar de un valor en un quinto intervalo de disparidad de un centímetro (1 cm) a tres centímetros (3 cm), y preferiblemente de dos centímetros (2 cm). El tercer umbral de altura Th3 se puede seleccionar de un valor en un tercer rango de altura de quince metros (15 m) a veinticinco metros (25 m) y preferiblemente de veinte metros (20 m).

Cuando funciona con el cuarto modo de altura 414, la plataforma móvil 200 puede cambiar a otros modos de operación cuando se satisface alguna de ciertas condiciones 931, 933. En 931, cuando la disparidad 122 es mayor que igual a un sexto umbral de disparidad Td6 y la altura 121 de la plataforma móvil 200 es menor o igual a un cuarto umbral Th4, por ejemplo, la plataforma móvil 200 puede cambiar al tercer modo de altura 413. En una realización alternativa, la plataforma móvil 200 puede cambiar al tercer modo de altura 413 cuando solo la altura 121 de la plataforma móvil 200 se vuelve menor o igual que el cuarto umbral Th4.

En 933, cuando la disparidad 122 es mayor o igual a un cuarto umbral de disparidad Td4, la plataforma móvil 200 puede cambiar al segundo modo de altura 412.

El sexto umbral de disparidad Td6 puede seleccionarse entre un valor en un sexto intervalo de disparidad de un centímetro y medio (1,5 cm) a cuatro centímetros (4 cm), y preferiblemente de dos centímetros y medio (2,5 cm). El cuarto umbral de altura, Th4, puede seleccionarse entre un valor en un cuarto rango de altura de quince metros (15 m) a veintidós metros (22 m) y preferiblemente de dieciocho metros (18 m). El cuarto umbral de disparidad Td4 puede seleccionarse de un valor en un cuarto intervalo de disparidad de nueve centímetros (9 cm) a quince centímetros (15 cm) y preferiblemente de doce centímetros (12 cm).

Cuando se opera en el tercer modo de altura 413, si la disparidad 122 se vuelve mayor o igual al cuarto umbral de disparidad Td4, la plataforma móvil 200 puede cambiar al segundo modo de altura 412.

Cuando se opera con el segundo modo de altura 412, la plataforma móvil 200 puede cambiar al primer modo de altura 411 cuando se satisfacen las condiciones en 935. En 935, cuando la disparidad 122 es mayor o igual a un segundo umbral de disparidad Td2 y la altura 121 de la plataforma móvil 200 es menor o igual a un segundo umbral de altura Th2, la plataforma móvil 200 puede cambiar al primer modo de altura 411. En una realización alternativa, la plataforma móvil 200 puede cambiar al primer modo de altura 411 cuando solo la altura 121 de la plataforma móvil 200 se vuelve menor o igual que el segundo umbral Th2.

El segundo umbral de disparidad Td2 se puede seleccionar de un valor en un segundo intervalo de disparidad de sesenta centímetros (60 cm) a ochenta centímetros (80 cm), y preferiblemente de setenta centímetros (70 cm). El segundo umbral de altura, Th2, se puede seleccionar de un valor en un segundo rango de altura de veinticinco centímetros (25 cm) a sesenta y cinco centímetros (65 cm), y preferiblemente de cuarenta y cinco centímetros (45 cm).

El segundo umbral de disparidad Td2 puede ser mayor que el primer umbral de disparidad Td1. Uno o ambos de los umbrales de disparidad primero y segundo Td1, Td2 pueden ser mayores que uno o ambos de los umbrales de disparidad tercero y cuarto Td3, Td4. El primer umbral de altura Th1 puede ser mayor que el segundo umbral de altura Th2. Uno o ambos del primer y segundo umbral de altura Th1, Th2 puede ser mayor que uno o ambos del tercer y cuarto umbral de altura Th3, Th4. El tercer umbral de disparidad Td3 puede ser mayor que el cuarto umbral de disparidad Td4. Uno o ambos de los umbrales de disparidad tercero y cuarto Td3, Td4 pueden ser mayores que uno o ambos de los umbrales de disparidad quinto y sexto Td5, Td6. El sexto umbral de disparidad Td6 puede ser mayor que el quinto umbral de disparidad Td5.

La figura 9 muestra un método 700 de ejemplo para determinar una disparidad binocular entre dos imágenes estereoscópicas 520a, 520b, adquiridas por dos lentes 510a, 510b, de un objeto 598 de interés. Se puede usar un método de triangulación para determinar la disparidad d entre las imágenes 520a y 520b. En concreto, la posición del objeto 598 de interés que tiene un índice i, representado por sus coordenadas (Xi, Yi, Zi), se puede dar de la siguiente manera:

Ecuación (3)

en el que cx y cy representan el centro respectivo Ol, Or coordenadas de las lentes 510a y 510b, xi e yi representar las coordenadas del objeto 598 de interés en cada una de las imágenes 520a y 520b respectivamente, T es la línea de base (en otras palabras, la distancia entre las coordenadas centrales de las lentes 510a y 510b), f es una distancia focal rectificada de la lentes 510a y 510b, i es un índice sobre múltiples objetos de interés 598 y/o sobre múltiples puntos característicos 355 (mostrados en la figura 10) del objeto 598 de interés, y d es la disparidad binocular entre las imágenes 520a y 520b, representada aquí como:

di ⁼xj ^—x[

Ecuación (4)

Con base en la discusión de la figura 9, la disparidad d se puede calcular haciendo coincidir el punto Xr en la segunda imagen 520b con X i de la primera imagen 520a, en el que X i es un elemento conocido. En la figura 9, una realización de ejemplo de la ubicación del punto de coincidencia Xr en la segunda imagen 520b se expone únicamente con fines ilustrativos. En la figura 9, IL representa la primera imagen 520a, e IR representa la segunda imagen 520b del mismo objeto 598 de interés. Un punto xi1 en la primera imagen 520a se puede conocer, y un punto de coincidencia xir en la segunda imagen 520b se puede definir como un punto que es "más similar" al punto xli de la primera imagen 520a, que se puede representar con la siguiente ecuación:

d = argmind\IL(xi) — / R(x; d)|

, Ecuación (5)

en la que d representa la disparidad de las dos lentes 510a, 510b, IL se refiere a la primera imagen 520a, IR se refiere a la segunda imagen 520b del mismo objeto 598 de interés, xi es el punto xí1 de la primera imagen 520a.

Debido a posibles errores de coincidencia para determinar la precisión de coincidencia y el rango de visión, la disparidad d no puede ser menor o mayor que ciertos valores predeterminados. En una realización preferida, la disparidad d es mayor de 5 píxeles y menor de una quinta parte del ancho de la segunda imagen 520b, que puede tener el mismo tamaño que la primera imagen 520a. Como ejemplo ilustrativo, suponga que f = 480, T = 0,15 m y la resolución de la imagen es de 320x240 píxeles, se puede deducir un rango de visión efectivo de 1,5 m a 15,4 m.

La figura 10 ilustra una realización de ejemplo del método 700 para hacer coincidir un punto de la segunda imagen 520b con un punto correspondiente 355 de la primera imagen 520a. En la figura 10, se toma un bloque de tres por tres píxeles con el punto comparado en el centro de cada una de las imágenes 520a, 520b. Cuando la primera y la segunda imágenes 520a y 520b son imágenes en color, los valores de los componentes de color se pueden comparar para cada píxel del bloque de tres por tres píxeles. Por el contrario, cuando las imágenes 520a y 520b son imágenes en blanco y negro, se pueden comparar los valores de escala de grises para cada píxel. Según la ecuación 5, el punto con la suma más pequeña de diferencias de valor para los nueve píxeles se puede seleccionar como punto de coincidencia. Este proceso se puede repetir para todos los puntos característicos seleccionados en la primera imagen 520a.

Alternativamente, se puede usar un método de uso de descriptores de Características Elementales Independientes Robustas Binarias ("BRIEF") para hacer coincidir el punto de la segunda imagen 520b con el punto correspondiente 355 de la primera imagen 520a. En una realización de ejemplo, se puede construir una primera cadena binaria, que representa una primera región alrededor del punto característico seleccionado de la primera imagen 520a, comparando las intensidades de cada par de puntos de la región. La primera cadena binaria puede ser el primer descriptor BRIEF del punto de característica seleccionado de la primera imagen 520a.

De manera similar, se puede construir una segunda cadena binaria que representa una segunda región alrededor del punto 355 de la segunda imagen 520b comparando las intensidades de cada par de puntos de la segunda región. La segunda cadena binaria puede ser un segundo descriptor BRIEF.

Se puede calcular una similitud entre el punto de característica seleccionado de la primera imagen 520a y el punto 355 de la segunda imagen 520b comparando una distancia de martillo entre el primer descriptor BRIEF y el segundo descriptor BRIEF. El punto 355 de la segunda imagen 520b puede determinarse como coincidente con el punto de característica seleccionado de la primera imagen 520a cuando una distancia de martillo entre el primer descriptor BRIEF y el segundo descriptor BRIEF es menor que un primer umbral de martillo.

Volviendo ahora a la figura 11, se ilustra una realización de ejemplo del método 700 para adquirir la disparidad d mediante puntos característicos 355 del objeto 598 de interés. En 922, se puede seleccionar una pluralidad de puntos característicos 355 en el objeto 598 de interés. Los puntos de característica 355 se pueden seleccionar usando uno o más de una variedad de métodos diferentes. En una realización de ejemplo, los puntos característicos 355 pueden identificarse como formas predefinidas del objeto 598 de interés. En otra realización, los puntos característicos 355 pueden reconocerse como una o más partes del objeto 598 de interés que tienen un color o intensidad particular. En otra realización, los puntos característicos 355 pueden seleccionarse como partes aleatorias del objeto 598 de interés. En otra realización, los puntos característicos 355 pueden seleccionarse a intervalos regularmente espaciados en el objeto 598 de interés, por ejemplo, cada píxel, cada dos píxeles, cada tercer píxel, cada cuarto píxel, y así sucesivamente. Los puntos característicos 355 pueden adoptar diferentes formas y tamaños, según se desee. En algunas realizaciones, se puede usar una combinación de métodos descritos anteriormente para seleccionar los puntos característicos 355.

En 924, los puntos característicos 355 seleccionados pueden coincidir desde la primera imagen 520a con la segunda imagen 520b. En una realización preferida, el emparejamiento de los puntos característicos 355 consta de dos procedimientos como se muestra en la figura 12. En la figura 12, en 924A, se puede seleccionar un punto característico 355 de la primera imagen. Se puede escanear un punto de coincidencia comenzando desde un punto calculado y a lo largo de una línea paralela a la línea centrada de las lentes 510a, 510b. El punto de partida coincidente puede calcularse basándose en las coordenadas del punto en la primera imagen 520a, la dirección y/o la longitud de la línea de base. Aunque preferiblemente limitado a una sola dirección a lo largo de la línea seleccionada, la exploración se puede realizar en cualquiera de una o más direcciones predeterminadas.

En 924B, mientras se escanea cada punto, se calcula una similitud entre dos puntos de la manera mostrada y descrita anteriormente en detalle en este documento con referencia a la figura 10, y el punto 355 de la segunda imagen 520b con la suma mínima de diferencias con el punto característico 355 de la primera imagen 520a se puede seleccionar como un punto coincidente correspondiente al punto característico 355 seleccionado.

Volviendo a la figura 11, se puede encontrar una disparidad de características d entre cada uno de los puntos característicos 355 de las dos imágenes 520a y 520b, en 926. Puede usarse cualquiera de una variedad de métodos para determinar la disparidad d. En una realización, la disparidad d se puede encontrar basándose en un promedio de las disparidades d para cada uno de los puntos característicos 355. Los tipos de ejemplo de promedios pueden incluir una media aritmética, una media geométrica, una mediana y/o un modo sin limitación. En otra realización, la disparidad d se puede encontrar seleccionando uno o más de los puntos característicos 355 y adquiriendo la disparidad d basándose en los puntos característicos 355 seleccionados.

La figura 13 ilustra una realización de un método 300 para determinar un modo de operación de la plataforma móvil 200 (mostrada en la figura 15), en el que ciertos sensores 360 (mostrados en la figura 15) pueden seleccionarse para cada uno de los cuatro modos de altura 411-414 (mostrado en la figura 4) basado en un grado de altura. En la figura 13, en 320, se puede detectar la pendiente de la plataforma móvil 200. El grado de altura de la plataforma móvil 200 puede detectarse, por ejemplo, de la manera mostrada y descrita anteriormente con referencia a las figuras 1,5 y 6. Se pueden seleccionar uno o más sensores 360, en 330, según el grado de altura detectado, cuyos sensores 360 pueden predeterminarse para el grado de altura detectado. La selección de los sensores 360 se muestra y describe a continuación con más detalle con referencia a la figura 14. En 340, se puede obtener cierta información para operar la plataforma móvil. La información puede incluir, por ejemplo, una altura de la plataforma móvil, una distancia a un objeto 288 (mostrado en la figura 2), un desplazamiento, una velocidad y similares.

La figura 14 muestra una realización alternativa del método 300 e ilustra las selecciones de sensor para cada uno de los cuatro modos de altura de la figura 4. En la figura 14, cuando una plataforma móvil 200 (mostrada en la figura 15) detecta que una altura está dentro de un primer grado de altura, se puede seleccionar un primer modo de altura 411 (mostrado en la figura 4), en 321. Cuando la plataforma móvil 200 selecciona el primer modo de altura 411, en 321, se puede seleccionar un sensor de imagen 363, en 322. En una realización alternativa, cuando se selecciona el primer modo de altura 411, en 321, se pueden seleccionar un sensor de imagen 363 y un sensor de distancia 361. El sensor de distancia 361 puede emplearse, por ejemplo, para determinar una distancia entre la plataforma móvil 200 y un objeto 288 (mostrado en la figura 2) de interés. Aunque se muestra y describe como selección de un sensor de distancia 361 y un sensor de imagen 363 solo con fines ilustrativos, se pueden seleccionar alternativamente otros tipos adecuados de sensores 360 para el primer modo de altura 411.

El sensor de distancia 361 descrito en este documento puede incluir, pero no se limita a un detector ultrasónico y/o un dispositivo de detección de láser para detectar una distancia.

En la figura 14, la plataforma móvil 200 puede detectar una altura operativa de un segundo grado de altura. Al detectar el segundo grado de altura, la plataforma móvil 200 puede seleccionar un segundo modo de altura 412 (mostrado en la figura 4), en 323. Cuando la plataforma móvil 200 selecciona el segundo modo de altura 412, en 323, se pueden seleccionar al menos dos sensores de imagen 363 (mostrados en la figura 15), en 324. Cada uno de los sensores de imagen 363, seleccionados para el segundo modo de altura 412, puede tener una primera resolución.

La plataforma móvil 200 puede detectar una altura operativa de un tercer grado de altura. Al detectar el segundo grado de altura, la plataforma móvil 200 puede seleccionar un tercer modo de altura 413 (mostrado en la figura 4), en 325. Cuando la plataforma móvil 200 selecciona el tercer modo de altura 413, en 325, se pueden seleccionar al menos dos sensores de imagen 363, en 326. Cada uno de los sensores de imagen 363, seleccionados para el tercer modo de altura 413, puede tener una segunda resolución. La segunda resolución puede ser una resolución mejorada que puede ser mayor que la primera resolución que se usa en el segundo modo de altura 412.

La plataforma móvil 200 puede detectar una altura operativa de un cuarto grado de altura. Al detectar el cuarto grado de altura, la plataforma móvil 200 puede seleccionar un cuarto modo de altura 414 (mostrado en la figura 4), en 327. Cuando la plataforma móvil 200 selecciona el cuarto modo de altura 414, en 327, se pueden seleccionar un sensor de imagen 363 y un sensor de altura 362, en 328. El sensor de altura 362 puede comprender, pero no se limita a un barómetro 251 y/o un Sistema de Posicionamiento Global ("GPS") 253 (mostrado colectivamente en la figura 6).

La figura 15 muestra otra realización alternativa de un sistema de operación de vuelo 400 de la plataforma móvil de la figura 2, en el que el procesador 910 (mostrado en la figura 7) puede configurarse para seleccionar uno o más sensores 360 de acuerdo con el método 300 (mostrado en las figuras 13 y 14). Volviendo a la figura 15, un sensor de distancia 361, un sensor de altura 362 y uno o más sensores de imagen 363 pueden asociarse con el procesador 910 y comunicarse con él. Como se describió anteriormente con referencia a la figura 14, el sensor de distancia 361 puede incluir, pero no se limita a un detector ultrasónico 252 (mostrado en la figura 7) y/o un dispositivo de detección de láser. El sensor de altura 362 puede incluir, pero no se limita a un barómetro 251 y/o un Sistema de Posicionamiento Global ("GPS") 253 (mostrado colectivamente en la figura 7). Los sensores de imagen 363 pueden incluir, pero no se limitan a un dispositivo de formación de imágenes binoculares 254 (mostrado en la figura 2).

En una realización preferida del sistema de operación de vuelo 400, el procesador 910 puede proporcionarse para obtener y procesar las mediciones obtenidas de los sensores 360. Tales medidas pueden incluir, pero no se limitan a una distancia a un objeto 288 (mostrado en la figura 2), la altura 121 y/o la disparidad 122 (mostrada colectivamente en la figura 1). Basándose en las mediciones, el procesador 910 puede determinar qué modo de operación puede seleccionarse y qué uno o más sensores predeterminados 360 pueden incluirse para el modo de operación seleccionado.

Claims

REIVINDICACIONES

1. Método implementado por ordenador para seleccionar un modo de operación (131) de una plataforma móvil (200), que comprende:

al despegar, iniciar la plataforma móvil (200) para operar bajo un primer modo de altura (411),

en el que el primer modo de altura (411) es un modo monocular,

determinar una altura (121) de la plataforma móvil (200) que representa una distancia vertical entre la plataforma móvil (200) y el nivel del suelo y/o una disparidad (122) entre la primera y la segunda imágenes de un objeto desde la perspectiva de la plataforma móvil (200); y

seleccionar un modo de operación (131) de la plataforma móvil (200) según un resultado de dicha determinación, en el que dicha selección del modo de operación (131) comprende cambiar el modo de operación (131) basándose en al menos una de las alturas determinadas (121) y la disparidad determinada (122),

en el que dicha selección del modo de operación (131) comprende cambiar la plataforma móvil (200) desde el primer modo de altura a un segundo modo de altura (412) en un segundo rango de altura cuando la altura (121) es mayor que un primer umbral de altura, o

en el que dicha selección del modo de operación (131) comprende cambiar la plataforma móvil (200) desde el primer modo de altura a un segundo modo de altura (412) cuando la disparidad (122) es menor que un primer umbral de disparidad, o en el que dicha selección del modo de operación (131) comprende cambiar la plataforma móvil (200) desde el primer modo de altura al segundo modo de altura (412) cuando la altura (121) es mayor que un primer umbral de altura y la disparidad (122) es menor que la primera disparidad umbral, y en el que dicho cambio de plataforma móvil a un segundo modo de altura comprende seleccionar un modo de visión estéreo con una primera resolución.

2. Método según la reivindicación 1, en el que dicha determinación comprende adquirir la disparidad (122) entre la primera y la segunda imágenes del objeto capturadas por un sistema de imágenes binoculares (254) asociado con la plataforma móvil (200).

3. Método según una cualquiera de las reivindicaciones 1-2, en el que dicha selección del modo de operación (131) comprende cambiar la plataforma móvil (200) desde el segundo modo de altura a un tercer modo de altura (413) cuando la disparidad (122) es menor que o igual a un tercer umbral de disparidad.

4. Método según la reivindicación 3, en el que el cambio de la plataforma móvil (200) al tercer modo de altura (413) comprende cambiar un dispositivo de formación de imágenes binoculares a un modo de visión estéreo con una resolución mejorada.

5. Método según la reivindicación 3 o la reivindicación 4, en el que la selección del modo de operación (131) comprende cambiar la plataforma móvil (200) desde el tercer modo de altura a un cuarto modo de altura (414) cuando la altura (121) es mayor que un tercer umbral de altura, o

en el que la selección del modo de operación (131) comprende cambiar la plataforma móvil (200) desde el tercer modo de altura a un cuarto modo de altura (414) cuando la altura (121) es mayor que un tercer umbral de altura y la disparidad (122) es menos del quinto umbral de disparidad.

6. Método según la reivindicación 5, en el que la selección del modo de operación (131) comprende cambiar la plataforma móvil (200) desde el cuarto modo de altura al segundo modo de altura (412) cuando la disparidad (122) es mayor que un cuarto umbral de disparidad.

7. Método según la reivindicación 6, en el que la selección del modo de operación (131) comprende cambiar la plataforma móvil (200) desde el segundo modo de altura al primer modo de altura (411) cuando la altura (121) es menor que un segundo umbral de altura y la disparidad (122) es mayor que un segundo umbral de disparidad.

8. Método según la reivindicación 7, en el que,

el primer umbral de altura es mayor que el segundo umbral de altura;

al menos uno de los umbrales de altura tercero y cuarto es mayor que al menos uno de los umbrales de altura primero y segundo; y

el tercer umbral de altura es mayor que el cuarto umbral.

9. Método según la reivindicación 8, en el que dicha determinación de la disparidad (122) de la primera y segunda imágenes comprende:

seleccionar una pluralidad de puntos característicos de la primera imagen; y

hacer coincidir los puntos característicos de la primera imagen con los puntos de la segunda imagen.

10. Sistema informático para seleccionar un modo de operación (131) de una plataforma móvil (200) configurada para realizar el método de acuerdo con una cualquiera de las reivindicaciones 1-9.

11. Producto de programa informático que comprende instrucciones para seleccionar un modo de operación (131) de una plataforma móvil (200) configurada para realizar, cuando se ejecuta mediante un ordenador, el método de acuerdo con una cualquiera de las reivindicaciones 1-9.