ES2916727T3 - Sistema y método para identificar objetos por medio de redes neuronales distribuidas - Google Patents

Sistema y método para identificar objetos por medio de redes neuronales distribuidas Download PDF

Info

Publication number
ES2916727T3
ES2916727T3 ES19712926T ES19712926T ES2916727T3 ES 2916727 T3 ES2916727 T3 ES 2916727T3 ES 19712926 T ES19712926 T ES 19712926T ES 19712926 T ES19712926 T ES 19712926T ES 2916727 T3 ES2916727 T3 ES 2916727T3
Authority
ES
Spain
Prior art keywords
neural network
video
roi
image regions
base station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19712926T
Other languages
English (en)
Inventor
Michael Feigenbutz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockwell Collins Deutschland GmbH
Original Assignee
Rockwell Collins Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockwell Collins Deutschland GmbH filed Critical Rockwell Collins Deutschland GmbH
Application granted granted Critical
Publication of ES2916727T3 publication Critical patent/ES2916727T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C19/00—Aircraft control not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/25—Fixed-wing aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Sistema para identificar objetos por medio de redes neuronales distribuidas, en donde - está prevista una red neuronal de alto rendimiento en una estación base; - está prevista una red neuronal de menor rendimiento en un lado del frontal, presentando la red neuronal de menor rendimiento una menor profundidad y, con ello, una capacidad más baja que la red neuronal de alto rendimiento; - en el lado del frontal está previsto un dispositivo de cámara de alta resolución para generar un vídeo de alta resolución; - la red neuronal del lado del frontal está configurada para identificar y para marcar regiones de imagen interesantes en el vídeo, siendo las regiones de imagen interesantes, regiones de imagen que incluyen rasgos característicos que permiten tomar conclusiones sobre objetos a ser identificados en el marco de una misión de identificación de objetos, no siendo posible la posterior valoración y caracterización a causa de la menor capacidad de la red neuronal del lado del frontal; caracterizado por que el sistema comprende; - un dispositivo de procesamiento de vídeo para seleccionar y definir ROI, ROI - "Region of Interest", en base a las regiones de imagen interesantes antes identificadas y para codificar las ROI en el vídeo; - una conexión de radio de datos para transmitir el vídeo desde el dispositivo de procesamiento de vídeo a la estación base; y - estando la red neuronal del lado de la estación base configurada para evaluar ROI extraídas del vídeo recibido y para identificar objetos presentes en las ROI.

Description

DESCRIPCIÓN
Sistema y método para identificar objetos por medio de redes neuronales distribuidas
La invención se refiere a un sistema y a un procedimiento para identificar objetos por medio de redes neuronales distribuidas.
Básicamente, la estructura de redes neuronales convolucionales (Convolutional Neural NetWork - CNN) clásicas consiste en una o más capa convolucionales, seguidas de una capa de reducción. Esta unidad puede repetirse en principio tantas veces como se desee; con suficientes repeticiones se habla entonces de redes neuronales convolucionales profundas, que caen en el ámbito del aprendizaje profundo.
Las redes neuronales convolucionales para identificar objetos en tiempo real en vídeos de alta resolución requieren una potencia de cálculo, espacio de almacenamiento y soporte adecuados mediante componentes gráficos complejos especiales. Los recursos de cálculo mencionados tienen normalmente una demanda de electricidad y de espacio considerable y son correspondientemente pesados.
En vehículos pequeños y medianos controlados en remota (aquí, en particular, vehículos aéreos no tripulados), los requisitos de tamaño, peso y demanda de electricidad no se pueden cumplir.
Un problema adicional son los costos de tales soluciones en el vehículo. Esto también es válido para vehículos pequeños y medianos, tanto como para costos unitarios, al igual que también para cotos de mejoras futuras.
Además, tales redes se entrenan a través de ejemplos y después de la fase de entrenamiento no pueden seguir aprendiendo (sin retroalimentación).
Los documentos relevantes del estado de la técnica son:
- TEERAPITTAYANON SURAT ET AL: “Distributed Deep Neural Networks Over the Cloud, the Edge and End Devices”, PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON DISTRIBUTED COMPUTING SYSTEMS, IEEE COMPUTER SOCIETY, EEUU, 5 de junio de 2017, páginas 328-339, ISSN: 1063-6927,
- US 2017/076195 A1.
La invención tiene el objeto subyacente de especificar una identificación de objetos en tiempo real por medio de tecnología de redes neuronales para vehículos controlados de forma remota con recursos de cálculo limitados y ancho de banda de enlace limitado. Con ello, debe lograrse una mejora de la identificación de objetos en tiempo real por medio de tecnología de redes neuronales por medio de redes distribuidas. Además, bajo determinadas circunstancias, debe posibilitarse un aprendizaje adicional automático continuo de redes neuronales ya entrenadas.
El objeto se resuelve mediante un sistema con las características de la reivindicación 1 y un procedimiento con las características de la reivindicación 4.
Configuraciones ventajosas están especificadas en las reivindicaciones dependientes.
En un sistema para identificar objetos por medio de redes neuronales distribuidas, la proporción intensiva en recursos de la red neuronal se traslada a una estación base (en tierra), donde no existen limitaciones significativas con respecto a tamaño, peso y consumo de electricidad, mientras que en el frontal (p. ej., vehículo controlado de forma remota) únicamente se procesa los mapas de características o bien la caracterización.
En una variante, una red neuronal de alto rendimiento puede estar prevista en una estación base (en tierra), mientras que una red neuronal de menor rendimiento puede estar prevista en un lado del frontal, en particular un vehículo como, p. ej., un vehículo aéreo.
En este caso, en el lado del frontal puede estar previsto un dispositivo de cámara de alta resolución para generar un vídeo de alta resolución. La red neuronal del lado del frontal puede estar configurada para identificar y para marcar regiones de imagen “interesantes” en el vídeo. Como regiones de imagen “interesantes” deben entenderse, en este caso, regiones de imagen las cuales, dependiendo de la tarea de la misión de identificación de objetos, incluyen rasgos característicos, los cuales posiblemente permiten tomar conclusiones sobre objetos a ser identificados, no siendo sin embargo todavía posible una valoración y caracterización concluyentes.
Está previsto un dispositivo de procesamiento de vídeo, para seleccionar y definir ROI (ROI - “Region of Interest”, región de interés) en base a las regiones de imagen interesantes antes identificadas y para codificar las ROI en el vídeo. Las ROI son, en este sentido, una continuación de las regiones caracterizadas como regiones de imagen “interesantes”.
Además, está prevista una conexión de radio de datos para transmitir el vídeo desde el dispositivo de procesamiento de vídeo a la estación base.
La red neuronal del lado de la estación base está configurada para evaluar ROI extraídas del vídeo recibido y para identificar objetos presentes en las ROI. Las ROI se extraen del vídeo en la estación base y se ponen a disposición de la red neuronal.
La red neuronal del lado de la estación base está configurada con notablemente más profundidad que la red neuronal del lado del frontal. Con ello, la red neuronal del lado de la estación base puede disponer de recursos prácticamente ilimitados para analizar e identificar objetos. Una computadora de IA (inteligencia artificial) encargada de esto, por último compone de nuevo todo el vídeo y complementa, en particular, los objetos identificados mediante la red neuronal del lado de la estación base. El vídeo puede incluir las ROI con nuevos límites de objeto, una clasificación para los objetos identificados y los símbolos para otras regiones que no se codificaron como ROI.
Puede estar previsto un dispositivo de visualización para visualizar los objetos identificados o bien el vídeo generado con ello por la red neuronal del lado de la estación base.
Puede estar previsto un dispositivo de manejo para cambiar parámetros del sistema, eligiéndose al menos uno de los parámetros del grupo:
posición de las ROI;
tamaño de las ROI;
valoración de las ROI;
representación de una ROI;
definición de nueva ROI;
determinar una representación en color o en blanco y negro.
Con ayuda del dispositivo de manejo, el operador en tierra puede cambiar dinámicamente la representación.
Además, se especifica un procedimiento para identificar objetos, con los pasos:
- proporcionar una red neuronal de alto rendimiento en una estación base;
- proporcionar una red neuronal de menor rendimiento en un lado del frontal;
- generar un vídeo de alta resolución en el lado del frontal;
- identificar regiones de imagen interesantes en el vídeo mediante la red neuronal del lado del frontal y marcar estas regiones de imagen;
- seleccionar y definir ROI (ROI - “Region of Interest”, región de interés) en base a regiones de imagen interesantes antes identificadas y codificar las ROI en el vídeo;
- transmitir el vídeo desde el lado del frontal a la estación base;
- extraer ROI del vídeo recibido;
- evaluar las ROI extraídas e identificar objetos presentes en las ROI mediante la red neuronal del lado de la estación base.
Con ello, se puede reducir el costo técnico para el lado del frontal, así como para la transmisión de los datos entre la estación base y el frontal.
La solución propuesta aporta a una mejora de todos los sistemas, los cuales se encargan de una identificación de objetos por medio de procesamiento de vídeo (p. ej., para aplicaciones controladas de forma remota).
Los sistemas de este tipo pueden utilizarse, p. ej., para vehículos aéreos no tripulados (p. ej., drones). Un campo de aplicación podría ser la búsqueda asistida por drones de víctimas en catástrofes naturales. El dron puede entonces buscar e identificar víctimas que requieren auxilio con ayuda de inteligencia artificial en forma de redes neuronales distribuidas tanto en el propio dron, al igual que también en la estación base. De esta manera, se podría lograr una simplificación y aceleración considerables del trabajo de los servicios de rescate.
La invención se explica mediante un ejemplo con ayuda de las figuras adjuntas. Muestran:
la Fig. 1, en representación esquemática, un sistema para identificar objetos, con una división en la capa de mapeo de característica y capa completamente conectada;
la Fig. 2, el esquema de la Fig. 1 en otra representación;
la Fig. 3, una tabla con un resumen acerca de las proporciones de parámetros de entrenamiento en las capas de mapeo de características y las capas completamente conectadas;
la Fig. 4, el sistema para identificar objetos en una representación distinta;
la Fig. 5, el sistema para identificar objetos en otra representación; y
la Fig. 6, una variante del sistema para identificar objetos.
La solución propuesta permite trasladar la proporción intensiva en recursos de la red neuronal a una estación base (en tierra), donde no existen limitaciones considerables con respecto al tamaño, peso y consumo de electricidad. En el frontal (p. ej., vehículo controlado de forma remota), por el contrario, solo se procesan los mapas de características o bien la caracterización (véanse las Fig. 1 y 2).
Como está representado en la tabla de la Fig. 3, la cantidad de parámetros de entrenamiento crece enormemente en la siguiente proporción “completamente conectada” de la red, mientras que el número de parámetros en las capas de mapeo de características es muy baja (capas convolucionales y de reducción).
Paralelo a ello, se reduce la cantidad de pixeles/datos a una fracción mínima de la imagen (de vídeo) original.
En las capas de mapeo de características y las “capas completamente conectadas” se serializa la información, el decir, la altura y la anchura = 1 y la profundidad corresponde al número máximo de los campos/pixeles del plano anterior. La solución prevé que la separación de la red tenga lugar en una proporción que permanece en el vehículo y una proporción en la estación base en un lugar con un número minimizado de “parámetros de transferencia”, p. ej., entre “capas convolucionales” y capas “completamente conectadas”. El número enorme de conexiones completamente conectadas y de los parámetros asociados puede tener lugar mediante una computadora de la estación base, mientras que las capas convolucionales y las capas de reducción con menos parámetros se calculan en el vehículo.
En lugar de una transmisión de varios MByte/s para flujos de vídeo comprimidos, los cuales a menudo mediante el ancho de banda oscilante del enlace de datos tampoco entregan una calidad de imagen constante, el enfoque descrito requiere únicamente transmisiones en el rango de KByte/s, incluso para identificar objetos en vídeos de alta resolución. El principio de procedimiento descrito de la identificación de objetos por medio de división en dos partes, (p. ej. base, vehículo) puede utilizarse para mejorar continuamente la calidad de la identificación de objetos (véase la Fig. 4) y posibilita la utilización de esta tecnología en entornos con disponibilidad limitada de recursos de cálculo.
Mediante la utilización de varios vehículos o de sensores estacionarios adicionales, las caracterizaciones de rasgos de las diferentes fuentes pueden combinarse como representación serializada en la estación base y procesarse a través de una red completamente conectada común. Se supone la sincronización de las fuentes de imágenes. Esto conduce a una mejora de la calidad de las predicciones, sobre todo, también en el sentido de la identificación de objetos.
También es posible una implementación de varias redes en paralelo, las cuales analizan el mismo objeto desde diferentes perspectivas o con diferente construcción de red, o que se entrenaron con un conjunto diferente de imágenes de entrenamiento, pueden dar retroalimentación reciproca con una comparación de los resultados para los nodos de salida y, con ello, pueden seguir aprendiendo automáticamente.
En comparación con sistemas conocidos, la solución descrita puede utilizarse también en vehículos pequeños y medianos controlados de forma remota o autónomos.
El sistema también puede seguir aprendiendo tras la calificación del vehículo (vehículo), sin que tenga que modificarse el vehículo. Las mejoras pueden realizarse en la estación base (cf. también la Fig. 5).
En comparación con sistemas conocidos, la solución descrita podría analizar automáticamente objetos desde distintos ángulos de visión y mejorar los resultados mediante capas de clasificación comunes (véase también la Fig. 5). La Fig. 6 muestra una variante en forma de un principio de funcionamiento y de utilización. Los siguientes párrafos numerados se refieren a los números de posición (cifras en el círculo), que están anotados en la Fig. 6.
(1) Para el análisis de escenarios de gran superficie, p. ej., zonas de catástrofes después de un terremoto, a modo de ejemplo, se utiliza un dron y dotado, adicionalmente a los sensores de luz natural y de infrarrojos presentes, con una cámara de agrupación. Ésta está compuesta por varias cámaras (cámara 1-3) individuales, las cuales en interacción garantizan un ángulo de visión muy amplio. De esta manera es posible captar completamente también regiones más granes o bien paisajes.
(2) Los vídeos individuales de la cámara de agrupación se combinan (denominado “stitching”) en una unidad de procesamiento de vídeo a bordo del dron a un único vídeo con resolución 4k (p. ej., vídeo UHD). Una versión normalizada (escalada) de este vídeo se le suministra a una red neuronal integrada para el análisis e identificación de objetos, mientras que el vídeo completo a toda resolución se pasa en paralelo a una unidad de procesamiento de vídeo. La red neuronal integrada está, por lo tanto, presente en el lado del frontal, es decir, en el vehículo aéreo (p. ej., el dron).
(3) La red neuronal integrada es capaz de identificar regiones de imagen “interesantes” o bien objetos (p. ej., supuestas víctimas de una catástrofe natural, casas destrozadas, etc.), y entrega como salida las coordenadas de límites de objetos (denominadas “bounding boxes”), que marcan los objetos encontrados y ponderaciones (“scores”) asociadas, que valoran la probabilidad de la predicción.
Con ello, la red neuronal integrada ya puede realizar una determinada evaluación previa de los datos de vídeo determinados y, con ayuda de inteligencia artificial existente, caracterizar regiones de imagen supuestamente interesantes u objetos.
La potencia de cálculo de la red neuronal integrada no es suficiente, en este caso, por lo general para calificar con suficientes seguridad y precisión las regiones de imagen identificas como “interesantes” o bien los objetos allí encontrados.
(4) Las coordenadas y probabilidades identificadas mediante la red neuronal se utilizan por la unidad de procesamiento de vídeo para definir las denominadas ROI (ROI - “Region of Interest”, región de interés). Las ROI pueden tener una superficie mayor que los límites de objeto antes definidos y también pueden incluir varias de estas marcas. Cuando, p. ej., mediante la red neuronal se identifican varios objetos “interesantes” que se encuentran muy cerca uno de otro, estos pueden agruparse a una única ROI.
Mediante los parámetros de probabilidad, las ROI más importantes se codifican directamente en el vídeo, mientras que regiones menos probables se pueden marcar a través de símbolos con un código de color.
Para el aumento adicional de la tasa de compresión, las regiones fuera de las ROI pueden transmitirse opcionalmente en formato blanco y negro, como está representado en la Figura 6. Con correspondiente ancho de banda de radio, por supuesto, también puede transmitirse entero a color.
(5) El vídeo codificado se envía con coordenadas de símbolos y ROI a través de la conexión de radio de datos del dron a la estación de control en tierra y allí se decodifican de nuevo. El vídeo presenta por lo tanto regiones con mayor resolución (con las ROI) y, según el ancho de banda de la conexión entre el dron y la estación base, menor resolución (dado el caso, también solo en blanco y negro).
(6) Para el análisis detallado de las ROI, éstas se recortan automáticamente del vídeo y se suministran a una red neuronal soportada en tierra. Esta red trabaja en una computadora de IA dedicada con procesador de alto rendimiento y varias GPU.
El procesamiento en tierra se posibilita, en última instancia, mediante el mecanismo de las ROI, que suministra un material de vídeo para estas regiones de alta calidad y estable a pesar de ancho de banda de radio oscilante.
(7) La computadora de IA estacionaria en tierra utiliza una red neuronal considerablemente más profunda que el componente soportado en aire en la aeronave y ofrece prácticamente recursos prácticamente ilimitados para el análisis y la identificación de objetos.
La computadora de IA representa, por último, el vídeo entero en la unidad de visualización. Éste incluye las ROI con nuevos límites de objeto, una clasificación (8) para los objetos identificados y los símbolos para otras regiones que no se codificaron como ROI.
El operador en tierra puede cambiar dinámicamente la representación. Por ejemplo, puede
• desplazar dinámicamente las ROI visualizadas y/o
• cambiar ROI de tamaño
• seleccionar símbolos y dejar que estos se visualicen como ROI (la ROI con la ponderación más baja desaparece entonces y se vuelve un símbolo)
• definir una propia ROI
• seleccionar representación en color o en blanco y negro.

Claims (4)

REIVINDICACIONES
1. Sistema para identificar objetos por medio de redes neuronales distribuidas, en donde
- está prevista una red neuronal de alto rendimiento en una estación base;
- está prevista una red neuronal de menor rendimiento en un lado del frontal, presentando la red neuronal de menor rendimiento una menor profundidad y, con ello, una capacidad más baja que la red neuronal de alto rendimiento;
- en el lado del frontal está previsto un dispositivo de cámara de alta resolución para generar un vídeo de alta resolución;
- la red neuronal del lado del frontal está configurada para identificar y para marcar regiones de imagen interesantes en el vídeo, siendo las regiones de imagen interesantes, regiones de imagen que incluyen rasgos característicos que permiten tomar conclusiones sobre objetos a ser identificados en el marco de una misión de identificación de objetos, no siendo posible la posterior valoración y caracterización a causa de la menor capacidad de la red neuronal del lado del frontal;
caracterizado por que el sistema comprende;
- un dispositivo de procesamiento de vídeo para seleccionar y definir ROI, ROI - “Region of Interest”, en base a las regiones de imagen interesantes antes identificadas y para codificar las ROI en el vídeo;
- una conexión de radio de datos para transmitir el vídeo desde el dispositivo de procesamiento de vídeo a la estación base; y
- estando la red neuronal del lado de la estación base configurada para evaluar ROI extraídas del vídeo recibido y para identificar objetos presentes en las ROI.
2. Sistema según la reivindicación 1,
- estando previsto un dispositivo de visualización para visualizar los objetos identificados por la red neuronal del lado de la estación base.
3. Sistema según una de las reivindicaciones 1 o 2,
- estando previsto un dispositivo de manejo para cambiar parámetros del sistema;
- eligiéndose al menos uno de los parámetros del gripo
posición de las ROI;
tamaño de las ROI;
valoración de las ROI;
representación de las ROI;
definición de una nueva ROI;
determinación de una representación en color o en blanco y negro.
4. Procedimiento para identificar objetos, con los pasos:
- proporcionar una red neuronal de alto rendimiento en una estación base;
- proporcionar una red neuronal de menor rendimiento en un lado del frontal, presentando la red neuronal de menor rendimiento una menor profundidad y, con ello, una capacidad más baja que la red neuronal de alto rendimiento;
- generar un vídeo de alta resolución en el lado del frontal;
- identificar regiones de imagen interesantes en el vídeo mediante la red neuronal del lado del frontal y marcar estas regiones de imagen, siendo las regiones de imagen interesantes, regiones de imagen que incluyen rasgos característicos, que permiten tomar conclusiones sobre objetos a ser identificados en el marco de una misión de identificación de objetos, no siendo posible la posterior valoración y caracterización a causa de la capacidad más baja de la red neuronal del lado del frontal;
caracterizado por que el procedimiento comprende los siguientes pasos:
- seleccionar y definir ROI, ROI - “Region of Interest”, en base a las regiones de imagen interesantes antes identificadas y codificar las ROI en el vídeo;
- transmitir el vídeo desde el lado del frontal a la estación base;
- extraer ROI del vídeo recibido; y
- evaluar las ROI extraídas e identificar objetos presentes en las ROI mediante la red neuronal del lado de la estación base.
ES19712926T 2018-03-16 2019-03-14 Sistema y método para identificar objetos por medio de redes neuronales distribuidas Active ES2916727T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018106222 2018-03-16
DE102018110828.1A DE102018110828A1 (de) 2018-03-16 2018-05-04 System zur Objekterkennung mittels verteilter Neuronaler Netze
PCT/EP2019/056418 WO2019175309A1 (de) 2018-03-16 2019-03-14 System zur objekterkennung mittels verteilter neuronaler netze

Publications (1)

Publication Number Publication Date
ES2916727T3 true ES2916727T3 (es) 2022-07-05

Family

ID=67774380

Family Applications (1)

Application Number Title Priority Date Filing Date
ES19712926T Active ES2916727T3 (es) 2018-03-16 2019-03-14 Sistema y método para identificar objetos por medio de redes neuronales distribuidas

Country Status (10)

Country Link
US (1) US11816567B2 (es)
EP (1) EP3765999B1 (es)
JP (1) JP7058334B2 (es)
CN (1) CN111656356B (es)
AU (1) AU2019233666B2 (es)
CA (1) CA3094121C (es)
DE (1) DE102018110828A1 (es)
ES (1) ES2916727T3 (es)
IL (1) IL276178B2 (es)
WO (1) WO2019175309A1 (es)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020204109A1 (de) 2020-03-30 2021-09-30 Airbus Operations Gmbh Überwachungssystemnetzwerk und verfahren zum betreiben eines überwachungssystemnetzwerks
CN113469117A (zh) * 2021-07-20 2021-10-01 国网信息通信产业集团有限公司 一种多路视频实时检测方法及***
WO2023127388A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 無線基地局、無線基地局の制御方法、通信制御装置、通信制御装置の制御方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
CN103632143B (zh) * 2013-12-05 2017-02-08 冠捷显示科技（厦门）有限公司 结合云计算基于影像的物件识别***
CN104077613B (zh) 2014-07-16 2017-04-12 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
EP3035249B1 (en) * 2014-12-19 2019-11-27 Intel Corporation Method and apparatus for distributed and cooperative computation in artificial neural networks
US20170076195A1 (en) * 2015-09-10 2017-03-16 Intel Corporation Distributed neural networks for scalable real-time analytics
WO2017095948A1 (en) * 2015-11-30 2017-06-08 Pilot Ai Labs, Inc. Improved general object detection using neural networks
WO2017200622A2 (en) * 2016-02-29 2017-11-23 Satellogic Overseas, Inc. (Bvi) System for planetary-scale analytics
CN107368886B (zh) * 2017-02-23 2020-10-02 奥瞳***科技有限公司 基于重复使用小规模卷积神经网络模块的神经网络***
US20220269910A1 (en) * 2017-07-01 2022-08-25 Algolux Inc. Method and system for determining auto-exposure for high-dynamic range object detection using neural network
CN107135237A (zh) * 2017-07-07 2017-09-05 三星电子（中国）研发中心 一种呈现目标增强信息的实现方法和装置
CN107368857A (zh) 2017-07-24 2017-11-21 深圳市图芯智能科技有限公司 图像对象检测方法、***及模型处理方法、设备、终端
CN107368832A (zh) * 2017-07-26 2017-11-21 中国华戎科技集团有限公司 基于图像的目标检测及分类方法
US10816693B2 (en) * 2017-11-21 2020-10-27 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in a field of interest

Also Published As

Publication number Publication date
US20210027059A1 (en) 2021-01-28
EP3765999B1 (de) 2022-05-04
AU2019233666A1 (en) 2020-11-12
IL276178A (en) 2020-09-30
EP3765999A1 (de) 2021-01-20
WO2019175309A1 (de) 2019-09-19
CN111656356A (zh) 2020-09-11
US11816567B2 (en) 2023-11-14
JP2021517289A (ja) 2021-07-15
IL276178B2 (en) 2023-09-01
DE102018110828A1 (de) 2019-09-19
CA3094121A1 (en) 2019-09-19
CN111656356B (zh) 2023-08-08
IL276178B1 (en) 2023-05-01
JP7058334B2 (ja) 2022-04-21
AU2019233666B2 (en) 2022-02-03
CA3094121C (en) 2023-03-28

Similar Documents

Publication Publication Date Title
ES2916727T3 (es) Sistema y método para identificar objetos por medio de redes neuronales distribuidas
US10891784B2 (en) Method, apparatus and stream for immersive video format
US20180122129A1 (en) Generation, transmission and rendering of virtual reality multimedia
KR20200060297A (ko) 하이브리드 변환을 이용한 포인트 클라우드 압축
DE112019002589T5 (de) Tiefenlernsystem
Marcu et al. SafeUAV: Learning to estimate depth and safe landing areas for UAVs from synthetic data
US10943370B2 (en) Compression of multi-dimensional object representations
GB2520338A (en) Automatic scene parsing
Maugey et al. Saliency-based navigation in omnidirectional image
US20220108478A1 (en) Processing images using self-attention based neural networks
DE202017104897U1 (de) Quadrangulierte geschichtete Tiefenbilder
CN116194951A (zh) 用于基于立体视觉的3d对象检测与分割的方法和装置
CN116883610A (zh) 基于车辆识别与轨迹映射的数字孪生路口构建方法和***
US20200413029A1 (en) System for projecting naked-eye 3d image from selected 2d image
US11223815B2 (en) Method and device for processing video
US20220108467A1 (en) System and method for detecting objects in video images
US10819952B2 (en) Virtual reality telepresence
CN115115713A (zh) 一种统一时空融合的环视鸟瞰图感知方法
Anderson et al. Indoor navigation using convolutional neural networks and floor plans
US20240104868A1 (en) Reactive augmented reality
US10368104B1 (en) Systems and methods for transmission of synchronized physical and visible images for three dimensional display
Li et al. Object detection in omnidirectional images based on spherical cnn
US20240214535A1 (en) Projecting images on a spherical venue
Bohez et al. Cloudlet-based large-scale 3D reconstruction using real-time data from mobile depth cameras
Heras Pinto Development of an autonomous expertise system performed by a drone through the use of convolutional networks to obtain depth maps