ES2847348T3 - Procedimiento y aparato para dar seguimiento a un objeto - Google Patents
Procedimiento y aparato para dar seguimiento a un objeto Download PDFInfo
- Publication number
- ES2847348T3 ES2847348T3 ES14749962T ES14749962T ES2847348T3 ES 2847348 T3 ES2847348 T3 ES 2847348T3 ES 14749962 T ES14749962 T ES 14749962T ES 14749962 T ES14749962 T ES 14749962T ES 2847348 T3 ES2847348 T3 ES 2847348T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- resolution
- super
- target object
- frame portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 139
- 230000009467 reduction Effects 0.000 claims abstract description 16
- 230000008901 benefit Effects 0.000 claims abstract description 9
- 230000000717 retained effect Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000012935 Averaging Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 28
- 230000000875 corresponding effect Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 15
- 238000006073 displacement reaction Methods 0.000 description 15
- 238000013519 translation Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30212—Military
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Un procedimiento implementado por ordenador o microprocesador para dar seguimiento a un objeto que comprende las etapas de: (i) obtener una pluralidad de imágenes de un objeto de destino; (ii) calcular una imagen con superresolución (555) del objeto de destino a partir de la pluralidad de imágenes; y (iii) obtener una imagen adicional del objeto de destino; caracterizado porque el procedimiento comprende además: (iv) eliminar la resolución de la imagen con superresolución (555); (v) correlacionar la imagen adicional con la imagen con resolución eliminada (575); y (vi) usar la correlación para identificar la ubicación del objeto de destino en la imagen adicional, por lo que pueden conservarse una o más ventajas resultantes del cálculo de la imagen con superresolución de mayor calidad (555), tal como la reducción de errores en la ubicación del objeto de destino o la reducción del ruido de la imagen, para identificar mejor la ubicación del objetivo objeto en la imagen adicional de menor calidad.
Description
DESCRIPCIÓN
Procedimiento y aparato para dar seguimiento a un objeto
Campo de la invención
La presente invención se refiere al campo del seguimiento y, en particular, al campo del seguimiento de un objeto grabado en un flujo de vídeo u otra secuencia de imágenes. La invención se refiere especialmente, pero no exclusivamente, al campo del seguimiento de un objetivo para un misil autoguiado.
Antecedentes de la invención
Se puede esperar que las mejoras en la precisión del seguimiento mediante sensores electroópticos den como resultado un mejor rendimiento. Por ejemplo, en el campo de los misiles autoguiados, las imprecisiones en el seguimiento reducen la precisión y/o el alcance del misil, lo que aumenta el riesgo de que el misil no alcance su objetivo o requiera un disparo tardío del misil, exponiendo potencialmente la plataforma que lleva el misil o a su operador al peligro durante más tiempo de lo que sería el caso si se mejorara la precisión. Para proporcionar un seguimiento adecuado, el misil puede necesitar equipo de procesamiento de imágenes adicional o más avanzado, lo que aumenta el costo, el peso y el riesgo de desarrollo. Sin embargo, normalmente existen limitaciones en el tamaño y el peso de los misiles autoguiados; además, los misiles a menudo viajan a alta velocidad con relación a su objetivo, por lo que también hay un tiempo limitado disponible para los cálculos de procesamiento de imágenes. Por lo tanto, en muchos casos existen limitaciones importantes en las técnicas de procesamiento de imágenes que se pueden implementar dentro de un misil. Varias técnicas de procesamiento de imágenes de la técnica anterior que proporcionan imágenes de alta calidad son lentas y exigentes computacionalmente.
Sería ventajoso proporcionar un procedimiento y un aparato para dar seguimiento a un objeto en el que las desventajas mencionadas anteriormente se reduzcan o al menos mejoren.
La solicitud de patente Estados Unidos 2012/051667 divulga el uso de una imagen de superresolución, por ejemplo, en el reconocimiento de matrículas.
La solicitud de patente Estados Unidos 2012/141042 divulga la generación de una serie de imágenes de superresolución para un video.
Divulgación de la invención
Un primer aspecto de la invención proporciona un procedimiento implementado por ordenador o microprocesador para dar seguimiento a un objeto que comprende las etapas de:
(i) obtener una pluralidad de imágenes de un objeto de destino;
(ii) calcular una imagen con superresolución del objeto de destino a partir de la pluralidad de imágenes; y (iii) obtener una imagen adicional del objeto de destino;
caracterizado porque el procedimiento comprende además:
(iv) eliminar la resolución de la imagen con superresolución;
(v) correlacionar la imagen adicional con la imagen con resolución eliminada; y
(vi) usar la correlación para identificar la ubicación del objeto de destino en la imagen adicional,
por lo que pueden conservarse por lo tanto una o más ventajas del cálculo de la imagen con superresolución de mayor calidad, tal como la reducción de errores en la ubicación del objeto de destino o la reducción del ruido de la imagen, para identificar mejor la ubicación del objeto de destino en la imagen adicional de menor calidad.
La creación de imágenes con superresolución a partir de una pluralidad de imágenes es una técnica conocida para sintetizar una imagen de mayor resolución a partir de una pluralidad de imágenes de menor resolución. Se utiliza por ejemplo en astronomía para generar mejoras significativas en la resolución de objetos de interés astronómico. Se pueden crear imágenes con superresolución mediante una variedad de técnicas bien conocidas en la técnica. Los presentes inventores han reconocido que se puede lograr una precisión mejorada de seguimiento utilizando una imagen con superresolución, en lugar de una sola imagen obtenida previamente, en las técnicas de correlación cruzada empleadas frecuentemente en el seguimiento de un objeto. Por su propia naturaleza, una imagen con superresolución proporciona una imagen de mayor resolución que cualquier imagen anterior única de la pluralidad de imágenes. Por tanto, una imagen con superresolución puede tener una mayor calidad que cualquier imagen anterior única de la pluralidad de imágenes. Por ejemplo, la imagen con superresolución puede tener una resolución más alta, contener más información y/o contener menos ruido, lo que puede mejorar el rendimiento del seguimiento. Esa resolución mejorada puede por sí misma puede proporcionar un rendimiento de seguimiento mejorado, ya que el resultado de la correlación puede ser más preciso como resultado de la resolución mejorada de una de las imágenes correlacionadas (la imagen con superresolución). Además, al calcular la imagen con superresolución, la pluralidad de imágenes se registra entre sí, y el procedimiento de registro dará como resultado una reducción de
errores en la ubicación del objeto de destino: los efectos de la fluctuación debido a la distorsión atmosférica u otros errores aleatorios en la ubicación aparente del objetivo en imágenes individuales se reducirán en gran medida mediante el registro de las imágenes en el cálculo de la imagen con superresolución. Además, los efectos del ruido de la imagen (temporal y en algunos casos patrón fijo) pueden, al menos en algunas realizaciones de la invención, reducirse en gran medida debido al promedio inherente al procedimiento de superresolución. Por lo tanto, ciertas realizaciones del procedimiento de la invención pueden usar la información adicional (o calidad) en la imagen con superresolución para identificar la ubicación del objeto de destino en la imagen adicional (que típicamente contendrá menos información, o típicamente será de menor calidad, que la imagen con superresolución), de una manera que es mejor (más precisa y fiable, por ejemplo) que si la ubicación del objeto de destino en la imagen adicional se identificara sin utilizar dicha imagen con superresolución. Se apreciará que la "imagen adicional" típicamente no tiene la forma de una imagen con superresolución. Se apreciará que la imagen con superresolución normalmente tendrá características diferentes de la "imagen adicional". Puede ser que la correlación sea una correlación en el dominio espacial. Puede ser que la correlación sea una correlación de fase en el dominio de frecuencia.
Como se mencionó anteriormente, antes de la correlación con la imagen adicional, a la imagen con superresolución se le elimina la resolución, es decir, se reduce en resolución de nuevo a una resolución de la pluralidad de imágenes. Eso puede facilitar el cálculo de la correlación y conservar las ventajas resultantes de la superresolución, por ejemplo la eliminación de errores en la ubicación del objeto de destino resultantes del registro de imágenes en el cálculo de la imagen con superresolución y/o la reducción del ruido de la imagen.
Antes de la correlación con la imagen con superresolución, la imagen adicional puede procesarse, por ejemplo, aumentando la resolución a la misma resolución que la imagen con superresolución. Sin embargo, se entenderá que la información de imagen contenida dentro y/o la calidad de imagen de dicha imagen de resolución más alta adicional puede no ser mayor que la imagen de resolución más baja de la cual se obtiene.
Puede ser que el cálculo de la imagen con superresolución incluya promediar todas las regiones de interés que son de la misma fase.
Puede ser que el procedimiento se lleve a cabo utilizando un generador de imágenes.
De manera ventajosa, el procedimiento de la invención también puede utilizar un procedimiento para generar imágenes con superresolución que es más rápido y menos exigente computacionalmente que las técnicas de la técnica anterior, siendo capaz de proporcionar imágenes con superresolución incluso de objetos en movimiento muy rápido con respecto al detector. Por tanto, puede ser que el procedimiento proporcione las imágenes con superresolución en tiempo real.
Puede ser que el cálculo de la imagen con superresolución del objeto de destino a partir de la pluralidad de imágenes incluya las etapas de:
(a) extraer una porción de cuadro actual de la imagen de la pluralidad de imágenes, la porción de cuadro es al menos una porción de los píxeles que forman la imagen, correspondiente a una región de interés en la imagen, la región de interés que comprende el objeto de destino;
(b) proporcionar una porción de cuadro con superresolución actual calculada previamente, correspondiente a la región de interés en la imagen; y
(c) calcular una porción de cuadro con superresolución actualizada a partir de la porción de cuadro actual y la porción de cuadro con superresolución actual.
Puede ser que el procedimiento comprenda además repetir las etapas (a) a (d) una pluralidad de veces. Puede ser que el cálculo de la porción de cuadro con superresolución actualizada utilice una porción de cuadro con superresolución actual degradada. Este procedimiento también tiene la ventaja particular de que requiere poca memoria del ordenador. Al calcular la porción de cuadro con superresolución actualizada en una iteración dada, puede ser que el procedimiento tenga en cuenta los datos contenidos en porciones de cuadro obtenidas en iteraciones anteriores, pero no necesita almacenar esas porciones de cuadro, o incluso las porciones relevantes de ellas, en memoria. Toda la información relevante se contiene dentro de la porción de cuadro con superresolución actual calculada previamente. Puede ser que la porción de cuadro con superresolución actual se degrade dándole una ponderación menor en el cálculo de la porción de cuadro con superresolución actualizada que una ponderación dada a la porción de cuadro actual. Puede ser que la porción de cuadro con superresolución actual se degrade dando a cada píxel en la porción de cuadro con superresolución actual una ponderación menor que una ponderación Se
dada a cada píxel en la porción de cuadro actual. Por lo tanto, por ejemplo, puede ser que el valor del píxel en (x, y) en la porción de cuadro con superresolución actualizada calculado en la enésima iteración del procedimiento sea:
S% = (1 - a)
donde ^ es el píxel (x, y) de la porción de cuadro actual (es decir, enésima iteración) y a es un factor de
S1 = F 1 .
degradación constante, donde 0 < a <1, y x y ‘
Puede ser que la porción de cuadro extraída en cada iteración de la etapa (b) después de la primera iteración corresponda a una región de interés identificada en la imagen utilizada en la primera iteración de la etapa (b).
Puede ser que la región de interés se defina en una primera imagen y luego se calcule en imágenes posteriores. Puede ser que la región de interés se defina en una primera imagen obtenida del generador de imágenes. Puede ser que la región de interés se defina por un operador o usuario.
Puede ser que la región de interés se defina por un algoritmo, por ejemplo, un algoritmo de reconocimiento de objetos.
Puede ser que el objeto de destino se identifique en una primera imagen obtenida del generador de imágenes. Puede ser que un usuario identifique el objeto de destino en la primera imagen. Puede ser que el objeto de destino se identifique en la primera imagen mediante un algoritmo de reconocimiento de destino.
Puede ser que se asuma que el objeto de destino está en la imagen actual en la posición del objeto de destino en una imagen anterior.
Puede ser que el procedimiento de la invención se utilice para identificar la ubicación de sólo un pequeño número (cinco o menos) de objetos de destino en la imagen adicional. Puede ser que el procedimiento de la invención se utilice para identificar la ubicación de un solo objeto de destino en la imagen adicional (es decir, un solo objeto de destino y solo un objeto de destino único en un momento dado). Puede ser que se utilicen varias instancias del procedimiento de la invención en paralelo para identificar la ubicación de uno y solo un objeto de destino en la imagen adicional, cada instancia del procedimiento que se utiliza para identificar un objeto de destino diferente en la imagen adicional. Por lo tanto, un solo conjunto de imágenes (por ejemplo, imágenes sucesivas tomadas por un solo generador de imágenes) se puede analizar en paralelo realizando múltiples instancias del procedimiento de la invención para dar seguimiento a múltiples objetos de destino, pero en el que cada instancia del procedimiento de la invención se utiliza para identificar y dar seguimiento a la ubicación de uno y solo un objeto de destino en las imágenes sucesivas del conjunto único.
Puede ser que la porción de cuadro de superresolución se construya utilizando un registro calculado a partir del seguimiento.
Puede ser que se calcule un desplazamiento en la posición del objeto de destino en imágenes sucesivas, y la parte del número entero del desplazamiento calculado se use para desplazar la región de interés en la imagen posterior con relación a la posición de la región de interés en la imagen anterior.
Puede ser que una porción de cuadro de trabajo se extraiga de la imagen o de cada imagen posterior. Puede ser que una porción de cuadro de trabajo se extraiga de la imagen y se utilice para identificar la ubicación de la región de interés. Puede ser que la porción de cuadro de trabajo se extraiga de la ubicación aproximada del objeto de destino, por ejemplo, el mismo conjunto de ubicaciones de píxeles que se extrajeron para formar la porción de cuadro anterior. Particularmente en el caso en el que el objeto de destino es un objeto de movimiento rápido, las imágenes obtenidas pueden ser cada una mucho más grandes (en número de píxeles o área, por ejemplo) que el objeto de destino capturado dentro de la imagen respectiva. Por tanto, la porción de cuadro de trabajo puede ser relativamente pequeña en comparación con la imagen adicional en términos de la cantidad de escena que se representa cada una de ellas. Se entenderá que el objeto de destino puede moverse dentro de la imagen, sin embargo, puede considerarse estacionario con relación a otro objeto. El movimiento del objeto de destino puede ser relativo a su entorno circundante. El movimiento del objeto de destino puede ser relativo a la escena de la cual se obtienen las imágenes. El movimiento del objeto de destino puede ser relativo a los medios utilizados para obtener las imágenes.
Puede ser que la región en una imagen de la que se extrae una porción de cuadro se elija dependiendo, al menos parcialmente, de la ubicación del objeto de destino en una imagen (por ejemplo, la misma imagen o una imagen anterior) a medida que se identifica al realizar la etapa de correlacionar la "imagen adicional" con la imagen con superresolución.
Puede ser que se calcule el desplazamiento de posición del objetivo en la porción de cuadro de trabajo en comparación con la posición del objetivo en la porción de cuadro con superresolución. Puede ser que ese desplazamiento de posición se descomponga en un desplazamiento de un número entero de píxeles y un desplazamiento de una fracción de píxel. Puede ser que el desplazamiento de número entero se utilice para definir una ubicación para una porción de cuadro adicional, es decir, la ubicación de la porción de cuadro anterior se traduce por el desplazamiento de número entero para dar la ubicación de la porción de cuadro adicional. Puede ser que se extraigan los píxeles que forman la porción de cuadro adicional, correspondiente a una región reubicada de interés. Puede ser que la etapa de correlacionar la imagen adicional con la imagen con superresolución, para identificar la ubicación del objeto de destino en la imagen adicional, forme al menos parte del cálculo del desplazamiento de posición del objetivo en la porción de cuadro de trabajo en comparación con la posición del objeto de destino en la porción de cuadro con superresolución.
Puede ser que el procedimiento de superresolución comprenda promediar los píxeles correspondientes que son de la misma fase en la porción de cuadro actual y la porción de cuadro con superresolución actual calculada previamente. Puede ser que el procedimiento de superresolución incluya ampliar los píxeles de la región de interés mediante un factor de escala de superresolución y promediar los píxeles correspondientes en la región ampliada de interés y en la porción de cuadro con superresolución anterior en todas las fases, teniendo en cuenta desplazamientos de subpíxeles.
Puede ser que el cálculo de la imagen con superresolución incluya el desenfoque de la imagen con superresolución. Puede ser que el procedimiento de desenfoque sea un procedimiento bayesiano máximo a posteriori. Puede ser que el desenfoque de la imagen sumada se lleve a cabo utilizando ecuaciones formuladas dentro del dominio de la imagen.
Puede ser que el algoritmo de superresolución se lleve a cabo solo en los píxeles de la porción de cuadro actual que se superponen con los píxeles de la porción de cuadro con superresolución actual calculada previamente. Puede ser que el algoritmo de superresolución se lleve a cabo en todos los píxeles tanto de la porción de cuadro actual como de la porción de cuadro con superresolución calculada previamente (es decir, incluidas todas las regiones de límites). Puede ser que el algoritmo de superresolución se lleve a cabo utilizando únicamente los píxeles correspondientes a los píxeles de la porción de cuadro de la primera pasada del procedimiento.
Puede ser que las porciones de cuadro con superresolución se envíen a un usuario. Alternativamente, puede ser que las porciones de cuadro con superresolución se pasen a una unidad automatizada adicional, donde se utilizan en procedimientos automatizados adicionales.
Puede ser que el cálculo de la imagen con superresolución del objeto de destino a partir de la pluralidad de imágenes incluya las etapas de:
(a) proporcionar una pila para almacenar un número predeterminado de porciones de cuadro;
(b) obtener una imagen que incluya un objeto de destino, la imagen se forma por una matriz de píxeles;
(c) extraer una porción de cuadro de la imagen, la porción de cuadro es al menos una porción de los píxeles que forman la imagen, correspondiente a una región de interés en la imagen, la región de interés que comprende el objeto de destino;
(d) almacenar la porción de cuadro en la pila, el almacenamiento que incluye descartar una porción de cuadro más antigua almacenada previamente de la pila si el número de porciones de cuadro almacenadas en la pila ha alcanzado el número predeterminado;
(e) repetir las etapas (b) a (d) una pluralidad de veces; y
(f) calcular una imagen con superresolución a partir de la pluralidad de porciones de cuadro almacenadas.
Puede ser que la imagen de superresolución se calcule utilizando la pila de imágenes actuales y el registro de un par de imágenes sucesivas calculadas a partir del seguimiento.
Puede ser que el desplazamiento de traslación entre un par de imágenes se calcule mediante una correlación en el dominio espacial. Puede ser que el desplazamiento de traslación entre un par de imágenes se calcule mediante correlación de fase en el dominio de frecuencia. Puede ser que el desplazamiento de traslación entre un par de imágenes se calcule mediante un procedimiento iterativo en el cual un desplazamiento de traslación calculado por
una correlación en el dominio espacial o por una correlación de fase en el dominio de frecuencia se utilice como una suposición inicial para construir una estimación de imagen con superresolución y el registro se ajuste iterativamente para producir una imagen con superresolución mejorada.
Puede ser que calcular una imagen con superresolución a partir de la pluralidad de porciones de cuadro almacenadas incluya actualizar una imagen con superresolución calculada en una iteración anterior cambiando en el cálculo solo las fases que han cambiado en un nuevo cuadro. Puede ser que el cálculo de una imagen con superresolución a partir de la pluralidad de porciones de cuadro almacenadas incluya actualizar una imagen con superresolución calculada en una iteración anterior eliminando el cuadro más antiguo de su promedio de fase correspondiente, agregando el nuevo cuadro a su promedio de fase correspondiente, y actualizar el promedio de fase sobre fases con las dos fases modificadas.
Puede ser que el cálculo de la imagen con superresolución incluya una etapa de desenfoque. Puede ser que el desenfoque se lleve a cabo mediante un procedimiento bayesiano máximo a posteriori.
Puede ser que el cálculo de la imagen con superresolución se omita en cada iteración hasta que se haya almacenado un número mínimo predefinido de porciones de cuadro en la pila, por ejemplo, hasta que la pila esté llena.
Un segundo aspecto de la invención proporciona un aparato de procesamiento de imágenes que comprende:
(i) un generador de imágenes para obtener una pluralidad de imágenes y una imagen adicional, cada una de las cuales incluye un objeto de destino y se forma por una matriz de píxeles; y
(ii) un procesador de imágenes configurado para calcular una imagen con superresolución de mayor calidad del objeto de destino a partir de una pluralidad de imágenes;
caracterizado porque el procesador de imágenes está configurado además para:
a. eliminar la resolución de la imagen con superresolución;
b. correlacionar la imagen adicional de menor calidad con la imagen con resolución eliminada; y
c. utilizar la correlación para identificar la ubicación del objeto de destino en la imagen adicional,
por lo que pueden conservarse una o más ventajas resultantes del cálculo de la imagen con superresolución de mayor calidad, la reducción de errores en la ubicación del objeto de destino o la reducción del ruido de la imagen, para identificar mejor la ubicación del objeto de destino en la imagen adicional de menor calidad.
Puede ser que el procesador de imágenes esté configurado para calcular una imagen con superresolución de un objeto de destino en movimiento a partir de una pluralidad de imágenes, por ejemplo, un objeto de destino que se mueve con relación al generador de imágenes. Puede que se utilice un único generador de imágenes para obtener la pluralidad de imágenes y la imagen adicional; o puede ser que se utilice una pluralidad de generadores de imágenes para obtener las imágenes, pero todos estos generadores de imágenes están ubicados de manera que exista una diferencia insignificante en el ángulo de visión de los generadores de imágenes con respecto a la escena de la cual se obtienen las imágenes. Puede ser que el aparato de procesamiento de imágenes esté configurado para extraer una porción de cuadro actual de cada imagen, la porción de cuadro es al menos una porción de los píxeles que forman la imagen, correspondiente a una región de interés en la imagen, la región de interés que comprende el objeto de destino.
Puede ser que el aparato de procesamiento de imágenes esté configurado para:
• obtener una porción de cuadro con superresolución actual calculada previamente, correspondiente a la región de interés en la imagen; y
• calcular una porción de cuadro con superresolución actualizada a partir de la porción de cuadro actual y la porción de cuadro con superresolución actual.
Puede ser que el aparato de procesamiento de imágenes esté configurado para:
• almacenar la porción de cuadro en la pila, el almacenamiento que incluye descartar una porción de cuadro más antigua almacenada previamente de la pila si el número de porciones de cuadro almacenadas en la pila ha alcanzado el número predeterminado; y
• calcular una imagen con superresolución a partir de la pluralidad de porciones de cuadro almacenadas.
Puede ser que el procesador de imágenes incluya un módulo de superresolución configurado para recuperar imágenes de interés almacenadas de la pila y para usar un desplazamiento de fracción de la región de interés en imágenes sucesivas para crear una imagen con superresolución a partir de una pluralidad de imágenes.
Puede ser que el procesador de imágenes incluya un capturador de cuadros configurado para obtener la imagen del generador de imágenes. Puede ser que el procesador de imágenes incluya un módulo de extracción de la región de interés, al cual el capturador de cuadros proporciona la imagen obtenida.
Puede ser que el aparato de procesamiento de imágenes incluya una interfaz gráfica de usuario para que un usuario defina la región de interés.
Puede ser que el procesador de imágenes incluya una calculadora de desplazamiento configurada para proporcionar información sobre un desplazamiento de la región de interés en imágenes sucesivas.
Puede ser que el procesador de imágenes incluya un correlacionador cruzado.
Puede ser que el procesador de imágenes incluya un módulo de superresolución configurado para usar un desplazamiento de fracción de la región de interés, por ejemplo en imágenes sucesivas, para crear una imagen con superresolución a partir de una pluralidad de imágenes.
Puede ser que el procesador de imágenes incluya un módulo de eliminación de resolución configurado para calcular una imagen con resolución eliminada y pasarla a un correlacionador cruzado.
Puede ser que la salida del correlacionador cruzado se pase a la calculadora de desplazamiento.
Un tercer aspecto de la invención proporciona un producto de programa informático configurado para hacer que, cuando se ejecute el programa informático, el aparato de procesamiento de datos:
(i) reciba una pluralidad de imágenes de un objeto de destino;
(ii) calcule una imagen con superresolución del objeto de destino a partir de la pluralidad de imágenes; y (iii) obtenga una imagen adicional del objeto de destino,
caracterizado porque el producto de programa informático está configurado además para hacer que el aparato de procesamiento de datos:
(iv) elimine la resolución de la imagen con superresolución;
(v) correlacione la imagen adicional de menor calidad con la imagen con resolución eliminada; y
(vi) utilice la correlación para identificar la ubicación del objeto de destino en la imagen adicional,
por lo que pueden conservarse una o más ventajas resultantes del cálculo de la imagen con superresolución de mayor calidad (555), tal como la reducción de errores en la ubicación del objeto de destino o la reducción del ruido de la imagen, para identificar mejor la ubicación del objetivo objeto en la imagen adicional de menor calidad.
Breve descripción de las figuras
Las realizaciones ejemplares de la invención se describirán ahora, a manera de ejemplo, solamente con referencia a los dibujos esquemáticos acompañantes, en los cuales:
La Figura 1 es una representación de (a) cuatro píxeles de baja resolución y (b) los correspondientes cuatro por dieciséis píxeles de alta resolución;
La Figura 2 es una representación de dos imágenes de baja resolución y su combinación;
La Figura 3 es una ilustración del desenfoque que surge de la superresolución;
La Figura 4 es un diagrama de bloques que muestra los componentes de un aparato de acuerdo con (a) una primera realización ilustrativa de la invención y (b) una segunda realización ilustrativa de la invención;
La Figura 5 es un diagrama de flujo que muestra las etapas de un procedimiento de acuerdo con (a) la primera realización ilustrativa de la invención y (b) la segunda realización ilustrativa de la invención;
La Figura 6 es una representación de una pila que contiene cuatro porciones de cuadro; y
La Figura 7 es una representación de un procedimiento de acuerdo con una realización ilustrativa de la invención, para un píxel de baja resolución correspondiente a una matriz 4x4 de píxeles de alta resolución, y para un tamaño de pila de 20, con los números en cada píxel de alta resolución que indican los números de cuadro que tienen un desplazamiento de fase correspondiente a ese píxel de alta resolución.
Descripción detallada
Las realizaciones de la presente invención descritas a continuación se refieren a procedimientos mejorados de seguimiento de un objeto utilizando superresolución. Como se describirá con más detalle a continuación, una imagen (sin superresolución) de una escena se correlaciona con una imagen con superresolución de la escena para identificar la ubicación de un objeto de destino en la imagen (sin superresolución). Se apreciará que la imagen con
superresolución tendrá características diferentes de la imagen sin superresolución que permitirán una mejor identificación (por ejemplo, más fiable) de la ubicación del objeto de destino. La imagen con superresolución tendrá características diferentes de la imagen sin superresolución y normalmente será de mayor calidad, por ejemplo. La calidad de la imagen con superresolución será mejor en el sentido de que tenga características que permitan un mejor seguimiento del objeto de destino; la imagen con superresolución normalmente tendrá características tales como una resolución efectiva más alta, menor ruido y más información que la imagen sin superresolución, normalmente de menor calidad correspondiente. La calidad de la imagen con superresolución puede ser mayor en estas formas sin necesariamente mirar (al ojo humano si se convierte en una representación visible de la imagen) como una mejor representación de la escena que se ve.
Los algoritmos de superresolución han estado en la literatura abierta durante varios años, pero son lentos. En las realizaciones ilustrativas de la presente invención, se proporciona una superresolución continua de una región de interés (ROI) dentro de una imagen en tiempo real.
Una implementación directa y no en tiempo real de superresolución toma como su entrada una pila de imágenes de baja resolución y proporciona como salida una única imagen de mayor resolución. Para lograrlo, se llevan a cabo tres etapas principales de procesamiento secuencialmente, específicamente, el registro, la suma y el desenfoque.
En muchas aplicaciones, tales como la astronomía, donde solo se requiere una única imagen fija de una pila de imágenes históricas, se han desarrollado algoritmos muy exigentes desde el punto de vista computacional para generar la mejor imagen con superresolución posible. Por el contrario, en las realizaciones ilustrativas de la invención, no se busca la mejor imagen con superresolución posible, sino más bien una imagen que sea 'suficientemente buena' y que se pueda construir en el tiempo disponible (por ejemplo, milisegundos), en el hardware disponible (por ejemplo, procesadores integrados). En las realizaciones ilustrativas de la presente invención, se proporciona una superresolución continua de una región de interés (ROI) dentro de una imagen en tiempo real.
Un buscador de misiles típico tendrá una matriz de sensores de al menos 320x240 píxeles y, por varias razones, no es realista intentar realizar la superresolución de toda la escena. Una razón es la potencia de procesamiento y los requisitos de memoria: simplemente hay demasiados píxeles para llevar a cabo una súper resolución en un tiempo razonable, incluso con un procesador potente. Otra razón es que, si el movimiento del objetivo y el movimiento del fondo son diferentes, no será posible realizar la superresolución de ambos y, en un escenario típico donde el objetivo es pequeño, hacerlo daría como resultado una imagen en la que el fondo estuviera con superresolución pero el objetivo estuviera manchado, lo que sería peor que la imagen original. En cambio, es conveniente realizar la superresolución de un pequeño parche de la imagen denotado como una región de interés (ROI).
El procedimiento de acuerdo con una primera realización ilustrativa reduce en gran medida la potencia de procesamiento y la memoria necesarias para construir la imagen de superresolución. Este procedimiento funciona con la nueva ROI y la imagen de superresolución actual, que se ha calculado en una iteración anterior del procedimiento. En cada etapa de tiempo, la nueva ROI se registra con una precisión de subpíxeles con la versión con resolución eliminada de la imagen de superresolución actual. La imagen de superresolución actual se degrada posteriormente por un factor predeterminado y se agrega la nueva imagen de ROI; el valor del factor de degradación dicta cuántos cuadros incluye una ROI en la superresolución antes de que su contribución sea insignificante.
En la superresolución de una ROI, la ROI de la imagen capturada más recientemente se combina con la imagen con superresolución calculada en la pasada anterior del procedimiento. Por lo tanto, la imagen con superresolución se actualiza, en cada etapa del procedimiento, con la última ROI. El peso dado en el cálculo de la imagen con superresolución a la ROI de cada paso del procedimiento se reduce a medida que la ROI envejece; es decir, a las ROI anteriores se les da menos peso en el cálculo que a las ROI posteriores.
En una segunda realización ilustrativa de la invención, se construye una pila de imágenes y cada imagen dentro de la pila contiene el objetivo de interés. Luego, la pila de imágenes se procesa para construir la imagen con superresolución. Cuando se proporciona con una secuencia de imágenes, se define un objetivo en el primer cuadro (ya sea por un operador o por algún algoritmo de flujo ascendente) y una región de interés alrededor de este objetivo se extrae y se agrega a la posición uno de la pila de imágenes. En esta etapa, la superresolución de la pila de imágenes (con una sola imagen) produce simplemente la imagen original.
En ambas realizaciones ilustrativas, en los cuadros posteriores, se realiza un seguimiento del objetivo designado y se extraen más ROI. Se da seguimiento al objetivo mediante correlación cruzada utilizando una versión con resolución eliminada de la imagen de superresolución actual. La versión con resolución eliminada de la imagen de superresolución (SR) es una predicción de cómo debería verse la imagen con la resolución base del sensor. Es inherentemente muy estable y contiene menos ruido que cualquiera de las imágenes aisladas debido a que el ruido ha sido promediado por el procedimiento SR. Además, el procedimiento SR puede reutilizar varios de los cálculos realizados para realizar el seguimiento de esta manera para reducir la carga de cálculo.
Cuando se proporciona una secuencia de imágenes, se define un objetivo en el primer cuadro (ya sea por un operador o por algún algoritmo de flujo ascendente) y se extrae una región de interés alrededor de este objetivo. En esta etapa, la superresolución de la ROI produce simplemente la ROI original.
Cuando se proporciona un nuevo cuadro, se extrae un parche de imagen en la ubicación aproximada de la ROI. Suponiendo que el movimiento del objetivo dentro del campo de visión es pequeño, esta puede ser simplemente la posición de ROI del cuadro anterior; si ese no es el caso, se puede utilizar un seguidor más sofisticado para generar la posición aproximada de la ROI. Este parche de imagen se registra con una precisión de subpíxeles con la versión con resolución eliminada de la imagen Sr actual. La parte del número entero del desplazamiento calculado se utiliza para desplazar la ventana de extracción dentro del campo de visión y se extrae la nueva ROI objetivo, de modo que solo existe un desplazamiento fraccionado. Esta parte fraccionada del desplazamiento se propaga al algoritmo SR para proporcionar el movimiento de subpíxeles requerido por el algoritmo.
En el primer procedimiento ilustrativo, en el cuadro dos, la ROI extraída se combina con la ROI del cuadro uno en el algoritmo de superresolución, con la ROI del cuadro uno dado un peso menor que la ROI del cuadro dos. Pasando al tercer cuadro, la ROI se combina con la imagen con superresolución calculada a partir del primer y segundo cuadros, con la imagen con superresolución dado un peso menor que la ROI, y así sucesivamente. La imagen SR continuará actualizándose a medida que se proporcionen más ROI. Sin embargo, la contribución de cada ROI a la imagen de superresolución es limitada, para evitar una gran diferencia de tiempo entre la ROI más nueva y la más antigua (lo que aumenta la posibilidad de que se produzca una distorsión de la imagen, por ejemplo, un cambio de perspectiva, que no está modelado por el algoritmo SR en este ejemplo).
en
Por tanto, en este ejemplo, el valor del píxel en (x, y) en la porción de cuadro de imagen con superresolución calculada en la enésima iteración del procedimiento es:
en
donde x-y es el píxel (x, y) de la porción de cuadro actual (es decir, enésima iteración) y a es un factor de
degradación constante, donde 0 < a <1, y 5 x 1 -v - F1 Se verá que como a tiende al número uno, la porción de cuadro actual contribuye menos a la porción de cuadro con superresolución actualizada, mientras que a medida que a tiende a cero, las porciones de cuadro anteriores (y por tanto las porciones de cuadro con superresolución) contribuyen menos a la porción de cuadro con superresolución actualizada. Por lo tanto, entre estos dos extremos el valor de a dicta la proporción de contribución relativa a la porción de cuadro con superresolución actualizada, entre las porciones de cuadro actual y las porciones de cuadro anterior.
Los registros de imágenes calculados previamente no necesitan ajustarse, ya que ya están incorporados en la imagen SR actual. Después de este procedimiento, el cálculo de superresolución solo utiliza las ROI que difieren en una fracción de píxel, ya que el desplazamiento de píxeles de números enteros se ha tenido en cuenta en el procedimiento de extracción. La primera etapa tradicional del procesamiento de superresolución es calcular el registro de todas las imágenes en una sola imagen maestra, pero en este procedimiento ilustrativo eso ya se ha calculado, por lo que no se repite; en cambio, es una entrada a la función principal de procesamiento de superresolución, que calcula la suma de la ROI actual y la ROI con superresolución anterior, y lleva a cabo el desenfoque.
El procedimiento de suma comprende ampliar los píxeles de ROI por el factor de escala de superresolución y calcular, para la ROI ampliada y la imagen con superresolución anterior, un promedio para cada píxel, teniendo en cuenta el desplazamiento de subpíxeles. Esta etapa da como resultado una imagen de superresolución desenfocada.
En el segundo procedimiento ilustrativo, en el cuadro dos, la ROI extraída se agrega a la posición dos de la pila de imágenes y la superresolución se lleva a cabo en el par de imágenes. Pasando al tercer cuadro, la ROI se agrega a la posición tres de la pila y así sucesivamente hasta que la pila de imágenes esté completamente llena. La imagen SR continuará refinándose a medida que se agreguen más imágenes a la pila. Sin embargo, la pila es de tamaño finito, debido a que la carga computacional aumenta cuanto más grande es, y también debido a que una pila grande implica una gran diferencia de tiempo entre la ROI más nueva y la más antigua (lo que aumenta la posibilidad de que se produzca una distorsión de la imagen, por ejemplo, un cambio de perspectiva, que no está modelado por el algoritmo SR en este ejemplo).
Una vez que la pila de imágenes está completamente llena, las imágenes posteriores se agregan a la pila eliminando la ROI más antigua e insertando la nueva. Los registros de imágenes calculados previamente no necesitan ajustarse, ya que todos se calculan con referencia a la imagen SR. Esto da como resultado que la pila de imágenes sea una ventana deslizante de ROI, representada en la Figura 10, en la que el cuadro más superior 700 de cada pila 1-9 representa el nuevo cuadro (actual), los cuadros inferiores 1, 2, 3 y 4 720 en las pilas 6 a 9 representan los cuadros descartados (pasados), y los otros cuadros 710 representan los cuadros almacenados en las pilas de iteraciones anteriores (los cuadros inferiores 1, 2 y 3 en las pilas 2, 3 y 4 respectivamente, y los cuatro cuadros siguientes debajo del cuadro más superior en las pilas 5-9).
Después de este procedimiento, la pila de imágenes solo contiene las ROI que difieren en una fracción de píxel, ya que el desplazamiento de píxeles de números enteros se ha tenido en cuenta en el procedimiento de extracción. La primera etapa tradicional del procesamiento de superresolución es calcular el registro de todas las imágenes en una sola imagen maestra, pero en este procedimiento ilustrativo eso ya se ha calculado, por lo que no se repite; en cambio, es una entrada para la función principal de procesamiento de superresolución que ahora solo calcula la suma de la imagen y realiza el desenfoque.
El procedimiento de suma comprende primero promediar todas las imágenes que son de la misma fase (es decir, tienen el mismo desplazamiento fraccionado) y luego ampliar esas imágenes promedio de cada fase por el factor de escala de superresolución y promediar píxeles en todas las fases, teniendo en cuenta los desplazamientos de subpíxeles. Esta etapa da como resultado una imagen de superresolución desenfocada. El procesamiento en esta etapa del algoritmo se puede reducir considerablemente al observar que una gran parte del cálculo se repite en cada cuadro y, por lo tanto, los resultados se pueden guardar y reutilizar en lugar de volver a calcular. Para cada nueva imagen se cambian un máximo de dos fases: la fase que contiene la imagen que se elimina de la pila y la fase que contiene la imagen que se agrega a la pila. Todas las demás fases siguen siendo las mismas, por lo que no es necesario volver a calcularlas.
Ahora se da un ejemplo para describir este procedimiento (Figura 7) para un factor de aumento de superresolución de cuatro, en el que cada píxel de baja resolución se subdivide en una cuadrícula de 4x4, lo que da como resultado un total de 16 fases diferentes, para un tamaño de pila de 20. La matriz de la Figura 7 (a) proporciona un mapa de cobertura ilustrativo de 20 cuadros de imagen. Si cada imagen se desplaza por el desplazamiento de fase calculado, la imagen de superresolución en este ejemplo se construye como:
donde Isr es la intensidad del píxel de superresolución, e ln es la intensidad del enésimo cuadro de la imagen en la pila.
Si, para el siguiente cuadro (Figura 7 (b), la imagen 1 se quita de la pila y la imagen 21 se agrega en la misma fase que la imagen 10, la nueva imagen de superresolución se construye como:
(Note el cambio en el 1ro y 8vo términos de la suma.)
Si, para el siguiente cuadro, Figura 7 (c), se elimina la imagen 2 y se agrega la imagen 22 en la fase entre las imágenes 14 y 17, la nueva imagen de superresolución se construye como:
_ i ( A
í _
+As , A
A j 8 A •.’
Í3 l 2 T / i15T A •« A
- » A 122 ~ y / 20 T + A * +A«
- 18 t í / 13 An 7.
~21
(Note el cambio en el 9no término, la introducción de la I22 término, y el cambio en el denominador del multiplicador fuera del paréntesis.)
(En cada una de las dos ecuaciones anteriores, la diferencia con el cuadro anterior se enfatiza por medio de una fuente un poco más grande en negrita-cursiva). Para cada actualización, las dos fases que se cambian se eliminan, se vuelven a calcular y luego se vuelven a agregar en. Por lo tanto, actualizar la imagen sumada con un nuevo cuadro implica: (i) eliminar la trama más antigua de su correspondiente media de fase; (ii) agregar el nuevo cuadro a su correspondiente media de fase, y (iii) actualizar la media de las fases con las dos fases modificadas.
En ambos procedimientos de ejemplo, con la imagen sumada calculada, ahora se puede llevar a cabo el desenfoque, para eliminar el desenfoque inherente al procedimiento de superresolución, y también cualquier desenfoque adicional incurrido en el procedimiento de captura de la imagen. El procedimiento de eliminación de
borrosidad utilizado en este ejemplo es un procedimiento bayesiano máximo a posteriori (MAP), que es un procedimiento iterativo. Cada iteración del algoritmo de eliminación de borrosidad es computacionalmente costosa y, por lo tanto, para aplicaciones en tiempo real, no es factible iterar hasta la convergencia y, en cambio, solo se calcula un número fijo de iteraciones. El algoritmo de desenfoque se describe a menudo en la literatura en notación lexicográfica, en la que las imágenes se expresan como vectores de columna, lo que permite una fácil exposición de las fórmulas involucradas; sin embargo, escribir software de esta manera da como resultado matrices muy grandes (pero escasas). Se descubrió que esta forma era intratable para uso en tiempo real y, por lo tanto, todas las operaciones se llevan a cabo dentro del dominio de la imagen (es decir, una operación de desenfoque es una convolución en lugar de una multiplicación de matrices).
La producción resultante de imágenes de superresolución en tiempo real permite un rendimiento mejorado de, por ejemplo, un sensor electroóptico, lo que permite reducir el costo, el peso y el riesgo de desarrollo. El sistema puede presentar imágenes mejoradas, por ejemplo, a un operador en el bucle o a algoritmos posteriores.
Los aspectos de las realizaciones ilustrativas de la invención se discutirán ahora con más detalle.
La primera parte de la mayoría de los algoritmos de superresolución (SR) es el registro de imágenes, en el que se registran entre sí varias imágenes de baja resolución (LR). Hay varias formas de calcular el desplazamiento de traslación entre un par de imágenes. La correlación en el dominio espacial es un procedimiento robusto pero relativamente lento de implementar, especialmente para imágenes grandes. Un procedimiento mucho más rápido, pero no tan robusto para imágenes pequeñas, es la correlación de fase en el dominio de frecuencia. En un procedimiento iterativo adicional, el resultado de uno de los dos procedimientos anteriores se usa como una suposición inicial para construir una imagen SR estimada y el registro se repite para producir la imagen SR óptima.
Como se describió anteriormente, después del cálculo de los desplazamientos de píxeles necesarios para el registro de imágenes, se suman la última rOi y la última imagen con superresolución (en la primera realización) o las múltiples imágenes LR (en la segunda realización). La imagen LR ROI se escala a la densidad de píxeles deseada para SR, utilizando la interpolación del vecino más cercano. La imagen de ROI aumentada y la última imagen con superresolución (en la primera realización) o las imágenes mejoradas de la pila (en la segunda realización) se apilan una encima de la otra en la ubicación correcta utilizando los desplazamientos de píxeles calculados previamente. A continuación, se toma la media de todos los valores de píxel LR para cada píxel SR, generando una única imagen SR. Ese procedimiento genera una imagen que está desenfocada, incluso si todos los parámetros de registro se conocen con exactitud, por lo que el etapa final del procedimiento de superresolución es eliminar el brillo de la imagen de valor medio.
Por lo tanto, el primer etapa de un algoritmo de superresolución, pero una etapa que se menciona escasamente en la literatura de superresolución, es registrar una secuencia de imágenes de baja resolución entre sí con una precisión de subpíxeles. A continuación, se describen tres procedimientos de ejemplo diferentes para alinear las imágenes. Todos estos procedimientos de ejemplo asumen que el único movimiento entre imágenes es el movimiento de traslación, sin tener en cuenta otros tipos de movimiento, como la rotación y el cambio de escala; que obliga a cada vector de transformación a contener dos elementos, indicativos de una traslación horizontal y una vertical. Dicho movimiento de traslación podría producirse, por ejemplo, como resultado de la fluctuación en la lente de la cámara, provocada, por ejemplo, por una cámara que viaja en un vehículo o avión en movimiento, o por el movimiento del objetivo dentro de la escena. En el caso de una cámara fija con movimiento del objetivo dentro de la escena, la imagen se recorta muy cerca del objetivo para que los algoritmos de registro de imágenes no sean engañados por el fondo fijo.
Puede ser que la pluralidad de imágenes del objeto de destino se obtenga de una única plataforma. La plataforma puede tener, por ejemplo, la forma de un vehículo. La plataforma puede tener, por ejemplo, la forma de un buscador de misiles. Puede usarse un solo generador de imágenes para obtener la pluralidad de imágenes y la imagen adicional. Puede ser que el procedimiento se use para dar seguimiento a un objeto de destino que se mueve rápidamente dentro de una escena. El objeto de destino puede, por ejemplo, tener una velocidad, relativa a la escena, de más de 30 ms-1 y posiblemente más de 100 ms-1. Puede ser que las imágenes obtenidas sean lo suficientemente grandes (por ejemplo, suficientemente gran angular) en comparación con el tamaño del objeto de destino en la imagen, para dar seguimiento a el objeto dentro de imágenes sucesivas, durante el tiempo requerido por la aplicación particular a la que el procedimiento se pone, sin necesidad de paneo. Puede ser que, al menos para parte de la ejecución del procedimiento, al menos algunas de las imágenes se obtengan mediante un único generador de imágenes que se desplaza para retener el objeto de destino dentro del campo de visión del generador de imágenes.
En estos ejemplos, todas las imágenes se registran con relación a la primera imagen de la secuencia. Con esta opción, el vector de transformación inicial es igual a cero y todos los vectores de transformación posteriores contienen el desplazamiento horizontal y vertical de la imagen actual de la imagen 1. Este cuadro se utiliza en las descripciones de los diferentes procedimientos a continuación, en los que se supone que solo dos imágenes, la imagen 1 y la imagen 2 , deben registrarse juntas; a continuación, el procedimiento de registro se repite para cada imagen posterior.
La correlación en el dominio espacial es un procedimiento computacional intuitivo y robusto, aunque relativamente lento, para el registro de imágenes. En este procedimiento, las dos imágenes se superponen una encima de la otra en diferentes desplazamientos de píxeles enteros y la correlación se lleva a cabo en la región de superposición. En esta realización ilustrativa, la correlación se calcula a partir del valor absoluto de la diferencia entre cada par de píxeles: la media de esos valores, tomada en toda la región, da una medida de qué tan bien se alinean las dos imágenes (se apreciará que diferentes técnicas de correlación, tales como procedimientos de "diferencia al cuadrado" podrían usarse en realizaciones alternativas). Con una superposición perfecta, la diferencia media de píxeles desaparece y, por tanto, cuanto menor sea esta medida, mejor será la alineación. El procedimiento continúa en todos los desplazamientos de píxeles enteros dentro de una superposición predefinida, para construir una superficie de correlación. La superposición predefinida puede hacerse más grande para aumentar la velocidad de cálculo o reducirse para permitir que se tenga en cuenta un movimiento mayor; por ejemplo, podría elegirse un valor del 66%, es decir, se supone que una imagen se ha traducido en menos de un tercio de su ancho o alto.
Una vez completada la superficie de correlación, el desplazamiento de píxeles de números enteros de la imagen 2 de la imagen 1 puede calcularse encontrando la ubicación del valor mínimo de la matriz. Para ampliar esta estimación para incluir desplazamientos de subpíxeles, consideramos la superficie de correlación sobre este mínimo. Al ajustar una función cuadrática a través de los valores del punto mínimo y los dos puntos adyacentes a él, arriba y abajo, y luego encontrando la ubicación del mínimo de esta función, se obtiene una estimación del desplazamiento vertical del subpíxel; repetir de manera similar en la dirección horizontal proporciona una posición completa de subpíxeles. (Este procedimiento ilustrativo supone que no hay acoplamiento entre las direcciones vertical y horizontal).
Un procedimiento alternativo muy rápido (y robusto para imágenes grandes) para determinar el registro de dos imágenes es realizar una correlación de fase en el dominio de frecuencia. Este es un procedimiento bien probado para calcular desplazamientos de píxeles enteros que se ha ampliado recientemente para incorporar desplazamientos de subpíxeles.
Si se sabe que dos imágenes son idénticas excepto por una traducción, es posible escribir una en función de las coordenadas que se desplazan en una cantidad fija con respecto a las coordenadas de la otra. La matriz de correlación de fase se define como el espectro de potencia cruzada normalizado entre las transformadas de Fourier de esas funciones cuando así se escribe. Al tomar la transformada de Fourier inversa de la matriz de correlación de fase se obtiene una función delta centrada en la traducción y, por lo tanto, se obtiene la traducción en sí.
Normalmente, en el caso del desplazamiento de píxeles de números enteros, el procedimiento de correlación de fase proporciona un pico mucho más fuerte y más detectable que el obtenido mediante la correlación espacial; sin embargo, cuando se trata de desplazamientos de píxeles fraccionarios, el pico de la función delta se extiende por varios píxeles, lo que hace que la determinación del desplazamiento sea inexacta.
Un procedimiento para superar este problema es sobremuestrear las imágenes a una resolución más alta antes de realizar la correlación de fase; sin embargo, esto aumentará drásticamente la carga computacional. El enfoque adoptado en este ejemplo es resolver el problema en el dominio de frecuencia y, por lo tanto, eliminar la necesidad de calcular una transformada de Fourier inversa. En el dominio de frecuencia, la única variable relevante es el desplazamiento de fase, que contiene los dos parámetros desconocidos de la traducción. El cambio de fase, cuando se desenvuelve de la envoltura inherente 2*pi, forma un plano que pasa por el origen y, por lo tanto, desde este plano se pueden determinar los valores de los parámetros de la traslación.
Un tercer enfoque consiste en llevar a cabo el registro de imágenes al mismo tiempo que se optimiza la imagen de superresolución con un procedimiento iterativo. Suponiendo un registro inicial, que podría ser simplemente que cada imagen tiene un desplazamiento cero, o utilizando uno de los procedimientos anteriores para proporcionar una estimación preliminar, se construye una imagen de superresolución inicial utilizando el procedimiento de apilamiento descrito a continuación. A partir de esta estimación de la escena del mundo real, se puede aplicar el modelo de observación, sin ruido ni términos borrosos, para aproximar las imágenes LR originales. Esto equivale a realizar un promedio sobre bloques de píxeles de alta resolución (HR) para estimar los valores de los píxeles LR. Estas imágenes LR estimadas se pueden comparar con las imágenes LR originales y se puede ajustar el registro hasta que se minimice alguna medida de costo.
Después de generar una estimación del registro de la imagen, se puede construir una primera aproximación a una imagen de superresolución apilando la ROI actual sobre la última imagen con superresolución (en el primer procedimiento ilustrativo) o las imágenes de la pila (en el segundo procedimiento ilustrativo), uno encima del otro, teniendo en cuenta los desplazamientos de píxeles relevantes. Se elige un factor de mejora de la resolución para que sea un número entero metro, mayor que la unidad, y cada píxel LR se divide en mxm píxeles HR, que equivale a la ampliación de la imagen en un factor de metro utilizando la interpolación del vecino más cercano. La Figura 1 muestra un ejemplo de ese procedimiento, con m=4. La Figura 1 (a) muestra una cuadrícula de 2x2 ejemplar de píxeles de baja resolución. La Figura 1 (b) muestra la cuadrícula de 8x8 correspondiente de píxeles de alta resolución, siguiendo la interpolación del vecino más cercano. El valor de cada píxel de la cuadrícula LR se asigna a un bloque de píxeles de 4x4 de la cuadrícula HR.
El desplazamiento de traslación se ha calculado en la escala LR y, por lo tanto, también debe multiplicarse por metro para escalarlo a la cuadrícula HR. Luego se redondea al número entero más cercano, lo que produce un nuevo vector de desplazamiento. (En el caso de un desplazamiento de número no entero, es posible realizar la interpolación de la imagen al píxel entero más cercano; sin embargo, eso tiene la desventaja de que puede introducir información que no estaba presente en la escena original).
La imagen LR aumentada es posteriormente traducida por el vector de desplazamiento de traducción relevante. Como ejemplo, la Figura 2 muestra dos cuadrículas HR de 8x8 combinadas después de la traslación de la segunda cuadrícula con respecto a la primera por dos columnas de píxeles a lo ancho y una fila hacia abajo. Como se puede observar en la Figura 2, la región de superposición entre imágenes es más pequeña que cada imagen LR en sí y, por lo tanto, no se obtiene información adicional con el propósito de superresolución en toda la imagen. Por lo tanto, se elige cómo se tratan las regiones de límite en el algoritmo SR, con opciones que comprenden:
• Tomar solo la región de la imagen HR en la que se superponen todas las imágenes LR; con un número sustancial de imágenes LR y un amplio desplazamiento de traslación, esto podría resultar en una imagen con una cobertura considerablemente menor que las imágenes originales;
• Tomar todos los píxeles, incluidas todas las regiones de límites, esto podría resultar en una imagen mucho más grande que la imagen original; o
• Tomar solo los píxeles de la imagen original (es decir, la primera imagen)
En todo el trabajo que sigue, se elige la tercera opción, tomar solo los píxeles que están presentes en la imagen original. La imagen HR en este caso tiene píxeles alrededor del límite que no tienen píxeles contribuyentes de todas las imágenes LR y también se descarta la información de los píxeles lR que quedan fuera de la imagen original. Sin embargo, este procedimiento permite que la imagen con superresolución sea de tamaño conocido, independientemente de los desplazamientos de traslación, y permite una fácil comparación con las imágenes LR.
La imagen de superresolución se forma simplemente promediando los píxeles HR en cada ubicación (en el segundo procedimiento ilustrativo, teniendo en cuenta cuántas de las imágenes LR contribuyen a cada píxel). La imagen de superresolución resultante es una representación desenfocada de la escena del mundo real, resultante del desenfoque del sistema óptico y la turbulencia atmosférica, pero también del desenfoque inherente al procedimiento de superresolución de apilamiento simple, como se muestra en la Figura 3. En la Figura 3, un solo píxel en la ubicación (3, 3) en una cuadrícula (de alta resolución) de 7x7 se muestra hacia abajo en un factor de escala de dos, produciendo cuatro imágenes de baja resolución, cada una mostrada en una cuadrícula de muestra de 3x3. El procedimiento de muestreo descendente toma un parche de 2x2 de la imagen de HR y promedia los valores para formar el valor de píxel LR. Las cuatro muestras correspondientes a los desplazamientos de (0,0) (es decir, sin desplazamiento), (1,0) (es decir, el desplazamiento por una fila, (0,1 ) (es decir, el desplazamiento por una columna) y (1,1), es decir desplazamiento por una fila y una columna. Esos son todos posibles desplazamientos de subpíxeles, ya que cualquier desplazamiento adicional da como resultado un desplazamiento de número entero en la cuadrícula de baja resolución y, por lo tanto, no hay información adicional para ayudar a la superresolución. En las cuatro muestras de 3x3, el píxel se encuentra en la ubicación (2,2), (2,1), (1,2) y (1,1), respectivamente. La aplicación de la técnica de apilamiento simple de superresolución ubica con precisión el píxel en su ubicación (3, 3) en la cuadrícula de 7x7, pero la imagen del píxel se extiende en los nueve píxeles inmediatamente adyacentes a esa ubicación. Si se considera que el píxel original tiene un valor de intensidad de 16, el procedimiento de muestreo y desenfoque de superresolución se puede entender de la siguiente manera:
El desenfoque se reduce o elimina mediante la aplicación de algoritmos de desenfoque tradicionales, como un filtro de Wiener, el algoritmo de Lucy-Richardson o la deconvolución ciega, utilizando la función de dispersión de puntos de la superresolución de apilamiento simple.
La primera realización ilustrativa de la invención se describirá ahora con más detalle (Figura 4(a)). Un generador de imágenes 410, por ejemplo, una señal de imagen alimentada desde una cámara digital montada en un vehículo aéreo, proporciona un flujo de imágenes. Las imágenes respectivas de ese flujo son extraídas por un capturador de
cuadros 420 y proporcionadas a un módulo de extracción de Región de Interés 430. En una primera pasada del procedimiento, el módulo de extracción de ROI 430 interactúa con un usuario, a través de una interfaz gráfica de usuario 440, para definir una región de interés. En pasadas subsiguientes, la región de interés se identifica usando información de desplazamiento de números enteros proporcionada por una calculadora de desplazamiento 450. El extractor de ROI 430 proporciona la ROI a un módulo de superresolución 480, que, al utilizar la ROI, la información de desplazamiento fraccionado de la calculadora de desplazamiento 450 y una imagen actual con superresolución (calculada en la pasada anterior del procedimiento), calcula una actualización imagen con superresolución. La imagen con superresolución actualizada se presenta en una pantalla 490 a un usuario. La imagen también se pasa a un módulo de eliminación de resolución 500, que a su vez pasa una imagen con resolución eliminada al correlacionador cruzado 460. La salida del correlacionador cruzado 460 se pasa al calculador de desplazamiento 450.
El primer procedimiento ilustrativo se describirá ahora con más detalle, con referencia a la Figura 5 (a). Un cuadro de imagen es cargado (etapa 510) por el capturador de cuadros 420 desde el generador de imágenes 410. El cuadro de la imagen tiene la forma de una matriz de píxeles. Si este es el primer paso del procedimiento (etapa de decisión 520), un usuario usa la GUI 440 para identificar la ubicación de un objeto de destino en el cuadro de la imagen. El usuario define en el cuadro de imagen una parte que es una región de interés que incluye el objeto de destino (etapa 530). Típicamente, la porción de cuadro serán los píxeles que componen el objeto de destino, junto con un pequeño borde que rodea el objeto de destino, proporcionando un margen en el cuadro, para permitir el movimiento futuro del objeto en los cuadros posteriores. Los píxeles correspondientes a la porción de cuadro identificada (es decir, la región de interés) son extraídos por el extractor de ROI 430 del cuadro. Como este es el primer paso del procedimiento, la región de interés se muestrea ascendentemente a la resolución de superresolución y se proporciona al módulo de superresolución 480 (etapa 650).
El módulo de superresolución 480 proporciona una imagen con superresolución degradada (etapa 540), ya que este es el primer paso del procedimiento, la imagen con superresolución degradada es simplemente la ROI de muestreo ascendente.
El módulo de superresolución 480 construye una imagen de superresolución (etapa 550); de nuevo, como este es el primer paso del procedimiento, la imagen de superresolución se relaciona directamente simplemente con la ROI muestreado ascendente.
La imagen con superresolución se envía a la pantalla 490 (etapa 560). Se calcula una imagen "con resolución eliminada" 575 (etapa 570), mediante un módulo de eliminación de resolución 500, a partir de la imagen "con superresolución", para su uso en pasadas posteriores; de nuevo, en la primera pasada, la imagen 575 "con resolución eliminada" es efectivamente idéntica a la primera porción de cuadro.
Una vez completada la primera pasada, el procedimiento comienza de nuevo para una segunda pasada.
Un segundo cuadro de imagen es cargado por el capturador de cuadros 420 (etapa 510). Se extrae una porción de cuadro de trabajo (etapa 580) del segundo cuadro de imagen mediante el extractor 430 de ROI. La porción de cuadro de trabajo se extrae de la ubicación aproximada del objeto de destino, en este ejemplo el mismo conjunto de ubicaciones de píxeles que se extrajeron para formar la primera porción de cuadro.
A continuación, la porción de cuadro de trabajo se correlaciona de forma cruzada (etapa 590), en el correlacionador cruzado 460, con la imagen con resolución eliminada producida por el módulo de eliminación de resolución 500 en la primera pasada del procedimiento. El desplazamiento en la posición del objetivo en la porción de cuadro de trabajo en comparación con la posición del objetivo en la imagen de primer paso con resolución eliminada es calculado por el calculador de desplazamiento 450 (etapa 600). Ese cambio de posición se descompone en un desplazamiento de un número entero de píxeles (es decir, un desplazamiento de número entero 610) y un desplazamiento de una fracción de un píxel (es decir, un desplazamiento fraccionado 620). El desplazamiento de número entero 610 se usa para definir una ubicación para una segunda porción de cuadro, es decir, la ubicación de la primera porción de cuadro se traslada por el desplazamiento de número entero 610 para dar la ubicación de una segunda porción de cuadro. Se extraen los píxeles que forman la segunda porción de cuadro, correspondiente a una región de interés reubicada (etapa 630).
Se construye una imagen con superresolución (etapa 550) mediante el módulo de construcción de superresolución 480 a partir de la imagen con superresolución calculada en el primer paso del procedimiento (que es simplemente la porción de cuadro almacenada en el primer paso) y el segundo cuadro parte. En el cálculo de la imagen con superresolución, la primera porción de cuadro se degrada (etapa 540) al reducir su ponderación; por lo tanto, la segunda porción de cuadro recibe una ponderación mayor que la primera porción de cuadro (es decir, Si,y = (1 - a)Fx.y aSly = (1 - ci)Fh + aFly). La imagen con superresolución se envía (etapa 560) a la pantalla 490 para un usuario. Se calcula una imagen con resolución eliminada 575 (etapa 570) a partir de la imagen con superresolución por el módulo de eliminación de resolución 500, y se utiliza en el correlacionador cruzado 460 (etapa 590) para determinar la ubicación de las porciones de cuadro posteriores.
En pasadas subsiguientes, se repite el procedimiento llevado a cabo en la segunda pasada, cada vez usando la ubicación de la porción de cuadro de la pasada anterior como la ubicación de la porción de cuadro de trabajo para la pasada actual, y usando la imagen 575 con resolución eliminada de la pasada anterior en el correlacionador cruzado 460 para determinar el cambio de posición del objetivo. Por tanto, se carga un cuadro de imagen adicional (etapa 510). Se extrae una porción de cuadro de trabajo del cuadro de imagen adicional (etapa 580). La porción de cuadro de trabajo se extrae de la ubicación aproximada del objeto de destino, en este ejemplo, el mismo conjunto de ubicaciones de píxeles que se extrajeron para formar la porción de cuadro anterior.
En el etapa 590, la porción de cuadro de trabajo se correlaciona de forma cruzada con la imagen 575 con resolución eliminada de la pasada anterior del procedimiento. De este modo se obtiene el cambio de posición del objetivo en la porción de cuadro de trabajo en comparación con la posición del objetivo en la imagen 575 con resolución eliminada. Ese cambio de posición se descompone (etapa 600) en un desplazamiento de un número entero de píxeles (es decir, un desplazamiento de número entero 610) y un desplazamiento de una fracción de un píxel (es decir, un desplazamiento fraccionado 620). El desplazamiento de número entero 610 se usa para definir una ubicación para una porción de cuadro adicional, es decir, la ubicación de la porción de cuadro anterior se traslada por el desplazamiento de número entero 610 para dar la ubicación de la porción de cuadro adicional. Se extraen los píxeles que forman la porción de cuadro adicional, correspondiente a una región reubicada de interés (etapa 630).
La imagen con superresolución calculada en la pasada anterior del procedimiento se degrada (etapa 540), al reducir la ponderación asociada con las porciones de cuadro generadas en cada una de las pasadas anteriores; por tanto, la ponderación dada a cada porción de cuadro se reduce progresivamente en cada pasada del procedimiento, de modo que las porciones del cuadro más antiguas tienen un peso menor que las porciones del cuadro más nuevas. Se construye una imagen con superresolución (etapa 550) a partir de la imagen con superresolución degradada y de la porción de cuadro actual, (^”,y= 1^ y ( ! - « ) • (an 2F¿y + - aFxy1 F£y) = an 1F^y + (1 - a) Xp=2 «ñ pF?,y como se discutió anteriormente) y enviar a un usuario (etapa 560). Se calcula una imagen 575 con resolución eliminada (etapa 570) a partir de la imagen con superresolución, y se usa en la correlación cruzada (etapa 590) para determinar la ubicación de las porciones de cuadro posteriores.
La segunda realización ilustrativa de la invención se describirá ahora con más detalle (Figura 4 (b)). Un generador de imágenes 410, por ejemplo, una señal de imagen alimentada desde una cámara digital montada en un vehículo aéreo, proporciona un flujo de imágenes. Las imágenes respectivas de ese flujo son extraídas por un capturador de cuadros 420 y proporcionadas a un módulo de extracción de región de interés 430. En una primera pasada del procedimiento, el módulo de extracción de ROI 430 interactúa con un usuario, a través de una interfaz gráfica de usuario 440, para definir una región de interés. En pasadas subsiguientes, la región de interés se identifica usando información de desplazamiento de números enteros proporcionada por una calculadora de desplazamiento 450. El extractor de ROI 430 suministra la ROI a un correlacionador cruzado 460 y también lo almacena en una pila 470. Un módulo de superresolución 480 recupera las ROI almacenadas de la pila 470 y, utilizando información de desplazamiento fraccionado de la calculadora de desplazamiento 450, crea una imagen de superresolución, que se presenta en una pantalla 490 a un usuario. La imagen también se pasa a un módulo de eliminación de resolución 500, que a su vez pasa una imagen con resolución eliminada al correlacionador cruzado 460. La salida del correlacionador cruzado 460 se pasa al calculador de desplazamiento 450.
El segundo procedimiento ilustrativo se describirá ahora con más detalle, con referencia a la Figura 5 (b). Un cuadro de imagen es cargado (etapa 510) por el capturador de cuadros 420 desde el generador de imágenes 410. El cuadro de la imagen tiene la forma de una matriz de píxeles. Si este es el primer paso del procedimiento (etapa de decisión 520), un usuario usa la GUI 440 para identificar la ubicación de un objeto de destino en el cuadro de la imagen. El usuario define en el cuadro de imagen una parte que es una región de interés que incluye el objeto de destino (etapa 530). Típicamente, la porción de cuadro serán los píxeles que componen el objeto de destino, junto con un pequeño borde que rodea el objeto de destino, proporcionando un margen en el cuadro, para permitir el movimiento futuro del objeto en los cuadros posteriores. Los píxeles correspondientes a la porción de cuadro identificada (es decir, la región de interés) son extraídos por el extractor de ROI 430 del cuadro y se almacenan para su procesamiento adicional, colocándolos al final de una pila de procesamiento de imágenes 470 (etapa 545).
Un módulo de superresolución 480 recupera las imágenes de la pila 470 y construye una imagen de superresolución (etapa 550). En la primera pasada del procedimiento, sólo se ha almacenado una porción de cuadro, y así en esta primera pasada la imagen "con superresolución" es de hecho idéntica a la primera porción de cuadro. La imagen con superresolución se envía a la pantalla 490 (etapa 560). Se calcula una imagen "con resolución eliminada" 575 (etapa 570), mediante un módulo de eliminación de resolución 500, a partir de la imagen "con superresolución", para su uso en pasadas posteriores; de nuevo, en la primera pasada, la imagen 575 "con resolución eliminada" es idéntica a la primera porción de cuadro.
Una vez completada la primera pasada, el procedimiento comienza de nuevo para una segunda pasada.
Un segundo cuadro de imagen es cargado por el capturador de cuadros 420 (etapa 510). Se extrae una porción de cuadro de trabajo (etapa 580) del segundo cuadro de imagen mediante el extractor 430 de ROI. La porción de cuadro de trabajo se extrae de la ubicación aproximada del objeto de destino, en este ejemplo el mismo conjunto de ubicaciones de píxeles que se extrajeron para formar la primera porción de cuadro.
A continuación, la porción de cuadro de trabajo se correlaciona de forma cruzada (etapa 590), en el correlacionador cruzado 460, con la imagen con resolución eliminada producida por el módulo de eliminación de resolución 500 en la primera pasada del procedimiento. El desplazamiento en la posición del objetivo en la porción de cuadro de trabajo en comparación con la posición del objetivo en la imagen de primer paso con resolución eliminada es calculado por el calculador de desplazamiento 450 (etapa 600). Ese cambio de posición se descompone en un desplazamiento de un número entero de píxeles (es decir, un desplazamiento de número entero 610) y un desplazamiento de una fracción de un píxel (es decir, un desplazamiento fraccionado 620). El desplazamiento de número entero 610 se usa para definir una ubicación para una segunda porción de cuadro, es decir, la ubicación de la primera porción de cuadro se traslada por el desplazamiento de número entero 610 para dar la ubicación de una segunda porción de cuadro. Se extraen los píxeles que forman la segunda porción de cuadro, correspondiente a una región de interés reubicada (etapa 630). Se evalúa si la pila 470 está llena (etapa de decisión 640); si no es así, los píxeles que forman la segunda porción de cuadro se añaden simplemente a la pila de procesamiento de imágenes 470 (etapa 545). Por tanto, se han almacenado dos porciones de cuadro en la pila 470, después de la segunda pasada del procedimiento.
El módulo de construcción de superresolución 480 construye una imagen de superresolución (etapa 550) a partir de las porciones de cuadro almacenadas en la pila 470, y se envía (etapa 560) a la pantalla 490 para un usuario. Se calcula una imagen con resolución eliminada 575 (etapa 570) a partir de la imagen con superresolución por el módulo de eliminación de resolución 500, y se utiliza en el correlacionador cruzado 460 (etapa 590) para determinar la ubicación de las porciones de cuadro posteriores.
En pasadas subsiguientes, se repite el procedimiento llevado a cabo en la segunda pasada, cada vez usando la ubicación de la porción de cuadro de la pasada anterior como la ubicación de la porción de cuadro de trabajo para la pasada actual, y usando la imagen 575 con resolución eliminada de la pasada anterior en el correlacionador cruzado 460 para determinar el cambio de posición del objetivo. Por tanto, se carga un cuadro de imagen adicional (etapa 510). Se extrae una porción de cuadro de trabajo del cuadro de imagen adicional (etapa 580). La porción de cuadro de trabajo se extrae de la ubicación aproximada del objeto de destino, en este ejemplo, el mismo conjunto de ubicaciones de píxeles que se extrajeron para formar la porción de cuadro anterior.
En el etapa 590, la porción de cuadro de trabajo se correlaciona de forma cruzada con la imagen 575 con resolución eliminada de la pasada anterior del procedimiento. De este modo se obtiene el cambio de posición del objetivo en la porción de cuadro de trabajo en comparación con la posición del objetivo en la imagen 575 con resolución eliminada. Ese cambio de posición se descompone (etapa 600) en un desplazamiento de un número entero de píxeles (es decir, un desplazamiento de número entero 610) y un desplazamiento de una fracción de un píxel (es decir, un desplazamiento fraccionado 620). El desplazamiento de número entero 610 se usa para definir una ubicación para una porción de cuadro adicional, es decir, la ubicación de la porción de cuadro anterior se traslada por el desplazamiento de número entero 610 para dar la ubicación de la porción de cuadro adicional. Se extraen los píxeles que forman la porción de cuadro adicional, correspondiente a una región reubicada de interés (etapa 630). Se evalúa si la pila 470 está llena (etapa de decisión 640); si no es así, los píxeles que forman la porción de cuadro adicional simplemente se añaden a la pila de procesamiento de imágenes 470 (etapa 545).
La pila 470 es de tamaño finito; en este ejemplo, puede almacenar 20 porciones de cuadro. Si la etapa de decisión 640 determina que la pila 470 está llena, se descarta la porción de cuadro más antigua de la pila 470 (etapa 655), antes de que se agregue la porción de cuadro adicional a la pila 470 (etapa 545).
Se construye una imagen con superresolución (etapa 550) a partir de las porciones de cuadro almacenadas en la pila 470, y se envía a un usuario (etapa 560). Se calcula una imagen 575 con resolución eliminada (etapa 570) a partir de la imagen con superresolución, y se usa en el etapa 590 de correlación cruzada para determinar la ubicación de las porciones de cuadro posteriores.
Se aplicó un procedimiento de acuerdo con una realización ilustrativa de la invención a secuencias infrarrojas de objetivos terrestres capturados usando una cámara CEDIP de onda larga enfriada. Cuando se carga el primer cuadro de la secuencia, mediante el capturador de cuadros 420, se solicita al usuario que seleccione en la g Ui 440 las esquinas superior izquierda e inferior derecha de una ventana que encierra el objetivo que se va a dar seguimiento a y realizar la superresolución de. Esta ventana es posteriormente recortada por el extractor de ROI 430 del cuadro, generando una primera imagen LR, y también se recorta del siguiente cuadro, generando el segundo cuadro LR, y estos dos cuadros se registran luego. Si hay más de un desplazamiento de píxeles de números enteros entre el primer y el segundo cuadros, la ventana de recorte para el segundo cuadro se mueve la cantidad de píxeles enteros y se recorta nuevamente para obtener una imagen LR en la que el objetivo solo se ha movido un desplazamiento de subpíxel en relación al cuadro inicial. Este procedimiento se repite para los cuadros siguientes para obtener una pila de imágenes LR en las que el objetivo solo tiene desplazamientos de subpíxeles de la imagen
original. El procedimiento se basa en que la velocidad de cuadros de la secuencia de video es mucho mayor que el movimiento del objetivo, de modo que el objetivo se captura completamente en cada ventana recortada para permitir que el registro funcione de manera confiable. El tamaño de la pila de imágenes (o búfer) que debe crearse es otro parámetro del problema y debería ser mayor si se buscan aumentos mayores. Una vez que la pila de imágenes está llena, cuando se mueve a un nuevo cuadro, la imagen más antigua de la pila se descarta y se reemplaza por una nueva ventana recortada y la superresolución se repite en la nueva pila de imágenes.
Mientras la presente invención se ha descrito e ilustrado con referencia a realizaciones particulares, se apreciará por los expertos en la técnica que la invención se presta en sí para muchas variaciones diferentes no ilustradas específicamente en la presente descripción. A manera de ejemplo solamente, ciertas variaciones posibles se describirán ahora.
En la realización ilustrativa descrita anteriormente, el objetivo es identificado en el cuadro de la imagen por un usuario, y el usuario define la región de interés para la cual se extrae la parte de la imagen. En las realizaciones alternativas, una o ambas operaciones están automatizadas. Por ejemplo, el objetivo puede identificarse en el cuadro de la imagen mediante un algoritmo de reconocimiento de objetivos. De manera similar, la región de interés, y por lo tanto la porción de cuadro extraída, que comprende el objeto de destino, puede ser definida por un ordenador alrededor del objeto de destino una vez que se ha identificado la ubicación del propio objeto de destino, ya sea automáticamente o por un usuario. En otra realización ilustrativa, un usuario define la región de interés después de que un algoritmo de reconocimiento de objetivos haya identificado el objetivo.
En la realización ilustrativa descrita anteriormente, los cálculos para producir una imagen "con superresolución" y "con resolución eliminada" se llevan a cabo incluso en la primera pasada del procedimiento, lo que da como resultado las primeras imágenes "con superresolución" y "con resolución eliminada" son idénticas a la primera porción de cuadro almacenado. En las realizaciones alternativas, los cálculos de superresolución y/o desresolución se omiten en la primera pasada. En algunas formas de realización alternativas, los cálculos de superresolución y desresolución se omiten en cada pasada hasta que un número mínimo predefinido de porciones de imagen están en la pila, por ejemplo, hasta que la pila está llena.
En la realización ilustrativa descrita anteriormente, el objetivo se mueve relativamente lento, y la región de interés definida durante la primera pasada es lo suficientemente grande para que la porción de cuadro de trabajo sea el mismo conjunto de ubicaciones de píxeles que se extrajeron de la primera porción de cuadro. En las realizaciones alternativas, en las que el objetivo se mueve más rápido, o en las que se define una región de interés más pequeña, la ubicación probable del objetivo se estima a partir del presunto movimiento del objetivo, o se mide utilizando algún otro algoritmo de seguimiento, de modo que la porción de cuadro de trabajo es una región de interés alrededor de la ubicación probable estimada del objetivo. El cambio de posición del objetivo en la porción de cuadro de trabajo en comparación con la posición del objetivo en la imagen con resolución eliminada se obtiene teniendo en cuenta, así como el cambio de posición del objetivo dentro de la porción de cuadro, el desplazamiento en la ubicación de la porción de cuadro en sí.
En la realización ilustrativa descrita anteriormente, las imágenes con superresolución se envían a un usuario. En las realizaciones alternativas, las imágenes con superresolución se pasan a una unidad automatizada adicional, donde se utilizan en procedimientos automatizados adicionales.
Debe hacerse referencia a las reivindicaciones para determinar el verdadero ámbito de la presente invención.
Claims (14)
1. Un procedimiento implementado por ordenador o microprocesador para dar seguimiento a un objeto que comprende las etapas de:
(i) obtener una pluralidad de imágenes de un objeto de destino;
(ii) calcular una imagen con superresolución (555) del objeto de destino a partir de la pluralidad de imágenes; y (iii) obtener una imagen adicional del objeto de destino;
caracterizado porque el procedimiento comprende además:
(iv) eliminar la resolución de la imagen con superresolución (555);
(v) correlacionar la imagen adicional con la imagen con resolución eliminada (575); y
(vi) usar la correlación para identificar la ubicación del objeto de destino en la imagen adicional,
por lo que pueden conservarse una o más ventajas resultantes del cálculo de la imagen con superresolución de mayor calidad (555), tal como la reducción de errores en la ubicación del objeto de destino o la reducción del ruido de la imagen, para identificar mejor la ubicación del objetivo objeto en la imagen adicional de menor calidad.
2. El procedimiento de la reivindicación 1, en el que la correlación es una correlación en el dominio espacial.
3. El procedimiento de la reivindicación 1, en el que la correlación es una correlación de fase en el dominio de frecuencia.
4. El procedimiento de cualquier reivindicación anterior, en el que el cálculo de la imagen con superresolución (555) incluye promediar todas las regiones de interés en la pluralidad de imágenes que son de la misma fase.
5. El procedimiento de cualquier reivindicación anterior que incluye las etapas de:
(a) extraer una porción de cuadro actual de una imagen de la pluralidad de imágenes, siendo la porción de cuadro al menos una porción de los píxeles que forman la imagen, correspondiente a una región de interés en la imagen, comprendiendo la región de interés el objeto de destino;
(b) proporcionar una porción de cuadro con superresolución actual calculada previamente, correspondiente a la región de interés en la imagen; y
(c) calcular una porción de cuadro con superresolución actualizada a partir de la porción de cuadro actual y la porción de cuadro con superresolución actual.
6. El procedimiento de la reivindicación 5, en el que la porción de cuadro con superresolución actual se degrada dándole una ponderación menor en el cálculo de la porción de cuadro con superresolución actualizada que una ponderación dada a la porción de cuadro actual.
7. El procedimiento de cualquiera de las reivindicaciones 1 a 4, en el que el cálculo de la imagen con superresolución del objeto de destino a partir de la pluralidad de imágenes incluye las etapas de:
(a) proporcionar una pila (470) para almacenar un número predeterminado de porciones de cuadro;
(b) obtener una imagen que incluye un objeto de destino, formándose la imagen por una matriz de píxeles;
(c) extraer una porción de cuadro de la imagen, siendo la porción de cuadro al menos una porción de los píxeles que forman la imagen, correspondiente a una región de interés en la imagen, comprendiendo la región de interés el objeto de destino;
(d) almacenar la porción de cuadro en la pila (470), incluyendo el almacenamiento descartar una porción de cuadro más antigua almacenada previamente de la pila (470) si el número de porciones de cuadro almacenadas en la pila (470) ha alcanzado el número predeterminado;
(e) repetir las etapas (b) a (d) una pluralidad de veces; y
(f) calcular una imagen con superresolución (555) a partir de la pluralidad de porciones de cuadro almacenadas.
8. El procedimiento de la reivindicación 7, en el que calcular una imagen con superresolución (555) a partir de la pluralidad de porciones de cuadro almacenadas incluye actualizar una imagen con superresolución (555) calculada en una iteración previa cambiando en el cálculo solo las fases que han cambiado en un nuevo cuadro.
9. El procedimiento de cualquiera de las reivindicaciones 5 a 8, en el que se calcula un desplazamiento en la posición del objeto de destino en imágenes sucesivas, y la parte del número entero (610) del desplazamiento calculado (610, 620) se usa para desplazar la región de interés en la imagen posterior con relación a la posición de la región de interés en la imagen anterior.
10. El procedimiento de cualquiera de las reivindicaciones 5 a 9, en el que la región de interés se define en una primera imagen y luego se calcula en imágenes posteriores.
11. Un aparato de procesamiento de imágenes que comprende:
(i) un generador de imágenes (410) para obtener una pluralidad de imágenes y una imagen adicional, cada una de las cuales incluye un objeto de destino y se forma por una matriz de píxeles; y
(ii) un procesador de imágenes (420, 430, 440, 450, 460, 470, 480, 490, 500) configurado para calcular una imagen con superresolución de mayor calidad (555) del objeto de destino a partir de una pluralidad de imágenes, caracterizado porque el procesador de imágenes está configurado además para:
a. eliminar la resolución de la imagen con superresolución (555);
b. correlacionar la imagen adicional de menor calidad con la imagen con resolución eliminada (575); y c. utilizar la correlación para identificar la ubicación del objeto de destino en la imagen adicional,
por lo que pueden conservarse una o más ventajas resultantes del cálculo de la imagen con superresolución de mayor calidad (555), tal como la reducción de errores en la ubicación del objeto de destino o la reducción del ruido de la imagen, para identificar mejor la ubicación del objetivo objeto en la imagen adicional de menor calidad.
12. El aparato de procesamiento de imágenes de la reivindicación 11, en el que el aparato de procesamiento de imágenes incluye una interfaz gráfica de usuario (440) para que un usuario defina la región de interés.
13. Un buscador de misiles que incluye un aparato de procesamiento de imágenes de acuerdo con la reivindicación 11 o la reivindicación 12.
14. Un producto de programa informático que comprende instrucciones que, cuando el programa se ejecuta por un aparato de procesamiento de datos, hacen que el aparato de procesamiento de datos:
(i) reciba una pluralidad de imágenes de un objeto de destino;
(ii) calcule una imagen con superresolución de mayor calidad (555) del objeto de destino a partir de una pluralidad de imágenes; y
(iii) obtenga una imagen adicional del objeto de destino,
caracterizado porque el producto de programa informático está configurado además para hacer que el aparato de procesamiento de datos:
(iv) elimine la resolución de la imagen con superresolución (555);
(v) correlacione la imagen adicional de menor calidad con la imagen con resolución eliminada (575); y
(vi) utilice la correlación para identificar la ubicación del objeto de destino en la imagen adicional,
por lo que pueden conservarse una o más ventajas resultantes del cálculo de la imagen con superresolución de mayor calidad (555), tal como la reducción de errores en la ubicación del objeto de destino o la reducción del ruido de la imagen, para identificar mejor la ubicación del objetivo objeto en la imagen adicional de menor calidad.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GBGB1313682.5A GB201313682D0 (en) | 2013-07-31 | 2013-07-31 | Method and apparatus for tracking an object |
| PCT/GB2014/052327 WO2015015194A1 (en) | 2013-07-31 | 2014-07-30 | Method and apparatus for tracking an object |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2847348T3 true ES2847348T3 (es) | 2021-08-02 |
Family
ID=49767437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES14749962T Active ES2847348T3 (es) | 2013-07-31 | 2014-07-30 | Procedimiento y aparato para dar seguimiento a un objeto |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10109034B2 (es) |
| EP (1) | EP3028246B1 (es) |
| ES (1) | ES2847348T3 (es) |
| GB (2) | GB201313682D0 (es) |
| WO (1) | WO2015015194A1 (es) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10410398B2 (en) * | 2015-02-20 | 2019-09-10 | Qualcomm Incorporated | Systems and methods for reducing memory bandwidth using low quality tiles |
| US9646222B1 (en) | 2015-02-23 | 2017-05-09 | Google Inc. | Tracking and distorting image regions |
| JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
| EP3188120B1 (en) * | 2015-12-28 | 2018-07-25 | MedCom Gesellschaft für medizinische Bildverarbeitung mbH | Registering first image data of a first stream with second image data of a second stream |
| KR102580519B1 (ko) * | 2016-09-07 | 2023-09-21 | 삼성전자주식회사 | 영상처리장치 및 기록매체 |
| WO2018106262A1 (en) | 2016-12-09 | 2018-06-14 | Google Llc | Feature recognition assisted super-resolution method |
| FR3069688A1 (fr) * | 2017-07-25 | 2019-02-01 | Parrot Drones | Dispositif electronique et procede d'estimation d'un deplacement d'une scene observee par un drone, appareil electronique de calcul d'une vitesse sol du drone, drone et programme d'ordinateur associes |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| US10962770B2 (en) * | 2018-11-02 | 2021-03-30 | Pony Ai Inc. | Method for controlling camera exposure to augment a wiper system of a sensor enclosure |
| CN111652910B (zh) * | 2020-05-22 | 2023-04-11 | 重庆理工大学 | 一种基于对象空间关系的目标跟踪算法 |
| US11893740B2 (en) * | 2020-07-07 | 2024-02-06 | Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company | Moving object detection from a moving camera |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USH1914H (en) | 1996-07-08 | 2000-11-07 | The United States Of America As Represented By The Secretary Of The Army | Method and system for mitigation of image distortion due to optical turbulence |
| US6483538B2 (en) | 1998-11-05 | 2002-11-19 | Tektronix, Inc. | High precision sub-pixel spatial alignment of digital images |
| JP4212430B2 (ja) | 2003-08-27 | 2009-01-21 | シャープ株式会社 | 多重画像作成装置、多重画像作成方法、多重画像作成プログラム及びプログラム記録媒体 |
| US6987256B2 (en) * | 2004-05-24 | 2006-01-17 | The United States Of America As Represented By The Secretary Of The Army | Polarized semi-active laser last pulse logic seeker using a staring focal plane array |
| JP4367264B2 (ja) | 2004-07-12 | 2009-11-18 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
| US7463753B2 (en) | 2004-09-15 | 2008-12-09 | Raytheon Company | FLIR-to-missile boresight correlation and non-uniformity compensation of the missile seeker |
| US7860344B1 (en) | 2005-05-06 | 2010-12-28 | Stochastech Corporation | Tracking apparatus and methods using image processing noise reduction |
| US20070058717A1 (en) | 2005-09-09 | 2007-03-15 | Objectvideo, Inc. | Enhanced processing for scanning video |
| KR100825756B1 (ko) | 2006-12-05 | 2008-04-29 | 한국전자통신연구원 | 얼굴 특징 추출 방법 및 그 장치 |
| US8160364B2 (en) | 2007-02-16 | 2012-04-17 | Raytheon Company | System and method for image registration based on variable region of interest |
| JP5639764B2 (ja) | 2007-03-08 | 2014-12-10 | シンク−アールエックス，リミティド | 運動する器官と共に使用するイメージング及びツール |
| US8290212B2 (en) | 2007-07-17 | 2012-10-16 | Lockheed Martin Corporation | Super-resolving moving vehicles in an unregistered set of video frames |
| EP2240903B1 (en) | 2008-01-18 | 2018-11-14 | Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO | Method of improving the resolution of a moving object in a digital image sequence |
| IL190539A (en) * | 2008-03-31 | 2015-01-29 | Rafael Advanced Defense Sys | A method of transferring points of interest between simulations with unequal viewpoints |
| US8200046B2 (en) | 2008-04-11 | 2012-06-12 | Drs Rsta, Inc. | Method and system for enhancing short wave infrared images using super resolution (SR) and local area processing (LAP) techniques |
| TWI357582B (en) | 2008-04-18 | 2012-02-01 | Univ Nat Taiwan | Image tracking system and method thereof |
| US8073199B2 (en) | 2008-05-30 | 2011-12-06 | Drs Rsta, Inc. | Method for minimizing scintillation in dynamic images |
| JP5294343B2 (ja) | 2008-06-10 | 2013-09-18 | 国立大学法人東京工業大学 | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 |
| US8471905B2 (en) * | 2009-04-09 | 2013-06-25 | Raytheon Company | Methods and apparatus for imaging |
| JPWO2011018878A1 (ja) * | 2009-08-13 | 2013-01-17 | 日本電気株式会社 | 画像処理システム、画像処理方法および画像処理用プログラム |
| US8995793B1 (en) * | 2009-10-09 | 2015-03-31 | Lockheed Martin Corporation | Moving object super-resolution systems and methods |
| EP2503509A4 (en) | 2009-11-17 | 2018-01-17 | Hitachi Industry & Control Solutions, Ltd. | Authentication system using organism information, and authentication device |
| JP5645052B2 (ja) | 2010-02-12 | 2014-12-24 | 国立大学法人東京工業大学 | 画像処理装置 |
| KR101624210B1 (ko) * | 2010-08-27 | 2016-05-31 | 한화테크윈 주식회사 | 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템 |
| CN102752574B (zh) * | 2011-04-18 | 2015-01-28 | 中兴通讯股份有限公司 | 一种视频监控***及方法 |
| US8861893B2 (en) | 2011-09-27 | 2014-10-14 | The Boeing Company | Enhancing video using super-resolution |
| US9098893B2 (en) | 2011-12-21 | 2015-08-04 | Applied Materials Israel, Ltd. | System, method and computer program product for classification within inspection images |
| US8965094B2 (en) | 2012-04-14 | 2015-02-24 | Nocimed, Llc | Magnetic resonance spectroscopy pulse sequence, acquisition, and processing system and method |
| US9036943B1 (en) * | 2013-03-14 | 2015-05-19 | Amazon Technologies, Inc. | Cloud-based image improvement |
| JP6155785B2 (ja) * | 2013-04-15 | 2017-07-05 | オムロン株式会社 | 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体 |
| GB201313680D0 (en) | 2013-07-31 | 2014-01-08 | Mbda Uk Ltd | Image processing |
| CN104834476B (zh) * | 2014-02-10 | 2016-10-19 | 安华高科技通用Ip(新加坡)公司 | 基于段结束标记的数据对准的***和方法 |
-
2013
- 2013-07-31 GB GBGB1313682.5A patent/GB201313682D0/en not_active Ceased
-
2014
- 2014-07-30 WO PCT/GB2014/052327 patent/WO2015015194A1/en active Application Filing
- 2014-07-30 GB GB1413480.3A patent/GB2518948B/en active Active
- 2014-07-30 ES ES14749962T patent/ES2847348T3/es active Active
- 2014-07-30 US US14/908,641 patent/US10109034B2/en active Active
- 2014-07-30 EP EP14749962.8A patent/EP3028246B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3028246B1 (en) | 2020-12-16 |
| GB2518948B (en) | 2016-08-24 |
| EP3028246A1 (en) | 2016-06-08 |
| US20160171715A1 (en) | 2016-06-16 |
| GB201413480D0 (en) | 2014-09-10 |
| GB2518948A (en) | 2015-04-08 |
| GB201313682D0 (en) | 2013-12-18 |
| WO2015015194A1 (en) | 2015-02-05 |
| US10109034B2 (en) | 2018-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2847348T3 (es) | Procedimiento y aparato para dar seguimiento a un objeto | |
| ES2773841T3 (es) | Procesamiento de imágenes | |
| ES2791031T3 (es) | Procesamiento de imágenes | |
| US8290212B2 (en) | Super-resolving moving vehicles in an unregistered set of video frames | |
| Belekos et al. | Maximum a posteriori video super-resolution using a new multichannel image prior | |
| US10032254B2 (en) | Method and device for recovering a digital image from a sequence of observed digital images | |
| US9692939B2 (en) | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence | |
| Joshi et al. | Super-resolution imaging: use of zoom as a cue | |
| KR20140135968A (ko) | 초해상도화를 수행하는 방법 및 장치 | |
| JP2000188680A (ja) | 高解像度画像の生成方法及びシステム | |
| US8837817B2 (en) | Method and device for calculating a depth map from a single image | |
| JP5822937B2 (ja) | 不可視スペクトル領域の画像を処理する方法、相応するカメラおよび測定装置 | |
| CN112801870A (zh) | 一种基于网格优化的图像拼接方法，拼接***及可读存储介质 | |
| Šorel et al. | Towards super-resolution in the presence of spatially varying blur | |
| Hardie | Super-resolution using adaptive Wiener filters | |
| US9538075B2 (en) | Frequency domain processing techniques for plenoptic images | |
| JP2013069012A (ja) | 多眼撮像装置 | |
| Webster et al. | Radial deblurring with ffts | |
| Delbracio et al. | Recovering the subpixel PSF from two photographs at different distances | |
| Tanaka et al. | A fast algorithm for reconstruction‐based superresolution and evaluation of its accuracy | |
| Stupich | Low Power Parallel Rolling Shutter Artifact Removal | |
| Li | Blind Super-Resolution from Images with Non-Translational Motion | |
| Nelson | Super-resolution of 3-dimensional Scenes | |
| Kyamakya et al. | Super Resolution Challenges and Rewards | |
| Zomet | Mosaicing from a Translating Camera, with Efficient Application of Super-Resolution |