ES2743491T3 - Superposición digital de una imagen con otra imagen - Google Patents

Abstract

Sistema para superponer digitalmente una imagen con otra imagen, que comprende un almacenamiento (4) para almacenar un modelo de un espacio del mundo real, donde el modelo incluye una superficie de superposición que va a ser superpuesta con una imagen de superposición, donde la superficie de superposición en el modelo representa un dispositivo de visualización en el mundo real, donde el dispositivo de visualización está configurado para mostrar una imagen móvil en el dispositivo de visualización en el mundo real mediante la emisión de radiación en uno o más rangos de frecuencia predeterminados; una interfaz de parámetros de cámara (2) para recibir parámetros de cámara, que calibran al menos una cámara con respecto a las coordenadas del modelo; una interfaz de imagen de cámara (3) para recibir al menos una imagen capturada con dicha al menos una cámara respectiva sustancialmente al mismo tiempo, donde dicha al menos una imagen capturada comprende una imagen de detección, donde la cámara usada para capturar la imagen de detección se configura para detectar radiación con una frecuencia fuera de todos los uno o más rangos de frecuencia predeterminados y distinguir la radiación detectada fuera de todos los uno o más rangos de frecuencia predeterminados de la radiación dentro del uno o más rangos de frecuencia predeterminados; un posicionador (8) para determinar una posición de la superficie de superposición dentro de dicha al menos una imagen capturada basándose en el modelo y los parámetros de cámara; un detector (9) para detectar un objeto oclusivo que ocluye al menos parcialmente la superficie de superposición en una imagen capturada seleccionada de dicha al menos una imagen capturada basándose en una propiedad de imagen del objeto oclusivo y la imagen de detección; un elemento de superposición (10) para superponer una parte no ocluida de la superficie de superposición en la imagen capturada seleccionada con la imagen de superposición para obtener una imagen de salida, donde el elemento de superposición está configurado para superponer la imagen móvil mostrada en el dispositivo de visualización en el mundo real con la imagen de superposición en la imagen capturada seleccionada; y una interfaz de salida (11) para emitir la imagen de salida.

Description

DESCRIPCIÓN

Superposición digital de una imagen con otra imagen

CAMPO DE LA INVENCIÓN

[0001] La invención se refiere a una superposición digital en una imagen capturada.

ANTECEDENTES DE LA INVENCIÓN

[0002] La publicidad a menudo se coloca en espacios públicos, en particular ubicaciones con una alta visibilidad, tales como los aeropuertos, los centros comerciales, las estaciones de tren o los estadios deportivos. Los anuncios incluyen vallas publicitarias estáticas, tales como vallas publicitarias de madera, provistas de una imagen fija mediante impresión, pintura o similares. Los desarrollos recientes en la tecnología de visualización de imágenes han llevado a la introducción de vallas publicitarias activas que disponen de un dispositivo de visualización, como las vallas publicitarias de led. En una aplicación típica, las vallas publicitarias activas o estáticas pueden extenderse a lo largo del lateral de un campo deportivo, para mostrar publicidad u otros anuncios. Los mensajes mostrados por una pantalla activa pueden ser capturados por una cámara de TV y difundidos o registrados con el evento deportivo real, de modo que se puede alcanzar una gran audiencia para los mensajes. Al mismo tiempo, los anuncios y las imágenes mostradas sobre los mismos pueden ser vistos por los espectadores que están presentes en la ubicación del propio evento.

[0003] En relación con las vallas publicitarias estáticas, la patente WO 01/58147 A1 divulga un método para modificar un objeto visible capturado con una cámara de televisión. El objeto se marca mediante una o más superficies de marcado dispuestas en el área del objeto o en su proximidad. La patente WO 01/58147 A1 divulga un anuncio rectangular en el que todas las esquinas están marcadas con objetos de referencia, por ejemplo círculos de un color determinado, mediante los cuales la ubicación del objeto en la imagen televisiva se puede definir con precisión. Las superficies de marcado se pueden identificar basándose en una radiación que difiere de otra radiación en el área que se está capturando, donde al menos una de dichas superficies de marcado difiere en la radiación del entorno basándose en una propiedad diferente del color de la luz visible. La superficie de marcado se identifica usando al menos un detector de identificación que está separado de los detectores de la cámara de televisión y mediante el cual el objeto se captura sustancialmente desde la misma dirección de captura con la cámara de televisión. Se determina la relación entre las coordenadas de la imagen de la cámara de televisión y las del detector de identificación, donde las áreas del objeto que son visibles en la imagen de televisión se determinan mediante el marcado de superficies detectadas, la señal de vídeo de la imagen de televisión para las áreas correspondientes al objeto se modifica de una manera predeterminada, y se transmite la señal de vídeo modificada. La patente US2005/0001852A divulga un sistema para la inserción de contenido en tiempo real en un metraje, donde se detectan oclusiones y se aumenta una superposición únicamente en las partes no ocluidas. La patente WO2013/132032 divulga vallas publicitarias con radiación electromagnética n que pueden ser recogidas por una cámara, permitiendo así la detección de la oclusión y las superposiciones de imagen.

RESUMEN DE LA INVENCIÓN

[0004] Sería ventajoso disponer de un sistema, método o programa informático de publicidad mejorada, en el que se puedan proporcionar imágenes capturadas con una superposición digital, como se especifica en las reivindicaciones anexas.

[0005] El experto en la materia entenderá que las características descritas en las reivindicaciones se pueden combinar de cualquier forma considerada útil. Además, las modificaciones y las variaciones descritas con respecto al sistema pueden asimismo aplicarse al método y al producto de programa informático, y las modificaciones y variaciones descritas con respecto del método pueden asimismo aplicarse al sistema y al producto de programa informático.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

[0006] En los sucesivo, se dilucidarán aspectos de la invención mediante ejemplos, con referencia a los dibujos. Los dibujos son esquemáticos y pueden no estar dibujados a escala.

La fig. 1 es un diagrama de bloques de un sistema para superponer digitalmente una imagen con otra imagen.

La fig. 2 es un diagrama de flujo de un método para superponer digitalmente una imagen con otra imagen. La fig. 3 es una imagen esquemática de un estadio deportivo y una cámara.

La fig. 4 es otro diagrama de flujo de un método para superponer digitalmente una imagen con otra imagen. La fig. 5a es un boceto de una respuesta de frecuencia de una pantalla de visualización.

La fig. 5b es un boceto de una respuesta de frecuencia de una pantalla de visualización y una respuesta de frecuencia de un filtro.

DESCRIPCIÓN DETALLADA DE LAS FORMAS DE REALIZACIÓN

[0007] En la siguiente descripción, se describe con más detalle un número de ejemplos de formas de realización. Sin embargo, la descripción de estas formas de realización no se destina a limitar el alcance de protección. Asimismo, en lo sucesivo, se describen ejemplos de componentes particulares del sistema. Sin embargo, cabe señalar que, en vista de la presente descripción, las técnicas descritas con respecto a la misma se pueden aplicar de una manera similar usando componentes alternativos o modificados. Asimismo, las características descritas en relación con el sistema pueden aplicarse al método y al programa informático, y las características descritas en relación con el método pueden asimismo implementarse mediante el sistema y el programa informático.

[0008] La fig. 1 ilustra un sistema para superponer digitalmente una imagen con otra imagen. Se pueden implementar varios componentes del sistema en un único dispositivo de superposición digital 1. Sin embargo, esto no constituye una limitación. Los componentes y la funcionalidad llevada a cabo por cada componente se pueden distribuir entre una pluralidad de dispositivos.

[0009] Se proporciona al menos una cámara 14, 15 para capturar imágenes. A título de un ejemplo, se han ilustrado dos cámaras. La interfaz de cámara 3 recibe las imágenes capturadas. Esta interfaz de cámara 3 puede comprender uno o más puertos de comunicación de datos, tales como puertos HDMI, por ejemplo. Además, los parámetros de cámara de cada una de las cámaras 14, 15 son detectados por detectores conocidos en la técnica per se, y se describen en otra parte del presente documento. Los parámetros de cámara se reciben a través de la interfaz de parámetros de cámara 2. Esta puede comprender uno o más puertos de comunicación de datos adicionales tales como interfaces USB. Se entenderá que las interfaces 14, 15 se pueden combinar en un solo puerto de comunicación de datos, o pueden comprender varios puertos de comunicación de datos para recibir datos de cámaras diferentes por separado. El sistema comprende una memoria o almacenamiento 4 que puede comprender una memoria de acceso aleatorio y/o una memoria no volátil como flash y/o discos magnéticos. El almacenamiento 4 comprende espacio de almacenamiento para un modelo de un espacio del mundo real 5, una o más imágenes capturadas 6, una imagen de superposición 7, y otros datos.

[0010] El sistema comprende un posicionador 8, un detector 9, y un elemento de superposición 10. Estos componentes se pueden implementar, por ejemplo, mediante módulos de software que se pueden almacenar, por ejemplo, en el almacenamiento 4. De forma alternativa, estos módulos se pueden implementar mediante un conjunto de circuito electrónico dedicado o, por ejemplo, un FPGA. El sistema puede comprender un controlador 12, que controla el funcionamiento de los componentes del sistema y que puede ejecutar el código del programa. El sistema comprende además una interfaz de salida 11 para emitir las imágenes resultantes. Esta interfaz de salida puede comprender una interfaz de comunicación, como una interfaz HDMI o cualquier otra interfaz de comunicación digital. Cabe destacar que las interfaces mencionadas aquí también se pueden implementar, por ejemplo, mediante una conexión de red.

[0011] La fig. 3 ilustra un ejemplo de escena del mundo real (en concreto, un campo deportivo o un campo de fútbol 402), con vallas publicitarias 405, 407. Además, se ilustra una cámara 400.

[0012] En referencia a la fig. 1 y la fig. 3, el modelo del espacio del mundo real 5 puede comprender una representación de uno o más objetos del mundo real, por medio de un modelo de forma o por medio de coordenadas que identifican determinados marcadores que existen en el mundo real. Por ejemplo, las esquinas 406 de un terreno de juego 402 y/o la posición, orientación, forma, y dimensiones de una o más superficies de superposición 405, 407, que pueden ser, por ejemplo, vallas publicitarias, que pueden ser pantallas activas, se pueden representar en el modelo del mundo real 5.

[0013] En funcionamiento, la cámara 400 captura una serie de imágenes y las transmite a la interfaz de imagen de cámara 3, que las recibe y las almacena (al menos temporalmente) en el almacenamiento 4. La cámara 400, y/o los dispositivos adicionales que cooperan con la cámara 400, generan parámetros de cámara, tales como las coordenadas X, Y y Z de la cámara y parámetros de orientación y parámetros de aumento, y los transmiten a la interfaz de parámetros de cámara 2 que reenvía los parámetros de cámara recibidos al posicionador 8, posiblemente a través del almacenamiento 4. El posicionador 8 posiciona la superficie de superposición en la imagen capturada. Esto significa que, cuando una superficie de superposición 407 se encuentra en el campo de visión 401 de la cámara 400, la superficie de superposición se captura en la imagen capturada y el posicionador determina en qué parte de la imagen capturada está la superficie de superposición, basándose en las coordenadas de la superficie de superposición en el modelo del mundo real 5 y los parámetros de cámara. El detector 9 detecta si cualquier objeto 408 capturado por la cámara 400 ocluye la superficie de superposición 407. Por lo tanto, se pueden emplear técnicas de análisis de imagen. Por ejemplo, un modelo de visión 17 puede incluir un descriptor de los objetos oclusivos que pueden aparecer en el mundo real. Esto quiere decir que, aunque la posición de los objetos oclusivos no se puede determinar a priori, las características de imagen de cualquier objeto oclusivo potencial se pueden predeterminar y se puede almacenar una representación de los mismos en el modelo visual 17. Por ejemplo, se pueden predeterminar y almacenar las características de forma, color y textura de los jugadores y/o de una pelota y otros objetos en el modelo visual 17. El elemento de superposición 10 determina la parte no ocluida de la superficie de superposición en la imagen capturada combinando las salidas del posicionador 8 y el detector 9. El elemento de superposición 10 reemplaza la parte no ocluida de la superficie de superposición mediante una imagen de superposición 7, que puede estar prealmacenada en el almacenamiento 4, o que puede, de forma alternativa, ser recibida a través de otra interfaz de vídeo (no ilustrada).

[0014] El elemento de superposición 10 emite la imagen con la superposición y la reenvía a la interfaz de salida 11. Desde allí, la imagen procesada se puede transmitir a, por ejemplo, un radiodifusor 13, o se puede almacenar para un uso posterior.

[0015] Aunque el funcionamiento del sistema se ha explicado para una sola imagen, generalmente, el sistema puede configurarse para procesar una secuencia de imágenes, por ejemplo datos de vídeo. Además, los datos de dos o más cámaras 14, 15 se pueden recibir mediante la interfaz de parámetros de cámara 2 y la interfaz de imagen de cámara 3. Los datos de parámetro y los datos de imagen de las imágenes recibidas desde estas diferentes cámaras se pueden combinar para mejorar, por ejemplo, la detección de los objetos oclusivos mediante el detector 9. Por ejemplo, se puede usar una de las imágenes (denominada imagen de detección) recibida desde la cámara 15 para detectar los objetos oclusivos, y se puede usar la otra imagen (denominada imagen seleccionada) recibida desde la cámara 14 para superponer la superficie de superposición, sin superponer los objetos oclusivos detectados en la imagen de la cámara 15.

[0016] La propiedad de imagen del objeto oclusivo se refiere a un descriptor de una vecindad de un píxel, donde el descriptor comprende una frecuencia espacial, y donde el detector está configurado para comparar un descriptor de un píxel de la imagen de detección con el descriptor del objeto oclusivo.

[0017] Además de un modelo de objetos oclusivos potenciales, el modelo visual 17 también puede comprender un modelo visual de un fondo. El modelo de fondo es un modelo del fondo tal y como aparecería en la imagen de detección. El modelo del fondo puede comprender un modelo de una característica de una textura del fondo. Tal y como se ha comentado en otra parte de la presente descripción, la imagen de detección puede, por ejemplo, ser una imagen de vídeo de color o una imagen infrarroja. El detector 9 puede estar configurado para detectar el objeto oclusivo adicionalmente basándose en el modelo del fondo. Por ejemplo, las características de imagen en una imagen de detección recién recibida se comparan con las características de imagen almacenadas en el modelo de fondo.

[0018] El modelo de fondo se puede actualizar según el fondo en las imágenes recibidas actualmente. Para tal fin, el sistema puede comprender un actualizador de modelo 16 para actualizar el modelo del fondo basándose en la imagen de detección. El actualizador modelo 16 puede estar configurado para ajustar el modelo de la característica de la textura alrededor del píxel basándose en la imagen de detección. Esto se describe de forma adicional en otra parte de esta divulgación.

[0019] El detector 9 puede estar configurado para detectar el objeto oclusivo detectando un cambio en una imagen de detección actual en comparación con una imagen de detección capturada anteriormente. El cambio revela un objeto móvil; los objetos oclusivos a menudo son objetos móviles con respecto al fondo. La detección de objetos móviles en una secuencia de imagen se conoce en la técnica per se.

[0020] La imagen de detección puede ser diferente de la imagen capturada seleccionada, y la interfaz de cámara 3 puede estar configurada para recibir la imagen de detección y la imagen capturada seleccionada desde distintas cámaras 14, 15. De forma similar, la interfaz de parámetros de cámara 2 puede estar configurada para recibir los parámetros de cámara de las dos cámaras diferentes 14, 15.

[0021] La cámara 15 usada para capturar la imagen de detección y la cámara 14 usada para capturar la imagen capturada seleccionada pueden estar montadas a una distancia la una de la otra de modo que la imagen capturada seleccionada y la imagen de detección formen un par de imágenes estéreo, y donde la propiedad de imagen del objeto oclusivo se refiera a una disparidad entre las dos imágenes estéreo. El fondo y cualquier objeto oclusivo tienen, por definición, una distancia diferente de la cámara y, por lo tanto, la disparidad en un par de imágenes estéreo será diferente. Mediante el análisis de las diferencias en la disparidad, el detector 9 puede distinguir el fondo/la superficie de superposición de los objetos oclusivos.

[0022] La cámara 15 usada para capturar la imagen de detección puede estar configurada para detectar una radiación diferente de la luz visible, por ejemplo luz de infrarrojo cercano, infrarroja o ultravioleta.

[0023] La cámara 15, usada para capturar la imagen de detección, y la cámara 14, usada para capturar la imagen capturada seleccionada, pueden estar configuradas para recibir radiación a través del mismo objetivo o de dos objetivos diferentes. En el caso de que se use el mismo objetivo, se puede usar un divisor de haz para guiar la luz a ambas cámaras 14 y 15.

[0024] La superficie de superposición 407 en el modelo puede corresponder a un dispositivo de visualización en el mundo real. Esto permite superponer la imagen mostrada por el dispositivo de visualización con otra imagen, por ejemplo, en una difusión televisiva.

[0025] El dispositivo de visualización puede estar configurado para mostrar una imagen móvil en el dispositivo de visualización en el mundo real, donde el elemento de superposición 10 está configurado para superponer la imagen móvil con la imagen de superposición en la imagen capturada seleccionada. Esto permite reemplazar una imagen móvil con otra imagen móvil, o con una imagen estática. De forma alternativa, el dispositivo de visualización puede estar configurado para mostrar una imagen estática en el dispositivo de visualización en el mundo real y donde el elemento de superposición está configurado para superponer la imagen estática con la imagen de superposición en la imagen capturada seleccionada. Dependiendo de la técnica de detección que se emplee, no tiene importancia para el detector 9 qué imagen visible se muestre mediante el dispositivo de visualización o si es una imagen móvil o no. Si el detector 9 utiliza una imagen de detección de luz no visible, como una imagen de infrarrojo cercano, la imagen mostrada no influye significativamente en la imagen de detección.

[0026] El dispositivo de visualización está configurado para emitir radiación en uno o más rangos de frecuencia predeterminados. Por ejemplo, una unidad de visualización de led puede tener ledes rojos, verdes y azules con un ancho de banda de frecuencia estrecho. Estos anchos de banda de frecuencia diferentes pueden tener espacios entremedias. La cámara 15 usada para capturar la imagen de detección puede estar configurada para detectar radiación fuera de todos los uno o más rangos de frecuencia predeterminados y distinguir la radiación detectada fuera de todos los uno o más rangos de frecuencia predeterminados de la radiación dentro de los uno o más rangos de frecuencia predeterminados. Por ejemplo, se puede detectar una frecuencia por debajo del rango de frecuencia del led rojo, o una frecuencia por encima del rango de frecuencia del led azul, o una frecuencia entre el rango de frecuencia del led rojo y el led verde, o una frecuencia entre el rango de frecuencia del led verde y el rango de frecuencia del led azul. Aquí, el led se puede sustituir por cualquier píxel de emisión de luz (o píxel de reflexión de luz) de una pantalla. Además, la frecuencia detectada en la imagen de detección puede encontrarse dentro del rango de luz visible o fuera del rango de luz visible. Se puede usar un filtro para filtrar la luz para guiar de forma selectiva únicamente la luz de una o más de las frecuencias descritas anteriormente a la cámara 15 que captura la imagen de detección.

[0027] Dado que no es necesario que la propia valla publicitaria sitúe la superficie de superposición en la imagen seleccionada o en la imagen de detección, ni detecte los objetos oclusivos, también es posible definir una o más superficies de superposición en el modelo 5 del espacio del mundo real que no existen como cualquier superficie física en el mundo real. Dicha superficie de superposición se puede denominar una superficie virtual.

[0028] Tal y como se ha mencionado anteriormente, la superficie de superposición puede estar representada en el modelo mediante una indicación de al menos una forma, posición y orientación de la superficie de superposición en el espacio del mundo real.

[0029] La fig. 4 ilustra un método para superponer una imagen. El método comprende las etapas de: almacenar 500 un modelo de un espacio del mundo real, donde el modelo incluye una superficie de superposición que va a ser superpuesta con una imagen de superposición; recibir 501 parámetros de cámara, que calibran al menos una cámara con respecto a las coordenadas del modelo; recibir 502 al menos una imagen capturada con la dicha al menos una cámara respectiva sustancialmente al mismo tiempo; determinar 503 una posición de la superficie de superposición dentro de dicha al menos una imagen capturada basándose en el modelo y los parámetros de cámara; detectar 504 un objeto oclusivo que ocluye al menos parcialmente la superficie de superposición en una imagen capturada seleccionada de dicha al menos una imagen capturada basándose en una propiedad de imagen del objeto oclusivo y una imagen de detección, es decir, una imagen de dicha al menos una imagen capturada; superponer 505 una parte no ocluida de la superficie de superposición en la imagen capturada seleccionada con la imagen de superposición para obtener una imagen de salida; y emitir 506 la imagen de salida. El método se puede implementar en un software, como un producto de programa informático que comprende instrucciones para provocar que un ordenador ejecute las etapas expuestas. El programa informático se puede almacenar en un medio no tangible.

[0030] Más adelante, se proporcionarán algunos ejemplos más específicos del sistema y el método. Debe observarse, sin embargo, que estos ejemplos sirven para entender mejor la divulgación, y no para limitar su alcance de protección.

Uso del modelo del mundo real

[0031] En el aplicación de superposición digital, se utiliza un modelo matemático que representa el mundo real. Este modelo matemático se puede construir por medio de una colección de puntos en el mundo 3D y su interconectividad. Múltiples puntos 3D conectados pueden describir una superficie en el mundo 3D. La aplicación de superposición digital emplea estos modelos 3D para describir el mundo real. Un ejemplo a lo largo de este documento para explicar cómo se puede utilizar esta técnica, será en el contexto de un evento de fútbol. En un evento de fútbol de alto nivel típico hay publicidad en el lateral del campo mostrada al espectador en, por ejemplo, pantallas led. En una implementación particular, únicamente se sustituirán estas pantallas led en el mundo real mediante la aplicación de superposición digital. Es importante que el modelo 3D corresponda lo máximo posible al modelo del mundo real. Por ejemplo, la posición de las pantallas individuales se puede medir mediante un dispositivo de medición láser para X, Y y Z. Resulta importante elegir un origen antes de medir. Una buena elección es, en el caso del evento de fútbol, una de las cuatro esquinas. Además de unas mediciones manuales de las vallas publicitarias, la posición real de las vallas publicitarias también se puede calcular con la ayuda de la pantalla led, mediante la proyección de una serie de patrones binarios en la pantalla y la identificación de estos cambios en una cámara calibrada o conjunto de cámaras calibradas desplazadas horizontalmente.

[0032] Para definir un mapeo entre el modelo matemático y el mundo real, se necesita una cámara. El mapeo se hace desde el mundo real hasta el espacio de cámara y de vuelta al mundo real. Una cámara tiene varios parámetros que describen matemáticamente el estado de la cámara. Estos parámetros incluyen: posición, dirección de vista, tamaño de imagen y varios parámetros de lente. Se pueden dividir en dos grupos: parámetros intrínsecos y extrínsecos, donde los parámetros extrínsecos describen la posición y la rotación de la cámara y los parámetros intrínsecos describen los atributos de la lente no lineal y el sensor. Los parámetros extrínsecos se pueden medir, por ejemplo: la posición se puede medir con una herramienta de medición láser y la rotación se puede medir con sensores construidos en el trípode de la cámara que registran la rotación de la cámara en ambos ejes. Los parámetros intrínsecos, sin embargo, necesitan modelarse según el objetivo empleado. Se pueden usar diferentes métodos para construir un modelo heurístico que simula los parámetros intrínsecos del sistema de lente empleado. Algunas lentes permiten extraer algunos de los parámetros intrínsecos como: aumento, foco e iris. Estos parámetros también se pueden determinar con técnicas de calibración de lente basadas en la imagen, utilizando, por ejemplo, los conocidos patrones de tablero de ajedrez. Los parámetros intrínsecos están relacionados con la distorsión de lentes no lineales, conocida principalmente como distorsión en barril o en acerico. Esta distorsión hace que las líneas rectas no sean rectas en la imagen proyectada y es conocida principalmente por las lentes de ojo de pez. La distorsión se puede modelar para cada conjunto de parámetros intrínsecos porque cambia cuando las lentes cambian de posición. La distorsión se puede definir por una curvatura y un centro de impacto, de donde se aplica la distorsión. Cuando se usa un sistema de lente con lentes rotatorias, dicho centro de impacto también puede rotar conforme las lentes rotan. Para las cámaras móviles y los diferentes ajustes de lente, se pueden calcular diferentes parámetros intrínsecos y extrínsecos. Este es especialmente el caso para el ejemplo del evento de fútbol donde el movimiento típico de la cámara se define cambiando la orientación de la cámara (extrínseco) junto con los movimientos de aumento, foco e iris (intrínsecos). Una vez se conocen los parámetros intrínsecos y extrínsecos, se puede construir una matriz de calibración según los métodos del estado de la técnica como, por ejemplo, los descritos en la literatura: por ejemplo el libro "Multiple View Geometry in Computer Vision" por Richard Hartley y Andrew Zisserman. Usando la matriz de calibración, se pueden hacer cálculos en un espacio común, el espacio de cámara. Con una operación proyectiva, el mundo modelado matemáticamente se aplica al mismo espacio de cámara que la cámara real. Esto significa que los elementos modelados matemáticamente del mundo modelado matemáticamente coincidirán exactamente con las características del mundo real. Cuando se aplica al ejemplo del evento de fútbol: las vallas publicitarias modeladas matemáticamente se mapearán perfectamente con las vallas publicitarias del mundo real, las líneas del campo modeladas matemáticamente se mapearán perfectamente con las líneas del campo del mundo real. La características prominentes del mundo real se pueden usar para controlar la calidad del mapeo. Por ejemplo: líneas del campo, arquitectura de estadio, y más.

Detección del objeto oclusivo: imagen estéreo.

[0033] Dado que se conoce el modelo matemático del mundo real, o al menos parcialmente, esta información también se puede usar para identificar objetos oclusivos. El modelo matemático describe una forma conocida del mundo real. Si la forma real del mundo real se puede calcular en tiempo real, se podría implementar un algoritmo para hacer coincidir el modelo matemático 3D previsto con el modelo matemático calculado. Si hay una gran diferencia en los dos modelos matemáticos, hay un objeto oclusivo delante del modelo matemático conocido. Dado que esta ubicación se conoce en el modelo matemático 3D, se puede reproyectar al mundo real en el espacio de cámara y hacerla coincidir con píxeles individuales en la imagen de cámara. Para este algoritmo, se utiliza un mapa de profundidad en tiempo real. Este se puede calcular con un par de cámaras estéreo calibradas usando un método de barrido de plano rápido o un algoritmo de correspondencia de disparidad. El algoritmo, para hacer corresponder los dos modelos matemáticos, toma como entrada los dos modelos matemáticos y los rasteriza en mapas de profundidad individuales. Generalmente, el tamaño del elemento ráster será del mismo orden de magnitud que el tamaño de píxel. Una vez se hayan calculado estos mapas de profundidad, se puede hacer una comparación por elemento ráster, usando una operación umbral para marcar las diferencias que sean lo suficientemente grandes. Estos resultados se almacenan por elemento ráster en un objeto de datos intermedio que se puede convertir fácilmente en una imagen. Esta imagen se puede refinar de forma adicional para filtrar las respuestas incorrectas, por ejemplo con un filtro medio o con algunas operaciones morfológicas, para abrir o cerrar la forma. Dado que cada píxel de la imagen intermedia corresponde a un elemento ráster del mapa de profundidad, la imagen se puede reproyectar al espacio de cámara y usar como una máscara del objeto oclusivo.

Detección de objetos oclusivos usando vallas publicitarias activas.

[0034] En una gran cantidad de importantes eventos deportivos, como el fútbol, por lo general no se quiere usar vallas publicitarias de madera o estáticas, sino vallas publicitarias dinámicas que puedan mostrar múltiples publicidades a lo largo del tiempo para aumentar los ingresos de publicidad. Estas vallas publicitarias, por lo general vallas publicitarias de led, son capaces de mostrar imágenes estáticas así como vídeos móviles. Pueden incluso mostrar vídeos de los jugadores de fútbol en tamaño real. Las vallas publicitarias de led generan su color mezclando al menos tres colores independientes. Cada píxel de una valla publicitaria de led puede, por lo tanto, consistir en al menos tres ledes individuales. Pueden estar agrupados juntos en un Dispositivo de Montaje Superficial (SMD). Cada led de un píxel puede tener un único color, por ejemplo, en la mayoría de configuraciones conocidas será rojo, verde y azul. Estos se denominan colores básicos. Al mezclar estos colores básicos, estas vallas publicitarias pueden crear la percepción visual de que se puede generar cualquier otro color. Los ledes se pueden elegir de manera que la respuesta de frecuencia individual de los respectivos colores básicos sea muy estrecha y prácticamente no se produzca ningún desbordamiento a las regiones vecinas o no vecinas en el espectro. La valla publicitaria de led tendrá una respuesta de frecuencia similar a la de la ilustrada en la fig. 5a. La luz emitida por la valla publicitaria de led tiene tres bandas de frecuencia separadas, visibles como valor máximo 601 para el rango de frecuencias del rojo, 602 para el del verde, y 603 para el del azul. Si se captura la valla publicitaria de led con una cámara equipada con un filtro espectral especial, por ejemplo un filtro de paso de banda que solo permite luz en un espectro de frecuencias controlado pequeño, se podría elegir este filtro de paso de banda espectral de manera que recaiga entre las respuestas espectrales de la valla publicitaria de led en la luz visible. Esto se ilustra en la fig. 5b. Un filtro podría tener una respuesta de frecuencia 604 entre las bandas de frecuencia del rojo y el verde, o una respuesta de frecuencia 605 entre las bandas de frecuencia del verde y el azul. La imagen capturada mediante esta disposición no se verá influida por los cambios mostrados en la pantalla de led, por lo tanto, debido a la naturaleza de la pantalla, la pantalla de led tendrá una distribución uniforme y monótona, como si no fuera activa en la imagen de detección capturada. Dado que los objetos oclusivos son por lo general objetos del mundo real y tienen curvas de respuesta de frecuencia muy complejas, todavía son visibles en la imagen de detección capturada. Los cambios entre un fondo estático y un primer plano móvil se pueden proporcionar en uno de los algoritmos para computar el objeto oclusivo, basándose en las propiedades del objeto oclusivo y/o un modelo de fondo.

[0035] Este método se puede extender fácilmente y aplicar el filtro de paso de banda espectral especial en un rango en la luz no visible. Asimismo, en este caso, la imagen capturada no mostrará ninguna señal de los vídeos reproducidos en las pantallas activas.

Detección de los objetos oclusivos usando diferencias de frecuencia espacial.

[0036] Una hipótesis podría ser la siguiente: si se conoce el modelo matemático del mundo real y se calibra al menos una cámara, la información combinada se puede usar para identificar la ubicación de la superficie que necesita ser sustituida por la aplicación de superposición digital. Tal y como se describe en la sección precedente, esta superficie (activa o no, disponible en el mundo real o no) se puede capturar mediante un sensor de manera que la textura en la superficie parezca estática en la imagen capturada mientras que tiene contenido móvil o estático cuando es vista por el ojo humano.

[0037] En esta sección, se describen tres algoritmos que se podrían usar para detectar objetos oclusivos basándose en las propiedades de imagen del objeto oclusivo.

[0038] Algoritmo 1: detección del objeto oclusivo basada en el descriptor de diferencia espacial regional local. Un descriptor es un vector multidimensional que contiene información que describe una vecindad local. Un descriptor puede incluir información de borde, esquina, gradiente de primer orden, forma, color, textura y movimiento, entre otros. Una buena elección de un descriptor es un descriptor invariable por escala y rotación que es capaz de describir la información de textura local y la homogeneidad de región. Algunos ejemplos típicos de estos descriptores son: descriptor de textura homogénea, descriptor EdgeHistogram, descriptor SIFT/SURF, descriptor basado en la región, descriptor localizador espaciotemporal, y otros. Generalmente, el descriptor se calcula para cada píxel en la imagen de entrada de la imagen de detección. A partir del cálculo, se puede calcular un modelo de fondo por píxel que contiene un descriptor de información de textura local alrededor del píxel para cada píxel. Este modelo de fondo representa el valor anterior y, por lo tanto, (basado en la hipótesis expuesta al principio de esta sección) también el valor esperado. A continuación, para cada imagen de detección de entrada siguiente y para cada píxel de esta imagen, el descriptor de textura local se calcula de nuevo. Este descriptor de textura local se compara con el descriptor correspondiente del modelo de fondo. Basándose en esta comparación, se calcula la probabilidad de que este píxel pertenezca al fondo. El píxel respectivo en el modelo se actualiza basándose en la misma función de verosimilitud. Si hay una alta probabilidad de que el píxel pertenezca al fondo, el modelo de fondo se actualiza rápidamente para tener en cuenta el fondo modificado, en el caso contrario, el modelo de fondo se actualiza lentamente, en caso de que se haga.

[0039] En una etapa final, la función de verosimilitud se puede combinar con la información temporal pasada. La información temporal pasada puede estar en forma de respuestas de función de verosimilitud guardadas en la memoria de las imágenes de entrada de detección precedentes. La combinación de la información temporal pasada proporciona más información a la decisión final acerca de si el píxel pertenece a los objetos oclusivos o no, esta información se puede usar para generar una imagen de máscara.

[0040] Algoritmo 2: detección del objeto oclusivo basada en las frecuencias espaciales. Las frecuencias espaciales se pueden calcular usando la función FFT o analizando una región pequeña alrededor del píxel y aplicando un filtro de convolución multibanda a dicha región. Se puede construir un filtro de convolución multibanda mediante el muestreo selectivo de frecuencias espaciales. Por ejemplo, si solo se utilizan píxeles vecinos, representa la frecuencia espacial máxima posible. Si se utilizan píxeles a una cierta distancia, por ejemplo una distancia de cinco píxeles, representa una frecuencia inferior. La combinación de múltiples filtros de convolución con diferentes tamaños de convolución genera un filtro de convolución multibanda. Por ejemplo, se puede construir un filtro de convolución multibanda a partir de un sencillo filtro laplaciano, para las máximas frecuencias, y con una región de muestra aumentada para cada banda de frecuencias espacial inferior.

[0041] El fondo puede tener alguna distribución de frecuencias espacial estática por píxel conocida. Esta se puede calcular con el filtro de convolución multibanda. Este filtro dará una respuesta para cada banda individual. Los objetos oclusivos, por otro lado, no tienen frecuencias espaciales estáticas por píxel. Generalmente, los objetos oclusivos se identifican por altas frecuencias espaciales. Los objetos oclusivos pueden ser móviles y contienen muchos bordes y esquinas. Los bordes y las esquinas se pueden ver como frecuencias espaciales altas. Por lo tanto, las regiones con muchos cambios en las altas frecuencias se marcan con una alta probabilidad de ser un objeto oclusivo.

[0042] Algoritmo 3: detección de objeto oclusivo basada en la mezcla de gaussianas. Para cada píxel y para cada canal de color, se crea un modelo de fondo en función del algoritmo de la mezcla de gaussianas. La comparación de la diferencia del píxel de una imagen de detección capturada entrante nueva con el píxel correspondiente del modelo genera una función que expresa la probabilidad de que el píxel pertenezca al modelo de fondo. En función de un análisis estadístico, el modelo se puede actualizar con la información nueva del píxel. De esta manera, el modelo puede aprender las nuevas situaciones.

[0043] El resultado de todos los algoritmos descritos anteriormente se puede refinar con algunos filtros de reducción de ruido, como filtros de mediana o filtros de paso bajo. La máscara emitida se puede refinar por medio de operaciones morfológicas, como la erosión y la dilatación, y operaciones no morfológicas especializadas en el uso de mates en superficies para generar resultados de alta calidad. Algunos ejemplos de estas técnicas son el graph-cut, grab-cut, uso de mates alfa en tres niveles, donde la entrada a estos algoritmos individuales puede incluir la función de verosimilitud y la imagen real de la cámara.

Instalación del sistema.

[0044] Durante un evento de fútbol, la aplicación de superposición digital se usa generalmente en combinación con el equipo del radiodifusor anfitrión. El radiodifusor anfitrión es responsable de la calidad de la imagen, la instalación del equipo y el flujo de salida. Por lo tanto, la aplicación de superposición digital se puede implementar de manera que limite la interferencia con el flujo de trabajo de la instalación de los radiodifusores anfitriones.

[0045] Se puede elegir a usar un divisor de haz colocado entre la lente del radiodifusor y la cámara. El divisor de haz proporciona la posibilidad de unir un sensor independiente. Este sensor capturará aproximadamente la misma información que el sensor de imagen del radiodifusor. Sin embargo, este sensor se puede controlar completamente mediante la aplicación sin tener que interferir con los ajustes de imagen y calidad del sensor del radiodifusor. Además de usar un divisor de haz para capturar la misma imagen de perspectiva que la cámara de difusión, también se podría optar por una cámara estática calibrada, con un alto sensor de resolución y una lente del ojo de pez que cubre todo el rango de la cámara de difusión, o un conjunto de cámaras calibradas que cubren todo el rango de la cámara de difusión. Dado que todas las cámaras están calibradas, se pueden distorsionar fácilmente las imágenes de una cámara calibrada a la cámara calibrada de los radiodifusores que representa el espacio de cámara.

[0046] En función del método elegido, la luz entrante en el sensor adicional, a través de divisor de haz o instrumento óptico propio, podría ser un espectro específico desde la luz visible o no visible. Por ejemplo, podría ser un filtro de paso de banda espectral especial en la luz visible, tal y como se ha explicado previamente.

[0047] Algunos aspectos de la presente descripción se describen en las cláusulas siguientes, con referencia a la fig. 2.

Cláusula 1. Método de superposición digital de una imagen con otra imagen, que comprende

la creación 200 de un modelo de un espacio del mundo real, donde el modelo incluye una superficie de superposición que va a ser superpuesta con una imagen de superposición;

la identificación 201 de parámetros de cámara, que calibran al menos una cámara con respecto a las coordenadas del modelo;

la captura 202 de al menos una imagen con dicha al menos una cámara respectiva sustancialmente al mismo tiempo;

el posicionamiento 203 de la superficie de superposición dentro de dicha al menos una imagen capturada basándose en el modelo y los parámetros de cámara;

la detección 204 de un objeto oclusivo que ocluye al menos parcialmente la superficie de superposición en una imagen capturada seleccionada de dicha al menos una imagen capturada basándose en una propiedad de imagen del objeto oclusivo y una imagen de detección que es una imagen de dicha al menos una imagen capturada;

la superposición 205 de una parte no ocluida de la superficie de superposición en la imagen capturada seleccionada con la imagen de superposición.

Opcionalmente, después de la superposición de la imagen capturada seleccionada, se puede emitir 206. Cláusula 2. Método según la cláusula 1, donde la propiedad de imagen del objeto oclusivo se refiere a una frecuencia espacial del objeto oclusivo comparada con una frecuencia espacial de un fondo.

Cláusula 3. Método según la cláusula 1, que comprende además

la actualización de un modelo de un fondo en función de la imagen de detección;

donde la detección del objeto oclusivo se basa adicionalmente en el modelo del fondo.

Cláusula 4. Método según la cláusula 3, donde el modelo del fondo comprende una característica de una textura alrededor de un píxel en una parte de fondo de la imagen de detección;

y donde la actualización del modelo del fondo comprende el ajuste de la característica de la textura alrededor del píxel basándose en la imagen de detección.

Cláusula 5. Método según la cláusula 1, que comprende además la detección del objeto oclusivo detectando un cambio en una imagen de detección actual comparada con una imagen de detección capturada anterior. Cláusula 6. Método según la cláusula 1, donde la imagen de detección es diferente de la imagen capturada seleccionada, y la cámara usada para capturar la imagen de detección y la cámara usada para capturar la imagen capturada seleccionada se montan a una distancia la una de la otra de modo que la imagen capturada seleccionada y la imagen de detección forman un par de imágenes estéreo, y la propiedad de imagen del objeto oclusivo se refiere a una disparidad entre las dos imágenes estéreo.

Cláusula 7. Método según la cláusula 1, donde la superficie de superposición del modelo representa un dispositivo de visualización en el mundo real.

Cláusula 8. Método según la cláusula 7, que comprende la visualización de una imagen móvil en el dispositivo de visualización en el mundo real y la superposición de la imagen móvil con la imagen de superposición en la imagen capturada seleccionada.

Cláusula 9. Método según la cláusula 7, que comprende la visualización de una imagen estática en el dispositivo de visualización en el mundo real y la superposición de la imagen estática con la imagen de superposición en la imagen capturada seleccionada.

Cláusula 10. Método según la cláusula 7, donde el dispositivo de visualización emite radiación en uno o más rangos de frecuencia predeterminados, y la cámara usada para capturar la imagen de detección detecta radiación fuera de todos los uno o más rangos de frecuencia predeterminados y distingue la radiación detectada fuera de todos los uno o más rangos de frecuencia predeterminados de la radiación dentro del uno o más rangos de frecuencia predeterminados.

Cláusula 11. Método según la cláusula 10, donde la cámara usada para capturar la imagen de detección detecta luz visible fuera de todos los uno o más rangos de frecuencia predeterminados y distingue la luz visible detectada fuera de todos los uno o más rangos de frecuencia predeterminados de luz visible dentro del uno o más rangos de frecuencia predeterminados.

Cláusula 12. Método según la cláusula 1, donde la superficie de recubrimiento representa una superficie virtual que es inexistente en el mundo real.

Cláusula 13. Método según la cláusula 1, donde la imagen de detección es diferente de la imagen capturada seleccionada.

Cláusula 14. Método según la cláusula 1, donde la etapa de captura de al menos una imagen comprende capturar la imagen de detección con una cámara configurada para detectar una radiación diferente de luz visible.

Cláusula 15. Método según la cláusula 1, donde la cámara usada para capturar la imagen de detección y la cámara usada para capturar la imagen capturada seleccionada se configuran para recibir radiación a través del mismo objetivo o dos objetivos diferentes.

Cláusula 16. Método según la cláusula 1, donde la superficie de superposición se representa en el modelo mediante una indicación de al menos una forma, posición, y orientación de la superficie de superposición en el espacio del mundo real.

[0048] Nótese que las técnicas descritas en la presente se pueden aplicar a una o más cámaras. Por ejemplo, una pluralidad de cámaras se puede usar para cubrir un evento deportivo y producir una difusión de deportes. Los métodos y sistemas aquí expuestos se pueden aplicar a cada cámara. Por ejemplo, la superposición se aplica a la imagen de cámara capturada que se está emitiendo en ese momento en directo.

[0049] La superposición digital puede, por ejemplo, usarse para las aplicaciones siguientes: cambio del idioma de un anuncio, cambio del producto o modelo de producto publicitado, cambio del aspecto, como los colores, la fuente, el tamaño de la letra, la animación etc., publicidades por diferentes patrocinadores, contenido inmóvil, contenido animado, animación que interactúa con el movimiento de la cámara. En este último caso, la imagen de superposición se puede generar en función de los parámetros de cámara.

[0050] El sistema se puede distribuir sobre diferentes ubicaciones. Por ejemplo, la cámara o cámaras se pueden situar en un primer sitio, y el sistema para superponer digitalmente una imagen se puede situar en una ubicación diferente. En tal caso, los parámetros de la cámara, y las imágenes de la cámara que incluyen la imagen capturada seleccionada y la imagen de detección, se transmiten desde la ubicación en la que está situada la cámara a la ubicación en la que está situado el sistema para superponer digitalmente una imagen. Por ejemplo, este último puede estar situado y/o accionado por una organización de radiodifusión nacional, de modo que cada organización de radiodifusión pueda añadir su propia superposición al vídeo difundido. Además, la superposición se puede personalizar, de modo que diferentes abonados/espectadores reciban diferentes superposiciones.

[0051] Algunos o todos los aspectos de la invención pueden ser adecuados para implementarse en forma de software, en particular un producto de programa informático. Dicho producto de programa informático puede comprender un medio de almacenamiento, como una memoria, en el que se almacena el software. Asimismo, el programa informático se puede representar mediante una señal, como una señal óptica o una señal electromagnética, llevada por un medio de transmisión como un cable de fibra óptica o el aire. El programa informático puede tener parcial o totalmente forma de código fuente, código objeto, o pseudocódigo, adecuado para ser ejecutado mediante un sistema informático. Por ejemplo, el código puede ser ejecutable por uno o más procesadores.

[0052] Los ejemplos y formas de realización descritos en la presente sirven para ilustrar y no para limitar la invención. El experto en la materia será capaz de diseñar formas de realización alternativas sin apartarse del alcance de las reivindicaciones. Los signos de referencia colocados entre paréntesis en las reivindicaciones no deben interpretarse de forma que limiten el alcance de las reivindicaciones. Los artículos descritos como entidades separadas en las reivindicaciones o la descripción pueden implementarse como un único artículo de hardware o software que combina las características de los artículos descritos.

Claims (13)

REIVINDICACIONES

1. Sistema para superponer digitalmente una imagen con otra imagen, que comprende

un almacenamiento (4) para almacenar un modelo de un espacio del mundo real, donde el modelo incluye una superficie de superposición que va a ser superpuesta con una imagen de superposición, donde la superficie de superposición en el modelo representa un dispositivo de visualización en el mundo real, donde el dispositivo de visualización está configurado para mostrar una imagen móvil en el dispositivo de visualización en el mundo real mediante la emisión de radiación en uno o más rangos de frecuencia predeterminados;

una interfaz de parámetros de cámara (2) para recibir parámetros de cámara, que calibran al menos una cámara con respecto a las coordenadas del modelo;

una interfaz de imagen de cámara (3) para recibir al menos una imagen capturada con dicha al menos una cámara respectiva sustancialmente al mismo tiempo, donde dicha al menos una imagen capturada comprende una imagen de detección, donde la cámara usada para capturar la imagen de detección se configura para detectar radiación con una frecuencia fuera de todos los uno o más rangos de frecuencia predeterminados y distinguir la radiación detectada fuera de todos los uno o más rangos de frecuencia predeterminados de la radiación dentro del uno o más rangos de frecuencia predeterminados;

un posicionador (8) para determinar una posición de la superficie de superposición dentro de dicha al menos una imagen capturada basándose en el modelo y los parámetros de cámara;

un detector (9) para detectar un objeto oclusivo que ocluye al menos parcialmente la superficie de superposición en una imagen capturada seleccionada de dicha al menos una imagen capturada basándose en una propiedad de imagen del objeto oclusivo y la imagen de detección;

un elemento de superposición (10) para superponer una parte no ocluida de la superficie de superposición en la imagen capturada seleccionada con la imagen de superposición para obtener una imagen de salida, donde el elemento de superposición está configurado para superponer la imagen móvil mostrada en el dispositivo de visualización en el mundo real con la imagen de superposición en la imagen capturada seleccionada; y una interfaz de salida (11) para emitir la imagen de salida.

2. Sistema según la reivindicación 1, donde la propiedad de imagen del objeto oclusivo se refiere a un descriptor de una vecindad de un píxel, donde el descriptor comprende una frecuencia espacial, y donde el detector está configurado para comparar un descriptor de un píxel de la imagen de detección con el descriptor del objeto oclusivo.

3. Sistema según la reivindicación 1, que comprende además un actualizador de modelo (16) para actualizar un modelo de un fondo basándose en la imagen de detección;

donde el detector está configurado para detectar además el objeto oclusivo basándose en el modelo del fondo.

4. Sistema según la reivindicación 3, donde el modelo del fondo comprende un modelo de una característica de una textura del fondo;

y donde el actualizador de modelo está configurado para ajustar el modelo de la característica de la textura alrededor del píxel basándose en la imagen de detección.

5. Sistema según la reivindicación 1, donde el detector está configurado para detectar el objeto oclusivo mediante la detección de un cambio en una imagen de detección actual en comparación con una imagen de detección capturada anterior.

6. Sistema según la reivindicación 1, donde la imagen de detección es diferente de la imagen capturada seleccionada, y la interfaz de la cámara está configurada para recibir la imagen de detección y la imagen capturada seleccionada de distintas cámaras.

7. Sistema según la reivindicación 6, donde la cámara usada para capturar la imagen de detección y la cámara usada para capturar la imagen capturada seleccionada se montan a una distancia la una de la otra de modo que la imagen capturada seleccionada y la imagen de detección forman un par de imágenes estéreo, y donde la propiedad de imagen del objeto oclusivo se refiere a una disparidad entre las dos imágenes estéreo.

8. Sistema según la reivindicación 6, donde la cámara usada para capturar la imagen de detección está configurada para detectar una radiación diferente de la luz visible.

9. Sistema según la reivindicación 6, donde la cámara usada para capturar la imagen de detección y la cámara usada para capturar la imagen capturada seleccionada están configuradas para recibir radiación a través del mismo objetivo o de dos objetivos diferentes.

10. Sistema según la reivindicación 1, donde la cámara usada para capturar la imagen de detección está configurada para detectar luz visible fuera de todos los uno o más rangos de frecuencia predeterminados y para distinguir la luz visible detectada fuera de todos los uno o más rangos de frecuencia predeterminados de la luz visible dentro del uno o más rangos de frecuencia predeterminados.

11. Sistema según la reivindicación 1, donde la superficie de superposición se representa en el modelo mediante una indicación de al menos una forma, posición y orientación de la superficie de superposición en el espacio del mundo real.

12. Método de superposición digital de una imagen con otra imagen, que comprende la creación (200) de un modelo de un espacio del mundo real, donde el modelo incluye una superficie de superposición que va a ser superpuesta con una imagen de superposición, donde la superficie de superposición en el modelo representa un dispositivo de visualización en el mundo real, donde el dispositivo de visualización está configurado para mostrar una imagen móvil en el dispositivo de visualización en el mundo real mediante la emisión de radiación en uno o más rangos de frecuencia predeterminados;

la identificación (201) de los parámetros de cámara, que calibran al menos una cámara con respecto a las coordenadas del modelo;

la captura (202) de al menos una imagen con dicha al menos una cámara respectiva sustancialmente al mismo tiempo, donde dicha al menos una imagen capturada comprende una imagen de detección, donde la cámara usada para capturar la imagen de detección está configurada para detectar radiación con una frecuencia fuera de todos los uno o más rangos de frecuencia predeterminados y distinguir la radiación detectada fuera de todos los uno o más rangos de frecuencia predeterminados de la radiación dentro del uno o más rangos de frecuencia predeterminados;

el posicionamiento (203) de la superficie de superposición dentro de dicha al menos una imagen capturada basándose en el modelo y los parámetros de cámara;

la detección (204) de un objeto oclusivo que ocluye al menos parcialmente la superficie de superposición en una imagen capturada seleccionada de dicha al menos una imagen capturada basándose en una propiedad de imagen del objeto oclusivo y la imagen de detección;

la superposición (205) de una parte no ocluida de la superficie de superposición en la imagen capturada seleccionada con la imagen de superposición, superponiendo la imagen móvil mostrada en el dispositivo de visualización en el mundo real con la imagen de superposición en la imagen capturada seleccionada.

13. Producto de programa informático que comprende instrucciones para provocar que un ordenador ejecute las etapas de almacenamiento (500) de un modelo de un espacio del mundo real, donde el modelo incluye una superficie de superposición que va a ser superpuesta con una imagen de superposición, donde la superficie de superposición en el modelo representa un dispositivo de visualización en el mundo real, donde el dispositivo de visualización está configurado para mostrar una imagen móvil en el dispositivo de visualización en el mundo real mediante la emisión de radiación en uno o más rangos de frecuencia predeterminados;

la recepción (501) de los parámetros de la cámara, que calibran al menos una cámara con respecto a las coordenadas del modelo;

la recepción (502) de al menos una imagen capturada con dicha al menos una cámara respectiva sustancialmente al mismo tiempo, donde dicha al menos una imagen capturada comprende una imagen de detección, donde la cámara usada para capturar la imagen de detección está configurada para detectar radiación con una frecuencia fuera de todos los uno o más rangos de frecuencia predeterminados y distinguir la radiación detectada fuera de todos los uno o más rangos de frecuencia predeterminados de una radiación dentro del uno o más rangos de frecuencia predeterminados;

la determinación (503) de una posición de la superficie de superposición dentro de dicha al menos una imagen capturada basándose en el modelo y los parámetros de cámara;

la detección (504) de un objeto oclusivo que ocluye al menos parcialmente la superficie de superposición en una imagen capturada seleccionada de dicha al menos una imagen capturada basándose en una propiedad de imagen del objeto oclusivo y la imagen de detección;

la superposición (505) de una parte no ocluida de la superficie de superposición en la imagen capturada seleccionada con la imagen de superposición para obtener una imagen de salida superponiendo la imagen móvil mostrada en el dispositivo de visualización en el mundo real con la imagen de superposición en la imagen capturada seleccionada; y

la emisión (506) de la imagen de salida.