ES2938620T3 - Procedimiento para diferenciar fondo y primer plano de un escenario y procedimiento para reemplazar un fondo en imágenes de un escenario - Google Patents

Procedimiento para diferenciar fondo y primer plano de un escenario y procedimiento para reemplazar un fondo en imágenes de un escenario Download PDF

Info

Publication number
ES2938620T3
ES2938620T3 ES18156774T ES18156774T ES2938620T3 ES 2938620 T3 ES2938620 T3 ES 2938620T3 ES 18156774 T ES18156774 T ES 18156774T ES 18156774 T ES18156774 T ES 18156774T ES 2938620 T3 ES2938620 T3 ES 2938620T3
Authority
ES
Spain
Prior art keywords
background
image
foreground
image sensor
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18156774T
Other languages
English (en)
Inventor
Wolfgang Vonolfen
Rainer Wollsiefen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Application granted granted Critical
Publication of ES2938620T3 publication Critical patent/ES2938620T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/28—Mobile studios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Eye Examination Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Silver Salt Photography Or Processing Solution Therefor (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

La presente invención se refiere a un método para distinguir el fondo y el primer plano en imágenes o películas de una escena registrada por una cámara electrónica. La invención también se refiere a un método para reemplazar el fondo en fotografías o películas tomadas de una escena mientras se retiene el primer plano. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Procedimiento para diferenciar fondo y primer plano de un escenario y procedimiento para reemplazar un fondo en imágenes de un escenario
La presente invención se refiere a un procedimiento para diferenciar fondo y primer plano en imágenes o películas de un escenario grabadas por una cámara electrónica. La invención también se refiere a un procedimiento para reemplazar el fondo en imágenes o películas grabadas de una escena manteniendo el primer plano.
Según el estado de la técnica, existen diferentes procedimientos para separar objetos o personas registradas por una cámara, que se encuentran una delante de la otra en una escena real y de este modo se ocultan entre sí. El procedimiento más utilizado es la codificación de croma establecida desde hace mucho tiempo, en la que el fondo en la escena real tiene un color definido que no aparece en los objetos del primer plano. Este fondo se puede detectar y separar del primer plano mediante un simple análisis de color de la imagen registrada. La desventaja de este procedimiento es que el fondo en la escena real se debe presentar en un color definido, lo que no se puede realizar en muchas situaciones.
Por el documento DE 102007041 719 A1 se conoce un procedimiento para generar una realidad aumentada en un espacio. Para ello, mediante un proyector de vídeo se proyecta una imagen sobre una superficie en el espacio, que es grabada por una cámara sincronizada con una secuencia de imágenes.
El documento US 2008/0084508 A1 describe un sistema de cámara/proyector asíncrono, actuando en desfase la cámara y el proyector, de modo que la cámara no graba la imagen del proyector.
La tarea de la presente invención es especificar un procedimiento para diferenciar fondo y primer plano en imágenes o películas de un escenario grabadas por una cámara electrónica, que permita diseñar libremente el fondo y el primer plano. También es tarea especificar un procedimiento para reemplazar un fondo en una imagen o película de un escenario, en el que el fondo y el primer plano se pueden diseñar libremente.
Esta tarea se soluciona mediante el procedimiento para diferenciar fondo y primer plano en imágenes de escena grabadas por una cámara electrónica según la reivindicación 1, el procedimiento para reemplazar un fondo en una imagen de un escenario según la reivindicación 7 y el sistema de visualización electrónico según la reivindicación 8. Las reivindicaciones dependientes especifican perfeccionamientos ventajosos del procedimiento según la invención.
Según la invención se proporciona un procedimiento mediante el cual se pueden diferenciar fondo y primer plano en imágenes de un escenario grabadas por una cámara electrónica. Una parte del escenario alejada de la cámara se considera fondo y la parte del escenario cercana a la cámara se considera primer plano. El escenario es la totalidad de los objetos del fondo y del primer plano. Si aquí se habla de imágenes, estas pueden ser imágenes fijas o preferiblemente fotogramas de una película. Ni el fondo ni el primer plano tienen que llenar la imagen por completo y pueden aparecer solo en partes o no aparecer en la imagen. El procedimiento según la invención también se puede aplicar en áreas parciales de imágenes. Por ejemplo, en grabaciones de eventos deportivos, la publicidad perimetral se puede diferenciar de los jugadores que se encuentran delante de ella. Generalmente se parte de que el primer plano oculta parcialmente el fondo desde la perspectiva de la cámara.
El procedimiento según la invención se puede realizar tanto en imágenes fijas como también en películas de escenarios, que se graban con una cámara electrónica, es decir, por ejemplo, una cámara con un sensor de imagen CCD o CMOS. En principio, el procedimiento también puede llevarse a cabo basándose en señales de imagen grabadas por cámaras eléctricas analógicas, aunque se prefiere la implementación utilizando cámaras digitales.
Según la invención, el fondo puede mostrar cualquier imagen. Esto puede ser, por ejemplo, una imagen con múltiples colores y/o múltiples niveles de brillo. En particular, preferiblemente no se entiende por imagen un área monocromática y uniformemente brillante en el sentido de este escrito.
La imagen del fondo ahora se muestra con una codificación que conserva la visibilidad de la imagen para un observador humano directo del escenario, o incluso es completamente invisible para dicho observador del escenario. El hecho de que la imagen con la codificación sea reconocible para un observador directo del escenario significa que esta visibilidad se da al menos si el observador mira el escenario directamente en el sitio y está a una distancia suficiente del fondo, pero pudiendo reconocer aún el contenido de la imagen. La codificación de la imagen puede por tanto incluir una estructuración de la imagen, o bien del fondo, siempre que sea tan fina que un observador a una distancia suficiente reconozca la imagen sin que la estructuración tenga un efecto perturbador o sea perceptible.
Ahora, una cámara electrónica graba una imagen o película del escenario con el fondo y la codificación, así como un primer plano ubicado delante del fondo. En este caso, un sensor de imagen de la cámara, que graba las imágenes del escenario, genera una señal. En esta señal, el fondo se diferencia ahora del primer plano por medio de la codificación. En este caso se aprovecha el hecho de que el fondo presente la codificación, pero el primer plano no.
Dado que el fondo se diferencia del primer plano en la señal del sensor de imagen que graba las imágenes, o bien la película del escenario para una posterior presentación o difusión o emisión, el procedimiento se puede realizar con un solo sensor de captura de imagen, sin que sean necesarios varios sensores de imagen. Por lo tanto, de modo preferente, el procedimiento se lleva a cabo exactamente con un sensor de imagen. Según la invención, por lo tanto, solo se requiere exactamente una señal de imagen de este sensor de imagen.
En algunas formas de realización puede ser necesario modificar adecuadamente la imagen a grabar por la cámara, o bien el sensor de imagen, para reconocer el fondo por medio de la codificación. Entonces, se prefiere que la imagen del escenario grabada se modifique para su almacenamiento, procesamiento adicional o difusión adicional de tal manera que la modificación se revierta antes de grabar la imagen, de modo que al menos el primer plano de la imagen generada finalmente aparezca puro, como aparecería en una imagen sin modificar.
En una configuración ventajosa de la invención, la codificación de la imagen, o bien del fondo, puede incluir que el fondo muestre diferentes partes de la imagen alternantes periódicamente, formando las partes de cada período la imagen completa. La duración del período, es decir, el tiempo dentro del cual todas las partes de la imagen se muestran una vez, se selecciona para que sea tan breve que la imagen completa pueda ser vista por un observador directo del escenario.
Cuando se muestran tales partes, al menos un parámetro de imagen que influye en la presentación de la imagen puede cambiar en el transcurso de un período. Un parámetro de imagen puede entenderse, por ejemplo, como un valor o un grupo de valores de factores de ponderación, o bien factores de escala, que son adecuados para controlar los canales de color, el contraste, el brillo y/o la saturación de píxeles individuales, grupos de píxeles (patrones) o la imagen completa.
Según la invención, en todas las formas de realización de la invención, cada procedimiento debe entenderse como procedimiento de codificación que permite crear una máscara mediante la cual se puede diferenciar el fondo del primer plano. En general, "codificación" describe un proceso de reconocimiento de componentes en una imagen o un video. Los componentes pueden ser reconocidos, o bien filtrados (análisis de imagen) y posiblemente reemplazados por otras fuentes de imagen (composición de imagen). En el análisis de la imagen, se reconocen ciertas características o codificaciones en la imagen y a partir de estas se genera una máscara, que corresponde a los componentes de la imagen a reconocer. La máscara puede servir como plantilla en la composición de la imagen. El cálculo de la máscara en función de la propiedad, o bien de la codificación, no tiene por qué ser completo y puede complementarse mediante otros procedimientos. Esto incluye, por ejemplo, procedimientos de análisis de imágenes como el flujo óptico, la segmentación de imágenes según color, bordes o similares o heurísticas (es decir, suposiciones sobre los objetos en la escena). En particular, las informaciones se pueden derivar del seguimiento de la cámara, con cuya ayuda se conoce el ángulo de visión de la cámara en la escena, de modo que se puede predeterminar la ubicación y el tamaño del fondo o también del primer plano en la imagen. En general, por lo tanto, al fondo se añade como codificación una propiedad que no aparece en el primer plano o que solo aparece más débilmente, de tal manera que el fondo se puede diferenciar del primer plano en una máscara basada en esta propiedad.
La otra o las otras partes que muestra el fondo en un período pueden mostrar entonces las partes de color complementarias degradadas o aumentadas según corresponda, de modo que el observador directo del escenario perciba los colores reales de la imagen.
Otra configuración del procedimiento según la invención prevé que la codificación de la imagen, o bien del fondo, comprenda que el fondo muestre patrones alternantes en el tiempo, que se complementan entre sí dentro de un período para formar la imagen completa. Por medio del patrón alternante periódicamente se puede diferenciar el fondo del primer plano en la señal del sensor de imagen.
En una configuración ventajosa de la invención, en la señal del sensor de imagen se puede realizar un reconocimiento de patrones, por ejemplo sobre la base de una transformada y/o un filtrado de Fourier. Esto permite diferenciar el fondo del primer plano por medio de la frecuencia con la que se muestran alternantemente los patrones. Aquí, en una transformada de Fourier, las áreas de fondo muestran una parte de la frecuencia cambiante que no muestra el primer plano.
El patrón que muestra el fondo puede ser ventajosamente periódico en una dirección de exploración del sensor de imagen y puede ser en particular, por ejemplo, un patrón de tablero de ajedrez. Las áreas individuales del patrón, por ejemplo los cuadrados del patrón de tablero de ajedrez, pueden oscilar entre claro y oscuro, así como entre diferentes partes de color.
Para generar el patrón oscilante, el fondo puede ser autoiluminado, por ejemplo, una pantalla LED, o también se puede disponer un filtro controlable delante de la imagen del fondo correspondientemente al patrón, que bloquea periódicamente diferentes partes de la imagen alternante.
En el caso de un patrón de tablero de ajedrez, el patrón oscilante puede apuntar alternantemente al patrón de tablero de ajedrez y al patrón de tablero de ajedrez inverso respecto al mismo.
El patrón es preferiblemente binario, es decir, se conmuta exactamente entre dos estados. Un área determinada del patrón transmite completamente la luz de la imagen o brilla con un brillo máximo en un estado y atenúa la luz de la imagen o brilla con un brillo reducido en el otro estado. La atenuación también puede ser una atenuación completa u oscuridad total.
En una configuración adicional, la codificación de la imagen, o bien del fondo, puede incluir que la imagen se represente en forma de puntos de color sobre un fondo de manera rasterizada. En este caso, los puntos de color junto con el fondo que los rodea componen el color de la imagen en la ubicación del punto de color. En este caso, también es posible que la base de la imagen sea negra, por lo que el color de la imagen viene dado por el color de los puntos de color.
Ahora se dispone un filtro de color delante del sensor de imagen, o bien delante de la cámara, que atenúa o filtra los colores de los puntos coloreados y, si es necesario, permite que los colores del fondo pasen sin atenuarse. Dado que en la práctica el fondo no es completamente negro, el filtro de color transmite aquellos colores que no son los colores de los puntos de color, también con fondo negro, sin atenuarse.
Debido al filtro, el color de la base de la imagen se presenta reforzado frente a los colores de los puntos de color en la imagen grabada por el sensor de imagen. Si, como en todas las formas de realización basadas en colores, se selecciona un color para el fondo que se presenta atenuado o no está presente en absoluto en el primer plano, el fondo se puede diferenciar ahora del primer plano por medio de una codificación basada en colores. También es posible elegir el filtro de color de tal manera que todos los colores del escenario, a excepción de los de los puntos de color, puedan estar compuestos por los colores que transmite el filtro de color.
El efecto del filtro de color delante del sensor de imagen se puede calcular para representar el primer plano en la imagen generada finalmente sin desviación de color.
En una forma de realización para una mejor comprensión, el filtro de color delante del sensor de imagen puede ser un filtro espectral, en particular un filtro de interferencia, que filtra ciertas regiones del espectro visible que se distribuyen por toda el área visible. A continuación, delante de los puntos de color se puede disponer respectivamente un filtro espectral, o bien un filtro de interferencia, complementario al filtro situado delante de la cámara, que a su vez transmite los colores distribuidos uniformemente en el espectro visible, de tal forma que a partir de estos se pueden representar todos los colores que se requieren para la representación de la imagen. El hecho de que los filtros de color de los puntos de color y la cámara sean complementarios significa aquí que estos transmiten diferentes regiones del espectro visible, esencialmente no superpuestas, dentro del área visible. En lugar de filtros de interferencia, también se pueden usar, por ejemplo, filtros de muesca.
Debido a los puntos de color, el fondo representa la imagen de manera rasterizada. La resolución de la trama se selecciona preferentemente de tal manera que un observador del escenario reconozca la imagen desde una cierta distancia.
Los puntos de color del fondo se pueden configurar para que sean reflectantes o autoiluminados. Los puntos de color autoiluminados se pueden realizar, por ejemplo, mediante bombillas o diodos emisores de luz (LEDs). Dado que los diodos emisores de luz se pueden realizar con luz muy monocromática, es posible componer los puntos coloreados del fondo a partir de diodos emisores de luz y filtrar, o bien atenuar precisamente las frecuencias emitidas por los diodos emisores de luz por medio de un filtro delante del sensor de imagen, o bien de la cámara, por ejemplo un filtro de interferencias. Si el filtro delante de la cámara transmite las frecuencias no emitidas por los diodos emisores de luz sin atenuar, la base de la imagen, así como el primer plano, se pueden representar a partir de estos colores.
En una forma de realización adicional para una mejor comprensión, la codificación de la imagen puede incluir que el fondo solo emita o refleje colores seleccionados a partir de al menos una, preferiblemente al menos dos, regiones del espectro visible separadas entre sí en el espectro. Ahora se dispone un filtro de color delante del sensor de imagen, o bien de la cámara, a través del cual pasa la luz que sale de la escena antes de incidir sobre el sensor de imagen. Este se elige para atenuar aquellas regiones del espectro visible a partir de las cuales se seleccionan los colores de la imagen, pero transmite las regiones del espectro visible que se encuentran entre estas regiones sin atenuar. De esta forma, el fondo aparece atenuado u oscuro en el sensor de imagen, mientras que el primer plano aparece compuesto por aquellos colores que son transmitidos por el filtro de color.
Si se seleccionan adecuadamente las regiones del espectro filtradas, o bien las regiones del espectro transmitidas, se pueden representar todos los colores del primer plano como resultado. En particular, también la selección de las regiones transmitidas se puede adaptar a los colores que aparecen en el primer plano.
En la imagen grabada por el sensor de imagen, el primer plano ahora se diferencia del fondo por medio de codificación de las regiones atenuadas. En este caso, la atenuación genera la máscara de codificación. Si la atenuación a través del filtro delante del sensor de imagen no es completa, las regiones atenuadas, en particular el primer plano, pueden reconstruirse computacionalmente, si es necesario, para la representación de la imagen definitiva.
En este caso, la codificación del fondo se puede obtener disponiendo un filtro de color correspondiente, por ejemplo, un filtro de interferencia, delante del fondo y detrás del primer plano, es decir, entre el fondo y el primer plano. De esta manera, la luz que sale del fondo pasa a través de este filtro de color, de modo que, esencialmente, desde el fondo solo incide sobre el filtro de color delante de la cámara la luz que es filtrada por el filtro entre el fondo y el primer plano.
Los componentes de color que no son filtrados, o bien atenuados por el filtro delante de la cámara, solo salen del primer plano.
En otra realización para una mejor comprensión, la codificación del fondo puede incluir que el fondo emita radiación electromagnética de al menos una región espectral no visible. Ahora se puede disponer un dispositivo de conversión delante del sensor de imagen, o bien delante de la cámara. Este puede ser de configuración bidimensional, con una superficie orientada esencialmente paralela al sensor de imagen y/o paralela a la superficie de entrada de luz de la cámara.
Por un lado, el dispositivo de conversión ahora presenta regiones en las que la luz visible puede pasar a través del dispositivo sin obstáculos. En otras regiones, el dispositivo presenta elementos que provocan una conversión de la radiación no visible en luz visible e insertan la luz convertida en la trayectoria del haz de luz que sale del fondo. La inserción en la trayectoria del haz se puede efectuar, por ejemplo, por medio de una o más lentes adecuadas que insertan el elemento conversor de luz en la trayectoria del haz de la óptica de la cámara de tal manera que aparece para la cámara como parte del fondo. Ventajosamente, a cada elemento conversor de luz se asigna una lente propia de este tipo.
Los elementos conversores se pueden disponer de manera rasterizada sobre la superficie del dispositivo de conversión. Por lo tanto, estos están presentes en esta superficie a intervalos equidistantes. La luz visible puede pasar a través del dispositivo entre los elementos de conversión.
La radiación electromagnética invisible puede ser radiación UV o radiación infrarroja.
El dispositivo de conversión genera una máscara en la imagen grabada por el sensor de imagen, mediante la cual se diferencia el fondo mediante un proceso de codificación del primer plano, que no emite la correspondiente radiación invisible o la emite en menor medida. Ventajosamente, el dispositivo de conversión convierte la luz no visible en un color que no aparece o sólo aparece en menor medida en primer plano.
Se pueden utilizar puntos de material fluorescente o fosforescente como elementos conversores de luz. De nuevo, cada uno de los puntos está preferiblemente provisto de un dispositivo para la integración del punto correspondiente en el fondo en la trayectoria del haz de la cámara. La conversión de la luz a través de los materiales fluorescentes o fosforescentes genera aquí una luz visible no direccional de un color determinado. Por este motivo se utilizan preferiblemente lentes posteriores e integradas en el filtro para enfocar esta luz dispersa según la trayectoria óptica. Además, como apoyo, aquí se pueden utilizar barreras en el filtro, que complementan correspondientemente la función de las lentes. En este caso, las barreras pueden absorber o reflejar la parte de la luz dispersa que, debido a su dirección a través de las lentes, no se puede enfocar en la trayectoria del haz de la cámara porque, por ejemplo, discurre transversalmente a la trayectoria del haz. Para la luz dispersa contra la trayectoria del haz, la barrera puede ser semirreflectante (es decir, la radiación electromagnética invisible entrante se transmite, mientras que la luz dispersa convertida por medio de los materiales en la dirección opuesta se refleja y, por lo tanto, se devuelve a la trayectoria del haz).
En una forma de realización adicional para una mejor comprensión, la codificación de la imagen puede incluir que el fondo, o bien la imagen emita y/o refleje luz polarizada solo en una dirección de polarización o dirección de rotación de polarización determinada. Aquí se puede utilizar polarización lineal o polarización circular. Ahora se dispone delante de la cámara, o bien del sensor de imagen, un filtro de color y un filtro de polarización, a través de los cuales pasa la luz que sale del escenario antes de que incidir sobre el sensor de imagen. En este caso, el filtro de color está preferentemente dispuesto delante del filtro de polarización, de modo que la luz que sale del escenario pasa primero por el filtro de color y entonces por el filtro de polarización antes de incidir sobre el sensor de imagen. El filtro de color puede preferentemente atenuar o aumentar, o bien reforzar un componente de color.
El filtro de polarización delante del sensor de imagen está orientado en este caso de tal manera que filtra la luz de la polarización que emite o refleja la imagen. Como resultado, en la imagen generada por el sensor de imagen, el fondo se puede producir desde el primer plano por medio de codificación sobre las partes oscuras de la imagen que no tienen un matiz de color del filtro de color. Las partes oscuras de la imagen que no muestran ningún matiz de color del filtro de color, sirven como máscara para la codificación.
Debe señalarse que aquí el filtro de color solo debilita preferiblemente el componente de color correspondiente, pero no lo filtra por completo. De esta forma, las regiones negras que resultan del hecho de que el filtro de polarización filtra la luz polarizada del fondo se pueden diferenciar de cualquier región negra del primer plano porque estas últimas presentan un negro más claro que presenta el tono de color del filtro de color. El negro grabado no es completamente oscuro en escenas naturales, sino más bien un gris oscuro. Por lo tanto, los objetos también adquieren un tono de color imperceptible pero mensurable por medio del filtro de color. La luz reducida por medio del filtro de polarización, por el contrario, se absorbe en gran medida independientemente del color.
En otra forma de realización para una mejor comprensión, la codificación de la imagen, o bien del fondo, incluye el hecho de que el fondo emite radiación electromagnética de al menos una región espectral no visible, como UV o infrarrojo. Ahora se dispone un dispositivo de conversión delante del sensor de imagen, a través del cual pasa la luz que sale del escenario antes de incidir sobre el sensor de imagen. Este dispositivo de conversión convierte la radiación electromagnética no visible que sale del escenario en luz visible y la oculta en el escenario desde la perspectiva del sensor de imagen.
El dispositivo de conversión puede presentar un divisor de haz a través del cual pasa la luz antes de incidir sobre el sensor de imagen y que desvía al menos parcialmente la radiación no visible hacia un conversor que detecta la radiación no visible y genera un patrón correspondiente de luz visible que corresponde precisamente al fondo. Esta luz visible puede, por ejemplo, ocultarse en la trayectoria del haz al sensor de imagen a través de un espejo semitransparente, de modo que el sensor de imagen vea el escenario a través del espejo semitransparente y el divisor de haz. En esta forma de realización, en primer lugar la radiación no visible se desvía al menos parcialmente fuera de la trayectoria del haz a través del divisor de haz y a través del espejo semitransparente se oculta una imagen correspondiente al fondo.
El conversor puede presentar un sensor de imagen, así como una óptica de formación de imágenes, a través de los cuales se genera una imagen del fondo a partir de la radiación no visible en el sensor de imagen. El dispositivo de conversión puede entonces generar la radiación visible correspondiente, por ejemplo, por medio de una pantalla de imagen, cuya imagen se oculta como se describe en la trayectoria del haz de la cámara. La imagen oculta de la pantalla forma un tono de color adicional o un patrón en la región del fondo en la imagen generada por el sensor de imagen de la cámara. La codificación posterior genera una máscara a partir de esto, por medio de la cual se puede diferenciar el fondo del primer plano.
En todas las formas de realización, para una mejor comprensión, que un elemento esté dispuesto delante de la cámara o delante del sensor de imagen significa que está dispuesto entre el sensor de imagen y el primer plano del escenario. En este caso, este se puede alojar delante de la óptica de la cámara, en la óptica de la cámara o entre la óptica de la cámara y el sensor de imagen. Que un filtro esté dispuesto delante del fondo significa que está dispuesto entre la imagen, o bien el fondo por un lado y el primer plano por otro lado.
En todas las formas de realización de la invención en las que se muestran partes del fondo o de una imagen del fondo que cambian periódicamente, la frecuencia alterna es preferiblemente mayor que la frecuencia alterna máxima perceptible de 25 Hz, por encima de la cual las partes mostradas alternantemente se perciben por un espectador como una imagen compuesta por las partes. La frecuencia alterna es preferiblemente mayor o igual a 50 Hz.
A continuación, la invención se explicará a modo de ejemplo por medio de algunas figuras. Los mismos símbolos de referencia corresponden en este caso a las mismas o a correspondientes características. Las características que se muestran en los ejemplos también pueden combinarse entre los diversos ejemplos y realizarse independientemente del ejemplo concreto.
Muestra
Figura 1 una estructura para la realización de un procedimiento ejemplar según una primera forma de realización para una mejor comprensión;
Figura 2 una estructura para la realización de un procedimiento según la invención según una forma de realización de la presente invención;
Figura 3 una estructura para la realización de un procedimiento ejemplar según una forma de realización para una mejor comprensión;
Figura 4 una estructura para la realización de un procedimiento ejemplar según una forma de realización para una mejor comprensión;
Figura 5 una estructura para la realización de un procedimiento ejemplar según una forma de realización para una mejor comprensión;
Figura 6 una estructura para la realización de un procedimiento ejemplar según una forma de realización para una mejor comprensión;
Figura 7 una estructura para la realización de un procedimiento ejemplar según una forma de realización para una mejor comprensión;
Figura 8 dos espectros de dos filtros de interferencia complementarios entre sí como representación esquemática.
La Figura 1 muestra una instalación para la realización de un procedimiento según una primera forma de realización, que sirve para una mejor comprensión. Un escenario con un primer plano 2 y un fondo 3 se filma con una cámara 1. La cámara 1 presenta un sensor de imagen no mostrado, que genera una señal de imagen 4 que se alimenta a un dispositivo para el análisis de imágenes y/o el procesamiento de imágenes 5. La cámara 1 puede presentar una óptica de formación de imágenes 1a y una carcasa de cámara 1b, por ejemplo, en la que está dispuesto el sensor de imagen.
En el ejemplo mostrado, el primer plano 2 es un cubo simple. Sin embargo, en todas las formas de realización, el procedimiento según la invención se puede realizar con cualquier primer plano 2, en particular, por ejemplo, con atletas de un evento deportivo. El fondo 3 también puede ser asimismo de cualquier tipo, siempre que permita una codificación, tal como se requiere para la realización de la invención. Por ejemplo, el fondo puede ser un decorado de estudio o un anuncio perimetral en un estadio.
En el ejemplo mostrado en la Figura 1, el fondo 3 muestra una imagen. En este caso, las diferentes partes de la imagen se muestran alternantes periódicamente, componiendo las partes de cada período la imagen completa. La visualización de las partes de la imagen en tiempos t1, t2, t3 ,..... , t8 ,......ahora está sincronizada con la exposición de la cámara de tal manera que en al menos un período, preferiblemente en cada período, la cámara solo graba una parte determinada de t1, t3, t5, ..., que se selecciona de tal manera que permite diferenciar primer plano y fondo en la señal de imagen mediante codificación. La codificación puede ser una codificación basada en colores, preferiblemente codificación de croma, por ejemplo. El dispositivo de análisis 5 diferencia entonces el fondo del primer plano en las imágenes 4 grabadas por el sensor de imagen de la cámara 1.
En el ejemplo mostrado, la imagen de fondo se puede dividir, por ejemplo, en dos imágenes, conteniendo la primera imagen una parte de color reducida de manera seleccionable a partir de la imagen original del fondo y conteniendo la segunda imagen los colores complementarios, de modo que en la combinación de las dos imágenes se produce la imagen original. Ambas imágenes se pueden mostrar alternantemente a una frecuencia tan alta que ya no son perceptibles individualmente por el observador (por ejemplo 100 Hz). La cámara de registro 1 puede entonces trabajar sincrónicamente con la mitad de la frecuencia (por ejemplo 50 Hz) y con un tiempo de exposición más corto (por ejemplo 1/100 seg.), de modo que solo se graba la primera de las dos imágenes con la parte de color seleccionado. El procedimiento también se puede realizar de forma pasiva con un fondo reflectante. Para ello, se puede disponer un filtro de color LCD controlable delante del fondo, que en cada caso transmite la parte correspondiente de la imagen. En el caso activo, en el que el fondo es autoiluminado (por ejemplo como pantalla LED), el fondo se puede controlar de manera específica para mostrar las partes de la imagen correspondientemente.
La Figura 2 muestra otra instalación ventajosa para la realización del procedimiento según la invención. En este caso, para la codificación, el fondo muestra patrones alternantes periódicamente, que se complementan entre sí dentro de un período para formar la imagen completa. Por lo tanto, si se observa conjuntamente todos los patrones de un período, se produce la imagen completa.
El escenario que consiste en el fondo 3 y el primer plano 2 es grabado por el sensor de imagen de la cámara 1 y la señal de imagen 4 es analizada por medio de un dispositivo de análisis 5. En la imagen grabada por el sensor de imagen, el fondo 3 se puede distinguir ahora del primer plano 2 por medio del patrón alternante periódicamente. Para ello, por ejemplo, se puede realizar una transformada de Fourier en la señal 4 del sensor de imagen y el fondo 3 se puede distinguir del primer plano 2 en base a la frecuencia de la representación alternante del patrón. El sensor de imagen puede, por ejemplo, escanearse línea por línea y el análisis puede realizarse directamente en la señal de escaneo. En la transformada de Fourier, el patrón alternante periódicamente genera una parte de frecuencia con la frecuencia alterna donde se representa el fondo.
El análisis se puede realizar tanto a lo largo del tiempo por medio de análisis de imágenes consecutivas como también dentro de una imagen. Como resultado, se puede buscar el patrón correspondiente en el análisis de imagen de la cámara 1. El análisis puede ser apoyado por informaciones del seguimiento de la cámara. Por ejemplo, las informaciones del seguimiento de la cámara pueden ayudar en la determinación del tamaño de la muestra.
Son posibles varios patrones. En el caso mostrado, el fondo 3 muestra un patrón de tablero de ajedrez con cuadrados negros alternantes y cuadrados que muestran la sección de la imagen en la ubicación del cuadrado correspondiente. Se muestran alternantemente el patrón de tablero de ajedrez y el patrón de tablero de ajedrez complementario al mismo, en el que los cuadrados negros y los cuadrados que muestran la imagen se han intercambiado por el patrón de tablero de ajedrez real.
La frecuencia de la oscilación se selecciona tan alta que no se puede percibir por el observador (por ejemplo 50 Hz). La frecuencia también se puede acoplar a la frecuencia de imágenes de la cámara.
El patrón del fondo se puede generar de forma pasiva, por ejemplo mediante un filtro controlable, como un filtro LCD. También se puede configurar activamente como un fondo autoiluminado, por ejemplo como pantalla LED.
La Figura 3 muestra otra disposición posible para la realización de un procedimiento que no corresponde al ámbito de protección de las reivindicaciones. Para la codificación, la imagen se representa aquí mediante puntos de color 6 sobre una base 7. Los puntos de color 6 están preferentemente dispuestos de manera rasterizada sobre la base 7. Los puntos de color 6, en cada caso junto con el fondo que los rodea, representan el color de la imagen en la ubicación correspondiente. El fondo también puede ser negro, de modo que los puntos de color contribuyen completamente al color de la imagen. Delante del sensor de imagen de la cámara 1, preferiblemente delante del objetivo de la cámara 1, ahora está dispuesto un filtro de color 8 que atenúa o filtra precisamente los colores emitidos por los puntos de color. El color de la base 7 del fondo 3 se selecciona preferiblemente de tal manera que no aparece o aparece solo en medida reducida en el primer plano 2. En la señal de imagen 4 generada por el sensor de imagen de la cámara 1, el primer plano 2 se puede diferenciar del fondo 3 en el dispositivo de análisis 5 mediante la codificación del color de la base 7. Por lo tanto, la base 7 forma aquí el tono de color (o un patrón) a analizar para la generación de una máscara para la codificación.
Los puntos están preferentemente dispuestos de tal manera que la rasterización no parece estar rasterizada para un observador directo a una determinada distancia mínima. Esta distancia mínima puede venir dada, por ejemplo, por la ubicación habitual de los observadores en el propio escenario, en el caso de la publicidad perimetral en un estadio, por ejemplo, por la distancia de los asientos más próximos a la publicidad perimetral. Si los puntos de color 6 se disponen entonces en forma de cuadrícula sobre la base 7 especialmente coloreada o negra con una pequeña distancia entre sí, la imagen real es visible para el observador. Además, la rasterización también debe seleccionarse tan estrecha que la rasterización no sea reconocible para la cámara desde su posición a una determinada distancia mínima. Para un observador en el escenario, la impresión de color deseada se produce a partir de una correspondiente distancia al fondo.
Los puntos de color ahora solo emiten determinadas longitudes de onda de la región de luz visible, que son filtradas por el filtro de color 8 precisamente delante del sensor de imagen, de modo que esencialmente solo el color de la base permanece en el sensor de imagen. La solución mostrada en la Figura 3 se puede realizar de manera particularmente favorable con filtros de interferencia, que se abordarán en detalle más adelante con referencia a la Figura 8. En este caso, delante de cada punto de color 6 se dispone un filtro de interferencia que sólo deja pasar una parte de las frecuencias del espectro visible. En este caso, la parte presenta preferiblemente varias regiones separadas entre sí, que están distribuidas en el espectro visible de tal manera que los colores de la imagen pueden estar compuestos por ellas. El filtro de color 8 es entonces un filtro de interferencia complementario a los filtros de color delante de los puntos de color 6, que filtra, o bien atenúa precisamente aquellos colores que son transmiten por los filtros de color delante de los puntos de color 6 sin atenuarse. Los puntos de color 6 son preferiblemente autoiluminados, es decir, por ejemplo bombillas o LED.
La Figura 4 muestra otra configuración posible para la realización de un procedimiento que no corresponden al ámbito de protección de las reivindicaciones. En este caso, entre el fondo 3 y el primer plano 2 está dispuesto un filtro de color 9 que emite únicamente colores seleccionados a partir de al menos una, preferiblemente dos regiones de luz visible separadas entre sí en el espectro. A continuación, delante del sensor de imagen, o bien de la óptica de la cámara 1 está dispuesto otro filtro de color 8, a través del cual pasa la luz que sale del escenario en dirección al sensor de imagen. Este filtro de color 8 filtra o atenúa precisamente aquellas regiones del espectro que transmite el filtro de color 9. Como resultado, el fondo sobre el sensor de imagen aparece atenuado o negro frente al primer plano 2, que en particular emite luz en las regiones de frecuencia que transmite el filtro de color 8. Por lo tanto, las regiones oscuras forman una máscara en la señal de imagen 4 del sensor de imagen, con la que se puede realizar la codificación sobre las regiones oscuras y, por lo tanto, sobre el fondo. De esta manera, el dispositivo de análisis de imágenes 5 puede diferenciar el fondo 3 del primer plano 2.
También en esta forma de realización, los filtros 8 y 9 son preferiblemente filtros de interferencia que son complementarios entre sí, es decir, son permeables para diferentes regiones, preferiblemente no superpuestas, del espectro visible.
También se puede prescindir del filtro de color 9 si el propio fondo 3 solo emite luz de determinadas regiones de frecuencia, que son filtradas por el filtro 8. Tal fondo autoiluminado se puede realizar, por ejemplo, con LEDs que emiten un espectro definido. El filtro de color 8 se diseña entonces de tal manera que debilite o filtre precisamente las frecuencias emitidas por los LEDs.
El filtro 9 puede seleccionarse de tal manera que las regiones de color del espectro visible que transmite sean suficientes para representar los colores que aparecen en el fondo. Correspondientemente, también el filtro de color 8 se puede seleccionar de tal manera que las frecuencias que transmite sean suficientes para representar los colores que aparecen en el primer plano 2. De esta forma, la imagen generada por el sensor de imagen puede seguir utilizándose sin corrección. Sin embargo, siempre es posible una corrección de los colores del primer plano en la imagen grabada por el sensor de imagen, que corrige eventuales desviaciones de color debidas al filtro 8.
La Figura 5 muestra otra estructura para la realización de un procedimiento que no corresponde al ámbito de protección de las reivindicaciones. En este caso, para la codificación, el fondo emite radiación no visible 10, que puede ser, por ejemplo, radiación ultravioleta o radiación infrarroja. Delante del sensor de imagen o delante del objetivo 1a de la cámara 1 ahora está dispuesto un dispositivo de conversión bidimensional 11, que transmite por regiones la radiación que incide sobre el mismo y presenta por regiones elementos 15 que son fluorescentes o fosforescentes, por ejemplo, a través de los cuales la radiación invisible 10 se transforma en luz visible 13. Los elementos 15 pueden estar distribuidos uniformemente y en particular de manera rasterizada sobre una superficie del dispositivo 11, de modo que la luz visible 12 pueda pasar a través de cada región por un lado y la radiación invisible 10 pueda transformarse en luz visible por otro lado. Toda la radiación que incide sobre el sensor de imagen pasa a través del dispositivo 11. Por lo tanto, por un lado la luz que pasa inalterada a través del dispositivo y por otro lado la luz 13 producida mediante la conversión de la radiación invisible 10 se representa en el sensor de imagen. Ya que la radiación invisible 10 sale del fondo 3, el sensor de imagen de la cámara 1 recibe la luz 13 precisamente donde se representa el fondo 3. El color de la luz 13 generada por el dispositivo 11 se selecciona preferiblemente de tal manera que pueda diferenciarse de los colores que aparecen en el primer plano 2. La luz 13 generada forma entonces una máscara, por medio de la cual el fondo 3 puede diferenciarse del primer plano 2 mediante un método de codificación.
Si los elementos 15 para la conversión de la radiación invisible en luz visible 13 emiten luz no direccional 13, a cada uno de los elementos 15 se puede asignar una lente 14, que está dispuesta de tal manera que representa la luz convertida 13 en el fondo 3 desde la perspectiva del sensor de imagen. Preferiblemente, también puede estar previsto un escudo para cada elemento, que solo permite el paso de la luz en la dirección de la trayectoria del haz óptico.
La Figura 6 muestra otra disposición posible para la realización de un procedimiento que no corresponde al ámbito de protección de las reivindicaciones. En este caso, el fondo 3 emite luz polarizada 16 de una determinada dirección de polarización. Delante del sensor de imagen de la cámara 1 está dispuesto ahora un filtro de color 17, así como un filtro de polarización 18, cuya dirección de transmisión es perpendicular a la dirección de polarización de la luz 16 emitida por el fondo. Si se usara polarización circular, el sentido de rotación de la transmisión sería complementario a la rotación de la polarización. Preferiblemente, la luz que sale del escenario pasa primero a través del filtro de color 17 y después a través del filtro de polarización 18 antes de incidir sobre el sensor de imagen. Con esta disposición, el fondo aparece oscuro sin matiz de color en la imagen grabada por el sensor de imagen. Por el contrario, para los observadores directos del escenario, el fondo 3 aparece en sus colores normales, ya que pueden percibir la luz polarizada 16. Un matiz de color que presenta el primer plano 2 en la imagen generada por el sensor de imagen de la cámara 1 debido al filtro de color 17 puede compensarse computacionalmente a continuación en la señal de imagen 4.
En esta configuración del procedimiento, las partes oscuras de la imagen sin matiz de color, es decir, las partes de la imagen resultantes del fondo 3, forman una máscara mediante la cual se puede realizar una codificación para diferenciar el fondo 3 del primer plano 2.
La Figura 7 muestra otra disposición para la realización de un procedimiento que no corresponde al ámbito de protección de las reivindicaciones. El fondo 3 emite radiación invisible 10, por ejemplo radiación ultravioleta o radiación infrarroja, además de la imagen real. En esta configuración, detrás de la óptica de formación de imágenes 1a de la cámara 1 está dispuesto un dispositivo de conversión 19 delante del sensor de imagen, preferiblemente en la dirección de la trayectoria del haz, mediante el cual se puede generar una imagen visible del fondo 3 a partir de la luz no visible El dispositivo 19 presenta en este caso un divisor de haz 20 y un espejo semitransparente 21, que están dispuestos uno tras otro en la trayectoria del haz de la luz que incide sobre el sensor de imagen desde el escenario. El divisor de haz 20 desvía al menos parcialmente la luz no visible sobre un sensor de imagen 22 del dispositivo de conversión 19. Un conversor 24 graba la imagen generada por el sensor de imagen 22 a partir de la radiación invisible 10 y genera una imagen de luz visible en una pantalla de imagen 23, que coincide con la imagen grabada por el sensor de imagen y, por lo tanto, muestra precisamente el patrón predeterminado por la radiación invisible 10. La imagen generada por la pantalla de imagen se oculta entonces por medio del espejo semitransparente 21 en la trayectoria del haz de luz del escenario que incide sobre el sensor de imagen de la cámara 1 y sirve en la señal de imagen generada por el sensor de imagen de la cámara 1 como plantilla para la generación de una máscara de codificación, mediante la cual el primer plano 2 puede diferenciarse del fondo 3 mediante codificación.
En la parte superior e inferior, la Figura 8 muestra espectros de dos filtros de interferencia complementarios entre sí en una representación esquemática. En el eje horizontal se representa la frecuencia de la luz que debe abarcar esencialmente la región visible en el ejemplo mostrado. En el eje vertical se representa la intensidad respectiva cuya luz pasa a través del filtro de interferencia correspondiente cuando el filtro de interferencia se irradia con luz blanca que contiene todas las frecuencias de la región mostrada con la misma intensidad. Se puede ver que los filtros de interferencia permiten el paso de varias regiones de la luz visible separadas en el espectro. Las regiones de la luz de paso pueden seleccionarse en ambos filtros de interferencia de tal manera que todos los colores requeridos del fondo 3 o del primer plano 2 puedan estar compuestos por ellas. Los dos filtros de interferencia mostrados son complementarios entre sí, lo que significa que aquellas regiones del espectro que se transmiten a través del filtro de interferencia mostrado en la parte superior son filtradas precisamente por el filtro de interferencia mostrado en la parte inferior, mientras que aquellas frecuencias que son filtradas por el filtro de interferencia superior se transmiten precisamente por el filtro de interferencia inferior. Debe señalarse que los filtros no tienen que filtrar completamente las partes de color correspondientes para posibilitar el procedimiento según la invención. También es suficiente una atenuación. Además, tampoco es necesario que las regiones de frecuencia estén separadas entre sí tan claramente como se representa de manera esquemática en la Figura 8. Se permite una cierta cantidad de superposición de las regiones transmitidas por los diferentes filtros.

Claims (8)

REIVINDICACIONES
1. Procedimiento para diferenciar fondo (3) y primer plano (2) de un escenario en imágenes grabadas por una cámara electrónica (1), mostrando el fondo (3) una imagen arbitraria codificada con una codificación tal que la imagen es reconocible para un observador directo del fondo (3),
y diferenciándose el fondo (3) del primer plano no codificado (2) en una señal (4) generada por un sensor de imagen que graba las imágenes de la cámara (1) por medio de la codificación, caracterizado por que la codificación de la imagen comprende que el fondo (3) muestra patrones alternantes periódicamente que se complementan entre sí dentro de un período para formar la imagen completa, y por que el fondo (3) se diferencia del primer plano (2) en la señal (4) del sensor de imagen por medio del patrón alternante periódicamente,
estando sincronizadas entre sí una frecuencia de exposición del sensor de imagen y la visualización del patrón.
2. Procedimiento según la reivindicación anterior, realizándose una transformada de Fourier en la señal (4) del sensor de imagen y diferenciándose el fondo (3) del primer plano (2) por medio de la frecuencia de la visualización alternante.
3. Procedimiento según una de las dos reivindicaciones anteriores, consistiendo el patrón en una estructura diferenciable matemáticamente o siendo periódico en una dirección de exploración del sensor de imagen, siendo el patrón preferiblemente un patrón de tablero de ajedrez.
4. Procedimiento según una de las reivindicaciones 1 a 3, siendo cada uno de los patrones de un período un patrón binario que es completamente transparente o autoiluminado por regiones y es menos transparente o menos permeable para la luz de un color o impermeable para la luz correspondiente o ilumina más débilmente o no ilumina en absoluto en el color correspondiente por regiones.
5. Procedimiento según una de las reivindicaciones anteriores, comprendiendo la codificación de la imagen una oscilación sobre la secuencia de imágenes y considerándose la oscilación en la diferenciación del primer plano (2) del fondo (3).
6. Procedimiento según una de las reivindicaciones anteriores, localizándose la representación en la imagen del sensor de imagen con ayuda del seguimiento de la cámara y/o apoyando el seguimiento de la cámara la diferenciación del fondo (3) y el primer plano (2).
7. Procedimiento para reemplazar un fondo (3) en una imagen de un escenario, diferenciándose el fondo (3) de un primer plano (2) mediante un procedimiento según una de las reivindicaciones anteriores y reemplazándose el fondo (3) por otro fondo (3).
8. Sistema de visualización electrónico con al menos una visualización, así como al menos una cámara (1), pudiéndose realizar un procedimiento según una de las reivindicaciones anteriores con el sistema de visualización electrónico.
ES18156774T 2010-09-20 2011-08-16 Procedimiento para diferenciar fondo y primer plano de un escenario y procedimiento para reemplazar un fondo en imágenes de un escenario Active ES2938620T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010046025 2010-09-20

Publications (1)

Publication Number Publication Date
ES2938620T3 true ES2938620T3 (es) 2023-04-13

Family

ID=44514625

Family Applications (2)

Application Number Title Priority Date Filing Date
ES11746179.8T Active ES2673306T3 (es) 2010-09-20 2011-08-16 Procedimiento para diferenciar fondo y primer plano de un escenario, así como procedimiento para sustituir un fondo en imágenes de un escenario
ES18156774T Active ES2938620T3 (es) 2010-09-20 2011-08-16 Procedimiento para diferenciar fondo y primer plano de un escenario y procedimiento para reemplazar un fondo en imágenes de un escenario

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES11746179.8T Active ES2673306T3 (es) 2010-09-20 2011-08-16 Procedimiento para diferenciar fondo y primer plano de un escenario, así como procedimiento para sustituir un fondo en imágenes de un escenario

Country Status (32)

Country Link
US (4) US9355325B2 (es)
EP (3) EP3340610B1 (es)
JP (2) JP5944904B2 (es)
KR (2) KR101826178B1 (es)
CN (1) CN103155539B (es)
AR (3) AR083054A1 (es)
AU (2) AU2011304767B2 (es)
BR (1) BR112013006763B1 (es)
CA (2) CA3024819C (es)
CL (1) CL2013000751A1 (es)
CO (1) CO6680715A2 (es)
DK (1) DK3340610T3 (es)
EC (1) ECSP13012500A (es)
ES (2) ES2673306T3 (es)
HR (1) HRP20230172T1 (es)
HU (1) HUE061085T2 (es)
IL (1) IL225194A (es)
MA (1) MA34597B1 (es)
MX (3) MX2013002984A (es)
MY (1) MY164379A (es)
NZ (4) NZ705445A (es)
PE (2) PE20140057A1 (es)
PH (1) PH12017500065B1 (es)
PL (2) PL3340610T3 (es)
PT (2) PT2619975T (es)
RS (1) RS64048B1 (es)
RU (1) RU2572207C2 (es)
SG (3) SG10201507715WA (es)
TR (1) TR201807589T4 (es)
UA (1) UA115303C2 (es)
WO (1) WO2012038009A1 (es)
ZA (1) ZA201301772B (es)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012038009A1 (de) 2010-09-20 2012-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum unterscheiden von hintergrund und vordergrund einer szenerie sowie verfahren zum ersetzen eines hintergrundes in bildern einer szenerie
WO2014067911A1 (en) * 2012-10-29 2014-05-08 Net Entertainment Ne Ab Architecture for multi-player, multi-game, multi- table, multi-operator & multi-jurisdiction live casino gaming
CN103929585B (zh) * 2013-01-15 2018-02-27 联想(北京)有限公司 一种偏光片的控制方法、电子设备及***
US20150289338A1 (en) * 2014-04-08 2015-10-08 Revolution Display, Inc. Automatic chroma key background generator with incident key lighting
WO2015175818A1 (en) * 2014-05-16 2015-11-19 Musco Corporation Sports lighting to increase contrast
US9838661B2 (en) * 2014-05-30 2017-12-05 Lifetouch Inc. Photographic scene replacement system
CN104361577B (zh) * 2014-10-20 2015-08-19 湖南戍融智能科技有限公司 一种基于深度图像与可见光图像融合的前景检测方法
CN104361580B (zh) * 2014-10-22 2015-06-24 山东大学 基于平面幕布的投影图像实时校正方法
US10321100B2 (en) * 2014-12-02 2019-06-11 Ademco Inc. System and method of foreground extraction for digital cameras
US10110822B2 (en) 2015-06-09 2018-10-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for tracking at least one object and method for replacing at least one object by a virtual object in a moving image signal recorded by a camera
CN105611426B (zh) * 2016-01-15 2019-04-05 深圳市奥拓电子股份有限公司 一种虚拟显示图像方法及装置
JP6833348B2 (ja) * 2016-05-25 2021-02-24 キヤノン株式会社 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム
CN106199971A (zh) * 2016-08-30 2016-12-07 上海丹诺西诚智能科技有限公司 用于抬头显示器的显示图像颜色自适应方法及装置
DE102016119639A1 (de) * 2016-10-14 2018-04-19 Uniqfeed Ag System zur dynamischen Kontrastmaximierung zwischen Vordergrund und Hintergrund in Bildern oder/und Bildsequenzen
US10750136B2 (en) * 2016-10-17 2020-08-18 Sony Corporation Image processing apparatus, image processing method, and image pickup device
CA3049732C (en) 2017-01-27 2021-11-23 Appario Global Solutions (AGS) AG Method and system for transmitting alternative image content of a physical display to different viewers
ES2755776T3 (es) 2017-02-02 2020-04-23 Fraunhofer Ges Forschung Procedimiento para sustituir contenidos de imágenes
KR102583929B1 (ko) 2017-02-24 2023-10-04 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2018170272A1 (en) * 2017-03-16 2018-09-20 Timothy Joseph Erskine Automatically controlling a multiplicity of televisions over a network by the outputs of a subset of interfaces
US10270986B2 (en) 2017-09-22 2019-04-23 Feedback, LLC Near-infrared video compositing
US10560645B2 (en) 2017-09-22 2020-02-11 Feedback, LLC Immersive video environment using near-infrared video compositing
US10674096B2 (en) 2017-09-22 2020-06-02 Feedback, LLC Near-infrared video compositing
CA3061699C (en) 2017-12-14 2023-03-07 Canon Kabushiki Kaisha Generation device, generation method and non-transitory computer-readable meadium storing a program for generating a three-dimensional model from an image
CN108289220B (zh) * 2018-01-15 2020-11-27 深圳市奥拓电子股份有限公司 虚拟图像处理方法、图像处理***及存储介质
CN108765278B (zh) * 2018-06-05 2023-04-07 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
JP7447077B2 (ja) * 2018-07-27 2024-03-11 アパリオ グローバル ソリューションズ （アーゲーエス） アーゲー 映像ストリームにおける動的画像コンテンツ置換のための方法およびシステム
KR102622082B1 (ko) * 2018-11-19 2024-01-09 삼성전자주식회사 디스플레이 장치, 서버, 전자 장치 및 그 제어 방법들
US11057576B2 (en) 2019-02-15 2021-07-06 Shutterfly, Llc System and method for automated detection and replacement of photographic scenes
JP7267123B2 (ja) * 2019-06-20 2023-05-01 日東電工株式会社 画像生成システム用光学フィルムのセット
JP7267122B2 (ja) * 2019-06-20 2023-05-01 日東電工株式会社 画像生成システム用光学フィルムのセット
CN110896498A (zh) * 2019-10-03 2020-03-20 刘纪君 计算机场景特效***
US11496691B2 (en) 2019-12-16 2022-11-08 Disney Enterprises, Inc. Realistic illumination of a character for a scene
DE102019220278A1 (de) * 2019-12-19 2021-06-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Anzeige von Videos
CN111225198A (zh) * 2020-03-11 2020-06-02 潍坊学院 液晶偏振隐形提词dlp投影机***及视频数据处理方法
CN111246192A (zh) * 2020-03-16 2020-06-05 潍坊学院 隐形提词投影机***及视频数据处理方法
US11800048B2 (en) * 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
DE102021215048A1 (de) 2021-12-27 2023-06-29 Friedrich-Schiller-Universität Jena Anordnung und Verfahren zum Unterscheiden zwischen einem Hintergrund und einem Vordergrundobjekt einer Szene
WO2023175114A1 (en) 2022-03-16 2023-09-21 Pucki Gmbh Method for producing a video stream
EP4287630A1 (en) 2022-06-02 2023-12-06 Pucki GmbH Method for producing a video stream

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3723005A (en) * 1965-12-13 1973-03-27 Gen Electric Wide angle sighting apparatus
JPS539692B2 (es) * 1972-06-19 1978-04-07
FR2566934B1 (fr) 1984-06-29 1987-05-07 Giraud Daniel Procede d'affichage d'informations telles que par exemple des messages publicitaires sur un certain nombre de panneaux a elements d'affichage disposes dans un lieu de manifestations sportives et systeme pour la mise en oeuvre d'un tel procede
FR2661061B1 (fr) 1990-04-11 1992-08-07 Multi Media Tech Procede et dispositif de modification de zone d'images.
JPH0483480A (ja) * 1990-07-26 1992-03-17 Nippon Hoso Kyokai <Nhk> 偏光キー方式画像合成装置
ATE181631T1 (de) 1991-07-19 1999-07-15 Princeton Video Image Inc Fernsehanzeigen mit ausgewählten eingeblendeten zeichen
DE69424276D1 (de) 1993-02-14 2000-06-08 Orad Inc Vorrichtung und verfahren zur detektierung, identifizierung und einfügung in ein video
AU687086B2 (en) 1993-10-27 1998-02-19 Pvi Virtual Media Services, Llc Downstream control of electronic billboard
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
DE4418143A1 (de) 1994-05-25 1995-11-30 Siemens Ag Verfahren und System zum Auswechseln oder Einblenden von Bildinhalten in Fernsehbilder
GB2305049B (en) 1995-09-08 2000-06-07 Orad Hi Tec Systems Ltd Electronic billboard replacement switching system
GB9601101D0 (en) 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
GB2305051B (en) 1995-09-08 2000-06-21 Orad Hi Tec Systems Ltd Method and apparatus for automatic electronic replacement of billboards in a video image
CA2187614C (en) * 1995-10-10 2002-11-26 Jonathan Erland Traveling mat backing
FR2749116B1 (fr) * 1996-05-24 1998-06-19 Thomson Multimedia Sa Camera a effets speciaux
SE506544C2 (sv) 1996-06-20 1998-01-12 Telia Ab Anordning och metod för generering av digitala reklamskyltar
US6310733B1 (en) * 1996-08-16 2001-10-30 Eugene Dolgoff Optical elements and methods for their manufacture
US5986718A (en) * 1996-09-19 1999-11-16 Video Magic, Inc. Photographic method using chroma-key and a photobooth employing the same
US6532022B1 (en) * 1997-10-15 2003-03-11 Electric Planet, Inc. Method and apparatus for model-based compositing
JPH11353703A (ja) * 1998-04-06 1999-12-24 Seitai Hikari Joho Kenkyusho:Kk 情報記録媒体および情報読取システム
DE69943406D1 (de) * 1998-05-25 2011-06-16 Panasonic Corp Abstandsmesser und kamera
JP3241327B2 (ja) * 1998-08-22 2001-12-25 大聖電機有限会社 クロマキーシステム
JP4121639B2 (ja) * 1998-11-12 2008-07-23 三洋電機株式会社 物体画像切り出し方法、装置、システム及びそのプログラムを記録した媒体
US6342887B1 (en) * 1998-11-18 2002-01-29 Earl Robert Munroe Method and apparatus for reproducing lighting effects in computer animated objects
US7653923B2 (en) 2000-02-18 2010-01-26 Prime Research Alliance E, Inc. Scheduling and presenting IPG ads in conjunction with programming ads in a television environment
DE50004739D1 (de) 1999-07-15 2004-01-22 Scannova Gmbh Verfahren zur bilddatenverarbeitung und kameraaufnahmesystem
GB2358098A (en) * 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
JP2002041955A (ja) 2000-07-27 2002-02-08 Mitsubishi Electric Corp スポーツ中継における広告配信システム及び広告配信方法
US20020168091A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion detection via image alignment
WO2002104009A1 (en) * 2001-06-19 2002-12-27 Ecole Polytechnique Federale De Lausanne (Epfl) Method and system for combining video with spatio-temporal alignment
JP2003046854A (ja) * 2001-08-01 2003-02-14 Olympus Optical Co Ltd 撮像装置
US7319755B2 (en) 2001-08-03 2008-01-15 Waterstrike Incorporated Image altering apparatus and method for providing confidential viewing of a fundamental display image
US6980177B2 (en) 2001-08-03 2005-12-27 Waterstrike Incorporated Sequential inverse encoding apparatus and method for providing confidential viewing of a fundamental display image
KR100443678B1 (ko) * 2001-09-29 2004-08-09 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법
US20030202124A1 (en) 2002-04-26 2003-10-30 Alden Ray M. Ingrained field video advertising process
JP4033006B2 (ja) * 2003-03-12 2008-01-16 日本電信電話株式会社 画像処理装置及び方法並びにプログラム
DE602004010464T2 (de) 2003-07-16 2008-11-20 British Broadcasting Corp. Videoverarbeitung
FR2868185B1 (fr) * 2004-03-23 2006-06-30 Realeyes3D Sa Procede d'extraction de donnees brutes d'une image resultant d'une prise de vue
IES20060558A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
ITRM20060136A1 (it) * 2006-03-10 2007-09-11 Link Formazione S R L Sistema multimediale interattivo
US7609327B2 (en) * 2006-04-19 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Polarization difference matting using a screen configured to reflect polarized light
GB2437575A (en) 2006-04-27 2007-10-31 Andrew Peter Phelan Audience-specific image display
US7344305B2 (en) * 2006-08-01 2008-03-18 Siemens Medical Solutions Usa, Inc. Remote visual feedback of collimated area and snapshot of exposed patient area
JP2008092120A (ja) * 2006-09-29 2008-04-17 Fujifilm Corp 画像合成システム
US8045060B2 (en) * 2006-10-04 2011-10-25 Hewlett-Packard Development Company, L.P. Asynchronous camera/projector system for video segmentation
DE102007041719B4 (de) * 2006-11-06 2010-01-28 Bauhaus-Universität Weimar Verfahren zur Erzeugung erweiterter Realität in einem Raum
US20080168512A1 (en) * 2007-01-04 2008-07-10 Nguyen Thuyen X System and Method to Implement Interactive Video Streaming
DE102007004719B4 (de) * 2007-01-31 2018-04-05 Mhz Hachtel Gmbh & Co. Kg Verfahren zur Montage einer Aufwickelanordnung eines Behangs
CN101236717B (zh) 2007-02-01 2010-09-15 明基电通股份有限公司 动态图像数据序列产生方法及动态图像显示装置
JP2008241447A (ja) * 2007-03-27 2008-10-09 Fujifilm Corp 画像読取装置及び画像読取方法
US7934862B2 (en) * 2007-09-24 2011-05-03 Munisamy Anandan UV based color pixel backlight for liquid crystal display
JP5038101B2 (ja) * 2007-11-12 2012-10-03 キヤノン株式会社 放射線撮像装置、その駆動方法及びプログラム
JP2010014639A (ja) * 2008-07-07 2010-01-21 Hitachi Maxell Ltd 画像取得装置、変換装置、及び熱画像取得方法
US9479786B2 (en) * 2008-09-26 2016-10-25 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
FI20090040A0 (fi) * 2009-02-09 2009-02-09 Mika Daniel Letonsaari Videon käsittely
US9342814B2 (en) 2009-04-07 2016-05-17 Clearslide, Inc. Presentation access tracking system
FR2947939B1 (fr) 2009-07-08 2011-08-19 Electricite De France Simulateur de parcours en fauteuil roulant.
TW201203127A (en) * 2010-04-07 2012-01-16 Sproxil Inc Systems and methods for verifying authenticity of a product
WO2012038009A1 (de) 2010-09-20 2012-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum unterscheiden von hintergrund und vordergrund einer szenerie sowie verfahren zum ersetzen eines hintergrundes in bildern einer szenerie
DE102010046529A1 (de) 2010-09-24 2012-03-29 Volkswagen Ag Rahmensystem für Batteriezellen sowie Batteriemodul
US8928729B2 (en) 2011-09-09 2015-01-06 Disney Enterprises, Inc. Systems and methods for converting video
GB201204129D0 (en) 2012-03-08 2012-04-25 Supponor Oy Apparatus and method for image content detection and image content replacement system
GB2502986B (en) 2012-06-12 2014-05-14 Supponor Oy Apparatus and method for image content replacement
US10110822B2 (en) 2015-06-09 2018-10-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for tracking at least one object and method for replacing at least one object by a virtual object in a moving image signal recorded by a camera
CN105472399B (zh) 2015-11-20 2019-04-05 深圳市奥拓电子股份有限公司 一种转播视频与现场显示视频分离方法及装置
CN105611426B (zh) 2016-01-15 2019-04-05 深圳市奥拓电子股份有限公司 一种虚拟显示图像方法及装置
WO2018133011A1 (zh) 2017-01-19 2018-07-26 深圳市奥拓电子股份有限公司 一种视频转播方法及***
CA3049732C (en) 2017-01-27 2021-11-23 Appario Global Solutions (AGS) AG Method and system for transmitting alternative image content of a physical display to different viewers
EP3398963B1 (en) * 2017-05-04 2021-09-29 Eberhard Karls Universität Tübingen Medizinische Fakultät Chemically modified mrna for use in the treatment of a disease associated with the cftr gene

Also Published As

Publication number Publication date
EP3340610A3 (de) 2018-09-26
UA115303C2 (uk) 2017-10-25
PH12017500065A1 (en) 2018-03-05
US11950014B2 (en) 2024-04-02
MX337499B (es) 2016-03-09
PE20180320A1 (es) 2018-02-12
US9355325B2 (en) 2016-05-31
EP3340610B1 (de) 2022-11-16
SG10201507710TA (en) 2015-10-29
EP2619975B1 (de) 2018-03-28
NZ724280A (en) 2018-03-23
EP4175286A1 (de) 2023-05-03
AU2016202378A1 (en) 2016-05-05
SG10201507715WA (en) 2015-10-29
US20160255283A1 (en) 2016-09-01
PE20140057A1 (es) 2014-03-01
ECSP13012500A (es) 2013-05-31
KR101826178B1 (ko) 2018-03-22
CL2013000751A1 (es) 2013-09-13
CA3024819A1 (en) 2012-03-29
CN103155539A (zh) 2013-06-12
RU2013114194A (ru) 2014-10-27
BR112013006763A2 (pt) 2020-10-06
PT3340610T (pt) 2023-02-22
AU2011304767B2 (en) 2016-01-14
CO6680715A2 (es) 2013-05-31
RS64048B1 (sr) 2023-04-28
PH12017500065B1 (en) 2018-03-05
HRP20230172T1 (hr) 2023-03-31
EP3340610A2 (de) 2018-06-27
JP6431861B2 (ja) 2018-11-28
MA34597B1 (fr) 2013-10-02
MX2013002984A (es) 2013-08-01
TR201807589T4 (tr) 2018-06-21
IL225194A0 (en) 2013-06-27
CN103155539B (zh) 2016-06-22
NZ705445A (en) 2016-02-26
DK3340610T3 (da) 2023-02-20
IL225194A (en) 2017-06-29
HUE061085T2 (hu) 2023-05-28
PT2619975T (pt) 2018-06-07
KR20130096735A (ko) 2013-08-30
SG188569A1 (en) 2013-04-30
US20130243248A1 (en) 2013-09-19
AU2016202378B2 (en) 2018-05-24
AR106832A2 (es) 2018-02-21
PL2619975T3 (pl) 2019-03-29
US20190215466A1 (en) 2019-07-11
BR112013006763B1 (pt) 2022-10-18
CA2811222C (en) 2019-08-27
MY164379A (en) 2017-12-15
KR20180015757A (ko) 2018-02-13
WO2012038009A1 (de) 2012-03-29
US11165973B2 (en) 2021-11-02
AR106831A2 (es) 2018-02-21
AR083054A1 (es) 2013-01-30
ES2673306T3 (es) 2018-06-21
JP2016154338A (ja) 2016-08-25
CA2811222A1 (en) 2012-03-29
US10313607B2 (en) 2019-06-04
JP5944904B2 (ja) 2016-07-05
KR102002331B1 (ko) 2019-07-23
RU2572207C2 (ru) 2015-12-27
EP2619975A1 (de) 2013-07-31
MX337498B (es) 2016-03-09
NZ609152A (en) 2015-05-29
CA3024819C (en) 2022-04-12
PL3340610T3 (pl) 2023-04-11
AU2011304767A1 (en) 2013-04-04
JP2013537384A (ja) 2013-09-30
NZ705446A (en) 2016-10-28
ZA201301772B (en) 2014-03-26
US20220046187A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
ES2938620T3 (es) Procedimiento para diferenciar fondo y primer plano de un escenario y procedimiento para reemplazar un fondo en imágenes de un escenario
US6271808B1 (en) Stereo head mounted display using a single display device
JP2013536601A (ja) 二重スタック投影
US20120086862A1 (en) Video display device, video display method, video display screen and liquid crystal display device
US20120162390A1 (en) Method of Taking Pictures for Generating Three-Dimensional Image Data
JP5694332B2 (ja) オブジェクトの外観を強調するための照明システム及び方法
JP2004088757A (ja) ３次元画像表示方法、及びその装置、光方向検出器、光方向検出方法
TWI581638B (zh) Image photographing apparatus and image photographing method