ES2348853T3 - Procedimiento y sistema que permiten a un usuario mezclar en tiempo real imagenes de sintesis con imagenes de video. - Google Patents

Procedimiento y sistema que permiten a un usuario mezclar en tiempo real imagenes de sintesis con imagenes de video. Download PDF

Info

Publication number
ES2348853T3
ES2348853T3 ES03755656T ES03755656T ES2348853T3 ES 2348853 T3 ES2348853 T3 ES 2348853T3 ES 03755656 T ES03755656 T ES 03755656T ES 03755656 T ES03755656 T ES 03755656T ES 2348853 T3 ES2348853 T3 ES 2348853T3
Authority
ES
Spain
Prior art keywords
video
buffer
scene
texture
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES03755656T
Other languages
English (en)
Inventor
Valentin Lefevre
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Total Immersion
Original Assignee
Total Immersion
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Total Immersion filed Critical Total Immersion
Application granted granted Critical
Publication of ES2348853T3 publication Critical patent/ES2348853T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/4448—Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Procedimiento que permite a un usuario: (i) producir en una unidad de tratamiento informático (2), compuesta de circuitos electrónicos estándar, un flujo de imágenes de síntesis (3), y (ii) trazar una escena (4) creando interacciones visuales entre dicho flujo de imágenes de síntesis (3) y al menos un flujo de imágenes de vídeo (5), de manera que se mejora la calidad de la escena (4) y se disminuye el tiempo de tratamiento; en donde dicha unidad de tratamiento informático (2) comprende: - una placa base (7), - una tarjeta gráfica (8) de representación y de visualización de dicha escena (4), que incluye un procesador de aceleración de los tratamientos 2D/3D (9), al menos una zona de memoria que incluye un búfer de trabajo (10) ("back buffer") y una memoria de textura (11), - un medio de adquisición (12) que permite adquirir, en tiempo real, imágenes de vídeo (13), en un búfer de vídeo (14); en donde dicho medio de adquisición (12) se presenta en particular bajo la forma de: * una adquisición de vídeo integrada en dicha tarjeta gráfica (8), y/o * una adquisición de vídeo integrada en dicha placa base (7), y/o * una adquisición de vídeo, a través de una tarjeta de adquisición dedicada; en donde dicho procedimiento comprende el paso de efectuar una repre-sentación específica de dicha escena (4), ES 2 348 853 T3 - creando, antes de la representación específica, una textura dedicada (19) en dicha memoria de textura (11) de dicha tarjeta gráfica (8); en donde dicha textura dedicada (19) tiene el tamaño de dicho búfer de vídeo (14); en donde dicha textura dedicada (19) está dedicada para copiar dicho búfer de vídeo (14) en dicha memoria de textura (11); - copiando, durante cada representación de dicha escena (4), dicho búfer de vídeo (14) en dicha textura dedicada (19), - trazando dichas imágenes de síntesis (16) en dicho búfer de trabajo (10) de la tarjeta gráfica (8) y trazando completamente dicha escena (4), utilizando dicha textura dedicada (19) para texturizar algunos de los polígonos (20) de dicha escena (4).

Description

Preámbulo de la descripción
Ámbito considerado, problema planteado
La presente invención se refiere a un procedimiento y a un sistema que permiten a un usuario mezclar en tiempo real imágenes de síntesis con imágenes de vídeo. 5
Problema planteado
La invención tiene más precisamente por objeto un procedimiento y un sistema que permiten a un usuario:
(i) producir en una unidad de tratamiento informático, compuesta de circuitos electrónicos estándar, un flujo de imágenes de síntesis, y 10
(ii) trazar una escena creando interacciones visuales entre el flujo de imágenes de síntesis y al menos un flujo de imágenes de vídeo.
La solución a este problema aportada por la invención permite mejorar la calidad de la escena y disminuir el tiempo de tratamiento, sin servirse de unidades de tratamiento informático patentadas y costosas. 15
Técnica anterior
Se ha representado en la Figura 1 un equipo según la técnica anterior que permite crear realidad mejorada. Este equipo comprende:
- una estación de trabajo gráfico STG,
- un equipo en bastidor modular (en inglés "rack") de tipo "insertador croma" (en 20 inglés "chroma keyer") RCK,
- un equipo en bastidor modular de tipo "retardo de imagen" RRI.
Las leyendas C y SV indican respectivamente una cámara y una salida de vídeo.
La estación de trabajo gráfico STG se utiliza únicamente para generar 25 imágenes de síntesis. La estación de trabajo gráfico STG ha sido desarrollada específicamente o bien es una estación Silicon GraphicsTM. Las imágenes de síntesis son generadas sobre un fondo de color uniforme (color clave).
El equipo en bastidor modular de tipo "insertador croma" RCK se utiliza para mezclar la imagen de vídeo de la cámara (C) con la imagen de síntesis generada por 30 la estación gráfica STG. El color clave es reemplazado por la imagen de vídeo.
El equipo en bastidor modular de tipo "retardo de imagen" RRI se utiliza para compensar el tiempo de tratamiento del generador de imágenes.
Inconvenientes de la tecnología anterior:
Los equipos de acuerdo con la técnica anterior presentan inconvenientes en 35 términos de precio y de calidad de imagen y de funcionalidad.
Inconvenientes en términos de precio:
El precio de coste de los equipos de acuerdo con la técnica anterior es muy elevado. En efecto, el equipo en bastidor modular para "retardo de imagen" RRI es un equipo en bastidor modular profesional, el equipo en bastidor modular para "insertador croma" RCK es un equipo en bastidor modular profesional y la estación gráfica STG es 5 una estación profesional. La solución precedente de acuerdo con la técnica anterior no es transportable (está compuesta de tres módulos separados: generador de imágenes/retardo de imágenes/insertador croma).
Inconvenientes en términos de calidad de imagen y de funcionalidad:
La interactividad visual entre el vídeo y las imágenes de síntesis es limitada. De 10 hecho, a la salida del "insertador croma" RCK el vídeo ha quedado insertado en lugar del color clave. No es posible tener reflexiones del vídeo sobre las imágenes de síntesis o viceversa. El vídeo no puede ser tratado como una textura. Por ejemplo, no puede haber en el mismo efectos de reflejos entre las imágenes reales (imágenes de vídeo) y los objetos de síntesis. El mismo principio de la inserción croma (en inglés 15 "chroma key") puede producir artefactos; limita la elección en la paleta de colores de las imágenes de síntesis, y hace problemática la representación (en inglés "rendering") de objetos de síntesis que presenten transparencias.
Las prestaciones de las estaciones gráficas específicas se ven superadas rápidamente por las prestaciones de las tarjetas gráficas para el público general que 20 son cada vez más potentes (la potencia gráfica de los equipos para el público general se duplica cada seis meses más o menos).
La solución precedente es cara en términos de mantenimiento (los tres aparatos que la componen implican un contrato de mantenimiento específico).
La solución precedente no puede funcionar en un ordenador portátil y no es 25 móvil.
La solución precedente es restrictiva en cuanto a tiempos de ajuste de todos sus elementos.
No es posible ningún tratamiento de la imagen de vídeo:
- no se puede utilizar el vídeo para texturizar localmente un elemento de la escena 30 virtual,
- no se puede deformar el vídeo (por ejemplo es imposible la corrección de las distorsiones ópticas),
- no se pueden realizar tratamientos en el vídeo (por ejemplo para el tratamiento de tipo "inserción croma"). 35
Solución
Procedimiento
La unidad de tratamiento informático de acuerdo con la invención, en particular de tipo "ordenador PC" para el público general, comprende:
- una placa base, 5
- una tarjeta gráfica de representación y de visualización de la escena.
El significado de escena en el sentido de la presente invención se explicita más adelante haciendo referencia a la Figura 2.
La tarjeta gráfica de representación y de visualización de la escena incluye un procesador de aceleración de los tratamientos 2D/3D, un búfer o memoria de 10 almacenamiento intermedio de trabajo (en inglés "back buffer") y una memoria de textura.
El equipo informático comprende asimismo un medio de adquisición que permite adquirir en tiempo real imágenes de vídeo en un búfer de vídeo. El medio de adquisición se presenta en particular bajo la forma: 15
* de una adquisición de vídeo integrada en la tarjeta gráfica, y/o
* de una adquisición de vídeo integrada en la placa base, y/o
* de una adquisición de vídeo, a través de una tarjeta de adquisición dedicada (por ejemplo una tarjeta de la marca PinnacleTM conocida con el nombre de PCTV). 20
El procedimiento de acuerdo con la invención comprende el paso de efectuar una representación específica de la escena
- copiando, durante cada representación de la escena, el búfer de vídeo en una zona de memoria de la tarjeta gráfica,
- trazando las imágenes de síntesis en dicho búfer de trabajo de la tarjeta gráfica. 25
Para efectuar una representación específica, el procedimiento comprende un paso de inicialización previo a la representación específica, consistente en crear una textura dedicada en la memoria de textura de la tarjeta gráfica. La textura dedicada tiene el tamaño del búfer de vídeo. La textura está dedicada para copiar el búfer de vídeo en la memoria de la textura. 30
El procedimiento comprende además:
- el paso de copiar el búfer de vídeo en la textura dedicada,
- el paso de trazar completamente la escena, utilizando la textura dedicada para texturizar algunos de los polígonos de la escena.
Cuando el búfer de vídeo contiene líneas de vídeo entrelazadas, para copiar 35 durante cada representación de la escena el búfer de vídeo en la textura dedicada,
preferiblemente de acuerdo con la invención, el procedimiento comprende:
- el paso de copiar las líneas de vídeo pares, durante una primera representación, y
- el paso de copiar las líneas de vídeo impares, durante la representación siguiente,
- el paso de aplicar una traslación del búfer de vídeo de más o menos una media línea en la representación de la escena. 5
Esta traslación del búfer de vídeo se realiza:
- o bien modificando las coordenadas de textura de la textura dedicada,
- o bien modificando las coordenadas de los polígonos texturizados por la textura dedicada.
De esta manera se mejora la calidad de la imagen. 10
Es posible copiar el búfer de vídeo en la zona de memoria de la tarjeta gráfica procediendo de dos maneras diferentes.
En el caso de una primera manera de proceder el medio de adquisición incluye un controlador (en inglés "driver") que presenta un nuevo búfer de vídeo para cada nueva imagen de vídeo. Preferiblemente de acuerdo con la invención, en el caso de 15 esta primera manera de proceder, la representación de la escena se efectúa de manera sincrónica con la presentación de cada nuevo búfer de vídeo.
En el caso de una segunda forma de proceder el medio de adquisición incluye asimismo un controlador que presenta un nuevo búfer de vídeo para cada nueva imagen de vídeo. Sin embargo, en el caso de esta segunda manera de proceder, 20 preferiblemente de acuerdo con la invención el procedimiento comprende los pasos siguientes:
- el paso de llenar una memoria tampón con cada nuevo búfer de vídeo, haciendo uso de una unidad de ejecución (en inglés "thread") de captura de vídeo,
- el paso de copiar uno de los búferes de vídeo contenido en la memoria tampón a 25 la memoria de textura de la tarjeta gráfica,
- el paso de efectuar la representación de la escena de manera asincrónica con respecto a la presentación de cada nuevo búfer de vídeo.
El procedimiento de acuerdo con la invención permite funcionalidades gráficas mejoradas durante el trazado de una escena en que se mezcla una imagen de vídeo 30 con una imagen de síntesis.
Corrección del efecto de dentado (en inglés "anti-aliasing")
Preferiblemente de acuerdo con la invención, el procedimiento comprende el paso de aplicar una función de corrección del efecto de dentado durante el trazado de la escena. Las nociones de la función de corrección del efecto de dentado se 35 describirán más adelante.
Transparencia
Preferiblemente de acuerdo con la invención, el procedimiento comprende el paso de aplicar una función de transparencia durante el trazado de la escena. Las nociones de la función de transparencia se describirán más adelante. 5
Corrección de las distorsiones ópticas
Preferiblemente de acuerdo con la invención, el procedimiento comprende el paso de aplicar deformaciones no lineales al búfer de vídeo texturizando polígonos de la escena por medio de la textura dedicada.
Es posible así corregir distorsiones ópticas de la imagen de vídeo. 10
Tratamiento en tiempo real de imágenes de vídeo
Preferiblemente de acuerdo con la invención, el procedimiento comprende el paso de aplicar al búfer de vídeo funciones de sombreado de píxeles (en inglés "pixel shaders") que permiten, en particular, un tratamiento de tipo inserción croma. Las nociones de la función de sombreado de píxeles y del tratamiento de tipo inserción 15 croma se describirán más adelante.
Mapeado del entorno (en inglés "environment mapping")
Preferiblemente de acuerdo con la invención, la unidad de tratamiento informático comprende dos medios de adquisición que tienen cada uno un búfer de vídeo. El procedimiento comprende los siguientes pasos: 20
- el paso de copiar el búfer de vídeo de uno de los medios de adquisición en una segunda textura dedicada de la tarjeta gráfica,
- el paso de texturizar al menos en parte la escena utilizando la segunda textura dedicada.
Es posible así obtener reflejos reales sobre objetos de síntesis. 25
Retardo de vídeo
Preferiblemente de acuerdo con la invención, el procedimiento comprende el paso de retardar la copia de uno de los búferes de vídeo contenido en una memoria tampón a la memoria de textura de la tarjeta gráfica.
Es posible así retardar la visualización de las imágenes de vídeo con respecto 30 a la visualización de las imágenes de síntesis.
Sistema
La invención se refiere asimismo a un sistema que permite a un usuario:
(i) producir en una unidad de tratamiento informático, compuesta de circuitos electrónicos estándar, un flujo de imágenes de síntesis, y 35
(ii) trazar una escena creando interacciones visuales entre el flujo de imágenes de
síntesis y al menos un flujo de imágenes de vídeo.
La solución a este problema permite mejorar la calidad de la escena y disminuir el tiempo de tratamiento, sin servirse de unidades de tratamiento informático patentadas y costosas.
La unidad de tratamiento informático de acuerdo con la invención comprende 5 un equipo informático, en particular de tipo "ordenador PC" para el público general. Este equipo informático incluye:
- una placa base,
- una tarjeta gráfica de representación y de visualización de la escena.
La tarjeta gráfica de representación y de visualización incluye un procesador de 10 aceleración de los tratamientos 2D/3D, un búfer de trabajo "back buffer" y una memoria de textura.
El equipo informático incluye un medio de adquisición que permite adquirir, en tiempo real, imágenes de vídeo, en un búfer de vídeo. El medio de adquisición se presenta en particular bajo la forma: 15
- de una adquisición de vídeo integrada en la tarjeta gráfica, y/o
- de una adquisición de vídeo integrada en la placa base, y/o
- de una adquisición de vídeo, a través de una tarjeta de adquisición dedicada.
Para efectuar una representación específica de la escena:
- la placa base incluye además medios de tratamiento informático que permiten 20 copiar, durante cada representación de la escena, el búfer de vídeo en una zona de memoria de la tarjeta gráfica,
- el procesador de aceleración de los tratamientos 2D/3D incluye medios de trazado para trazar las imágenes de síntesis en una zona de memoria de la tarjeta gráfica.
Para efectuar una representación específica, los medios de tratamiento 25 informático comprenden medios de inicialización que crean, antes de la representación específica, una textura dedicada en la tarjeta gráfica. La textura dedicada tiene el tamaño del búfer de vídeo. Los medios de tratamiento informático comprenden además primeros medios de copia para copiar el búfer de vídeo en la textura dedicada, 30
- el procesador de aceleración de los tratamientos 2D/3D comprende primeros medios de cálculo para trazar completamente la escena, utilizando la textura dedicada para texturizar algunos de los polígonos de la escena.
Cuando el búfer de vídeo incluye líneas de vídeo entrelazadas, preferiblemente de acuerdo con la invención, los primeros medios de copia de búfer de vídeo en la 35 textura dedicada comprenden:
- primeros medios de selección y de copia de las líneas de vídeo pares, durante una primera representación, y
- segundos medios de selección y de copia de las líneas de vídeo impares, durante la representación siguiente.
El procesador de aceleración de los tratamientos 2D/3D comprende segundos 5 medios de cálculo para aplicar una traslación del búfer de vídeo de más o menos una media línea en la representación de la escena.
Esta traslación del búfer de vídeo se realiza:
- o bien modificando las coordenadas de textura de la textura dedicada,
- o bien modificando las coordenadas de los polígonos texturizados por la textura 10 dedicada.
De esta manera se mejora la calidad de la imagen. Es posible copiar el búfer de vídeo de dos maneras diferentes.
En el caso de la primera manera de proceder, el medio de adquisición incluye un controlador que presenta un nuevo búfer de vídeo para cada nueva imagen de 15 vídeo. Preferiblemente de acuerdo con la invención, en el caso de esta primera manera de proceder, los medios de tratamiento informático efectúan la representación de la escena de manera sincrónica con la presentación de cada nuevo búfer de vídeo.
En el caso de una segunda manera de proceder, el medio de adquisición incluye un controlador que presenta un nuevo búfer de vídeo para cada nueva imagen 20 de vídeo. Preferiblemente de acuerdo con la invención, en el caso de esta segunda forma de proceder, dichos medios de tratamiento informático comprenden:
- medios de transferencia para llenar una memoria tampón con cada nuevo búfer de vídeo, haciendo uso de una unidad de ejecución de captura de vídeo,
- segundos medios de copia para copiar uno de los búferes de vídeo contenido en 25 dicha memoria tampón a la memoria de textura de la tarjeta gráfica.
Los medios de tratamiento informático efectúan la representación de dicha escena de manera asincrónica con respecto a la presentación de cada nuevo búfer de vídeo.
El sistema de acuerdo con la invención permite funcionalidades gráficas 30 mejoradas durante el trazado de una escena en que se mezcla una imagen de vídeo con una imagen de síntesis.
Corrección del efecto de dentado
Preferiblemente de acuerdo con la invención, los medios de tratamiento informático permiten aplicar una función de corrección del efecto de dentado durante el 35 trazado de la escena.
Transparencia
Preferiblemente de acuerdo con la invención, los medios de tratamiento informático permiten aplicar una función de transparencia durante el trazado de la escena. 5
Corrección de las distorsiones ópticas
Preferiblemente de acuerdo con la invención, los medios de tratamiento informático permiten aplicar deformaciones no lineales al búfer de vídeo texturizando polígonos de la escena por medio de la textura dedicada.
Es posible así corregir distorsiones ópticas de la imagen de vídeo. 10
Tratamiento en tiempo real de imágenes de vídeo
Preferiblemente de acuerdo con la invención, los medios de tratamiento informático permiten aplicar al búfer de vídeo funciones de sombreado de píxeles que permiten, en particular, un tratamiento de tipo inserción croma.
Mapeo del entorno 15
Preferiblemente de acuerdo con la invención, la unidad de tratamiento informático comprende dos medios de adquisición que tienen cada uno un búfer de vídeo. Los medios de tratamiento informático permiten copiar el búfer de vídeo de uno de los medios de adquisición en una segunda textura dedicada de la tarjeta gráfica.
El procesador de aceleración de los tratamientos 2D/3D permite texturizar al 20 menos en parte la escena utilizando la segunda textura dedicada.
Es posible así obtener reflejos reales sobre objetos de síntesis.
Retardo de vídeo
Preferiblemente de acuerdo con la invención, los medios de tratamiento informático permiten retardar la copia de uno de los búferes de vídeo contenido en una 25 memoria tampón a la memoria de textura de la tarjeta gráfica.
Es posible así retardar la visualización de las imágenes de vídeo con respecto a la visualización de las imágenes de síntesis.
Descripción detallada
Otras características y ventajas de la invención se pondrán de manifiesto con la 30 lectura de la descripción de una variante de realización de la invención dada a título de ejemplo indicativo y no limitativo, y de la
- Figura 1, que representa un equipo de acuerdo con la técnica anterior que permite crear realidad mejorada,
- Figura 2, que representa un esquema de conjunto de una variante de realización 35 de un sistema de acuerdo con la invención,
- Figura 3, que representa, de manera esquemática, los medios de tratamiento informático 26 en el caso de otra variante de realización,
- Figura 4, que representa, de manera esquemática, el procesador 9 de aceleración de los tratamientos 2D/3D en el caso de la variante de realización representada en la Figura 3, 5
- Figura 5, que representa, de manera esquemática, una variante de realización en el caso en que el medio de adquisición 12 se presente bajo la forma de una adquisición de vídeo integrada en la tarjeta gráfica 8,
- Figura 6, que representa, de manera esquemática, una variante de realización en el caso en que el medio de adquisición 12 se presente bajo la forma de una 10 adquisición de vídeo integrada en la placa base 7,
- Figura 7, que representa, de manera esquemática, una variante de realización en el caso en que el medio de adquisición 12 se presente bajo la forma de una adquisición de vídeo a través de una tarjeta de adquisición dedicada,
- Figura 8, que representa, de manera esquemática, el algoritmo de copia del búfer 15 de vídeo 14 en el búfer 40 de salida de vídeo ("back buffer") de la tarjeta gráfica, y
- Figura 9, que representa, de manera esquemática, el algoritmo de copia del búfer de vídeo 14 en la memoria de textura 11 de la tarjeta gráfica.
Se ha descrito antes la Figura 1 durante la presentación de la técnica anterior. Se describirá ahora la Figura 2, que representa un esquema de conjunto de una 20 variante de realización de un sistema de acuerdo con la invención.
En la Figura 2 se ha representado una unidad de tratamiento informático 2 que comprende:
- una tarjeta gráfica 8,
- una placa base 7, 25
- medios de adquisición 12 que reciben un flujo 5 de imágenes de vídeo 13,
- un disco duro 42 que contiene una escena 4.
La tarjeta gráfica 8 comprende:
- un procesador 9 de aceleración de los tratamientos 2D/3D que comprende primeros medios de cálculo 29, 30
- un búfer de trabajo 10 que recibe un flujo 3 de imágenes de síntesis 16 del procesador 9 de aceleración de los tratamientos 2D/3D,
- una memoria de textura 11 que comprende una textura dedicada 19,
- una salida de vídeo 39,
- un búfer 40 de salida de vídeo ("back buffer"). 35
La placa base 7 comprende:
- medios de tratamiento informático 26 que comprenden primeros medios de copia 27 que incluyen primeros medios de selección y de copia 30, y segundos medios de selección y de copia 31,
- una memoria central 41 que contiene una escena 4 y polígonos 20,
- una memoria tampón 23 que comprende búferes de vídeo 14 que incluyen líneas 5 de vídeo pares 17 y líneas de vídeo impares 18,
- un controlador 22,
- una unidad de ejecución 24.
En otra variante de realización, los medios de tratamiento informático 26 comprenden medios de inicialización 32, segundos medios de copia 33 que incluyen 10 terceros medios de selección y de copia 35, y cuartos medios de selección y de copia 35 (véase la Figura 3). En el caso de esta variante de realización, el procesador 9 de aceleración de los tratamientos 2D/3D comprende segundos medios de cálculo 34 (véase la Figura 4).
El medio de adquisición 12 digitaliza la señal de vídeo 13 correspondiente a las 15 imágenes de vídeo del flujo 5 (la señal de vídeo puede ser conforme a la norma analógica o digital). La placa base recibe este flujo digitalizado en un búfer de vídeo 14 compuesto de píxeles y almacenado en su memoria. En la memoria descriptiva, el búfer de vídeo 14 también es denominado búfer de píxeles.
20
Una escena 3D 4 es un conjunto de elementos:
- objetos 3D compuestos de texturas (imagen 2D) y de polígonos 20 (geometría 3D),
- fuentes de luces,
- cámaras virtuales. 25
La escena 3D 4 está almacenada en el disco duro 42 y se copia en la memoria central 41 de la placa base 7.
Para calcular una imagen de síntesis 16, la placa base 7 copia el búfer de vídeo 14 y las texturas de la escena 3D en la memoria de textura 11 de la tarjeta gráfica 8 y envía a ésta el conjunto de los polígonos 20 a visualizar, las fuentes de 30 luces, la cámara. Los circuitos especializados (el procesador 9 de aceleración de los tratamientos 2D/3D) calculan a partir de estos datos 3D una imagen 2D en el búfer de trabajo 10 ("back buffer"). El contenido del búfer de trabajo 10 es transferido a continuación al búfer 40 de salida de vídeo (en inglés "front buffer") y a la salida de vídeo 39 para ser utilizado por el dispositivo de visualización (televisión, monitor, 35 proyector) a fin de visualizar la imagen.
El búfer de vídeo 14 es copiado en la textura dedicada 19 de la memoria de la textura 11. Al ser la textura dedicada 19 parte de la escena, es posible visualizar su contenido en función de las necesidades del usuario. Se citarán, a título de ejemplos no exhaustivos, las visualizaciones siguientes:
- Visualización de la textura dedicada 19 en segundo plano para obtener un vídeo 5 "a pantalla completa".
- Visualización de la textura dedicada 19 sobre un objeto de síntesis incluido en la escena 4, para enriquecer éste con un vídeo en tiempo real.
La texturización es una técnica que consiste en dibujar un polígono 20 en 3D con una textura (imagen 2D) sobrepuesta. Para ello, se asignan a cada vértice 3D de 10 un polígono 20 unas coordenadas 2D (coordenadas de textura) en la textura. Es posible utilizar varias texturas sobre un mismo polígono 20. Se asocia a los vértices un juego de coordenadas de textura para cada textura.
La texturización puede ser efectuada con todo tipo de imagen 2D, y por consiguiente con el búfer de vídeo 14, que es una imagen 2D. Un conjunto de 15 polígonos 20, texturizado con el búfer de vídeo 14, es tratado como cualquier objeto implicado en el cálculo de la imagen de síntesis 16.
Se describirá ahora la Figura 5, que representa, de manera esquemática, una variante de realización en el caso en que el medio de adquisición 12 se presente bajo la forma de una adquisición de vídeo integrada en la tarjeta gráfica 8. 20
La unidad de tratamiento informático 2 contiene una tarjeta gráfica 8 equipada con un medio de adquisición 12. La imagen de vídeo 13 es adquirida en tiempo real por el medio de adquisición 12 y después es copiada al búfer de vídeo 14. El búfer de vídeo 14 es copiado a continuación de dos maneras posibles:
- o bien al búfer de trabajo 10, 25
- o bien a la memoria de textura 11.
Tras esta copia, el procesador 9 de aceleración de los tratamientos 2D/3D efectúa una representación de la escena 4 en el búfer de trabajo 10. El búfer de trabajo 10 es transferido al búfer 40 de salida de vídeo, que permite actualizar la salida de vídeo 39. 30
Se describirá ahora la Figura 6 que representa, de manera esquemática, una variante de realización en el caso en que el medio de adquisición 12 se presente bajo la forma de una adquisición de vídeo integrada en la placa base 7.
La unidad de tratamiento informático 2 contiene una placa base 7 equipada con un medio de adquisición 12. La unidad de tratamiento informático 2 contiene asimismo 35 una tarjeta gráfica 8. La imagen de vídeo 13 es adquirida en tiempo real por el medio
de adquisición 12 y después es copiada en el búfer de vídeo 14. El búfer de vídeo 14 es copiado a continuación de dos maneras posibles:
- o bien al búfer de trabajo 10,
- o bien a la memoria de textura 11.
Tras esta copia, el procesador 9 de aceleración de los tratamientos 2D/3D 5 efectúa una representación de la escena 4 en el búfer de trabajo 10. El búfer de trabajo 10 es transferido al búfer 40 de salida de vídeo, que permite actualizar la salida de vídeo 39.
Se describirá ahora la Figura 7, que representa, de manera esquemática, una variante de realización en el caso en que el medio de adquisición 12 se presente bajo 10 la forma de una adquisición de vídeo a través de una tarjeta de adquisición dedicada.
La unidad de tratamiento informático 2 contiene un medio de adquisición 12 bajo la forma de una tarjeta de adquisición conectada a la placa base 7 (por ejemplo una tarjeta PCTV de la marca PinnacleTM). La unidad de tratamiento informático 2 contiene asimismo una tarjeta gráfica 8. La imagen de vídeo 13 es adquirida en tiempo 15 real por el medio de adquisición 12, y después es copiada en el búfer de vídeo 14. El búfer de vídeo 14 es copiado a continuación de dos maneras posibles:
- o bien al búfer de trabajo 10,
- o bien a la memoria de textura 11.
Tras esta copia, el procesador 9 de aceleración de los tratamientos 2D/3D de la 20 tarjeta gráfica efectúa una representación de la escena 4 en el búfer de trabajo 10. El búfer de trabajo 10 es transferido al búfer 40 de salida de vídeo, que permite actualizar la salida de vídeo 39.
Se describirá ahora la Figura 8, que representa, de manera esquemática bajo la forma de bloques, el algoritmo de copia del búfer de vídeo 14 en el búfer 40 de 25 salida de vídeo ("back buffer") de la tarjeta gráfica. Los bloques tienen el siguiente significado:
Bloque 48:
INICIO.
Bloque 50: 30
Inicialización del medio de adquisición 12:
Paso al modo adquisición.
Definición de la entrada de vídeo (por ejemplo: Svideo/PAL/NTSC).
Inicio de la adquisición de vídeo.
Bloque 52: 35
Inicialización del procesador 9 de aceleración de los tratamientos 2D/3D:
Definición del tipo de salida (por ejemplo: salida VGA o PAL o NTSC
o DVI).
Definición del modo gráfico (pantalla completa o en ventana).
Definición de la resolución gráfica (por ejemplo: 800 por 600 a razón de 32 bits por píxel). 5
Definición del modo Zbuffer (inicialización Aceleración 3D).
Paso al modo doble búfer (creación del búfer 40 de salida de vídeo y del búfer de trabajo 10).
Bloque 54:
Carga de la escena 4: 10
Carga de todos los modelos 3D desde el disco duro 42.
Bloque 56:
RAZ del Zbuffer,
RAZ del búfer de trabajo 10 (opcional).
Bloque 58: 15
Copia del búfer de vídeo 14 procedente del medio de adquisi- ción 12 en el búfer de trabajo 10.
Bloque 60:
Trazado de la escena 4 en el búfer de trabajo 10 efectuado por el procesador 9 de aceleración de los tratamientos 2D/3D. 20
Actualización del búfer 40 de salida de vídeo.
Bloque 62:
¿Fin del programa?
Bloque 64:
FIN. 25
Se describirá ahora la Figura 9, que representa, de manera esquemática bajo la forma de bloques, el algoritmo de copia del búfer de vídeo 14 en la memoria de textura 11 de la tarjeta gráfica.
Los bloques tienen el siguiente significado:
Bloque 66: 30
INICIO.
Bloque 68:
Inicialización del medio de adquisición 12:
Paso al modo adquisición.
Definición de la entrada de vídeo (por ejemplo: Svideo/PAL/NTSC). 35
Inicio de la adquisición de vídeo.
Bloque 70:
Inicialización del procesador 9 de aceleración de los tratamientos 2D/3D,
Definición del tipo de salida (por ejemplo: salida VGA o PAL o NTSC o DVI).
Definición del modo gráfico (pantalla completa o en ventana). 5
Definición de la resolución gráfica (por ejemplo: 800 por 600 a razón de 32 bits por pixel).
Definición del modo Zbuffer (inicialización Aceleración 3D).
Paso al modo doble búfer (creación del búfer 40 de salida de vídeo y del búfer de trabajo 10). 10
Inicialización de la textura dedicada 19 (creación de la textura dedicada 19 en la memoria de textura 11, teniendo la textura dedicada 19 el mismo número de líneas y de columnas que el búfer de vídeo 14 de captura de vídeo).
Bloque 72: 15
Carga de la escena 4,
Carga de todos los modelos 3D desde el disco duro 42.
Bloque 74:
RAZ del Zbuffer,
RAZ del búfer de trabajo (10) (opcional). 20
Bloque 76:
Copia del búfer de vídeo 14 procedente del medio de adquisi- ción 12 en la textura dedicada 19 incluida en la memoria de textura 11.
Bloque 78: 25
Trazado de la escena 4 en el búfer de trabajo 10,
Explotación de las texturas, inclusive las que provienen de la adquisición de vídeo de acuerdo con todas las utilizaciones que se pueden hacer de una textura (por ejemplo: mapeo del entorno, trazado en el búfer de trabajo 10 como fondo de pantalla, texturización de objetos de síntesis). 30
Actualización del búfer 40 de salida de vídeo.
Bloque 80:
¿Fin del programa?
Bloque 82:
FIN. 35
Descripción de la corrección del efecto de dentado:
La corrección del efecto de dentado es la operación de filtrado que permite atenuar los escalones que aparecen en los bordes de los polígonos 20 a causa de la resolución de cálculo finita de la imagen de síntesis 16. 5
Cuando se aplica la corrección del efecto de dentado, el color de los píxeles en los bordes del objeto en primer plano se obtiene mediante una operación de filtrado entre los píxeles del objeto en segundo plano y los píxeles del objeto en primer plano.
La invención permite tratar a un objeto texturizado con vídeo como un elemento de la misma naturaleza que los demás objetos de síntesis: las funciones de corrección 10 del efecto de dentado se aplican por lo tanto para el trazado de la escena total.
Descripción de los efectos de transparencia:
Los objetos de síntesis pueden contener superficies transparentes. Si uno de tales objetos está en primer plano con respecto a un objeto en segundo plano texturizado con vídeo, el objeto de vídeo texturizado se verá a través de estas 15 superficies.
Descripción de las deformaciones no lineales:
El procedimiento permite aplicar deformaciones no lineales al vídeo, ya que este se almacena en una textura mapeada sobre polígonos 20. Es posible así, en particular, distorsionar en tiempo real la imagen de vídeo para corregir las distorsiones 20 ópticas de la cámara de vídeo. Las líneas de los bordes de la imagen que parecen curvas se pueden así enderezar estirando la textura de vídeo.
Para ello, se crea un mallado regular de polígonos 20 sobre el cual se dispone una textura de vídeo con coordenadas de texturas que describen una curva cuando las coordenadas de los vértices asociados evolucionan linealmente. 25
Descripción de los tratamientos de "sombreado de píxeles" y en particular de la "inserción croma"
El color final de un píxel es una combinación entre el color de este mismo píxel para el polígono 20 en curso de trazado y el color para los polígonos 20 ya trazados. El color de un píxel de un polígono es una combinación entre el valor de este píxel en 30 la o las texturas asociadas a estos polígonos y la iluminación del polígono.
Las tarjetas gráficas 8 actuales utilizan un programa (sombreador de píxeles) para efectuar esta combinación. Este programa se transfiere a la tarjeta gráfica 8 al igual que los otros objetos 3D.
El procedimiento de acuerdo con la invención permite aplicar las 35 funcionalidades, en sí conocidas, de tipo "sombreado de píxeles" en la imagen de
vídeo. Esto permite, en particular, implementar algoritmos de tipo "inserción croma" en el búfer de vídeo 14 u otros tratamientos de imágenes.
El principio de la inserción croma consiste en reemplazar en una imagen todos los puntos de un color dado por los puntos de otra fuente de vídeo. A veces se denomina a esta técnica como "pantalla azul". Se describe a continuación un algoritmo 5 simple de inserción croma. Para cada píxel del vídeo:
- se calcula su color en el espacio YUV,
- se calcula la distancia de este color con respecto a un color de referencia ignorando la coordenada Y (la luminancia),
- si la distancia es inferior a un umbral predeterminado, se hace transparente al 10 píxel y, en caso contrario, se le visualiza normalmente.
Descripción del mapeo del entorno
El mapeo del entorno es una técnica que simula superficies reflectantes sin utilizar el trazado de rayos (en inglés "ray-tracing") (inutilizable en tiempo real). La técnica aplica una textura especial que contiene una imagen de la escena que rodea al 15 objeto sobre el objeto mismo. El resultado obtenido es una aproximación de la apariencia de una superficie reflectante, sin requerir una potencia de cálculo excesivamente alta.
El procedimiento de acuerdo con la invención, generalizado al uso de dos medios de adquisición 12 (dos tarjetas de adquisición), permite utilizar uno de los dos 20 medios de adquisición 12 (una de las dos tarjetas de adquisición) para copiar el "búfer de vídeo" 14 asociado a esta tarjeta en la memoria de una textura 11 que servirá de mapeo del entorno durante el trazado de los objetos de la escena texturizados con esta textura. Esto permite en particular obtener reflejos reales sobre estos objetos de síntesis. 25
La otra tarjeta de adquisición se utiliza para copiar su búfer de vídeo 14 en la memoria de una textura visualizada en segundo plano de los objetos de síntesis sobre los que se producen los reflejos.
Descripción de una memoria tampón 23
El método de la memoria tampón permite retardar la visualización de las 30 imágenes de vídeo.
N imágenes de vídeo se almacenan en memoria.
El método de la memoria tampón permite retardar la visualización de las imágenes de vídeo. La memoria tampón 23 funciona según el principio siguiente: la memoria tampón 23 puede almacenar N búferes de vídeo 14. Estos búferes de 35 vídeo 14 corresponden a las imágenes de vídeo 13 adquiridas por el medio de
adquisición 12 durante los ciclos N, (N-1), (N-2), (N-3), etc. ... Durante el ciclo N, el procedimiento puede decidir utilizar el búfer de vídeo 14 adquirido en el ciclo (N-2), lo que conlleva en este caso un retardo de las imágenes de vídeo visualizadas por la salida de vídeo 39 de 3 ciclos. En el caso general, gracias a este procedimiento, se pueden introducir hasta N imágenes de retardo. 5
Ventajas de la solución reivindicada con respecto a la técnica anterior:
Se expondrán ahora las ventajas del procedimiento y del sistema de acuerdo con la invención con respecto a la técnica anterior:
- El procedimiento y el sistema de acuerdo con la invención permiten una mejora de la calidad de las imágenes: número de polígonos, sombreado, texturización, 10 transparencia, reflexiones, corrección del efecto de dentado.
- El procedimiento y el sistema de acuerdo con la invención permiten realizar en tiempo real efectos de texturización de vídeo, es decir, la texturización de objetos de síntesis, no con una simple imagen estática, sino con un vídeo "en directo".
- El procedimiento y el sistema de acuerdo con la invención permiten realizar en 15 tiempo real efectos de mapeo dinámico del entorno, es decir, la posibilidad de rodear a los objetos de síntesis con un mapa del entorno que no es estático, sino que es el vídeo mismo. Esto abre la puerta a efectos sorprendentes, en particular cuando los objetos de síntesis tienen una superficie reflectante como un espejo.
- El procedimiento y el sistema de acuerdo con la invención permiten realizar todo 20 lo que es posible hacer clásicamente con texturas estáticas, pero ahora con una o más fuentes de vídeo "en directo".
- El procedimiento y el sistema de acuerdo con la invención permiten efectuar un tratamiento de las imágenes de vídeo mediante la tecnología del sombreado de píxeles (en particular un tratamiento de tipo inserción croma). 25
- El procedimiento y el sistema de acuerdo con la invención permiten retardar las imágenes de vídeo sin requerir un equipo en bastidor modular externo.
- El procedimiento y el sistema de acuerdo con la invención permiten una disminución del tiempo de respuesta del sistema ya que todos los tratamientos son internos dentro de la misma máquina (no se acumulan los tiempos de 30 tratamiento de varias unidades de tratamiento como en la técnica anterior).
- El procedimiento y el sistema de acuerdo con la invención permiten el uso de materiales producidos en gran cantidad a bajo coste.
- El procedimiento y el sistema de acuerdo con la invención no requieren desarrollos electrónicos (equipo informático físico) patentados: permiten utilizar 35 material estándar comercialmente disponible; permiten un mantenimiento fácil
(placas base de tecnología PC para el público general, tarjetas gráficas para el público general, tarjetas de adquisición de vídeo para el público general).
- El procedimiento y el sistema de acuerdo con la invención pueden funcionar con un ordenador único (caja PC estándar, ordenador portátil, bastidor modular para PC industrial). 5
- El procedimiento y el sistema de acuerdo con la invención pueden funcionar en tiempo real: las imágenes de vídeo se generan directamente. Es posible así suprimir los costes de post-producción (no se requieren varias horas de tiempo de cálculo para unos segundos de imágenes de vídeo).
- El procedimiento y el sistema de acuerdo con la invención pueden ser 10 transportados. El procedimiento y el sistema de acuerdo con la invención pueden funcionar en tarjetas PC industriales compactas (ámbitos militares o navegación o zonas de riesgo).
- El procedimiento y el sistema de acuerdo con la invención pueden funcionar con material reforzado (para la industria o el sector militar). 15
- El procedimiento y el sistema de acuerdo con la invención pueden seguir la evolución de las prestaciones de las tarjetas gráficas aceleradoras con un pequeño esfuerzo de actualización de los programas informáticos: utilización de bibliotecas gráficas estándar (DirectX u OpenGL).
- El procedimiento y el sistema de acuerdo con la invención pueden ser 20 desplazados fácilmente (movilidad) e implementados rápidamente en el lugar de uso.
- El procedimiento y el sistema de acuerdo con la invención pueden funcionar en un ordenador portátil equipado con una entrada de vídeo (por ejemplo: entrada DV).
Aplicaciones industriales y comerciales del procedimiento y del sistema de 25 acuerdo con la invención.
Aplicaciones industriales en el ámbito audiovisual (cine/vídeo).
El procedimiento y el sistema de acuerdo con la invención pueden ser utilizados en particular para producciones audiovisuales rodadas en directo o en condiciones del directo: 30
- Platós virtuales en tiempo real (visualización de presentadores en un decorado virtual).
- Efectos especiales en tiempo real (por ejemplo: partículas, explosiones, deformaciones en tiempo real).
El procedimiento y el sistema de acuerdo con la invención pueden ser 35 utilizados en particular en el ámbito de la publicidad (por ejemplo: productos virtuales
en decorados reales).
El procedimiento y el sistema de acuerdo con la invención pueden ser utilizados en particular para realizar adiciones de objetos virtuales en una emisión de televisión y para crear interacciones con un presentador real (programas de entrevistas, acontecimientos deportivos, compra por televisión, informativos, 5 previsiones meteorológicas, emisiones médicas).
El procedimiento y el sistema de acuerdo con la invención pueden ser utilizados en particular para realizar "avatares": personajes virtuales incrustados en tiempo real en decorados reales.
El procedimiento y el sistema de acuerdo con la invención pueden ser 10 utilizados en particular para realizar previsualizaciones en tiempo real para el cine (control de efectos especiales en el lugar de rodaje).
Aplicaciones industriales en el ámbito industrial
El procedimiento y el sistema de acuerdo con la invención pueden ser utilizados en particular en el ámbito de la fabricación (enriquecimiento de imágenes 15 reales para guiar las operaciones manuales e informar al constructor durante la fabricación).
El procedimiento y el sistema de acuerdo con la invención pueden ser utilizados en particular en el ámbito del mantenimiento (enriquecimiento de imágenes reales con informaciones suplementarias con el fin de optimizar los costes de 20 mantenimiento, guía en tiempo real para reparaciones).
El procedimiento y el sistema de acuerdo con la invención pueden ser utilizados en particular en el ámbito militar (blancos virtuales, amenazas virtuales, explosiones, soldados, vehículos).
El procedimiento y el sistema de acuerdo con la invención pueden ser 25 utilizados en particular en el ámbito de la simulación (fenómenos atmosféricos o medioambientales simulados mezclados con decorados reales, ensayo de prototipos virtuales, vehículos virtuales).
El procedimiento y el sistema de acuerdo con la invención pueden ser utilizados en particular en el ámbito de los videojuegos (jugadores reales visualizados 30 en un videojuego, o elementos virtuales tales como personajes, vehículos integrados en imágenes reales).
El procedimiento y el sistema de acuerdo con la invención pueden ser utilizados en particular:
- en el ámbito de la automoción (vehículos virtuales en carreteras reales), 35
- en el ámbito de la creación de prototipos (visualización de prototipos virtuales en
decorados reales),
- en el ámbito de la arquitectura (visualización de edificios virtuales en paisajes reales),
- en el ámbito de la conducción en tiempo real: visualización de informaciones para dirigir a un piloto o a un conductor. 5
Aplicaciones en el ámbito de la mercadotecnia o de la comunicación
El procedimiento y el sistema de acuerdo con la invención pueden ser utilizados en particular para llevar a cabo estudios de mercado: visualización de productos que aún no han sido realmente producidos, en situaciones reales (por ejemplo: un nuevo teléfono móvil GSM, un nuevo automóvil). 10
El procedimiento y el sistema de acuerdo con la invención pueden ser utilizados en particular para crear imágenes interactivas en tiendas o centros comerciales.
Aplicaciones industriales en el ámbito de las tecnologías de la información.
El procedimiento y el sistema de acuerdo con la invención pueden ser 15 utilizados en particular para videoconferencias: videollamada con posibilidad de insertar e interactuar con objetos virtuales.
Aplicaciones industriales en el ámbito del ocio
El procedimiento y el sistema de acuerdo con la invención pueden ser utilizados en particular en parques de atracciones: animaciones visuales en tiempo 20 real (por ejemplo: espejos interactivos).

Claims (21)

  1. REIVINDICACIONES
  2. 1. Procedimiento que permite a un usuario:
    (i) producir en una unidad de tratamiento informático (2), compuesta de circuitos electrónicos estándar, un flujo de imágenes de síntesis (3), y 5
    (ii) trazar una escena (4) creando interacciones visuales entre dicho flujo de imágenes de síntesis (3) y al menos un flujo de imágenes de vídeo (5),
    de manera que se mejora la calidad de la escena (4) y se disminuye el tiempo de tratamiento;
    en donde dicha unidad de tratamiento informático (2) comprende: 10
    - una placa base (7),
    - una tarjeta gráfica (8) de representación y de visualización de dicha escena (4), que incluye un procesador de aceleración de los tratamientos 2D/3D (9), al menos una zona de memoria que incluye un búfer de trabajo (10) ("back buffer") y una memoria de textura (11), 15
    - un medio de adquisición (12) que permite adquirir, en tiempo real, imágenes de vídeo (13), en un búfer de vídeo (14); en donde dicho medio de adquisición (12) se presenta en particular bajo la forma de:
    * una adquisición de vídeo integrada en dicha tarjeta gráfica (8), y/o
    * una adquisición de vídeo integrada en dicha placa base (7), y/o 20
    * una adquisición de vídeo, a través de una tarjeta de adquisición dedicada;
    en donde dicho procedimiento comprende el paso de efectuar una repre-sentación específica de dicha escena (4),
    - creando, antes de la representación específica, una textura 25 dedicada (19) en dicha memoria de textura (11) de dicha tarjeta gráfica (8); en donde dicha textura dedicada (19) tiene el tamaño de dicho búfer de vídeo (14); en donde dicha textura dedicada (19) está dedicada para copiar dicho búfer de vídeo (14) en dicha memoria de textura (11);
    - copiando, durante cada representación de dicha escena (4), dicho búfer 30 de vídeo (14) en dicha textura dedicada (19),
    - trazando dichas imágenes de síntesis (16) en dicho búfer de trabajo (10) de la tarjeta gráfica (8) y trazando completamente dicha escena (4), utilizando dicha textura dedicada (19) para texturizar algunos de los polígonos (20) de dicha escena (4). 35
  3. 2. Procedimiento según la reivindicación precedente, en donde dicho búfer de
    vídeo (14) incluye líneas de vídeo entrelazadas, para copiar, durante cada representación de dicha escena (4), en dicha textura dedicada (19), en donde dicho procedimiento comprende:
    - el paso de copiar dichas líneas de vídeo pares (17), durante una primera representación, y 5
    - el paso de copiar dichas líneas de vídeo impares (18), durante la representación siguiente,
    - el paso de aplicar una traslación del búfer de vídeo (14) de más o menos una media línea en la representación de dicha escena (4):
    * o bien modificando las coordenadas de textura de la textura 10 dedicada (19),
    * o bien modificando las coordenadas de los polígonos (20) texturizados por la textura dedicada (19).
  4. 3. Procedimiento según la reivindicación 1 o la reivindicación 2, en donde dicho medio de adquisición (12) incluye un controlador (22) que presenta un nuevo búfer de 15 vídeo (14) para cada nueva imagen de vídeo; en donde la representación de dicha escena (4) es efectuada de manera sincrónica con la presentación de cada nuevo búfer de vídeo (14).
  5. 4. Procedimiento según la reivindicación 1 o la reivindicación 2, en donde dicho medio de adquisición (12) incluye un controlador (22) que presenta un nuevo búfer de 20 vídeo (14) para cada nueva imagen de vídeo; en donde dicho procedimiento comprende los pasos siguientes:
    - el paso de llenar una memoria tampón (23) con cada nuevo búfer de vídeo, haciendo uso de una unidad de ejecución (24) ("thread") de captura de vídeo, 25
    - el paso de copiar uno de los búferes de vídeo (14) contenido en dicha memoria tampón (23) a dicha memoria de textura (11) de la tarjeta gráfica (8),
    - el paso de efectuar la representación de dicha escena (4) de manera asincrónica con respecto a la presentación de cada nuevo búfer de 30 vídeo (14).
  6. 5. Procedimiento según una cualquiera de las reivindicaciones 1 a 4, en donde dicho procedimiento comprende el paso de aplicar una función de corrección del efecto de dentado durante el trazado de dicha escena (4).
  7. 6. Procedimiento según una cualquiera de las reivindicaciones 1 a 5, en donde 35 dicho procedimiento comprende el paso de aplicar una función de transparencia
    durante el trazado de dicha escena (4).
  8. 7. Procedimiento según una cualquiera de las reivindicaciones 1 a 6, en donde dicho procedimiento comprende el paso de aplicar deformaciones no lineales al búfer de vídeo (14) texturizando polígonos (20) de dicha escena (4) por medio de dicha textura dedicada (19). 5
  9. 8. Procedimiento según una cualquiera de las reivindicaciones 1 a 7, en donde dicho procedimiento comprende el paso de aplicar al búfer de vídeo (14) funciones de sombreado de píxeles que permiten, en particular, un tratamiento de tipo inserción croma.
  10. 9. Procedimiento según una cualquiera de las reivindicaciones 1 a 8, en donde 10 dicha unidad de tratamiento informático (2) comprende dos medios de adquisición (12) que tienen cada uno un búfer de vídeo (14); en donde dicho procedimiento comprende los pasos siguientes:
    - el paso de copiar el búfer de vídeo (14) de uno de dichos medios de adquisición (12) en una segunda textura dedicada de la tarjeta gráfica (8), 15
    - el paso de texturizar al menos en parte dicha escena (4) utilizando dicha segunda textura dedicada.
  11. 10. Procedimiento según una cualquiera de las reivindicaciones 1 a 9, en donde dicho procedimiento comprende:
    - el paso de retardar la copia de uno de los búferes de vídeo (14) 20 contenido en una memoria tampón (23) a dicha memoria de textura (11) de la tarjeta gráfica (8).
  12. 11. Sistema que permite a un usuario:
    (i) producir en una unidad de tratamiento informático (2), compuesta de circuitos electrónicos estándar, un flujo de imágenes de síntesis (3), y 25
    (ii) trazar una escena (4) creando interacciones visuales entre dicho flujo de imágenes de síntesis (3) y al menos un flujo de imágenes de vídeo (5),
    de manera que se mejora la calidad de la escena (4) y se disminuye el tiempo de tratamiento;
    en donde dicha unidad de tratamiento informático (2) incluye: 30
    - una placa base (7),
    - una tarjeta gráfica (8) de representación y de visualización de dicha escena (4), que incluye un procesador de aceleración de los tratamientos 2D/3D (9), al menos una zona de memoria que incluye un búfer de trabajo (10) ("back buffer") y una memoria de textura (11), 35
    - un medio de adquisición (12) que permite adquirir, en tiempo real,
    imágenes de vídeo (13), en un búfer de vídeo (14); en donde dicho medio de adquisición (12) se presenta en particular bajo la forma de:
    * una adquisición de vídeo integrada en dicha tarjeta gráfica (8), y/o
    * una adquisición de vídeo integrada en dicha placa base (7), y/o
    * una adquisición de vídeo, a través de una tarjeta de adquisición 5 dedicada;
    para efectuar una representación específica de dicha escena (4):
    - en donde dicha placa base (7) incluye además medios de tratamiento informático (26) que comprenden medios de inicialización (32) que crean, antes de la representación específica, una textura dedicada (19) en dicha 10 memoria de textura (11) de dicha tarjeta gráfica (8); en donde dicha textura dedicada (19) tiene el tamaño de dicho búfer de vídeo (14);
    - en donde dichos medios de tratamiento informático (26) comprenden además primeros medios de copia (33) para copiar dicho búfer de vídeo (14) en dicha textura dedicada (19), 15
    - en donde dicho procesador de aceleración de los tratamientos 2D/3D (9) incluye medios de trazado para trazar dichas imágenes de síntesis (16) en dicho búfer de trabajo (10) de dicha tarjeta gráfica (8) y primeros medios de cálculo (34) para trazar completamente dicha escena (4), utilizando dicha textura dedicada (19) para texturizar algunos de los polígonos (20) de 20 dicha escena (4).
  13. 12. Sistema según la reivindicación precedente, en donde dicho búfer de vídeo (14) incluye líneas de vídeo entrelazadas; en donde dichos primeros medios de copia (33) de dicho búfer de vídeo (14) en dicha textura dedicada (19) 25 comprenden:
    - primeros medios de selección y de copia (35) de dichas líneas de vídeo pares (17), durante una primera representación, y
    - segundos medios de selección y de copia (36) de dichas líneas de vídeo impares (18), durante la representación siguiente, 30
    - segundos medios de cálculo (37) para aplicar una traslación (21) del búfer de vídeo (14) de más o menos una media línea en la representación de dicha escena (4):
    * o bien modificando las coordenadas de textura de dicha textura dedicada (19), 35
    * o bien modificando las coordenadas de los polígonos (20)
    texturizados por dicha textura dedicada (19).
  14. 13. Sistema según la reivindicación 11 o la reivindicación 12, en donde dicho medio de adquisición (12) incluye un controlador (22) que presenta un nuevo búfer de vídeo (14) para cada nueva imagen de vídeo; en donde dichos medios de tratamiento informático (26) efectúan la representación de dicha escena (4) de manera sincrónica 5 con la presentación de cada nuevo búfer de vídeo (14).
  15. 14. Sistema según la reivindicación 11 o la reivindicación 12, en donde dicho medio de adquisición (12) incluye un controlador (22) que presenta un nuevo búfer de vídeo (14) para cada nueva imagen de vídeo; en donde dichos medios de tratamiento informático (26) comprenden: 10
    - medios de transferencia para llenar una memoria tampón (23) con cada nuevo búfer de vídeo (14), haciendo uso de una unidad de ejecución (24) ("thread") de captura de vídeo,
    - segundos medios de copia (38) para copiar uno de los búferes de vídeo (14) contenido en dicha memoria tampón (23) a dicha 15 memoria de textura (11) de la tarjeta gráfica (8),
    en donde dichos medios de tratamiento informático (26) efectúan la representación de dicha escena (4) de manera asincrónica con respecto a la presentación de cada nuevo búfer de vídeo (14).
  16. 15. Sistema según una cualquiera de las reivindicaciones 11 a 14, en donde 20 dichos medios de tratamiento informático (26) permiten aplicar una función de corrección del efecto de dentado durante el trazado de dicha escena (4).
  17. 16. Sistema según una cualquiera de las reivindicaciones 11 a 15, en donde dichos medios de tratamiento informático (26) permiten aplicar una función de transparencia durante el trazado de dicha escena (4). 25
  18. 17. Sistema según una cualquiera de las reivindicaciones 11 a 16, en donde dichos medios de tratamiento informático (26) permiten aplicar deformaciones no lineales al búfer de vídeo (14) texturizando polígonos (20) de dicha escena (4) por medio de dicha textura dedicada (19).
  19. 18. Sistema según una cualquiera de las reivindicaciones 11 a 17, en donde 30 dichos medios de tratamiento informático (26) permiten aplicar al búfer de vídeo (14) funciones de sombreado de píxeles que permiten, en particular, un tratamiento del tipo inserción croma.
  20. 19. Sistema según una cualquiera de las reivindicaciones 11 a 18, en donde dicha unidad de tratamiento informático (2) comprende dos medios de adquisición que 35 tienen cada uno un búfer de vídeo (14); en donde dichos medios de tratamiento
    informático (26) permiten copiar el búfer de vídeo (14) de uno de dichos medios de adquisición en una segunda textura dedicada de la tarjeta gráfica (8),
    en donde dicho procesador de aceleración de tratamiento 2D/3D (9) permite texturizar al menos en parte dicha escena (4) utilizando dicha segunda textura dedicada.
  21. 20. Procedimiento según una cualquiera de las reivindicaciones 11 a 19, en 5 donde dichos medios de tratamiento informático (26) permiten retardar la copia de uno de los búferes de vídeo (14) contenido en una memoria tampón (23) a dicha memoria de textura (11) de la tarjeta gráfica (8).
ES03755656T 2002-07-24 2003-07-21 Procedimiento y sistema que permiten a un usuario mezclar en tiempo real imagenes de sintesis con imagenes de video. Expired - Lifetime ES2348853T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0209401 2002-07-24
FR0209401A FR2842977A1 (fr) 2002-07-24 2002-07-24 Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video

Publications (1)

Publication Number Publication Date
ES2348853T3 true ES2348853T3 (es) 2010-12-03

Family

ID=30011453

Family Applications (1)

Application Number Title Priority Date Filing Date
ES03755656T Expired - Lifetime ES2348853T3 (es) 2002-07-24 2003-07-21 Procedimiento y sistema que permiten a un usuario mezclar en tiempo real imagenes de sintesis con imagenes de video.

Country Status (12)

Country Link
US (1) US7471301B2 (es)
EP (1) EP1527599B1 (es)
JP (1) JP4481166B2 (es)
AT (1) ATE473594T1 (es)
AU (1) AU2003273498A1 (es)
DE (1) DE60333299D1 (es)
DK (1) DK1527599T3 (es)
ES (1) ES2348853T3 (es)
FR (1) FR2842977A1 (es)
PT (1) PT1527599E (es)
SI (1) SI1527599T1 (es)
WO (1) WO2004012445A2 (es)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
CN101273368A (zh) 2005-08-29 2008-09-24 埃韦里克斯技术股份有限公司 经由移动图像识别的交互
US7919888B2 (en) * 2006-03-20 2011-04-05 Ina Drives & Mechatronics Gmbh & Co. Ohg Linear drive with a moving, reduced-mass and laterally guided passive unit
EP1837060A1 (en) * 2006-03-21 2007-09-26 In Fusio (S.A.) Method for displaying interactive video content from a video stream in a display of a user device
US20070248283A1 (en) * 2006-04-21 2007-10-25 Mack Newton E Method and apparatus for a wide area virtual scene preview system
US20070277097A1 (en) * 2006-05-25 2007-11-29 Erik Frederick Hennum Apparatus, system, and method for context-aware authoring transform
FR2911211B1 (fr) 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
FR2928805B1 (fr) * 2008-03-14 2012-06-01 Alcatel Lucent Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles.
US8184143B2 (en) * 2008-06-27 2012-05-22 Sony Mobile Communications Ab Simulated reflective display
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
JP5709906B2 (ja) 2010-02-24 2015-04-30 アイピープレックス ホールディングス コーポレーション 視覚障害者支援用拡張現実パノラマ
US9514654B2 (en) 2010-07-13 2016-12-06 Alive Studios, Llc Method and system for presenting interactive, three-dimensional learning tools
KR101296910B1 (ko) * 2010-10-20 2013-08-14 엘지디스플레이 주식회사 게이트 드라이버 및 이를 포함한 유기발광다이오드 표시장치
USD647968S1 (en) 2011-01-31 2011-11-01 Logical Choice Technologies, Inc. Educational card
USD648390S1 (en) 2011-01-31 2011-11-08 Logical Choice Technologies, Inc. Educational card
USD675648S1 (en) 2011-01-31 2013-02-05 Logical Choice Technologies, Inc. Display screen with animated avatar
USD648391S1 (en) 2011-01-31 2011-11-08 Logical Choice Technologies, Inc. Educational card
USD654538S1 (en) 2011-01-31 2012-02-21 Logical Choice Technologies, Inc. Educational card
USD648796S1 (en) 2011-01-31 2011-11-15 Logical Choice Technologies, Inc. Educational card
US8488011B2 (en) 2011-02-08 2013-07-16 Longsand Limited System to augment a visual data stream based on a combination of geographical and visual information
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US9064326B1 (en) 2012-05-10 2015-06-23 Longsand Limited Local cache of augmented reality content in a mobile computing device
US9430876B1 (en) 2012-05-10 2016-08-30 Aurasma Limited Intelligent method of determining trigger items in augmented reality environments
US9642606B2 (en) 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
US9615728B2 (en) 2012-06-27 2017-04-11 Camplex, Inc. Surgical visualization system with camera tracking
US9854328B2 (en) * 2012-07-06 2017-12-26 Arris Enterprises, Inc. Augmentation of multimedia consumption
US9782159B2 (en) 2013-03-13 2017-10-10 Camplex, Inc. Surgical visualization systems
US9301731B2 (en) 2013-07-16 2016-04-05 Edan Instruments, Inc. Ultrasound system and transducer assemblies
JP6099232B2 (ja) 2013-08-22 2017-03-22 ビスポーク， インコーポレイテッド カスタム製品を創作するための方法及びシステム
EP3046458B1 (en) 2013-09-20 2020-10-21 Camplex, Inc. Surgical visualization systems
WO2015042460A1 (en) 2013-09-20 2015-03-26 Camplex, Inc. Surgical visualization systems and displays
JP2017507680A (ja) * 2013-12-23 2017-03-23 キャンプレックス インコーポレイテッド 手術可視化システム
US9977572B2 (en) 2014-04-01 2018-05-22 Hallmark Cards, Incorporated Augmented reality appearance enhancement
EP3226799A4 (en) 2014-12-05 2018-07-25 Camplex, Inc. Surgical visualization systems and displays
WO2016154589A1 (en) 2015-03-25 2016-09-29 Camplex, Inc. Surgical visualization systems and displays
EP3383247A4 (en) 2015-11-25 2019-06-26 Camplex, Inc. SURGICAL VISUALIZATION SYSTEMS AND DISPLAYS
US10453244B2 (en) * 2016-10-07 2019-10-22 Sony Corporation Multi-layer UV map based texture rendering for free-running FVV applications
US10918455B2 (en) 2017-05-08 2021-02-16 Camplex, Inc. Variable light source

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227863A (en) * 1989-11-14 1993-07-13 Intelligent Resources Integrated Systems, Inc. Programmable digital video processing system
JPH07325934A (ja) * 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5781174A (en) * 1992-07-14 1998-07-14 Matsushita Electric Industrial Co., Ltd. Image synthesizer and image pointing system
US5903317A (en) * 1993-02-14 1999-05-11 Orad Hi-Tech Systems Ltd. Apparatus and method for detecting, identifying and incorporating advertisements in a video
US5513854A (en) * 1993-04-19 1996-05-07 Daver; Gil J. G. System used for real time acquistion of data pertaining to persons in motion
US5553859A (en) * 1995-03-22 1996-09-10 Lazer-Tron Corporation Arcade game for sensing and validating objects
US5764317A (en) * 1995-06-26 1998-06-09 Physical Optics Corporation 3-D volume visualization display
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
DE19619090A1 (de) * 1996-04-30 1997-11-13 Cfb Gmbh Vorrichtung und Verfahren zur Erzeugung eines Kompositbildes
US5889550A (en) * 1996-06-10 1999-03-30 Adaptive Optics Associates, Inc. Camera tracking system
JP2970558B2 (ja) * 1996-10-25 1999-11-02 日本電気株式会社 オーディオ／ビデオ／コンピュータグラフィクス同期再生合成方式及び方法
US6014163A (en) * 1997-06-09 2000-01-11 Evans & Sutherland Computer Corporation Multi-camera virtual set system employing still store frame buffers for each camera
US6034739A (en) * 1997-06-09 2000-03-07 Evans & Sutherland Computer Corporation System for establishing a three-dimensional garbage matte which enables simplified adjusting of spatial relationships between physical and virtual scene elements
US6262749B1 (en) * 1997-12-31 2001-07-17 Acuson Corporation Ultrasonic system and method for data transfer, storage and/or processing
US6771264B1 (en) * 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
WO2000028518A2 (en) * 1998-11-09 2000-05-18 Broadcom Corporation Graphics display system
US6798420B1 (en) * 1998-11-09 2004-09-28 Broadcom Corporation Video and graphics system with a single-port RAM
US6636222B1 (en) * 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US7162528B1 (en) * 1998-11-23 2007-01-09 The United States Of America As Represented By The Secretary Of The Navy Collaborative environment implemented on a distributed computer network and software therefor
US6508709B1 (en) * 1999-06-18 2003-01-21 Jayant S. Karmarkar Virtual distributed multimedia gaming method and system based on actual regulated casino games
US6661571B1 (en) * 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
JP2001137541A (ja) * 1999-11-17 2001-05-22 Square Co Ltd オブジェクト表示方法、ゲーム装置および記録媒体
US7098888B2 (en) * 2000-04-28 2006-08-29 Texas Tech University System Development of stereoscopic-haptic virtual environments
US6954498B1 (en) * 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
US6627863B2 (en) * 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
ATE371414T1 (de) * 2001-06-13 2007-09-15 Volume Interactions Pte Ltd Führungssystem
CA2486525C (en) * 2001-06-13 2009-02-24 Volume Interactions Pte. Ltd. A guide system and a probe therefor
US6724386B2 (en) * 2001-10-23 2004-04-20 Sony Corporation System and process for geometry replacement

Also Published As

Publication number Publication date
US20060074921A1 (en) 2006-04-06
US7471301B2 (en) 2008-12-30
EP1527599B1 (fr) 2010-07-07
ATE473594T1 (de) 2010-07-15
DK1527599T3 (da) 2010-10-25
AU2003273498A1 (en) 2004-02-16
JP4481166B2 (ja) 2010-06-16
WO2004012445A3 (fr) 2004-04-08
JP2005534113A (ja) 2005-11-10
AU2003273498A8 (en) 2004-02-16
EP1527599A2 (fr) 2005-05-04
FR2842977A1 (fr) 2004-01-30
PT1527599E (pt) 2010-08-31
DE60333299D1 (de) 2010-08-19
WO2004012445A2 (fr) 2004-02-05
SI1527599T1 (sl) 2010-11-30

Similar Documents

Publication Publication Date Title
ES2348853T3 (es) Procedimiento y sistema que permiten a un usuario mezclar en tiempo real imagenes de sintesis con imagenes de video.
US5798762A (en) Controlling a real-time rendering engine using a list-based control mechanism
JP4291892B2 (ja) 画像処理装置およびその方法
EP0633533B1 (en) Producing image data representing a picture
US6816161B2 (en) Vertex assembly buffer and primitive launch buffer
US20030189568A1 (en) Image with depth of field using z-buffer image data and alpha blending
EP0583060A2 (en) Method and system for creating an illusion of three-dimensionality
Theoharis et al. Graphics and visualization: principles & algorithms
GB2256567A (en) Modelling system for imaging three-dimensional models
CN106415667A (zh) 具有增强的深度效果的计算机图形
US10719920B2 (en) Environment map generation and hole filling
US11276150B2 (en) Environment map generation and hole filling
JP2000011204A (ja) 画像処理方法及び画像処理プログラムを記録した記録媒体
JP4707782B2 (ja) 画像処理装置およびその方法
US7212215B2 (en) Apparatus and method for rendering an antialiased image
JPH0793579A (ja) ３次元シミュレーション画像形成システム
US7199807B2 (en) Mixed reality presentation method and mixed reality presentation apparatus
Govil-Pai Principles of Computer Graphics: Theory and Practice Using OpenGL and Maya®
US20040174367A1 (en) System and method for processing real-time video streams
Ankermann et al. The tech and art of cyberspaces in cyberpunk 2077
Yang et al. Visual effects in computer games
Sousa et al. Cryengine 3: Three years of work in review
Chen et al. Real-time rendering of light shafts on GPU
JPH10143681A (ja) 画像処理方法及びその装置
Peddie 1980–1989, Graphics Controllers on Other Platforms