PT1527599E - Processo e sistema que permite a um utilizador misturar em tempo real imagens de sintese com imagens de vídeo - Google Patents

Processo e sistema que permite a um utilizador misturar em tempo real imagens de sintese com imagens de vídeo Download PDF

Info

Publication number
PT1527599E
PT1527599E PT03755656T PT03755656T PT1527599E PT 1527599 E PT1527599 E PT 1527599E PT 03755656 T PT03755656 T PT 03755656T PT 03755656 T PT03755656 T PT 03755656T PT 1527599 E PT1527599 E PT 1527599E
Authority
PT
Portugal
Prior art keywords
video
buffer
scene
texture
dedicated
Prior art date
Application number
PT03755656T
Other languages
English (en)
Inventor
Valentin Lefevre
Original Assignee
Total Immersion
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Total Immersion filed Critical Total Immersion
Publication of PT1527599E publication Critical patent/PT1527599E/pt

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/4448Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

DESCRIÇÃO
PROCESSO E SISTEMA QUE PERMITE A UM UTILIZADOR MISTURAR EM TEMPO REAL IMAGENS DE SÍNTESE COM IMAGENS DE VÍDEO
Descrição Introdutória Campo, o problema A presente invenção refere-se a um método e a um sistema que permitem que um utilizador misture em tempo real, imagens de síntese com imagens de vídeo.
Problema colocado A invenção diz, mais especificamente, respeito a um método e a um sistema que permite um utilizador: (i) produzir numa unidade de processamento do computador, composta por circuitos electrónicos padrão, um fluxo de imagens e (ii) estabelecer uma cena, criando interacções visuais entre o fluxo de imagens de síntese e pelo menos um fluxo de imagens de vídeo. A solução para este problema dada pela presente invenção melhora a qualidade da cena e reduz o tempo de processamento, sem aplicar unidades de processamento informático exclusivas e onerosas.
TÉCNICA ANTERIOR É mostrado na figura 1 um equipamento de acordo com a técnica 1 anterior que permite fazer a realidade melhorada. Este equipamento inclui:
- uma estação de trabalho gráfica STG - um conjunto do tipo "chroma keyer" RCK, - um conjunto de tipo "atraso de imagem" RRI.
As legendas C e SV, respectivamente, denotam uma .ar e é só utilizada para a de síntese. STG foi desenvolvida Silicon Graphics ™. As um fundo de cor uniforme A estação de trabalho gráfico STG geração de imagens A estação de trabalho gráfico especificamente ou é uma estação imagens de síntese são geradas sobre (cor chave). 0 conjunto do tipo "chroma keyer" RCK é usado para misturar as imagens de vídeo da câmara (C) com as imagens de síntese geradas pela estação de trabalho gráfico STG. A chave de cores é substituída pela imagem de vídeo. 0 conjunto de tipo "atraso da imagem" RRI é usado para compensar o tempo de processamento do gerador de imagens. Desvantagens da tecnologia anterior:
Os equipamentos de acordo com a técnica anterior apresentam desvantagens em termos de preço e da qualidade de imagem e funcionalidade.
Desvantagens em termos de preço: 0 preço de revenda dos equipamentos de acordo com a técnica 2 anterior é muito elevado. Na verdade, o conjunto de "atraso de imagem" RRI é um conjunto profissional, o conjunto "Chroma Keyer " RCK é um conjunto profissional, a estação gráfica STG é uma estação profissional. A solução anterior de acordo com a técnica anterior não é incorporável (é composta por três módulos distintos: gerador de imagem / imagens tardias / chroma key).
Desvantagens em termos de qualidade de imagem e de caracteristicas: A interactividade visual entre o vídeo e as imagens de síntese é limitada. Na verdade, à saída de "Chroma Keyer" RCK o vídeo é inserido no lugar da chave de cores. Não é possível ter reflexos do vídeo sobre as imagens de síntese ou o contrário. 0 vídeo não pode ser tratado como uma textura. Por exemplo, não pode ter um efeito de reflexo entre as imagens reais (as imagens de vídeo) e os objectos sintéticos. 0 princípio de "chroma key" pode produzir artefactos, o que limita a escolha da paleta de cores de imagens sintéticas, e faz tornar problemáticos os objectos sintéticos com transparência. 0 desempenho das estações gráficas específicas é rapidamente ultrapassado pelo desempenho das placas gráficas destinadas ao grande público que estão cada vez mais potentes (potência gráfica dos equipamentos de consumo dobrado a cada seis meses) . A solução anterior é cara em termos de manutenção (as três unidades que a compõem envolvem um contrato de manutenção especifico). 3 A solução anterior nao funciona num computador portátil, não é móvel. A solução anterior é obrigatório em termos das definições de regulação de tempo de todos os seus elementos. Não é possivel qualguer tratamento das imagens de video: - não se pode usar o video para dar textura localmente a um elemento da cena virtual, - não se pode distorcer o video (por exemplo, a correcção das distorções ópticas não é possivel) - Não se pode fazer o processamento no video (por exemplo para o tratamento do tipo chroma key).
Solução
Processo A unidade de processamento de dados de acordo com a invenção, em particular do tipo de "computador PC" destinado ao grande público compreende: - uma placa mãe, - uma placa gráfica de preparação e exibição da cena. 0 conceito de cena, na acepção da presente invenção é explicado a seguir, referindo-se à figura 2 A placa gráfica de preparação e apresentação da cena inclui um processador de aceleração da velocidade do processamento 4 2D/3D, um tampão de trabalho "tampão posterior" e uma memória de textura. 0 equipamento de informático também inclui um meio de compra que permite adquirir, em tempo real, imagens de video num tampão de video. 0 médio de aquisição apresenta-se, nomeadamente, sob a forma: * de uma aquisição de vídeo integrada na placa gráfica, e/ou * de uma aquisição de vídeo integrada na placa mãe, e/ou * de uma aquisição de vídeo através de uma placa de aquisição dedicada (por exemplo, uma placa da marca Pinnacle™ conhecida como PCTV). 0 método de acordo com a invenção compreende a etapa para realizar um registoo específico da cena, - quando se cópia em cada prestação da cena, o tampão de video em uma área de memória da placa gráfica, traçando as imagens de síntese no referido tampão de trabalho da placa gráfica.
Para executar um registo específico, o processo inclui uma etapa de inicialização antes de renderização de objectivos específicos para criar uma textura especifica na memória de texturas da placa gráfica. A textura é dedicada ao tamanho do tampão de video. A textura é dedicada para voltar a copiar o tampão de vídeo na memória de textura. 0 método inclui ainda: 5 - a etapa para copiar o tampão de vídeo na textura dedicada - a etapa para traçar completamente a cena, utilizando a textura dedicada para dar uma textura a alguns polígonos da cena.
Quando o tampão de vídeo inclui linhas de vídeo entrelaçadas para copiar cada tempo de renderização da cena no tampão de vídeo da textura dedicada, de preferência acordo com a invenção, em que o método compreende: - a etapa para copiar as linhas de vídeo pares das linhas de vídeo numa primeira passagem, de seguida - a etapa para copiar as linhas de vídeo ímpares de vídeo, na passagem seguinte, - a etapa de aplicação de uma translação do tampão de vídeo mais ou menos metade de uma linha nas continuações da cena.
Esta translação do tampão de vídeo é realizada: - ou mudando as coordenadas de textura da textura dedicado - ou mudando as coordenadas dos polígonos da textura pela textura dedicada.
Isto melhora a qualidade da imagem. É possível voltar a copiar o tampão de vídeo na zona de memória da placa gráfica, procedendo de duas maneiras diferentes.
No caso de uma primeira abordagem o meio de aquisição inclui um driver que tem um novo tampão de vídeo para cada imagem de vídeo nova. De preferência, de acordo com a invenção, no caso 6 desta primeira forma de realização, a tomada da cena é feita sincronicamente com a apresentação de cada novo tampão de vídeo.
No caso de uma segunda abordagem o meio de aquisição também inclui um driver com um novo tampão de vídeo para cada nova imagem de vídeo. No entanto, no caso desta segunda forma de realização, de preferência de acordo com a invenção, o método compreende as seguintes etapas: - a etapa de encher uma memória tampão com cada novo tampão de vídeo, através da implementação de uma unidade execução ("thread") de captura de vídeo, - a etapa de voltar a copiar um conteúdo de vídeo em tampão da memória tampão para a memória de textura di|||||i:i||:i ÍÍPÍ!iÍ:Í|: a etapa de tornar a cena assíncrona com relação à apresentação de cada novo tampão de vídeo. 0 método de acordo com a invenção apresenta gráficos melhorados aquando de um traçado de uma cena que mistura uma imagem de vídeo com uma imagem de síntese.
Anti-criação de duplas personalidades
De preferência, de acordo com a invenção, o método compreende a etapa de aplicação de um dispositivo contra a criação de duplas personalidades aquando da elaboração da cena. Os conceitos de função de criação de duplas personalidades estão descritos abaixo. 7
Transparência
De preferência, de acordo com a invenção, o método compreende a etapa de aplicação de uma função de transparência durante o curso da cena. Os conceitos de função de transparência foram descritos abaixo.
Correcção das distorções ópticas
De preferência, de acordo com a invenção, o método compreende a etapa de aplicação de distorções não-lineares no tampão de vídeo na texturização de polígonos fase, por meio da textura específica.
Assim é possível corrigir as distorções ópticas da imagem de vídeo.
Processamento em tempo real de imagens de vídeo
De preferência, de acordo com a invenção, o método compreende a etapa de aplicação ao tampão de vídeo de funções de "pixel shader" que permitem, nomeadamente, o tratamento do tipo "chroma key". Os conceitos de função de "pixel shaders" e do tipo de tratamento "chroma key" estão abaixo descritos.
Mapeamento do ambiente
De preferência, de acordo com a invenção, a unidade de processamento computador tem dois meios de aquisição cada um deles com um tampão de vídeo. 0 método inclui as seguintes etapas: - a etapa para copiar o tampão de vídeo de um dos meios de aquisição de uma segunda textura dedicada da placa gráfica, - a etapa de texturização de, pelo menos, uma parte da cena usando a segunda textura dedicada.
Assim, é possível obter reflexos reais em objectos de síntese.
Atraso de vídeo
De preferência, de acordo com a invenção, o método compreende a etapa de atrasar uma cópia do tampão de vídeo contido numa memória tampão de vídeo para a memória de textura da placa gráfica.
Assim, é possível atrasar a exibição das imagens de vídeo em relação à apresentação das imagens de síntese.
Sistema A invenção também se refere a um sistema permitindo que um utilizador: (i) produza uma unidade de processamento informático, composta por circuitos electrónicos padrão, por um fluxo de imagens de síntese, e (ii) estabeleça uma cena, criando interacções visuais entre o fluxo de imagens de síntese e pelo menos um fluxo de imagens de vídeo, A solução para este problema pode melhorar a qualidade da cena e reduzir o tempo de processamento, sem implementar as 9 unidades de processamento informático de proprietário e caras. A unidade de processamento de dados de acordo com a invenção inclui um equipamento de informática, incluindo um PC de um tipo destinado ao público em geral. Este equipamento informático compreende: - uma placa mãe, - uma placa gráfica de apresentação da cena. A placa gráfica de renderização de gráficos e de apresentação compreende um processador de aceleração dos tratamentos 2D/ 3D, um tampão de trabalho "tampão posterior" e uma memória de textura. 0 equipamento informático inclui um meio de aquisição que permite adquirir, em tempo real, imagens de vídeo em um tampão de vídeo. 0 meio de aquisição surge, em particular, na forma: - de uma captura de vídeo integrada na placa gráfica, e/ou - de uma captura de vídeo integrada na placa-mãe, e/ou - de uma captura de vídeo através de uma placa de captura dedicada.
Para executar uma determinada representação da cena: a placa mãe inclui ainda os meios de processamento informático para copiar, aquando da prestação de cada cena, o tampão de vídeo em um área de memória da placa gráfica, 10 - o processador 2D/3D inclui meios para o acompanhamento de rastreamento de imagens sintéticas em uma área da memória da placa de video.
Para executar um registo especifico, os meios de tratamento informático compreendem os meios de inicialização criando, antes do registo especifico uma textura dedicada na memória de textura da placa gráfica. A textura dedicado tem o tamanho do tampão video. Os meios de tratamento informático incluem primeiros meios informáticos também para copiar o tampão de video na textura dedicado - o processador aceleração dos tratamentos 2D/3D compreende os primeiros meios de cálculo para fazer o rastreamento completo da cena, usando a textura dedicada para dar textura a alguns dos polígonos da cena.
Quando o tampão de vídeo inclui linhas de vídeo entrelaçado, de preferência de acordo com a invenção, os primeiros meios de cópia do tampão de vídeo na textura dedicada incluem: - os primeiros meios de selecção e de cópia de linhas de vídeo pares durante um primeiro momento, e então - os segundos meios de selecção e de cópia de linhas de vídeo impares, no momento a seguir. 0 processador de aceleração dos tratamentos 2D/3D inclui os segundos meios de cálculo para aplicar uma translação do tampão de vídeo de mais ou menos meia linha na renderização da cena. 11
Esta translação do tampão de vídeo é realizado: - ou, mudando as coordenadas de textura da textura dedicada - ou mudando as coordenadas dos polígonos da textura pela textura dedicada.
Isto melhora a qualidade da imagem. É possível fazer a cópia do tampão de vídeo de duas maneiras distintas.
No caso da primeira abordagem, o meio de aquisição inclui um driver que tem um tampão novo de vídeo para cada frame de vídeo nova. De preferência, de acordo com a invenção, no caso desta primeira forma de realização, os meios de processamento de dados realizam o processamento da cena assim sincronizada com a apresentação de cada novo tampão de vídeo.
No caso de uma segunda forma de realização, o meio de aquisição inclui um "driver" que tem um tampão novo de vídeo para cada frame de vídeo nova. De preferência, de acordo com a invenção, no caso desta segunda forma de realização, os referidos meios de processamento informático incluem: - meios de transferência para preencher uma memória tampão com cada tampão novo de vídeo, colocando em prática uma unidade de execução ("thread") de captura de vídeo - segundo meios de cópia para fazer a cópia de um tampão de vídeo contido na referida memória tampão na direcção da memória de textura da placa gráfica.
Os meios de processamento de dados realizam a prestação da referida cena de uma forma assíncrona em comparação com a apresentação de cada novo tampão de vídeo. 12 0 sistema de acordo com a invenção permite que os recursos gráficos melhorados aquando do traçado de uma cena misturem uma imagem de vídeo com uma imagem de síntese.
Anti criação de duplas personalidades
De preferência, de acordo com a invenção, os meios de tratamento informático permitem aplicar uma função contra a criação de duplas personalidades aquando da elaboração da cena.
Transparência
De preferência, de acordo com a invenção, os meios de tratamento informático podem aplicar uma função de transparência na elaboração da cena.
Correcção da distorção óptica
De preferência, de acordo com a invenção, os meios de processamento informático permitem aplicar deformações não-lineares ao tampão de vídeo na texturização dos polígonos da cena usando textura específica.
Assim, é possível corrigir as distorções ópticas de imagem de vídeo.
Processamento em tempo real de imagens de vídeo
De preferência, de acordo com a invenção, os meios de processamento informático permitem aplicar ao tampão de vídeo 13 as funções de "pixel shader" nomeadamente um tratamento do tipo "chroma key".
Mapeamento do ambiente
De preferência, de acordo com a invenção, a unidade de processamento informático tem dois meios de aquisição tendo cada um deles um tampão de vídeo. Os meios de processamento informático podem copiar o tampão de vídeo de um dos meios de aquisição de uma segunda textura dedicada da placa gráfica. 0 processador de aceleração do tratamento 2D/3D permite a texturização pelo menos em parte da cena usando a segunda textura específica.
Assim, é possível obter reflexos reais em objectos sintéticos.
Atraso de vídeo
De preferência, de acordo com a invenção, os meios de processamento informático podem atrasar a cópia um tampão de vídeo contido numa memória tampão para a memória de textura da placa gráfica.
Assim, é possível atrasar a exibição das imagens de vídeo em relação à visualização de imagens de síntese.
Descrição detalhada
Outras características e vantagens da invenção decorrem da leitura da descrição de uma forma de realização da invenção 14 dada a título de exemplo e não como limitação, e a figura 1 representa um dispositivo de acordo com a técnica anterior que permite fazer a realidade aumentada, - a figura 2 representa um diagrama de um todo de uma forma de realização de um sistema de acordo com a invenção, a figura 3 representa, esquematicamente, os meios de processamento de dados 26 no caso de uma outra variação da forma de realização, - a figura 4 representa, esquematicamente, o processador de aceleração dos tratamentos 2D/3D 9 no caso da forma de realização mostrada na figura 3, - a figura 5 representa, esquematicamente, uma variante da forma de realização no caso em que o meio de aquisição 12 se apresenta sob a forma de uma aquisição de vídeo integrada na placa gráfica 8, - a figura 6 mostra, esquematicamente, uma variante de uma forma de realização no caso em que o meio de aquisição 12 se apresenta sob a forma de uma aquisição de vídeo integrada na placa mãe 7, - a figura 7 representa, esquematicamente, uma variante de uma forma de realização no caso em que o meio de aquisição 12 se apresenta sob a forma de uma aquisição de vídeo através de uma placa de captura dedicada, - a figura 8 representa, esquematicamente, o algoritmo de cópia do tampão de vídeo 14 no tampão de saída de vídeo (back buffer) 40 da placa gráfica, - a figura 9 representa, esquematicamente, o algoritmo de cópia do tampão de vídeo 14 na memória de textura 11 da placa gráfica.
Foi anteriormente descrita a Figura 1, aquando da apresentação da técnica anterior. Vamos agora descrever a 15 figura 2 que representa um diagrama de conjunto de uma variante de um sistema de acordo com a invenção.
Na figura 2 está representada uma unidade de tratamento informático 2 que inclui: - uma placa gráfica 8, - uma placa mãe 7, - meios de aquisição 12 que recebem um fluxo 5 de imagens de vídeo 13, - um disco rígido 42 contendo uma cena 4 A placa gráfica 8 inclui: - um processador de aceleração dos tratamentos 2D/3D 9 que inclui os primeiros meios de cálculo 29, - um tampão de trabalho de 10 que recebe um fluxo de imagens 3 de síntese 16 do processador de aceleração dos tratamentos 2D/3D 9, uma memória de textura 11 que compreende uma textura dedicada 19, - uma saída de vídeo 39, - um tampão de saída de vídeo (back buffer) 40. A placa mãe 7 inclui: meios de tratamento informático 26 que compreendem os primeiros meios de cópia 27 que comportam os primeiros meios de selecção e de cópia 30, os segundos meios de selecção e cópia 31, - uma memória central 41 contendo uma cena 4 e os polígonos 20, 16 - um memória tampão 23 compreendendo o tampão de vídeo 14 que comporta linhas de vídeo pares 17 e linhas de vídeo impares 18, - um "driver" 22, - uma unidade de execução 24.
Em outra forma de realização, os meios de processamento de dados 26 incluem os meios de inicialização 32, os segundos meios de cópia 33 compreendendo os terceiros meios de selecção e de cópia 35, os quartos meios de selecção e de cópia 35 (ver Figura 3). No caso da presente forma de realização, o processador de aceleração dos tratamentos 2D/3D 9 inclui os segundos meios cálculo 34 (ver Figura 4) . 0 meio de aquisição 12 digitaliza o sinal de imagens de vídeo 13 correspondente às imagens de vídeo do fluxo 5 (o sinal de vídeo pode ser analógico ou digital) . A placa mãe recebe o fluxo digitalizado num tampão de vídeo 14 composto por pixels e armazenado na sua memória. Na descrição, o tampão de vídeo 14 é também designado como tampão de pixels.
Uma cena 3D 4 é um conjunto de elementos - objectos 3D compostos de texturas (imagens 2D) e polígonos 20 (geometria 3D). - fontes de luz. - câmaras virtuais. llllllliliiiiiiiie é copiada para a memória principal 41 da placa mãe 7.
Para calcular uma imagem de síntese 16, a placa mãe 7 copia o tampão de vídeo 14 e as texturas da cena 3D para a memória de 17
textura 11 da placa gráfica 8 e envia-as para todos os poligonos 20 para mostrar, fontes de luz, à câmara. O circuitos dedicados (processador de aceleração dos tratamentos 2D/3D 9) calculam a partir desses dados 3D uma imagem 2D num tampão de trabalho 10 (back buffer). 0 conteúdo do tampão de trabalho 10 é, em seguida, transferido para o tampão de saída de vídeo 40 (front buffer) e a saída de vídeo 39 para uso do dispositivo de vídeo (TV, monitor, projector) para exibir a imagem. O tampão de vídeo 14 é copiado para a textura 19 de memória dedicada da textura 11. A textura 19 faz parte da cena, e é possível mostrar o seu conteúdo com base nas necessidades do utilizador. Estas incluem, a título de exemplos não exaustivos, as apresentações seguintes: - apresentação da textura dedicada 19 ao fundo para obter um vídeo em tela "cheia". - apresentação da textura dedicada 19 sobre um objecto de síntese incluído na cena 4, para a enriquecer através de um vídeo em tempo real. A texturização é uma técnica que envolve desenhar um polígono 2 0 em 3D com uma textura (imagem 2D) colocada por debaixo. Para esse fim, atribui-se a cada vértice 3D um polígono 20 com coordenadas 2D (coordenadas de textura) na textura. E possível usar texturas múltiplas em um único polígono 20. Associa-se aos vértices um conjunto de coordenadas de textura para cada textura. A textura pode ser feita com qualquer tipo de imagem 2D logo com o tampão de vídeo 14, que é uma imagem 2D. Um conjunto de polígonos 20, com a textura tampão de vídeo de 14, é tratada 18 como qualquer outro objecto envolvido no cálculo da imagem de síntese 16 .
Agora será descrita a figura 5, que representa esquematicamente uma forma de realização alternativa no caso em que o meio de aquisição 12 se apresenta como aquisição de vídeo integrada na placa gráfica 8. A unidade de processamento de dados 2 contém uma placa gráfica 8 equipada com um instrumento de aquisição 12. A imagem de vídeo 13 é adquirida em tempo real pelo meio de aquisição 12, e é em seguida copiada para o tampão de vídeo 14. 0 tampão de vídeo 14 é copiado de duas formas possíveis: - ou para o tampão de trabalho de 10 - ou a memória de textura 11.
Após esta cópia, o processador de aceleração dos tratamentos 2D/3D 9 realiza o processamento da cena 4 no tampão de trabalho 10. O tampão de trabalho 10 é transferido para o tampão de saída 40, que permite a actualização da saída de vídeo 39.
Agora será descrita a figura 6, que representa esquematicamente, uma forma de realização no caso em que o meio de aquisição 12 se apresenta sob a forma de uma aquisição de vídeo integrada com a placa mãe 7. A unidade de processamento de dados 2 contém uma placa mãe 7 equipada com um meio de aquisição 12. A unidade de processamento de dados 2 também contém uma placa gráfica 8. A imagem de vídeo 13 é adquirida em tempo real pelo meio de 19 aquisição 12 e, em seguida, é copiada no tampão de vídeo 14. 0 tampão de vídeo 14 é, então, copiado de duas maneiras: - ou para o tampão de trabalho de 10 - ou a memória de textura 11.
Após esta cópia, o processador de aceleração dos tratamentos 2D/3D 9 realiza o processamento da cena 4 no tampão de trabalho 10. O tampão de trabalho 10 é transferido para o tampão de saída de vídeo 40, que permite actualizar a saída de vídeo 39.
Agora será descrita a Figura 7, que representa esquematicamente, uma forma de realização no caso em que o meio de compra 12 se apresenta sob a forma de uma aquisição de vídeo através de uma placa de aquisição dedicada. A unidade de processamento de dados 2 contém um meio de aquisição 12 sob a forma de uma placa de aquisição ligada à placa mãe 7 (por exemplo, uma placa PCTV da marca Pinnacle ™). A unidade de processamento informático 2 também inclui uma placa gráfica 8. A imagem de vídeo 13 é adquirida em tempo real através do meio de aquisição 12 e depois é copiada para o tampão de vídeo 14. O tampão de vídeo 14 é copiado de duas formas possíveis: - ou para o tampão de trabalho 10 - ou para a memória de textura 11.
Após esta saída, o processador de aceleração dos tratamentos 2D/3D 9 da placa gráfica efectua a preparação da cena 4 no tampão de trabalho 10. O tampão de trabalho 10 é transferido 20 para o tampão da saída de vídeo 40 que permite actualizar a saída de vídeo 39.
Agora será descrita a figura 8, que representa esquematicamente em forma de bloco o algoritmo para preencher o tampão de vídeo 14 no tampão de saída de vídeo (back buffer) 40 da placa gráfica. Os blocos têm os seguintes significados:
Bloco 48: PARTIDA.
Bloco 50:
Inicializando do meio de aquisição 12:
Passagem ao modo de aquisição.
Definição da entrada de vídeo (por exemplo, Svideo / PAL / NTSC).
Inicio da captura de vídeo.
Bloco 52:
Inicialização do processador de aceleração dos tratamentos 2D/3D 9:
Definição do tipo de saída (por exemplo, a saída VGA ou PAL ou NTSC ou DVI).
Definição modo gráfico (tela cheia ou janela). 21
Definição de resolução gráfica (ex: 800 por 600 em 32 bits por pixel).
Definição do modo Ztampão (inic. aceleração 3D). Passagem para o modo de tampão duplo (criação de tampão de saida de vídeo de 40 e do tampão de trabalho 10.)
Bloco 54:
Carregando da cena 4:
Carrega todos os modelos 3D a partir do disco rígido 42.
Bloco 56:
Redefinir o Ztampão.
Redefinir o tampão de trabalho 10 (opcional).
Bloco 58:
Copia do tampão de vídeo 14 a partir do meio de aquisição 12 no tampão de trabalho 10.
Bloco 60:
Traçado da cena 4 no tampão de trabalho 10 realizado pelo processador de aceleração dos tratamento 2D/3D 9.
Actualização do tampão de saída de vídeo 40, 22
Bloco 62:
Fim do PRograma?
Bloco 64: FIM.
Agora será descrita a Figura 9, que representa esquematicamente em forma de blocos o algoritmo de cópia do tampão de vídeo 14 na memória textura 11 da placa gráfica.
Os blocos têm o seguinte significado:
Bloco 66: PARTIDA.
Bloco 68:
Inicializando do meio de aquisição 12:
Passagem ao modo de aquisição.
Definição da entrada de vídeo (por exemplo, Svideo / PAL / NTSC).
Inicio da captura de vídeo.
Bloco 70:
Initialização do processador de aceleração dos tratamentos 2D/3D 9: 23
Definição do tipo de saida (por exemplo, a saída VGA ou PAL ou NTSC OU DVI).
Definição modo gráfico (tela cheia ou janela). Definição de resolução gráfica (ex: 800 por 600 em 32 bits por pixel).
Definição do modo Ztampão (inic. aceleração 3D). Passagem para o modo de tampão duplo (criação de tampão de saída de vídeo de 40 e do tampão de trabalho 10.)
Inicialização de textura dedicada 19 (criação da textura dedicado 19 na memória de textura 11, tendo a textura dedicada 19 o mesmo número de linhas e colunas que o tampão de vídeo 14 de captura de vídeo).
Bloco 72:
Carregamento da cena 4,
Carregamento de todos os modelos 3D a partir do disco rígido 42.
Bloco 74:
Redefinir o Ztampão.
Redefinir o tampão de trabalho (10) (opcional).
Bloco 76: Cópia do tampão de vídeo 14 a partir do meio de aquisição 12 na textura dedicada 19 incluída na memória de textura 11.
Bloco 78:
Traçado da cena 4 no tampão de trabalho 10,
Exploração de texturas, incluindo as que são provenientes da aquisição de vídeo segundo todas as utilizações que podem ser feitas de uma textura (por exemplo, o mapeamento do ambiente, o traçado no tampão de trabalho 10 como fundo do ecrã, a texturização de objectos de síntese).
Actualização do tampão de saída de vídeo 40;
Bloco 80:
Fim do programa?
Bloco 82: FIM.
Descrição da criaçao contra as duplas personalidades: O dispositivo contra as duplas personalidades é a operação de filtragem que permite atenuar os movimentos escalonados nos bordos dos polígonos 20, devido à resolução finita do cálculo da imagem de síntese 16.
Ao aplicar a protecção contra as duplas personalidades, a cor dos pixels nas bordas do objecto em primeiro plano é obtida por uma operação de filtragem entre os pixels do objecto em plano de fundo e os pixels do objecto em primeiro plano. A invenção permite tratar um objecto com uma textura com vídeo como um elemento da mesma natureza dos outros objectos 25 de síntese: a função contra a criação de duplas personalidades aplica-se, portanto, para o traçado da cena total.
Descrição dos efeitos de transparência:
Os objectos de síntese podem conter superfícies transparentes. Se um tal objecto está em primeiro plano em relação a um objecto com um fundo texturizado com vídeo, p objecto de vídeo texturado será visto através dessas superfícies.
Descrição das distorções não-lineares: 0 método permite aplicar deformações não-lineares ao vídeo, uma vez que ele é armazenado numa textura mapeada sobre polígonos 20. É, em particular, assim possível distorcer em tempo real as imagens de vídeo de modo a corrigir as distorções de óptica da câmara de vídeo. As linhas nas bordas da imagem que aparecer curvas podem ser assim esticadas alongando a textura de vídeo
Para este fim, criamos uma grade regular de polígonos 20 na qual uma se coloca uma textura de vídeo com as coordenadas das texturas que descrevem uma curva quando as coordenadas dos vértices associados evoluem de um modo linear.
Descrição dos tratamentos "pixel shaders", e particularmente, sobre o "chroma key" A cor final de um pixel é uma combinação entre a cor desse mesmo pixel para o polígono 20 que se encontra a ser rastreado e cor para os polígonos 20 já traçados. A cor de um 26 pixel de um polígono é uma combinação entre o valor do pixel em causa e das texturas associadas a estes polígonos e da iluminação de polígono.
As placas gráficas 8 actuais utilizam um programa (pixel shader) para fazer esta combinação. Este programa é transferido para a placa gráfica 8, como os outros objectos 3D. 0 método de acordo com a invenção permite aplicar as características, conhecido por si mesmas, do tipo "pixel shaders" na imagem de vídeo. Isso permite nomeadamente implementar algoritmos como "chroma key" no tampão de vídeo 14 ou outros processamentos de imagens. 0 princípio do "chroma-key" é substituir numa imagem todos os pontos de uma determinada cor através dos pontos de uma outra fonte de vídeo. Esta técnica é às vezes designada como sendo a "tela azul". É descrito abaixo um algoritmo simples para "chroma-key". Para cada pixel de vídeo: - calcula-se a sua cor no espaço YUV, - calcula-se a distância desta cor em relação a uma cor de referência ignorando a coordenada Y (luminância), - se a distância for inferior a um determinado limite, faz-se o pixel transparente, em caso contrário, ele é exibido normalmente.
Descrição do ambiente de mapeamento 0 ambiente de mapeamento é uma técnica que simula as superfícies reflectoras sem usar o "ray-tracing" (inutilizável em tempo real). A técnica aplica uma textura 27 especial que contém uma imagem da cena em torno do objecto no próprio objecto. 0 resultado obtido é uma aproximação da aparência de uma superfície reflectora, sem a necessidade de um poder de cálculo muito relevante. 0 método de acordo com a invenção, generalizado ao uso de dois meios de aquisição 12 (duas placas de aquisição) permite a utilização de um dos dois meios de aquisição 12 (uma das duas placas de aquisição) para copiar o vídeo tampão de vídeo 14 associado a esta placa najjfj§§f|:ii§|e iÍ;Í:ÍÍÍÍliiieie quando do traçado dos objectos de cena texturizados com esta textura. Isso permite, nomeadamente, obter reflexos reais sobre esses objectos de síntese. A outra placa de aquisição é usada para copiar o seu tampão de vídeo 14 na memória de uma textura exibida nos objectos de fundo dos objectos de síntese sobre os quais se verificam os reflexos.
Descrição de uma memória tampão 23 0 método da memória tampão pode atrasar a exibição de imagens de vídeo. N imagens de vídeo são armazenadas na memória. 0 método da memória tampão pode atrasar a exibição de imagens de vídeo. A memória tampão 23 opera de acordo com o seguinte princípio: a memória tampão 23 pode armazenar N tampões de vídeo 14. Estes tampões de vídeo 14 correspondem a imagens de vídeo 13 adquiridas através de aquisição 12 por ciclos N, (N—1) , (N-2), (N-3), etc .... No ciclo N, o processo pode 28 decidir usar o tampão de video 14 adquirido no ciclo (N-2) resultando neste caso, num atraso das imagens de video exibidas pela saida de video 39 de 3 ciclos. Em geral, através deste processo, podemos introduzir até N imagens de atraso.
Vantagens da solução reivindicada em relação à técnica anterior:
Vamos agora discutir as vantagens do método e do sistema de acordo com a invenção em comparação com a técnica anterior: 0 método e o sistema de acordo com a invenção permitem uma melhor qualidade de imagem: o número polígonos, o sombreamento, a textura, a transparência, os reflexos, a não criação de duplas personalidades. - 0 método e o sistema de acordo com a invenção permitem alcançar em tempo real os efeitos de vídeo de texturização, ou seja, a textura dos objectos de síntese, não com uma única imagem estática, mas com um vídeo ao vivo. - 0 método e o sistema de acordo com a invenção permitem alcançar efeitos em tempo real de "mapeamento do ambiente" dinâmico, isto é, a possibilidade colocar em torno de objectos de síntese uma placa de ambiente não estática, mas que é o próprio vídeo. Isso abre a porta para efeitos surpreendentes, em particular quando os objectos de síntese têm uma superfície reflectora como um espelho. - 0 método e o sistema de acordo com a invenção permitem realizar tudo o que é possível de fazer habitualmente com uma textura estática, mas agora com um ou mais fontes de vídeo ao vivo. 29 o método e sistema de acordo com a invenção permitem fazer um processamento de imagens de vídeo através da tecnologia de "pixel shader" (nomeadamente o tratamento do tipo "chroma key"). o método e o sistema de acordo com a invenção permitem o atraso de imagens de vídeo sem um aparelho externo, o método e o sistema de acordo com a invenção permitem a redução do tempo de resposta do sistema porque todos os tratamentos são internos à mesma máquina (não se acumulam os tempos de processamento de várias unidades de processamento como na técnica anterior). 0 método e o sistema de acordo com a invenção permitem o uso de materiais produzidos em grande quantidade e de baixo custo. 0 método e o sistema de acordo com a invenção não exigem nenhuma evolução electrónica (hardware) de uso exclusivo: permitem o uso de equipamentos padrão "de prateleira", que permitem uma manutenção facilitada (placas mãe de tecnologia PC do público em geral, placas gráficas para os consumidores em geral, e placas de aquisição de vídeo destinadas ao grande público). 0 método e o sistema de acordo com a invenção podem operar com um único computador (um PC normal, um computador portátil ou um aparelho PC Industrial). 0 método e o sistema de acordo com a invenção podem operar em tempo real: as imagens de vídeo são geradas directamente. Assim, é possível eliminar os custos de pós-produção (não há tempos de cálculo de várias horas para poucos segundos imagens de vídeo). 0 método e o sistema de acordo com a invenção podem ser enviados. 0 método e o sistema de acordo a invenção podem ser executados em placas PC compactas industriais (domínios militar ou de navegação ou de áreas de risco). 30 0 método e o sistema de acordo com a invenção podem trabalhar em equipamentos endurecidos (para a indústria / aplicação militar). 0 método e o sistema de acordo com a invenção podem monitorar o desempenho das placas gráficas de acelerador com um baixo esforço de actualização dos programas informáticos: o uso de bibliotecas gráficas padrão (DirectX ou OpenGL). - 0 método e o sistema de acordo com a invenção podem ser facilmente deslocados (mobilidade) com uma rápida aplicação no local de utilização. - 0 método e o sistema de acordo com a invenção podem ser executados num computador portátil equipado com uma entrada de video (por exemplo, DV).
Aplicações industriais e comerciais do método e do sistema da invenção.
Aplicações industriais no campo audiovisual (cinema / video). 0 método e o sistema de acordo com a invenção podem ser especialmente usados para produções audiovisuais rodadas em directo ou nas condições do directo: - Palcos virtuais em tempo real (exibição de apresentadores num cenário virtual). - Efeitos especiais em tempo real (por exemplo, partículas, explosões, deformações em tempo real). 0 método e o sistema de acordo com a invenção podem ser utilizada especialmente no campo da publicidade (por exemplo, produtos virtuais em ambientes reais). 31 0 método e o sistema de acordo com a invenção podem por exemplo, ser usados para fazer adições de objectos virtuais num programa de televisão e fazer a interacção real com um apresentador real (programas de entrevistas, eventos desportivos, comerciais, de informação, do tempo, transmissões médicas). invenção pode personagens virtuais reais. 0 método e o sistema de acordo com a exemplo ser usados para fazer avatares: incorporadas em tempo real em decorações 0 método e o sistema de acordo com a invenção podem por exemplo ser usados para fazer pré-visualizações em tempo real para o cinema (controlo dos efeitos especiais no local de rodagem).
Aplicações industriais na área industrial 0 método e o sistema de acordo com a invenção podem especialmente ser usados no domínio do fabrico (enriquecimento de imagens reais para orientar as operações manuais e informar o fabricante, aquando do fabrico). 0 método e o sistema de acordo com a invenção podem ser utilizados especialmente no domínio da manutenção (enriquecimento de imagens reais com informações adicionais para optimizar os custos de manutenção, guia em tempo real para solução de problemas). 0 método e o sistema de acordo com a invenção podem especialmente ser utilizados no domínio militar (alvos virtuais, ameaça virtual, explosões, infantaria, veículos). 32 0 método e o sistema de acordo com a invenção podem especialmente ser usados no domínio das simulações (fenómenos atmosféricos ou ambientais simulados misturados com cenários reais, testes de protótipos virtuais, veículos virtuais). 0 método e o sistema de acordo com a invenção podem ser utilizados especialmente nos jogos de vídeo (jogadores reais exibidos num jogo de vídeo, ou elementos virtuais como personagens, os veículos integrados em imagens reais). 0 método e o sistema de acordo com a invenção podem por exemplo ser usados: - na área automobilística (automóveis virtuais em estradas reais). no campo dos protótipos (visualização de protótipos virtuais em locais reais). - no campo da arquitectura (visualização de edifícios virtuais na paisagem virtual real). no campo da condução em tempo real: apresentação de informações para orientar um piloto ou um condutor.
Aplicações nas áreas do marketing ou das comunicações 0 método e o sistema de acordo com a invenção podem em particular, ser utilizados para realizar estudos de mercado: apresentação de produtos que ainda não se encontram realmente feitos em situações reais (por exemplo um novo telemóvel, novo carro). 0 método e o sistema de acordo com a invenção podem 33 especialmente ser usados para produzir imagens interactivas em lojas ou em centros comerciais.
Aplicações industriais no domínio das tecnologias da informação. 0 método e o sistema de acordo com a invenção podem particular, ser utilizados para videoconferências: videofone com capacidade de inserir e interagir com objectos virtuais.
As aplicações industriais na área de lazer 0 método e o sistema de acordo com a invenção podem ser utilizados especialmente em parques temáticos: animações visuais em tempo real (por exemplo, espelhos interactivos). 24-08-2010 34

Claims (20)

  1. REIVINDICAÇÕES 1. Método que permite a um utilizador: (1) produzir uma unidade de processamento informático (2) , composta por circuitos electrónicos padrão, um fluxo de imagens de síntese (3), e (ii) estabelecer uma cena (4) através da criação de interacções visuais entre o referido fluxo de imagens de síntese (3) e pelo menos um fluxo de imagens de vídeo (5) para melhorar a qualidade da cena (4) e reduzir o tempo de processamento; a referida unidade de processamento informático (2) compreende: - uma placa mãe (7) - uma placa gráfica (8), de renderização e exibição da cena (4), compreendendo um processador de aceleração do tratamento 2D/3D (9), pelo menos uma área de memória, incluindo um tampão trabalho (10) ("back buffer") e uma memória de textura (11) - um meio de aquisição (12) para adquirir em tempo real imagens de vídeo (13) num tampão de vídeo (14); em que o referido meio de aquisição (12) se apresenta nomeadamente sob a forma: * de uma aquisição de vídeo integrada na referida placa gráfica (8), e / ou * de uma aquisição de vídeo integrada na referida placa * de uma aquisição de vídeo através de uma placa de aquisição dedicada; 1 o método compreende a etapa de fazer um registo específico da referida cena (4), - criando, antes de se tornar específica a textura dedicada (19) na referida memória de textura (11) da referida placa gráfica (8); em que a referida textura dedicada (19) tem o tamanho do tampão de vídeo (14), a referida estrutura dedicada (19) é dedicada a copiar o referido tampão de vídeo (14) na referida memória de textura (11); - copiando durante cada prestação da referida cena (4), o referido tampão de vídeo (14), na referida textura dedicada (19), - traçando as referidas imagens de síntese (16) no referido tampão de trabalho (10) da placa gráfica (8) e desenhando completamente a referida cena (4), utilizando a textura dedicada (19) para fazer a texturização de alguns polígonos (20) da referida cena (4) .
  2. 2. Processo de acordo com a reivindicação precedente, em que o referido tampão de vídeo (14), apresenta linhas de vídeo entrelaçadas; para copiar cada tempo de renderização da referida cena (4), na referida textura dedicado (19), em que o referido método compreende: - a etapa de copiar as referidas linhas de vídeo pares (17), aquando da primeira passagem, de seguida - a etapa para copiar as referidas linhas de vídeo impares (18), durante a passagem seguinte, - a etapa de aplicação de uma translação do tampão de vídeo (14) em mais ou menos metade de uma linha na passagem da referida cena (4) : 2 * ou, mudando as coordenadas de textura da referida textura dedicado (19), * ou mudando as coordenadas dos polígonos (20) texturados pela textura dedicada (19).
  3. 3. Processo de acordo com a reivindicação 1 ou com a reivindicação 2, em que o referido meio de aquisição (12) compreende um controlador (22) com um novo tampão de vídeo (14) para cada nova imagem de vídeo, sendo a referida cena (4) executada de uma forma síncrona com a apresentação de cada novo tampão de vídeo (14).
  4. 4. Processo de acordo com a reivindicação 1 com a reivindicação 2, em que os referidos meios de aquisição (12) compreendem um controlador (22) com um novo tampão de vídeo (14) para cada nova imagem de vídeo, em que o referido método compreende as seguintes etapas: - a etapa de preenchimento de uma memória tampão (23) com cada novo tampão de vídeo, colocando em funcionamento uma unidade de execução (24) ("Thread") de captura de vídeo a etapa de copiar um tampão de vídeo (14) contido na referida memória de tampão (23) para a referida memória de textura (11) da placa gráfica (8), - a etapa de processamento da referida cena (4) de forma assíncrona no que diz respeito à apresentação cada novo tampão de vídeo (14).
  5. 5. Método de acordo com qualquer uma das reivindicações de 1 a 4, em que o citado método compreende a etapa de aplicação de uma função contra a dupla personalidade aquando da elaboração dessa cena (4). 3 β.
  6. Método de acordo com qualquer uma das reivindicações de 1 a 5, em que o citado método compreende a etapa de aplicação de uma função de transparência aquando da elaboração dessa cena (4).
  7. 7. Um método de acordo com qualquer uma das reivindicações de 1 a 6, em que o citado método compreende a etapa de aplicação distorções não-lineares no tampão de video (14) fazendo a texturização de polígonos (20) da referida cena (4) usando a referida textura dedicado (19).
  8. 8. Um método de acordo com qualquer uma das reivindicações de 1 a 7, em que o referido método compreende a etapa de aplicação ao tampão de vídeo (14) das funções de "pixel shaders", incluindo um tratamento do tipo "chroma key".
  9. 9. Um método de acordo com qualquer uma das reivindicações de 1 a 8; em que a referida unidade de processamento informático (2), incluindo dois meios de aquisição (12) tendo cada um o tampão de vídeo (14), em que o referido método compreende as seguintes etapas: a etapa de copiar o tampão de vídeo (14) de um dos referidos meios de aquisição (12), em uma segunda textura dedicada da placa gráfica (8) - a etapa de texturização de pelo menos uma parte da fase (4) usando a referida segunda textura dedicada.
  10. 10. Um método de acordo com qualquer uma das reivindicações de 1 a 9, em que o referido método compreende: 4 - a etapa de atrasar uma cópia de um tampão de vídeo (14) contido numa memória de tampão (23), para a referida memória de textura (11) da placa gráfica (8).
  11. 11. Sistema que permite a um utilizador: (1) produzir uma unidade de processamento informático (2) , composta por circuitos electrónicos padrão, um fluxo de imagens de síntese (3) e, (ii) estabelecer uma cena (4) criando interacções de fluxo visual entre as referidas imagens síntese (3) e pelo menos um fluxo de imagens de vídeo (5) a fim de melhorar a qualidade da cena (4) e reduzir o tempo de processamento; em que a unidade de processamento informático (2) compreende: - uma placa mãe (7) uma placa gráfica (8), de renderização e exibição da referida cena (4), composta por um processador de aceleração do tratamento 2D/3D (9), pelo menos uma área de memória, incluindo um tampão de trabalho (10) ("back buffer") e uma memória de textura (11), um meio de aquisição (12) para adquirir, em tempo real imagens de vídeo (13) num tampão de vídeo (14), em que o referido meio de aquisição (12), se apresenta principalmente na forma de: * uma captura de vídeo integrada na referida placa gráfica (8), e / ou * uma captura de vídeo integrada na referida placa mãe (7), e / ou 5 * uma captura de vídeo através de uma placa de captura dedicada; para realizar uma prestação específica da referida cena (4) : - em que a referida placa mãe (7) compreende ainda meios de processamento de dados (26), incluindo meios de inicialização (32) que criam, antes de tornar a textura específica, uma estrutura dedicada (19), na referida memória de textura (11) da referida placa gráfica (8), em que a referida textura dedicada (19) tem o tamanho do referido tampão de vídeo (14); os referidos meios de tratamento informático (26) compreendem ainda os primeiros meios de cópia (33) para copiar o referido tampão de vídeo (14) na referida textura dedicada (19); - o processador de aceleração do tratamento 2D/3D (9), compreendendo meios para o rastreamento para desenhar as referidas imagens de síntese (16) no referido tampão de trabalho (10) da referida placa gráfica (8) e primeiros meios de cálculo (34) para traçar completamente a referida cena (4) usando a referida textura dedicada (19) para a texturização de alguns polígonos (20) da referida cena (4) .
  12. 12. Sistema de acordo com a reivindicação precedente, em que o tampão de vídeo (14), comporta linhas de vídeo entrelaçadas; os referidos primeiros meios de cópia (33) do referido tampão de vídeo (14), na referida textura dedicada (19) compreendendo: 6 - os primeiros meio de selecção e cópia (35) das referidas linhas de video pares (17), numa primeira passagem, então - segundos meios para a selecção e cópia (36) das linhas de video impares (18), aquando na passagem seguinte - segundos meios de cálculo (37) para aplicar uma translação (21) do tampão de video (14) de mais ou menos metade de uma linha na prestação da cena (4): * ou, mudando as coordenadas de textura da referida textura dedicada (19), * ou mudando as coordenadas dos polígonos (20) texturados pela referida textura dedicada (19).
  13. 13. Sistema de acordo com a reivindicação 11 ou com a reivindicação 12, em que os referidos meios de aquisição (12) comportam um controlador (22) com um novo tampão de vídeo (14) para cada nova imagem de vídeo, tais meios de processamento de dados (26) fazendo a prestação da referida cena (4) síncrona com a apresentação de cada novo tampão de vídeo (14).
  14. 14. Sistema de acordo com a reivindicação 11 ou com a reivindicação 12, em que os referidos meios de aquisição (12) com um controlador (22) apresentando um novo tampão de vídeo (14) para cada imagem de vídeo nova, incluindo tais meios de processamento de dados (26): - meios de transferência para encher uma memória tampão (23), com cada novo tampão de vídeo (14), pela implantação de uma unidade de execução (24) ("thread") de captura de video 7 - segundos meios de cópia para copiar (38) um tampão de vídeo (14) contido na referida memória de tampão (23), para a referida memória de textura (11) da placa gráfica (8); em que os meios de processamento de dados informáticos (26) efectuam a renderização da referida cena (4) de um modo assíncrono com relação à apresentação de cada novo tampão de vídeo (14).
  15. 15. Sistema de acordo com qualquer uma das reivindicações de 11 a 14; em que os referidos meios de processamento informático (26) permitem a aplicação de uma função contra a criação de duplas personalidades durante o curso da referida cena (4).
  16. 16. Sistema de acordo com qualquer uma das reivindicações de 11 a 15; em que os referidos meios de processamento informático (26) permitem a aplicação de uma função de transparência durante o curso da referida cena (4).
  17. 17. Sistema de acordo com qualquer uma das reivindicações de 11 a 16; em que os referidos meios de processamento informático (26) permitem a aplicação de deformações não lineares ao tampão de vídeo (14) texturando os polígonos (20) da referida cena (4), por intermédio da referida textura dedicada (19).
  18. 18. Sistema de acordo com qualquer uma das reivindicações de 11 a 17; em que os referidos meios de processamento informático (26) permitem a aplicação ao tampão de vídeo (14) das funções de "pixel shaders", permitindo nomeadamente um tratamento do tipo "chroma key".
  19. 19. Sistema de acordo com qualquer uma das reivindicações de 11 a 18, em que a referida unidade de processamento informático (2) compreendendo dois meios de aquisição, tendo cada um deles um tampão de vídeo (14), em que os referidos meios de processamento informático (26) para copiar o tampão de vídeo (14) de um desses meios de aquisição em uma segunda textura de placa gráfica dedicada (8), em que o referido processador de aceleração de tratamento 2D/3D (9) permite fazer a textura de pelo menos uma parte da referida cena (4) usando a referida segunda textura dedicada.
  20. 20. Sistema de acordo com qualquer uma das reivindicações de 11 a 19; em que os referidos meios de processamento informático (26) permitem adiar a cópia de um dos tampões de vídeo (14) contidos em uma memória tampão (23) na direcção da referida memória de textura (151) da placa gráfica (8). 24-08-2010 9
PT03755656T 2002-07-24 2003-07-21 Processo e sistema que permite a um utilizador misturar em tempo real imagens de sintese com imagens de vídeo PT1527599E (pt)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0209401A FR2842977A1 (fr) 2002-07-24 2002-07-24 Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video

Publications (1)

Publication Number Publication Date
PT1527599E true PT1527599E (pt) 2010-08-31

Family

ID=30011453

Family Applications (1)

Application Number Title Priority Date Filing Date
PT03755656T PT1527599E (pt) 2002-07-24 2003-07-21 Processo e sistema que permite a um utilizador misturar em tempo real imagens de sintese com imagens de vídeo

Country Status (12)

Country Link
US (1) US7471301B2 (pt)
EP (1) EP1527599B1 (pt)
JP (1) JP4481166B2 (pt)
AT (1) ATE473594T1 (pt)
AU (1) AU2003273498A1 (pt)
DE (1) DE60333299D1 (pt)
DK (1) DK1527599T3 (pt)
ES (1) ES2348853T3 (pt)
FR (1) FR2842977A1 (pt)
PT (1) PT1527599E (pt)
SI (1) SI1527599T1 (pt)
WO (1) WO2004012445A2 (pt)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
CN101273368A (zh) 2005-08-29 2008-09-24 埃韦里克斯技术股份有限公司 经由移动图像识别的交互
US7919888B2 (en) * 2006-03-20 2011-04-05 Ina Drives & Mechatronics Gmbh & Co. Ohg Linear drive with a moving, reduced-mass and laterally guided passive unit
EP1837060A1 (en) * 2006-03-21 2007-09-26 In Fusio (S.A.) Method for displaying interactive video content from a video stream in a display of a user device
US20070248283A1 (en) * 2006-04-21 2007-10-25 Mack Newton E Method and apparatus for a wide area virtual scene preview system
US20070277097A1 (en) * 2006-05-25 2007-11-29 Erik Frederick Hennum Apparatus, system, and method for context-aware authoring transform
FR2911211B1 (fr) 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
FR2928805B1 (fr) * 2008-03-14 2012-06-01 Alcatel Lucent Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles.
US8184143B2 (en) * 2008-06-27 2012-05-22 Sony Mobile Communications Ab Simulated reflective display
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
JP5709906B2 (ja) 2010-02-24 2015-04-30 アイピープレックス ホールディングス コーポレーション 視覚障害者支援用拡張現実パノラマ
US9514654B2 (en) 2010-07-13 2016-12-06 Alive Studios, Llc Method and system for presenting interactive, three-dimensional learning tools
KR101296910B1 (ko) * 2010-10-20 2013-08-14 엘지디스플레이 주식회사 게이트 드라이버 및 이를 포함한 유기발광다이오드 표시장치
USD647968S1 (en) 2011-01-31 2011-11-01 Logical Choice Technologies, Inc. Educational card
USD648390S1 (en) 2011-01-31 2011-11-08 Logical Choice Technologies, Inc. Educational card
USD675648S1 (en) 2011-01-31 2013-02-05 Logical Choice Technologies, Inc. Display screen with animated avatar
USD648391S1 (en) 2011-01-31 2011-11-08 Logical Choice Technologies, Inc. Educational card
USD654538S1 (en) 2011-01-31 2012-02-21 Logical Choice Technologies, Inc. Educational card
USD648796S1 (en) 2011-01-31 2011-11-15 Logical Choice Technologies, Inc. Educational card
US8488011B2 (en) 2011-02-08 2013-07-16 Longsand Limited System to augment a visual data stream based on a combination of geographical and visual information
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US9064326B1 (en) 2012-05-10 2015-06-23 Longsand Limited Local cache of augmented reality content in a mobile computing device
US9430876B1 (en) 2012-05-10 2016-08-30 Aurasma Limited Intelligent method of determining trigger items in augmented reality environments
US9642606B2 (en) 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
US9615728B2 (en) 2012-06-27 2017-04-11 Camplex, Inc. Surgical visualization system with camera tracking
US9854328B2 (en) * 2012-07-06 2017-12-26 Arris Enterprises, Inc. Augmentation of multimedia consumption
US9782159B2 (en) 2013-03-13 2017-10-10 Camplex, Inc. Surgical visualization systems
US9301731B2 (en) 2013-07-16 2016-04-05 Edan Instruments, Inc. Ultrasound system and transducer assemblies
JP6099232B2 (ja) 2013-08-22 2017-03-22 ビスポーク, インコーポレイテッド カスタム製品を創作するための方法及びシステム
EP3046458B1 (en) 2013-09-20 2020-10-21 Camplex, Inc. Surgical visualization systems
WO2015042460A1 (en) 2013-09-20 2015-03-26 Camplex, Inc. Surgical visualization systems and displays
JP2017507680A (ja) * 2013-12-23 2017-03-23 キャンプレックス インコーポレイテッド 手術可視化システム
US9977572B2 (en) 2014-04-01 2018-05-22 Hallmark Cards, Incorporated Augmented reality appearance enhancement
EP3226799A4 (en) 2014-12-05 2018-07-25 Camplex, Inc. Surgical visualization systems and displays
WO2016154589A1 (en) 2015-03-25 2016-09-29 Camplex, Inc. Surgical visualization systems and displays
EP3383247A4 (en) 2015-11-25 2019-06-26 Camplex, Inc. SURGICAL VISUALIZATION SYSTEMS AND DISPLAYS
US10453244B2 (en) * 2016-10-07 2019-10-22 Sony Corporation Multi-layer UV map based texture rendering for free-running FVV applications
US10918455B2 (en) 2017-05-08 2021-02-16 Camplex, Inc. Variable light source

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227863A (en) * 1989-11-14 1993-07-13 Intelligent Resources Integrated Systems, Inc. Programmable digital video processing system
JPH07325934A (ja) * 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5781174A (en) * 1992-07-14 1998-07-14 Matsushita Electric Industrial Co., Ltd. Image synthesizer and image pointing system
US5903317A (en) * 1993-02-14 1999-05-11 Orad Hi-Tech Systems Ltd. Apparatus and method for detecting, identifying and incorporating advertisements in a video
US5513854A (en) * 1993-04-19 1996-05-07 Daver; Gil J. G. System used for real time acquistion of data pertaining to persons in motion
US5553859A (en) * 1995-03-22 1996-09-10 Lazer-Tron Corporation Arcade game for sensing and validating objects
US5764317A (en) * 1995-06-26 1998-06-09 Physical Optics Corporation 3-D volume visualization display
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
DE19619090A1 (de) * 1996-04-30 1997-11-13 Cfb Gmbh Vorrichtung und Verfahren zur Erzeugung eines Kompositbildes
US5889550A (en) * 1996-06-10 1999-03-30 Adaptive Optics Associates, Inc. Camera tracking system
JP2970558B2 (ja) * 1996-10-25 1999-11-02 日本電気株式会社 オーディオ/ビデオ/コンピュータグラフィクス同期再生合成方式及び方法
US6014163A (en) * 1997-06-09 2000-01-11 Evans & Sutherland Computer Corporation Multi-camera virtual set system employing still store frame buffers for each camera
US6034739A (en) * 1997-06-09 2000-03-07 Evans & Sutherland Computer Corporation System for establishing a three-dimensional garbage matte which enables simplified adjusting of spatial relationships between physical and virtual scene elements
US6262749B1 (en) * 1997-12-31 2001-07-17 Acuson Corporation Ultrasonic system and method for data transfer, storage and/or processing
US6771264B1 (en) * 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
WO2000028518A2 (en) * 1998-11-09 2000-05-18 Broadcom Corporation Graphics display system
US6798420B1 (en) * 1998-11-09 2004-09-28 Broadcom Corporation Video and graphics system with a single-port RAM
US6636222B1 (en) * 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US7162528B1 (en) * 1998-11-23 2007-01-09 The United States Of America As Represented By The Secretary Of The Navy Collaborative environment implemented on a distributed computer network and software therefor
US6508709B1 (en) * 1999-06-18 2003-01-21 Jayant S. Karmarkar Virtual distributed multimedia gaming method and system based on actual regulated casino games
US6661571B1 (en) * 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
JP2001137541A (ja) * 1999-11-17 2001-05-22 Square Co Ltd オブジェクト表示方法、ゲーム装置および記録媒体
US7098888B2 (en) * 2000-04-28 2006-08-29 Texas Tech University System Development of stereoscopic-haptic virtual environments
US6954498B1 (en) * 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
US6627863B2 (en) * 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
ATE371414T1 (de) * 2001-06-13 2007-09-15 Volume Interactions Pte Ltd Führungssystem
CA2486525C (en) * 2001-06-13 2009-02-24 Volume Interactions Pte. Ltd. A guide system and a probe therefor
US6724386B2 (en) * 2001-10-23 2004-04-20 Sony Corporation System and process for geometry replacement

Also Published As

Publication number Publication date
US20060074921A1 (en) 2006-04-06
US7471301B2 (en) 2008-12-30
EP1527599B1 (fr) 2010-07-07
ATE473594T1 (de) 2010-07-15
DK1527599T3 (da) 2010-10-25
ES2348853T3 (es) 2010-12-03
AU2003273498A1 (en) 2004-02-16
JP4481166B2 (ja) 2010-06-16
WO2004012445A3 (fr) 2004-04-08
JP2005534113A (ja) 2005-11-10
AU2003273498A8 (en) 2004-02-16
EP1527599A2 (fr) 2005-05-04
FR2842977A1 (fr) 2004-01-30
DE60333299D1 (de) 2010-08-19
WO2004012445A2 (fr) 2004-02-05
SI1527599T1 (sl) 2010-11-30

Similar Documents

Publication Publication Date Title
PT1527599E (pt) Processo e sistema que permite a um utilizador misturar em tempo real imagens de sintese com imagens de vídeo
Agrawala et al. Artistic multiprojection rendering
US7230626B2 (en) System and method for optimizing a graphics intensive software program for the user's graphics hardware
WO2017113488A1 (zh) 一种虚拟现实设备中显示2d应用界面的方法和装置
US7742050B2 (en) System and method for optimizing a graphics intensive software program for the user's graphics hardware
US20110181606A1 (en) Automatic and semi-automatic generation of image features suggestive of motion for computer-generated images and video
US20040032409A1 (en) Generating image data
JP2000353250A (ja) 3次元映画を生成し再生するシステムおよび方法
JPH11296667A (ja) 興味深いシ―ンのイメ―ジを表示するための方法及び装置
US20080012879A1 (en) Non-linear image mapping using a plurality of non-coplanar clipping planes
CN107134000B (zh) 一种融合现实的三维动态图像生成方法及***
US7113183B1 (en) Methods and systems for real-time, interactive image composition
US11468629B2 (en) Methods and apparatus for handling occlusions in split rendering
Chen et al. Real-time lens based rendering algorithm for super-multiview integral photography without image resampling
Lee et al. Real time 3D avatar for interactive mixed reality
Nguyen Low-latency mixed reality headset
Ankermann et al. The tech and art of cyberspaces in cyberpunk 2077
US20040174367A1 (en) System and method for processing real-time video streams
JP2009064355A (ja) プログラム、情報記憶媒体及び画像生成システム
Hayashi et al. Ultra high resolution 4K/8K Real-time CG System and its application
Jacquemin et al. Shadow casting for soft and engaging immersion in augmented virtuality artworks
Selan Merging live video with synthetic imagery
Chochlík Scalable multi-GPU cloud raytracing with OpenGL
Xu et al. A review and development of 3-D accelerator technology for games
Teubl et al. Analysis of a scalable multi-projector system for virtual reality environments