PT104205A - Método e sistema de interacção entre actores e superfícies pela detecção de movimento - Google Patents

Método e sistema de interacção entre actores e superfícies pela detecção de movimento Download PDF

Info

Publication number
PT104205A
PT104205A PT104205A PT10420508A PT104205A PT 104205 A PT104205 A PT 104205A PT 104205 A PT104205 A PT 104205A PT 10420508 A PT10420508 A PT 10420508A PT 104205 A PT104205 A PT 104205A
Authority
PT
Portugal
Prior art keywords
movement
actors
displacement
module
pixel
Prior art date
Application number
PT104205A
Other languages
English (en)
Inventor
Duarte Filipe Oliveira Duque
Original Assignee
Exva Experts In Video Analisys
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exva Experts In Video Analisys filed Critical Exva Experts In Video Analisys
Priority to PT104205A priority Critical patent/PT104205A/pt
Priority to PCT/IB2009/054326 priority patent/WO2010038218A1/pt
Publication of PT104205A publication Critical patent/PT104205A/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

A PRESENTE INVENÇÃO COMPREENDE UM SISTEMA (5) DE INTERACÇÃO ENTRE PESSOAS (9) E UM QUALQUER DISPOSITIVO ONDE SEJA POSSÍVEL A EXIBIÇÃO (8) DE CONTEÚDOS MULTIMÉDIA (SOM (7) E VÍDEO (6)) QUE REAGEM DE ACORDO COM A INTENSIDADE E ÂNGULO DE DIRECÇÃO DO MOVIMENTO MONITORIZADO POR CÂMARAS DE VÍDEO. A INTERACÇÃO ENTRE ACTORES E O CONTEÚDO MULTIMÉDIA É POSSÍVEL DEVIDO À UTILIZAÇÃO DE TÉCNICAS DE DETECÇÃO E SEGUIMENTO DE OBJECTOS EM MOVIMENTO, OBSERVADOS POR INTERMÉDIO DE UMA OU MAIS CÂMARAS DE VÍDEO (1).

Description

1
DESCRIÇÃO
MÉTODO E SISTEMA DE INTERACÇÃO ENTRE ACTORES E SUPERFÍCIES
PELA DETECÇÃO DE MOVIMENTO
Domínio da Invenção: A presente invenção refere-se a um sistema de processamento e análise de imagem. A invenção consiste num sistema de interacção entre actores (pessoas) e um dispositivo, conjunto de dispositivos, ou superfície onde seja possível a exibição de conteúdos multimédia.
Antecedentes da Invenção: A interacção entre um indivíduo e um qualquer dispositivo electrónico, também conhecida por interacção homem-máquina, é uma área de investigação com intenso desenvolvimento e que tem produzido inúmeras tecnologias ao longo dos anos. São exemplos mais recentes os ecrãs sensíveis ao toque, luvas de controlo, sensores de movimento, entre outros. Apesar de relevantes progressos nesta área, existe ainda hoje a necessidade de utilização de dispositivos conectados aos indivíduos, ou manuseados por estes, como único meio para medir as suas acções e gerar os respectivos comandos de controlo sobre o equipamento com que se pretende interagir. tais sistemas Já são apresentados um vasto número de equipamentos que permitem esta interacção de forma natural (por exemplo movimento corporal), porém, tais sistemas ainda não 2 permitem uma interacção total e livre, sem a ajuda de qualquer elemento electrónico ou mecânico conectado aos actores. Algumas soluções baseiam-se na utilização de sensores, como por exemplo, a utilização de acelerómetros ou de sensores piezoeléctricos, actuados pelo contacto físico directo entre estes e os actores.
Uma nova corrente de investigação tem orientado os seus recursos para o desenvolvimento de soluções que possibilitem uma interacção homem-máquina livre, isto é, sem recurso a qualquer dispositivo conectado ao utilizador. Tal abordagem tira partido da informação obtida por intermédio de câmaras de vídeo e onde, com recurso a técnicas de processamento e análise de imagem, é possível realizar a extracção de informação descritiva do movimento observado a partir de uma sequência de imagens.
Existem já vários documentos de patentes que apresentam novas soluções: salienta-se o documento WO 02/100094 que consiste num sistema em que apenas um utilizador é que interage com a superfície. 0 sistema recorre a iluminação e sombras (câmaras de infravermelhos e iluminação por infravermelhos), sendo que a técnica utilizada para a segmentação do indivíduo em relação ao plano de fundo consiste na utilização de uma fonte de luz com o comprimento de onda na gama dos infravermelhos ou ultravioleta, ou seja, fora do espectro visível. A câmara de vídeo filtra o espectro de luz visível deixando passar apenas as gamas infravermelho e ultravioleta. 0 documento US 7,274,803 refere um sistema que pressupõe a detecção de padrões (não só movimentos) que funcionam como modelo de interacção entre um objecto/actor e uma superfície. Para controlar o sistema é necessário que o actor use uma parte do corpo onde seja detectada pele para 3 ser reconhecido pela câmara e assim interagir com o ecrã (cursor existente). Obrigatoriamente o sistema só funcionará através da tecnologia de detecção de pele ao contrário desta invenção que não utiliza a detecção de pele como tecnologia para provocar interacção entre os actores e as superfícies.
Para além desta limitação, o sistema apesar de permitir que outras pessoas estejam em frente ao ecrã, só uma única pessoa é que poderá controlar o cursor. Já o documento WO 99/07153 descreve um sistema e método para controlo de software através da análise e interpretação de vídeo, sendo descritas três configurações distintas.
Na primeira configuração da invenção, o utilizador do sistema, monitorizado por uma câmara de vídeo, pode interagir com um objecto gerado por computador. A interacção entre o objecto virtual e o utilizador ocorre sempre que existe uma colisão entre a região do objecto gerado pelo computador e uma região onde fora detectado movimento por parte do utilizador, informação obtida por intermédio do cálculo de diferença entre imagens. Trata-se portanto de uma interacção simples, sem qualquer tipo de informação de direcção do movimento.
Na segunda configuração, recorre-se à utilização de um objecto que possua uma característica distintiva, como uma cor predefinida. Neste modo, através da identificação da cor do objecto e do cálculo dos seus contornos, é possível identificar a região ocupada pelo objecto, bem como a sua orientação, podendo despoletar uma acção (e.g. disparar uma arma virtual). A terceira configuração refere-se a um quiosque interactivo, onde é possível ao utilizador seleccionar uma 4 opção no menu apresentado pelo ecrã. A selecção é realizada através da oclusão da área ocupada pela opção do menu, com a área da mão do utilizador. Uma vez mais, não existe qualquer informação acerca da direcção e amplitude do movimento executado pelo utilizador, diverqindo assim da invenção proposta. 0 documento US 4,843,568 refere um sistema onde é efectuada a segmentação do corpo humano através de duas técnicas que recorrem a utilização de um plano de fundo neutro: a primeira técnica gera o plano de fundo neutro através da utilização de uma parede iluminada colocada atrás de uma pessoa de modo a que a câmara consiga distinguir os contornos da pessoa pela subtracção ao plano de fundo conhecido. A segunda técnica consiste na aplicação de uma superfície com uma coloração conhecida e uniforme colocada sobre uma mesa permitindo desta forma distinguir as mãos do utilizador do plano de fundo conhecido.
Por último o documento WO 02/43352 refere-se a um sistema e método para identificação de um objecto e caracterização do seu comportamento, utilizando para esse efeito imagens provenientes de uma câmara de vídeo ou de uma unidade de armazenamento. Este sistema efectua a identificação, segmentação e classificação de comportamentos de um único objecto. Utiliza uma técnica de localização do objecto e extracção de características, em que se identifica a região do objecto através da selecção da região de maior área, resultante do processo de subtracção do plano de fundo. Este sistema necessita de um treino manual do sistema, bem como fornecer um conjunto de informações sobre o objecto que se pretende monitorizar. 5 A presente invenção difere dos documentos encontrados em vários aspectos, de onde se salienta: - possibilidade de interacção com mais do que um utilizador; não recorre a dispositivos de ligação entre os utilizadores e o sistema; nem a nenhum plano de fundo conhecido ou qualquer fonte de radiação de frequências do espectro não visível, como por exemplo infravermelhos ou ultravioleta; - as câmaras de vídeo não requerem qualquer filtro para selecção de espectro a monitorizar.
Descrição Geral: A presente invenção consiste num sistema que permite criar superfícies reactivas e interactivas com os utilizadores, transformando o ambiente, redimensionando-o e dando profundidade digital aos espaços, tornando-os desta forma interessantes, reactivos e interactivos, passíveis de serem utilizados em actividades lúdicas, publicitárias ou informativas. 0 movimento executado pelos actores é observado por uma ou mais câmaras de vídeo (1), num máximo de dezasseis câmaras numa realização preferencial, a cores ou preto/branco. As imagens monitorizadas pelas câmaras são recebidas por uma unidade de digitalização de vídeo (2) de modo a que sejam passíveis de serem utilizadas por um componente de software, designado por módulo de detecção e reconhecimento de movimento (3), que é executado num computador (5).
Este módulo faz uso de um algoritmo de segmentação e seguimento de objectos em movimento que analisa sequências de imagens de vídeo A técnica de análise de movimento 6 avalia a amplitude de movimento de cada actor, bem como a sua direcção, realizando posteriormente a média da totalidade dos intervenientes. Como resultado do módulo de detecção e reconhecimento de movimento é gerado, para cada nova imagem adquirida, um vector de deslocamento contendo direcção e intensidade do movimento do conjunto de actores observados. 0 vector de deslocamento é transmitido a um outro componente de software, o módulo de multimédia (4), que poderá ser executado no mesmo computador ou num outro computador em rede com o primeiro. 0 módulo de multimédia gera e actua sobre objectos virtuais, fazendo reagir o ambiente.
De acordo com a natureza da aplicação, por exemplo jogo ou directório, o módulo de multimédia provoca uma acção no conteúdo multimédia que será exibido ao conjunto de actores que interagem com o sistema. Como exemplo, se a aplicação consistir num jogo de audiências o vector de deslocamento pode originar a movimentação de um objecto virtual, como por exemplo um cesto, plataforma, automóvel, personagem animada ou avatar. No caso de se tratar de um directório, o vector de deslocamento provocará o movimento de um cursor que permita seleccionar itens do conjunto das opções exibidas.
As experiências interactivas produzidas (conteúdo multimédia) são projectadas numa superfície à escolha (tela de cinema, montra, mesa, chão, parede, vidro ou acrílico) ou exibidas num ecrã, como por exemplo CRT, TFT, LCD, LED ou OLED. A conexão entre o computador que executa o módulo de multimédia (4) e o equipamento de projecção/ecrã (6) pode ser realizada por exemplo via VGA, S-VIDEO, USB, HDMI ou DVI. Este computador (5) poderá ainda controlar um 7 conjunto de actuadores, por exemplo controlo de iluminação, temperatura ou som, permitindo a sua acção sobre o meio ambiente em que se encontra a instalação. A ligação entre o computador e os actuadores de controlo pode ser realizada através por exemplo de rede informática do tipo TCP/IP, rede RS-232, RS-485, ou Porta Paralela (LPT). Os equipamentos de som (7) encontram-se ligados à unidade de processamento por conector TS monaural ou TRS estéreo ou monaural.
Breve Descrição das Figuras:
Para uma mais fácil compreensão da invenção juntam-se em anexo as figuras, as quais, representam realizações preferenciais do invento que, contudo, não pretendem, limitar o objecto da presente invenção. FIGURA 1. Diagrama de blocos em que (1) corresponde a uma câmara de vídeo, cujas imagens monitorizadas são enviadas para um computador (5) . Este computador compreende uma unidade de digitalização de vídeo (2) , que digitaliza as imagens, sendo pósteriormente enviadas para um módulo de detecção e reconhecimento de movimento (3), que analisa a intensidade e direcção do movimento, transmitindo esse resultado ao módulo de multimédia (4). Os equipamentos de emissão de som (7) e projecção de vídeo (6) encontram-se também conectados ao computador (5). FIGURA 2. Diagrama do sistema colocado numa sala de cinema em que as câmaras de vídeo (1), que monitorizam o grupo de actores (9), estão ligadas a um computador (5) que executa o módulo de detecção e reconhecimento de movimento. 0 computador (5) encontra-se conectado através de rede informática, com ou sem fios, a outro computador (5) que executa o módulo de multimédia, transmitindo o conteúdo multimédia através de um videoprojector (6) e as colunas altifalantes (7). As imagens projectadas são exibidas na tela ( 8) . FIGURA 3. Diagrama do sistema em que um grupo de actores (9) é monitorizado por uma única câmara de vídeo (1), conectada ao computador (5). Este computador executa o módulo de detecção e reconhecimento de movimento e o módulo de multimédia. Os conteúdos multimédia gerados pelo computador são exibidos por um ecrã (10) com o auxílio de colunas altifalantes (7). FIGURA 4. Exemplo de utilização da invenção para jogo multi-utilizador, com monitorização simultânea de dois grupos de actores (9), de modo a que seja possível a interacção entre os dois grupos num mesmo conteúdo multimédia. Nesta configuração, uma câmara de vídeo (1) monitoriza um grupo de actores (9), que visualiza o conteúdo multimédia exibido por um projector (6) através da tela de projecção (8), recebendo o som por uma coluna altifalante (7). Por sua vez, uma outra câmara de vídeo (1) monitoriza um segundo grupo (9), que visualiza o conteúdo multimédia exibido por um projector (6) através da tela (8), recebendo ainda o som por uma coluna altifalante (7). FIGURA 5. Representação do módulo de detecção e reconhecimento de movimentos em que, o detector de movimento (14) utiliza a imagem actual (12) e a imagem adquirida no instante de tempo anterior (11) para calcular 9 a máscara de movimento (16) . 0 detector de contornos (13) recebe a imagem anterior (11), gerando uma máscara de contornos (15) . A máscara de contornos (15) e a máscara de movimento (16) são processadas pelo detector de deslocamento (17) que calcula o vector de deslocamento do movimento observado entre duas imagens consecutivas. FIGURA 6. Exemplificação do cálculo do vector de deslocamento com representação de pixéis de movimento (18), pixéis de origem (19), e vectores parciais de deslocação (20) .
Descrição Detalhada da Invenção: A presente invenção será agora descrita em detalhe, utilizando-se para o efeito as figuras apresentadas neste documento. Os componentes que constituem a invenção são identificados por números nas respectivas figuras. A FIGURA 1 apresenta o diagrama de blocos onde se identificam as componentes de hardware (1) (2) (5) (6) (7) e software (3) (4) que constituem a presente invenção. Note-se, que todos os componentes de hardware utilizados são equipamentos comuns, isto é, não modificados ou fabricados com o propósito de serem utilizados especificamente na presente invenção. O sistema objecto da invenção é caracterizado por conter uma ou mais câmaras de vídeo (1), a cores ou preto/branco, encontrando-se estas conectadas a uma unidade de digitalização de vídeo (2) acoplada a um computador (5) . As imagens adquiridas são fornecidas ao módulo de detecção e reconhecimento de movimento (3) que analisa a cada nova imagem o movimento protagonizado pelos actores, gerando um 10 vector de deslocamento, contendo a amplitude e direcção desse deslocamento. Este vector é transmitido ao módulo de multimédia (4) que actua sobre objectos virtuais gerados por computador. O conteúdo multimédia é exibido aos actores através de equipamento de projecção de vídeo (6) e equipamento de som (7) conectado ao computador (5).
Como exemplo de uma possível configuração de hardware, uma câmara de vídeo (1) analógico pode ser conectada a uma das entradas de uma placa de aquisição de vídeo (2), através de um cabo RG-59 com conectores BNC em ambas as extremidades. A placa de aquisição de vídeo, que realiza a conversão do vídeo analógico para o formato digital (digitalização), encontra-se acoplada, via conector PCI, a uma placa-mãe equipada com memória RAM, processador e um disco rígido onde reside o sistema operativo bem como os dois módulos de software (3) (4) propostos nesta invenção. O computador (5) é ainda constituído por uma unidade de processamento gráfico, incluída na própria placa-mãe ou implementada numa placa gráfica, que possua pelo menos umas das seguintes saídas vídeo: VGA, HDMI, DVI ou S-VIDEO. A placa gráfica é associada à placa-mãe através de conector PCI-E ou AGP. 0 equipamento de exibição de vídeo poderá ser constituído por um videoprojector (6) ligado ao computador (5) por intermédio de um cabo de extensão VGA. O videoprojector (6) deve ser orientado de modo a projectar imagens para uma parede de tonalidade clara com uma superfície lisa e regular. A câmara de vídeo (1) deve ser posicionada próximo da superfície de projecção, orientada na direcção oposta à projecção, isto é, no sentido da parede para o vídeo projector, de tal modo que seja possível observar, de frente, o conjunto de pessoas que se encontrem a visualizar as imagens projectadas. O equipamento de som (7) poderá ser 11 composto por colunas de som, encontrando -se conectadas ao computador (5) através de cabo áudio com conector TRS estéreo. Após a identificação dos componentes de hardware e definição das conexões entre os vários equipamentos, prossegue -se com a exposição detalhada dos módulos de software .
Neste documento, define-se It como a imagem digital obtida no instante de tempo t. Entende-se ainda que uma imagem digital é uma representação em duas dimensões de uma imagem num conjunto finito de elementos que tomam valores discretos, organizados numa matriz de M por N elementos. Cada um destes elementos, que armazena o valor da intensidade luminosa e caracteristicas cromáticas da imagem naquela coordenada, é denominado por pixel. Assim, no caso de se tratar de uma imagem em escala de cinzentos (obtida, por exemplo, por uma câmara de vídeo preto/branco) a intensidade de um pixel nas coordenadas x e y da imagem It é definida por It(x,y), em que O^x^M, O^y^N e 0^It(x, y)^255. O limite de 255 refere-se a uma realização preferencial de 8-bits. Tratando-se de uma imagem a cores, esta é definida pelo conjunto das várias componentes de cor, de tal modo que uma imagem no espaço de cor RGB é definida por It={IRt, IGt, IBt}, em que IRt(x,y), IGt(x,y) e IBt(x,y) representam respectivamente o valor da intensidade das componentes vermelha, verde e azul, para o pixel definido pelas coordenadas (x,y), da imagem digital adquirida no instante de tempo t. A presente invenção é igualmente aplicável nesta situação, com as necessárias adaptações, óbvias para um especialista na área. A FIGURA 5 apresenta o módulo de detecção e reconhecimento de movimentos (3). Este módulo recebe uma sequência de 12 imagens digitais espaçadas por intervalos de tempo fixos e predefinidos, por exemplo 40ms para o formato PAL. A cada nova captura, é gravada em memória a imagem actual It (12), sendo ainda mantida em memória a imagem capturada no instante de tempo anterior It_i (11) . A imagem It_! é transferida para o detector de contornos (13) que aplica, para cada pixel da imagem, o algoritmo de definido pela seguinte equação: CONTORNO (It_i (x, y) ) = 1, se, it-i (x, y) - It-i (x-1, y-1) 1e, it-i (x, y) - It-i (x-1, y+l) 1e, it-i (x, y) - It-i (x+l, y-1) 1e, |it-i(x,y)- it-i (x+l, y+l) I >t CONTORNO (It-i (x, y) ) = 0, caso contrário.
Sendo que T pode tomar qualquer valor entre 0 e 255.
Como produto da aplicação do detector de contornos (13) resulta uma máscara de contornos (15) que apresenta , em cada pixel da imagem, valor igual a 1 ( qm) caso seja detectado contorno naquela coordenada e, valor 0 (zero) caso contrário.
Paralelamente à tarefa de cálculo de contornos, é executado o detector de movimento (14). O detector de movimento utiliza a imagem actual It (12) e a imagem anterior It-i (11) para produzir uma máscara de movimento (16) que identifica os pixéis onde ocorre uma diferença significativa de intensidade ou coloração entre duas imagens consecutivas. Define-se que existe movimento num determinado pixel se:
| It (x, y) -It-i (x, y) I >T com T tomando um valor entre 0 e 255, numa realização preferencial.
As máscaras de movimento (16) e de contornos (15) são posteriormente utilizadas pelo detector de deslocamento 13 (17) de modo a determinar o vector que especifica a amplitude e o ângulo de direcção do movimento observado. O detector de deslocamento (17) realiza numa primeira fase a sobreposição da máscara de movimento à máscara de contornos. Um exemplo dessa operação é apresentado na FIGURA 6. Após a sobreposição de ambas as máscaras, o detector de deslocamento executa a identificação de regiões designadas por pixéis de origem (19), geradas sempre que num mesmo pixel seja identificada a existência em simultâneo de movimento e de contorno.
No passo seguinte, para cada pixel de origem (19), é calculado o vector parcial de deslocação (20) horizontal e vertical. O vector parcial de deslocação horizontal mede a distância, para o mesmo valor de y, definida pelo número de pixéis de movimento (18) contíguos e delimitados entre pixéis de origem ou, entre um pixel de origem e um pixel sem movimento. De modo análogo, é calculado o vector parcial de deslocação vertical, mantendo no entanto fixo o valor de x.
Por fim, é realizada a soma de todos os vectores parciais de deslocação, resultando dessa operaçao o vector de deslocação, constituído pela amplitude (em pixéis) e direcção do deslocamento total observado. 0 módulo de multimédia (4), , que recebe o vector de deslocação, é um componente de software que pode ser implementado por uma qualquer linguagem de programação orientada ao desenvolvimento de jogos ou animação tridimensional, como por exemplo XNA, DirectX, Direct3D, Flash ou OpenGL. Este módulo tem como propósito exibir aos utilizadores do sistema uma animação bidimensional ou tridimensional, gerada por computador, bem como 14 proporcionar efeitos sonoros e luminosos, que reagem de acordo com o tipo de movimento realizado pelos actores.
Com o propósito de facilitar a compreensão da presente invenção, apresentam-se neste documento três figuras que ilustram modos distintos de aplicação. A FIGURA 2 demonstra uma possível configuração da invenção, que poderia ser implementada numa sala de cinema, onde os actores (9) são monitorizados por duas câmaras de vídeo (1) conectadas a um computador (5) que tem a seu cargo a execução do módulo de detecção e reconhecimento de movimento. 0 resultado da análise do movimento é transmitido para um outro computador (5), via rede informática (com ou sem fios). Este computador (5) executa o módulo de multimédia que poderá conter um jogo onde se actua sobre o movimento de um objecto virtual, e.g. um avatar, um cesto ou um automóvel, que é exibido na superfície da tela (8) através do projector de vídeo (6) que se encontra conectado ao computador (5). Com o movimento dos braços para a esquerda, direita, cima e baixo, os actores controlam o movimento do objecto virtual. As colunas altifalantes (7) que se encontram ligadas ao computador (5) têm a finalidade de proporcionar ao grupo de actores (9) um conjunto de efeitos sonoros que reagem também em concordância com os seus movimentos. A FIGURA 3 apresenta uma outra configuração da presente invenção onde os actores (9) são monitorizados por apenas uma câmara de vídeo (1), conectada ao um computador (5) que tem a seu cargo a execução do módulo de detecção e reconhecimento de movimento e do módulo de multimédia. Através de movimentos do corpo (para cima, baixo, esquerda e direita) o sistema actua sobre o conteúdo multimédia, transmitido as imagens geradas pelo módulo de multimédia 15 para um ecrã (10) que as exibe aos actores (9). Um conjunto de colunas altifalantes (7) encontra-se também conectado ao computador (5) com o objectivo de transmitir os efeitos sonoros gerados pelo sistema. A FIGURA 4 mostra uma utilização da invenção onde é possível monitorizar simultaneamente dois grupos de actores (9), observados pelas câmaras de vídeo (1), de modo a que seja possível a interacção entre os dois grupos num mesmo conteúdo multimédia, por exemplo um jogo multi-grupo. Tal configuração do sistema poderia ser utilizada, por exemplo, num estádio de futebol onde um grupo (9) seria representado por adeptos de uma equipa e um outro grupo (9) por adeptos da equipa adversária. Nesta configuração, cada grupo de actores (9) é monitorizado por uma câmara de vídeo (1). Ambas as câmaras encontram-se conectadas ao computador (5) que executa o módulo de detecção e reconhecimento de movimento e o módulo de multimédia. Conectado a este computador (5) encontram-se as colunas de altifalantes (7), onde uma coluna de altifalantes (7) i emite os efeitos sonoros para um dos grupos (9) e a outra coluna de altifalantes (7) emite os efeitos sonoros para o outro grupo (9) . Os projectores de vídeo (6) encontram-se conectados ao computador (5), projectando as imagens geradas pelo módulo multimédia para as telas (8). O conteúdo das imagens projectadas por (6) poderá divergir de modo a que cada grupo de actores tenha uma perspectiva própria o objecto virtual que controla.
Lisboa, 2 de Outubro de 2009

Claims (13)

1 Reivindicações 1. Método de interacção entre actores e superfícies pela detecção de movimento caracterizado por compreender os seguintes passos: a. captar imagens em sequência dos referidos actores (9) através de uma ou mais câmaras de video (1); b. digitalizar as referidas imagens (2), excepto se as câmaras de video (1) já o realizaram; c. detectar e identificar (3) a direcção do movimento através da geração de vectores de deslocamento de cada um dos actores observados; d. actuar (4) sobre objectos virtuais, ou iniciar acções predefinidas, através dos referidos vectores de deslocamento.
2. Método de acordo com a reivindicação anterior caracterizado por, na referida detecção e identificação (3) do movimento, compreender adicionalmente os passos de: a. calcular (14) uma máscara de movimento (16) através da imagem actual (12) comparada com a imagem anterior (11); b. calcular (13) uma máscara de contornos (15) através da imagem anterior (11); c. calcular (17) um ou mais vectores de deslocamento a partir das referidas máscaras de movimento (16) e de contorno (15). 2
3. Método de acordo com a reivindicação anterior caracterizado por, no referido cálculo (17) de vectores de deslocamento, compreender adicionalmente os passos de: a. sobrepor as máscaras de movimento(16) e contornos (15) ; b. identificar pixéis de origem (19), sempre que num mesmo pixel seja identificada a existência em simultâneo de movimento e de contorno; c. para cada pixel de origem (19), são calculados o vector parcial de deslocação (20) horizontal e o vector parcial de deslocação vertical, através da distância horizontal ou vertical, respectiva-mente, definida pelo número de pixéis de movimento (18) contíguos e delimitados entre pixéis de origem ou, entre um pixel de origem e um pixel sem movimento; d. somar todos os vectores parciais de deslocação, resultando o vector de deslocação, constituído pela amplitude, em pixéis, e direcção do deslocamento total observado.
Método de acordo com qualquer uma das reivindicações 2 ou 3 caracterizado por calcular a máscara de contorno (15) através da equação (I) : CONTORNO (It-i(x,y) ) = 1, se, 1 it-i (χ, y) - i t-i (χ-l, y-1) 1 >T, e, |it-i(x,y)- i t-1 (x—1, y+1) l>T, e, (I) H 1 >1 X 1—1 1 +J H t-i (x+1, y-l) 1 >T, e, H 1 >1 X 1—1 1 +J H t-i (x+1, y+1) | >T CONTORNO (It-i(x,y) ) - 0, caso contrário; 3 sendo que T pode tomar qualquer valor entre 0 e a intensidade máxima de um pixel, e que imagem actual é representada por It (12) e a imagem capturada no instante de tempo anterior é representada por It-i (11).
5. Método de acordo com qualquer uma das reivindicações 2 ou 3 caracterizado por calcular a máscara de movimento (16) através da equação (II): I it(x,y)-it-i(x,y) I >t sendo que T pode tomar qualquer valor entre 0 e a intensidade máxima de um pixel, e que imagem actual é representada por It (12) e a imagem capturada no instante de tempo anterior é representada por It-i (11) ·
6. Sistema de interacção entre actores e superfícies pela detecção de movimento caracterizado por executar o método referido na reivindicação 1 e por compreender: a. uma ou mais câmaras de video (1); b. opcionalmente, um módulo digitalizador (2) das imagens; c. um módulo detector e indentificador (3) de vectores de deslocamento de cada um dos actores observados; d. um módulo actuador (4) sobre objectos virtuais ou que desencadeia acções predefinidas.
7. Sistema de acordo com a reivindicação anterior caracterizador por compreender: um ou mais computadores (5), um ecrã (9) e uma ou mais câmaras de vídeo (1). 4
8. Sistema de acordo com qualquer uma das duas reivindicações anteriores caracterizado por o referido módulo de detecção e reconhecimento de movimento (3) efectuar o cálculo do vector de deslocamento do movimento protagonizado pelos actores, gerando um valor de amplitude e ângulo de direcção do deslocamento.
9. Sistema de acordo com qualquer uma das tres reivindicações anteriores caracterizado por o referido módulo actuador (4) que recebe um vector de deslocamento, contendo a amplitude e ângulo de direcção do movimento, executa, de acordo com essa informação, uma determinada acçao sobre
10.Sistema de acordo com caracterizado por alterar gerados por computador multimédia.
11.Sistema de acordo com caracterizado por actuar através de movimentos de translação dos mesmos, ou a1 conteúdo multimédia. a reivindicação anterior a trajectória de objectos ou seleccionar conteúdos a reivindicação anterior sobre objectos virtuais rotação, ou através da .ravés de ambas acções.
12.Sistema de acordo com qualquer uma das reivindicações 6 a 11 caracterizado pelo facto de possuir um equipamento de projecção de vídeo ou ecrã, conectado ao computador que executa o módulo de multimédia, onde são exibidos aos actores os conteúdos multimédia gerados.
13.Sistema de acordo com qualquer uma das reivindicações 6 a 11 caracterizado por compreender um módulo de 5 controlo do tipo liga-desliga, conectado ao computador que executa o módulo de multimédia, que actua sobre a iluminação. Lisboa, 2 de Outubro de 2009
PT104205A 2008-10-03 2008-10-03 Método e sistema de interacção entre actores e superfícies pela detecção de movimento PT104205A (pt)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PT104205A PT104205A (pt) 2008-10-03 2008-10-03 Método e sistema de interacção entre actores e superfícies pela detecção de movimento
PCT/IB2009/054326 WO2010038218A1 (pt) 2008-10-03 2009-10-02 Método e sistema de interacção entre actores e superfícies pela detecção de movimento

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PT104205A PT104205A (pt) 2008-10-03 2008-10-03 Método e sistema de interacção entre actores e superfícies pela detecção de movimento

Publications (1)

Publication Number Publication Date
PT104205A true PT104205A (pt) 2010-04-05

Family

ID=41611421

Family Applications (1)

Application Number Title Priority Date Filing Date
PT104205A PT104205A (pt) 2008-10-03 2008-10-03 Método e sistema de interacção entre actores e superfícies pela detecção de movimento

Country Status (2)

Country Link
PT (1) PT104205A (pt)
WO (1) WO2010038218A1 (pt)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US8411149B2 (en) * 2006-08-03 2013-04-02 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
EP2613281B1 (en) * 2006-12-29 2014-08-13 Qualcomm Incorporated Manipulation of virtual objects using enhanced interactive system

Also Published As

Publication number Publication date
WO2010038218A9 (pt) 2011-03-17
WO2010038218A1 (pt) 2010-04-08

Similar Documents

Publication Publication Date Title
CN105073210B (zh) 使用深度图像的用户身体角度、曲率和平均末端位置提取
CN102414641B (zh) 改变显示环境内的视图视角
TWI469813B (zh) 在動作擷取系統中追踪使用者群組
CN102413885B (zh) 用于对运动捕捉应用模型跟踪的***和方法
CN102693005B (zh) 使用3d深度相机和3d投影仪来提供交互式体验
CN102596340B (zh) 用于将动画或运动应用到角色的***和方法
US9628755B2 (en) Automatically tracking user movement in a video chat application
CN102448562B (zh) 用于跟踪模型的***和方法
CN103748893B (zh) 照亮捕捉设备的视野以捕捉经照亮的图像的方法及***
US20150348326A1 (en) Immersion photography with dynamic matte screen
JP2012525643A5 (pt)
US8884968B2 (en) Modeling an object from image data
US20120053015A1 (en) Coordinated Motion and Audio Experience Using Looped Motions
JP2010113335A (ja) 動的閾値を用いたマーカ認識方法及びこれを活用した増強現実に基づく学習システム
US11957995B2 (en) Toy system for augmented reality
bin Mohd Sidik et al. A study on natural interaction for human body motion using depth image data
JP2024523865A (ja) スクリーンセーバーインタラクション方法、装置、電子機器及び記憶媒体
McCormack et al. 2D LIDAR as a distributed interaction tool for virtual and augmented reality video games
US6890263B2 (en) Game machine, and image processing method for use with the game machine
TW201016275A (en) Image system for adjusting displaying angle by detecting human face and visual simulation control apparatus thereof
PT104205A (pt) Método e sistema de interacção entre actores e superfícies pela detecção de movimento
CN206002838U (zh) 基于体感交互的360度幻影成像***
CN105929630A (zh) 基于体感交互的360度幻影成像***
Luo et al. Research and simulation on virtual movement based on kinect
CN105164617B (zh) 自主nui设备的自发现

Legal Events

Date Code Title Description
BB1A Laying open of patent application

Effective date: 20091118

FC3A Refusal

Effective date: 20110609