BRPI0616547A2

BRPI0616547A2 - método e sistema de reconhecimento e rastreamento, em tempo real, da posição ocular de múltiplos usuários

Info

Publication number: BRPI0616547A2
Application number: BRPI0616547-8A
Authority: BR
Inventors: Alexander Schwerdtner
Original assignee: Seereal Technologies Gmbh
Priority date: 2005-08-17
Filing date: 2006-08-16
Publication date: 2011-06-21
Also published as: CA2619155A1; CN101243693A; JP5054008B2; RU2408162C2; CN101243693B; KR20080047392A; WO2007019842A2; WO2007019842A3; RU2008110044A; US20080231805A1; US7950802B2; JP2009505247A; KR101278430B1; DE112006002752A5; EP1915874A2

Abstract

MéTODO E SISTEMA DE RECONHECIMENTO E RASTREAMENTO, EM TEMPO REAL, DA POSIçãO OCULAR DE MúLTIPLOS USUáRIOS, que se refere a um método e a um arranjo de circuito para a detecção e rastreamento isenta de contato de posições de olhos ou pupilas de múltiplos observadores em tempo real. Os dados de entrada consistem de uma seqúência de quadros digitais de vídeo. O método mencionado compreende os seguintes passos: a ação conjunta de um recurso de localização de faces para a detecção de faces, seguido por um recurso de localização de olhos para a detecção de regiões de olhos, e um recurso de rastreamento de olhos para detectar e rastrear pontos de referência de olhos. O objetivo da presente invenção é determinar a posição dos olhos, dentro de uma rotina hierarquicamente organizada, que tem como objetivo reduzir gradualmente a região de procura, iniciando com o quadro completo de vídeo (VF) para a região da face alvo (GZ) e subsequentemente para a região alvo dos olhos (AZ). Além disso, um recurso ou um grupo de recursos é executado em cada um dos casos em uma unidade dedicada de computação, enquanto processos separados estão sendo executados em paralelo. A invenção é usada para rastrear as posições dos olhos de usuários de displays autoestereoscópicos e em holografia de video.

Description

"MÉTODO E SISTEMA DE RECONHECIMENTO E RASTREAMENTO, EMTEMPO REAL, DA POSIÇÃO OCULAR DE MÚLTIPLOS USUÁRIOS"

Campo TécnicoA presente invenção se refere a um método e a umarranjo de circuito para a detecção e rastreamento isenta de contato de posiçõesde olhos ou pupilas de múltiplos observadores em tempo real.

Os dados de entrada consistem de material de imagem naforma de uma seqüência de quadros digitais de vídeo obtidos por um ou por

múltiplos sensores de imagem.

Pontos de referência dos olhos de múltiplos observadorespodem ser determinados sem a necessidade de quaisquer meios auxiliares taiscomo óculos, suportes para cabeça ou focos de luz.

Ao contrário das aplicações estacionárias, por exemplo, omonitoramento de motoristas ou pilotos, nas quais o alcance dos movimentos eparticularmente a escala de profundidade são muito limitados e portanto quaseestacionários, esta invenção serve para detectar a posição dos olhos em umaampla região alvo, para detectar rápidos movimentos do observador, e paradeterminar a coordenada de profundidade em uma escala relativamente ampla,por exemplo entre 0,5 e 3,5 m.

A eficiente e exata detecção de olhos em tempo real érealizada através de uma interface-homem-máquina principal. Um campo principalde aplicação da invenção é um dispositivo para detectar e rastrear as posiçõesdos olhos de usuários de displays autoestereoscópicos. Displays deste tipoproporcionam uma impressão de imagem estereoscópica aos observadores sema necessidade de quaisquer meios auxiliares, tais como óculos com vidrospolarizados. Aplicações adicionais desta invenção compreendem, por exemplo, aholografia de vídeo e implementações na área de detecção de pessoas, faces oudireções de visualização.

Os displays autoestereoscópicos, nos quais aapresentação é rastreada pelos assim denominados dispositivos de rastreamento,proporcionam excelente mobilidade a múltiplos observadores em ampla região devisibilidade.A detecção e o rastreamento livre de erros dos olhos, dasposições dos olhos ou das pupilas é também uma importante interface-homem-máquina nestes campos de representação de imagem.

Um dispositivo de rastreamento que funciona de modoconfiável e isento de erros normalmente não é percebido pelo usuário. Em muitasaplicações, no entanto, os erros dos sistemas de rastreamento provocam efeitoscolaterais indesejados, que, por exemplo, no campo das aplicações 3D, provocamreconstruções com falhas e interferências cruzadas. Um dispositivo derastreamento deve apresentar alta precisão, confiabilidade e exatidão. O sistematambém deve ser adequadamente eficiente e preciso para que ele possa executaro rastreamento correto de todos os principais movimentos e assim permitir que oobservador se mova tão livremente quanto possível em todas as três dimensões.

Fundamentos anteriores

Diversos tipos de sistemas de rastreamento isentos decontato encontram-se comercialmente disponíveis. Modelos simples geralmenteutilizam um aplicativo básico de software para sistemas operacionaispadronizados e empregam hardware e interfaces de software padronizadas.

No documento WO 03/079 902 A1, "Detecção erastreamento de olhos em tempo real sob condições variadas de luz", Zhiwei ZhuQiang Ji descreve um método de detecção de olhos em tempo real e isenta decontato, que compreende principalmente uma etapa de detecção de posição deolhos e uma etapa de rastreamento. A etapa de detecção de posição inclui umacombinação do método de iluminação ativa com o reconhecimento de um padrão.Depois que os olhos de um observador foram detectados pela primeira vez, orastreamento é executado, e a última etapa compreende a combinação e asíntese de diversos algoritmos e técnicas. Apesar da combinação e da síntese dediversos meios, continua existindo o problema dos movimentos principais eabruptos da cabeça em todas as três dimensões não poderem ser rastreados emtempo real, e do processamento em tempo real ser impedido em função do atrasoentre o fornecimento dos dados de posição e a aquisição da imagem. Isto seaplica particularmente à detecção da posição dos olhos na dimensão daprofundidade em circunstâncias ambientais desfavoráveis.Em um veículo, por exemplo, o rosto do motorista estásempre situado dentro de uma distância previsível do painel de instrumentos.Além disso, existem somente pequenas variações dos movimentos no sentidovertical e horizontal. Particularmente, o alcance real do movimento na dimensãoda profundidade é muito pequeno, de tal maneira que a posição da profundidadepode ser geralmente extrapolada com suficiente exatidão, mesmo se somenteuma câmera for utilizada.

O objeto da presente invenção é o de proporcionar umgrande alcance de movimentos em todas as três dimensões de um espaço davisualização, com tempos reduzidos de computação. Contrastando com osfundamentos anteriores acima mencionados, é necessário detectar os olhos emtodas as três dimensões, isto é, incluindo a dimensão da profundidade. A escalada profundidade deve compreender preferencialmente um grande alcance, de 0,5a pelo menos 3,5 metros. Para determinar a profundidade, uma pluralidade decâmeras arranjadas independentemente é necessária para a tomada de imagensda região alvo de diversas perspectivas. Além disso, a detecção dos olhos a umadistância de até vários metros requer que as câmeras tenham alta definição, oque resulta na geração de uma grande quantidade de dados por câmera e porquadro de vídeo.

O problema do processamento de grandes quantidadesde dados em tempo real se torna mais grave quando existem diversosobservadores a serem detectados. Particularmente, etapas e processos decomputação muito intensivos são necessários para permitir a detecção deobservadores difíceis de serem distinguidos em função de efeitos de iluminação,reflexos ou lentes de óculos. Experiências mostraram, que a detecção de umaterceira ou quarta pessoa, que está parcialmente oculta ou que está posicionadalevemente de lado, pode freqüentemente ser obtida apenas com esforçoscomputacionais intensivos e consumidores de tempo. No entanto, o esforçocomputacional requerido para o observador que é momentaneamente menosfacilmente detectável e que é apenas detectável com grande esforço, não deveadversamente afetar o rastreamento em tempo real dos outros observadores.Problemas com a detecção da posição de olhos decorremdo fato dos quadros de entrada de vídeo não poderem ser processadospermanentemente no modo de tempo real. Um tempo máximo aceitável decomputação por pessoa e por quadro pode ser excedido se lentes de óculos oufones de ouvidos cobrirem os olhos, ou se um observador se afastar das câmerasabruptamente, mas apenas por um breve momento.

Conhecendo as desvantagens das artes anteriores, éobjeto da presente invenção providenciar um método que permita detectar asposições dos olhos de múltiplos observadores em tempo real, mesmo que osobservadores movam suas cabeças significativamente, abruptamente e em todasas três dimensões. O método deve detectar a posição dos olhos em uma amplaregião alvo, deve compensar movimentos abruptos dos observadores e devedeterminar a coordenada de profundidade em uma ampla escala. Além disso,durante a minimização da quantidade de erros, o tempo de resposta entre aaquisição de imagem, isto é, a leitura de um quadro de vídeo e o fornecimento deum resultado, isto é, o fornecimento da posição dos olhos, deve sersustentavelmente reduzido. Além do mais, o método deve permitir resultadosisentos de erros no modo de tempo real também com a utilização de câmeras dealta resolução.

Descrição da Invenção

O método é utilizado para a detecção e o rastreamentoem tempo real de pontos de referência dos olhos de múltiplos observadores. Osdados de entrada compreendem dados de imagem na forma de uma seqüênciade quadros digitais de vídeo que são adquiridos por um ou por vários sensores deimagem, por exemplo câmeras. Os pontos de referência dos olhos são asposições das pupilas e/ou dos cantos dos olhos.

O método compreende a ação conjunta de um recurso delocalização de faces para a detecção de faces, seguido por um recurso delocalização de olhos hierarquicamente subordinado para a detecção de regiões deolhos, e um recurso de rastreamento de olhos para detectar e rastrear pontos dereferência de olhos. O recurso de rastreamento de olhos está hierarquicamentesubordinado ao recurso de localização de olhos.A presente invenção é baseada na idéia de que alocalização da posição dos olhos é realizada dentro de uma rotinahierarquicamente organizada, que tem como objetivo reduzir gradualmente aregião de procura iniciando com uma imagem de vídeo completa. Ocomportamento em tempo real é obtido graças à gradual redução eentrelaçamento hierárquicos da região de procura, iniciando com o quadrocompleto de vídeo do recurso de localização de faces para a região reduzida dealvo da face do recurso de localização de olhos ou do recurso de rastreamento deolhos. Além disso, um recurso ou um grupo de recursos é executado em cada umdos casos em uma unidade dedicada de computação, enquanto processosseparados estão sendo executados em paralelo.

O recurso de localização de faces procura, na região deum quadro de vídeo completo, pela posição da cabeça ou da face de cadaobservador. O recurso portanto determina, a partir dos dados do quadro de vídeocompleto, que representa a respectiva região alvo da face, uma quantidade muitomenor de dados para cada face, e fornece esta região limitada para o recurso delocalização de olhos.

O recurso de localização de olhos está hierarquicamentesubordinado ao recurso de localização de faces. A partir dos dados fornecidospela região alvo da face, o recurso de localização de olhos necessita processarapenas uma quantidade fortemente reduzida de dados. Nestes dados, o recursodetermina a posição do olho ou dos olhos do observador e define novamente umaquantidade de dados significativamente menor do que a região alvo da face comosendo a região alvo dos olhos. Apenas esta região limitada de procura é fornecidaa um recurso próximo e hierarquicamente subordinado de localização de olhos.

O recurso de localização de olhos então determina, emalta velocidade, neste conjunto de dados fortemente reduzidos da região deprocura de olhos, os pontos de referência dos olhos procurados. Com o ajustehierárquico das regiões de procura e com a redução do volume de dados, orecurso de rastreamento de olhos trabalha rapidamente e com alta eficiência.

De acordo com a presente invenção, para a redução dotempo total de atraso do processo, os recursos de localização de faces e osrecursos de localização de olhos / recursos de rastreamento de olhos devem serexecutados independentemente um do outro e em processos separados eparalelos.

A paralelização através da atribuição de um recurso ou deum grupo de recursos a uma unidade dedicada de computação, pode serimplementada em um número de modalidades preferidas de execução.

Em uma modalidade de execução particularmentepreferida da presente invenção, um recurso de localização de faces é executadopara cada câmera de uma unidade dedicada de computação. Desta forma, paracada observador que foi detectado por um recurso de localização de faces, éatribuída uma unidade dedicada de computação para realizar um recurso delocalização de olhos, e, subseqüentemente um recurso de rastreamento de olhos.

Se um recurso de localização de faces detectar uma nova face, um recurso delocalização de olhos e de rastreamento de olhos recebe instruções ou éinicializado imediatamente, e estes recursos são executados em uma unidade decomputação dedicada e especialmente atribuída. Um rastreamento imediato dedetecção de faces é também executado para faces que foram brevementeperdidas, mas novamente detectadas.

Um dos benefícios principais da presente invenção resideno fato de que o recurso de localização de faces não é bloqueado ou atrasado demaneira nenhuma, por que os recursos subordinados são agora executados emunidades dedicadas de computação. O recurso de localização de faces continua aprocurar por faces nos dados do corrente quadro de vídeo, enquanto mantémtodos os outros recursos de computação. Resultados de procura intermediários eparciais que foram determinados, são transmitidos a um recurso de controle paraprocessamento / distribuição adicional, ou resultados parciais fornecidos pelosrecursos de rastreamento de olhos / localização de olhos são recebidos pelorecurso de controle para que seja possível extrapolar a região alvo de face em umelo positivo de controle.

A execução imediata dos recursos reduzsubstancialmente o tempo de resposta do método, e forma a primeira base paraum comportamento em tempo real.O comportamento em tempo real é obtido graças àgradual redução e entrelaçamento hierárquicos da região de procura, iniciandocom o quadro completo de vídeo do recurso de localização de faces para a regiãoreduzida de alvo da face do recurso de localização de olhos ou do recurso derastreamento de olhos.

Finalmente, de acordo com a presente invenção, ocomportamento em tempo real é adicionalmente suportado e assegurado pelaexecução de um recurso ou de um grupo de recursos em paralelo, com processosrodando em separado em unidades de computação dedicadas. Opções adicionaissão possíveis de serem realizadas com relação às paralelidades dos recursos.

Como mencionado acima, um recurso de localização de faces e um recurso delocalização de olhos / de rastreamento de olhos podem ser executados emunidades dedicadas de computação. Além disso, um recurso de localização defaces / de localização de olhos e um recurso de rastreamento de olhos podem serexecutados em unidades dedicadas de computação. Também parece ser possívelexecutar o recurso de localização de olhos em uma unidade dedicada decomputação, entretanto, ele consiste de um recurso que requer um temporelativamente curto de computação, de tal forma que ele pode serpreferencialmente atribuído a uma das unidades de computação utilizadas pelosrecursos de localização de faces ou recursos de rastreamento de olhos querequerem computação mais intensiva.

Ambos os processos dos recursos e a troca de dadosentre os recursos são preferencialmente controlados e monitorados por umrecurso de controle. Particularmente, este recurso controla a atribuição de facesdetectadas ou regiões alvo de face aos recursos de localização de olhos /rastreamento de olhos nas unidades dedicadas de computação. A troca de dadosenvolve principalmente a reinicialização dos recursos através da atribuição deregiões de procura, a troca de resultados parciais e finais de recursos, e atransmissão dos pontos resultantes de referência de olhos a uma interfaceexterna.

Por exemplo, o recurso de controle atualiza e reinicializaos recursos de localização de olhos e de rastreamento de olhos, correspondentescom uma face que já foi rastreada. O recurso de controle seleciona, verifica eavalia a veracidade das regiões alvo de faces e das regiões alvo de olhosencontradas. Parâmetros correspondentes de avaliação são determinados pelosrecursos no decorrer do processo, e são também utilizados pelo recurso decontrole para realizar um recurso de processo de controle otimizado e pararealizar a atribuição de unidades de computação disponíveis.

O método de acordo com a presente invenção permite adetecção da posição dos olhos de múltiplos observadores em tempo real, mesmoque os observadores movam suas cabeças significativamente, abruptamente eem todas as três dimensões. Adicionalmente foi verificado, que os resultados dométodo podem alcançar resultados no modo de tempo real também com a altaquantidade de dados de câmeras de alta resolução.

Breve Descrição das Figuras

As figuras seguintes ilustram modalidades preferidas deexecução do método de acordo com a presente invenção, sendo utilizadas emconjunto com um dispositivo de rastreamento para um displayautoestereoscópico.

A Figura 1 ilustra uma representação esquemática dosrecursos entrelaçados, regiões reduzidas de procura do Iocalizador de faces, dolocalizador de olhos e do rastreador de olhos.

A Figura 2 ilustra um fluxograma da paralelização dosrecursos estruturados hierarquicamente do método de acordo com a presenteinvenção.

A Figura 3 ilustra uma representação esquemática doarranjo do circuito e um fluxograma da paralelização dos recursos estruturadoshierarquicamente do método de acordo com a presente invenção.

Modalidades Preferidas de Execução da Invenção

A Figura 1 ilustra os recursos entrelaçados e as regiõesreduzidas de procura dos recursos deste método. O material de imagem,representando seqüências de quadros digitais de vídeo VF de múltiplos sensoresde imagem, por exemplo, de uma câmera estéreo infravermelha, é capturadocomo sendo os dados de entrada. A Figura 1 mostra esquematicamente umaporção do quadro total de vídeo VF1 definido pelo sistema de coordenadas.

Um primeiro recurso de localização de faces analisa osdados do quadro total de vídeo VF1 e detecta as faces dos observadores dentrodo quadro total de vídeo. Na Figura 1 são mostrados os dados das duas faces. Aprimeira face (esquerda) está aparentemente situada próxima da câmera,enquanto que a segunda face (direita) apresenta uma maior distância da câmera.

O recurso de localização de faces determina, a partir dosdados do quadro total de vídeo VF1 para cada face detectada uma região reduzidade dados que corresponde com a região da face alvo GZ. Os índices sãorelacionados com a primeira face, mostrada no lado esquerdo da figura. A regiãodeterminada da face alvo GZ então forma a região de procura reduzida para orecurso subseqüente de localização de olhos. O recurso de localização de olhosdetermina a posição dos olhos nesta região de procura e reduz, como resultado,adicionalmente a quantidade de dados da região da face alvo GZ para obter umaquantidade de dados ainda menor e que corresponde com a região alvo dos olhos AZ.

Os dados da região alvo dos olhos AZ com as posiçõesdos olhos são os dados de entrada para o recurso subseqüente de rastreamentode olhos ET, que então detecta, na região alvo dos olhos AZ do quadro de vídeocorrente e de acordo com a seqüência de movimentos já determinada na regiãoalvo dos olhos AZ, rastreada nos quadros de vídeo seguintes, pontos dereferência de olhos a serem fornecidos como resultados.

A informação dos pontos de referência dos quadros devídeo anteriores, de acordo com os movimentos do observador, é utilizada paraatualizar e rastrear a região alvo dos olhos AZ, e para extrapolar as regiões dosquadros de vídeo correntes e dos quadros de vídeo subseqüentes. Se oobservador se mover na dimensão da profundidade, o conteúdo da imagem poderequerer redimensionamento adicional.

Conforme ilustrado na figura, a região alvo dos olhos podecompreender diversas porções não contíguas. Como ilustrado adicionalmente nafigura, estas regiões alvo são irregulares, mas de formato preferencialmenteconvexo, dependendo da posição da cabeça do observador e da sua direção devisualização. Em uma modalidade simples de execução, estas regiões sãorepresentadas por uma lista de superfícies geométricas parametrizadas, taiscomo elipses, círculos ou retângulos.

A Figura 2 é baseada na última modalidade preferida deexecução, e mostra um fluxograma da paralelização dos recursos. A figuradescreve a estrutura hierárquica do recurso de localização de faces FF1 dorecurso de localização de olhos EF1 do recurso de rastreamento de olhos ET e daatribuição às unidades de computação dedicadas R1 a R2.

Três unidades de computação R1 a R3 encontram-sedisponíveis nesta modalidade preferida de execução. Uma primeira unidade decomputação R1 é dedicada ao recurso de localização de faces FF. Este recursodetecta a face de um primeiro observador nos dados de um quadro de vídeo edetermina a região da face alvo GZ. A seguir, uma unidade de computaçãodedicada é atribuída imediatamente à região da face alvo para a execução de umrecurso de localização de olhos e, subseqüentemente, um recurso derastreamento de olhos.

A figura ilustra o fluxo dos dados nas regiões alvoreduzidas, isto é, da região da face alvo GZ e da região do olho alvo AZ até osrecursos subseqüentes, respectivamente. Um recurso de rastreamento de olhosET fornece os dados dos pontos de referência dos olhos a um recurso de controlede mais alto nível (não mostrado) ou a uma interface externa. Ao mesmo tempo, ainformação dos pontos de referência detectados em quadros de vídeos anterioresé utilizada para rastrear a região do olho alvo AZ1 e para extrapolar a mesma aosquadros de vídeo subseqüentes caso o observador se mova. Os dados da regiãocorrente do olho alvo e das regiões de quadros de vídeo anteriores são, portanto,ambos utilizados pelo recurso de rastreamento de olhos ET, como ilustrado nafigura.

O segundo observador é detectado e rastreado da mesmamaneira. Se existirem mais observadores do que unidades de computação, umrecurso de localização de olhos / de rastreamento de olhos é preferencialmenteexecutado para cada observador (ou, em outras palavras, para cada região deface alvo), de tal forma que processos múltiplos independentes e separadossejam executados onde naturalmente processos múltiplos são executados emuma unidade de computação comum.

A Figura 3 ilustra o arranjo de circuitos, o fluxograma daparalelização dos recursos hierarquicamente estruturados e a paralelização dométodo, com a ajuda dos dados de imagem de múltiplas câmeras em diferentesposições. Para a detecção e o rastreamento dos olhos, cada câmera é baseadaem um método de acordo com as modalidades preferidas de execução acimamencionadas. Cada câmara é portanto atribuída ao método de paralelização derecursos conforme ilustrado na Figura 1 e Figura 2.

O sistema do lado esquerdo detecta, baseado nos dadosde imagem do lado esquerdo VFL (quadro de vídeo esquerdo), a região da facealvo GZ1-L do primeiro observador com a ajuda de um recurso de localização defaces FF executado em uma primeira unidade de computação R1. O recurso delocalização de olhos EF e o recurso de rastreamento de olhos ETcorrespondentes são executados na unidade de computação R2. Com relação aoarranjo dos circuitos, estas unidades de computação são tipicamenteconfiguradas na forma de CPUs ou DSPs.

Um segundo grupo de recursos da unidade decomputação R3 é atribuído a um segundo observador. Os outros recursos eunidades de computação mostrados na figura, que são sinalizados como VFR(quadro de vídeo direito) e identificados pelo indexador 'R', são relacionados àimagem do lado direito e aos recursos correspondentes ou elementos do arranjode circuitos.

Uma unidade de controle implementada, que não estásendo mostrada na figura, executa a função de controlar os processos individuaise de organizar a troca de dados durante o processo. A troca de dados procedeparticularmente entre as unidades de computação que estão relacionadas a umobservador. Por exemplo, informações já disponíveis da imagem da esquerda sãoutilizadas para determinar e para extrapolar a posição na imagem direita, cujoconteúdo não difere substancialmente da imagem esquerda com uma tolerânciaaceitável. Uma transformação de resultados parciais é possível de ser realizada,baseada na posição x-y dos pixels do olho da imagem esquerda, na distância doobservador como determinado nos cálculos anteriores de profundidade e nosparâmetros da câmera. Por exemplo, os dados de uma região do olho alvo AZ1-Lencontrados na meia imagem esquerda, são definidos como parâmetros deentrada para a meia imagem direita AZ1-R, e transformados se necessário.Conseqüentemente, é possível utilizar outros algoritmos e outros parâmetros decontrole do que aqueles utilizados para o processo do lado esquerdo.

A informação necessária para estes cálculos compreende,principalmente, a resolução e o distanciamento de pixels das câmeras, a distânciafocai da lente do objeto, a distância entre a imagem da lente do objeto e acâmera, e a distância e a orientação das câmeras.

O arranjo dos circuitos compreende, principalmente,comunicações, módulos lógicos programáveis, processadores, ROMs e RAMs. Asunidades de computação são preferencialmente otimizadas e configuradasapenas para o propósito pretendido, particularmente para os recursos acimamencionados. Em uma modalidade preferida de execução adicional, o arranjo decircuitos contém unidades de computação dedicadas adicionais, para a execuçãode processos auxiliares, tais como redimensionamentos, correções gama, etc.

Legenda das Figuras

Na Figura 2:

2.1: quadro total de vídeo (VF)

2.2: recurso de localização de faces (FF)

2.3: recurso de localização de olhos (EF)

2.4: recurso de rastreamento de olhos (ET)

2.5: recurso de localização de olhos (EF)

2.6: recurso de rastreamento de olhos (ET)

2.7: pontos de referência de posição (EP1, ..., EPn)

Na Figura 3:

3.1: quadro de vídeo esquerdo (VFL)

3.2: quadro de vídeo direito (VFR)

3.3: recurso de localização de faces (FF)

3.4: recurso de localização de faces (FF)lado esquerdo10 EP2(x,y,z), ....lado direito

3.5: recurso de localização de olhos (EF)3.6: recurso de rastreamento de olhos (ET)3.7: recurso de localização de olhos (EF)3.8: recurso de rastreamento de olhos (ET)3.9: recurso de localização de olhos (EF)3.10: recurso de rastreamento de olhos (ET)3.11: pontos de referência de posição (EP1,EPn) do3.12: pontos de referência de posição (EP1(x,y,z),EPn(x,y,z))3.13: pontos de referência de posição (EP1, ..., EPn) do

Claims

1. MÉTODO E SISTEMA DE RECONHECIMENTO ERASTREAMENTO, EM TEMPO REAL, DA POSIÇÃO OCULAR DE MÚLTIPLOSUSUÁRIOS para a detecção e o rastreamento dos pontos de referência dos olhos(EP1, ..., EPn) de múltiplos observadores, no qual os pontos de referência dosolhos são as posições das pupilas e/ou os cantos dos olhos, em dados deimagem de quadros de vídeo (VF)1 que são adquiridos por pelo menos um sensorde imagem, caracterizado pelo fato de compreender: recurso de localização defaces (FF) para detectar posições de faces em quadros de vídeo (FF), omencionado recurso extraindo uma sub-região muito menor do quadro de vídeocompleto como sendo uma região da face alvo (GZ) de cada face, para transmitirinformações da mencionada região da face alvo (GZ) a pelo menos umsubseqüente; recurso de localização de olhos (EF) para detectar posições deolhos, o mencionado recurso extraindo uma sub-região muito menor de cadaregião da face alvo (GZ) como sendo uma região do olho alvo (AZ), paratransmitir informações da mencionada região do olho alvo (AZ) a pelo menos umsubseqüente; recurso de rastreamento de olhos (ET) para rastrear posições deolhos, o mencionado recurso detectando pontos de referência de posição dosolhos (EP1, ..., EPn) na região do olho alvo (AZ) do quadro de vídeo corrente edos quadros de vídeo subseqüentes, e gerando informações para um dispositivode rastreamento; no qual cada um dos recursos ou um dos recursos e umacombinação dos dois outros recursos são executados em paralelo um em relaçãoao outro e em uma unidade dedicada de computação.

2. MÉTODO de acordo com a Reivindicação 1,caracterizado pelo fato de que as coordenadas dos pontos de referência deposição (EP1.....EPn) são posições horizontais e verticais.

3. MÉTODO de acordo com a Reivindicação 2,caracterizado pelo fato de que as coordenadas de profundidade dos olhos sãodeterminadas baseadas em pontos de referência de posição (EP1, ..., EPn)bidimensionais de múltiplos sensores de imagem.

4. MÉTODO de acordo com a Reivindicação 3,caracterizado pelo fato de que o recurso de localização de faces e umacombinação do recurso de localização de olhos e do recurso de rastreamento deolhos, ou uma combinação do recurso de localização de faces e do recurso delocalização de olhos e do recurso de rastreamento de olhos, são executados emrespectivas unidades de computação dedicadas.

5. MÉTODO de acordo com a Reivindicação 3,caracterizado pelo fato de que para cada face detectada um recurso delocalização de olhos e um recurso de rastreamento de olhos são inicializados eexecutados em pelo menos uma unidade de computação dedicada.

6. MÉTODO de acordo com a Reivindicação 3,caracterizado pelo fato de que uma ordem de avaliação é atribuída aosobservadores e/ou às posições resultantes de olhos alvo, a mencionada ordemsendo utilizada para a atribuição de unidades de computação.

7. MÉTODO de acordo com a Reivindicação 3,caracterizado pelo fato de que um ou diversos recursos de localização de facessão executados permanentemente e inicializam os recursos de localização deolhos / rastreamento de olhos respectivamente atribuídos.

8. MÉTODO de acordo com a Reivindicação 1,caracterizado pelo fato de que um recurso de controle que determina se umaregião alvo de face encontrada pelo recurso de localização de faces resulta deuma face já rastreada ou de uma nova face detectada, atribui o recurso derastreamento de olhos ou uma combinação do recurso de localização de olhoscom o recurso de rastreamento de olhos às unidades de computação disponíveis,as inicializa e sincroniza a execução de todos os recursos.

9. MÉTODO de acordo com uma das reivindicaçõesanteriores, caracterizado pelo fato de que os dados de imagem são adquiridos pormúltiplos sensores de imagem, no qual um recurso de localização de olhos, umrecurso de rastreamento de olhos ou uma combinação do recurso de localizaçãode olhos com o recurso de rastreamento de olhos é executado para cadaobservador e para cada sensor de imagem, em unidades de computaçãodedicadas, e no qual resultados parciais e/ou finais são trocados e processadosentre os recursos respectivamente relacionados a um observador.

10. MÉTODO de acordo com a Reivindicação 9,caracterizado pelo fato de que, conhecendo as posições dos sensores de imageme dos observadores, bem como, parâmetros dos sensores de imagem, osresultados parciais e/ou finais dos recursos de um sensor de imagem sãotransformados para os recursos de outro sensor de imagem e adaptados para asua perspectiva.

11. ARRANJO DE CIRCUITO para a detecção erastreamento de pontos de referência de posição (EP1, .... EPn) de múltiplosobservadores, no qual os pontos de referência de posição são as posições daspupilas e/ou dos cantos dos olhos, em dados de imagem de quadros de vídeo(VF) com múltiplas unidades de computação em comunicação (R1, ..., Rn), comum recurso de localização de faces (FF)1 um recurso Iocalizador de olhos (EF) eum recurso de rastreamento de olhos (ET), caracterizado pelo fato decompreender: recurso de localização de faces (FF) que serve para detectar asposições de faces em quadros de vídeo (FF) e extrair uma sub-região muitomenor do quadro de vídeo completo como sendo uma região da face alvo (GZ) decada face, e para transmitir informações da mencionada região da face alvo (GZ)a pelo menos um subseqüente; recurso de localização de olhos (EF) paradetectar posições de olhos, o mencionado recurso extraindo uma sub-regiãomuito menor de cada região da face alvo (GZ) como sendo uma região do olhoalvo (AZ), para transmitir informações da mencionada região do olho alvo (AZ) apelo menos um subseqüente; recurso de rastreamento de olhos (ET) para rastrearposições de olhos, o mencionado recurso detectando os pontos de referência deposição dos olhos (EP1, ..., EPn) na região do olho alvo (AZ) do quadro de vídeocorrente e dos quadros de vídeo subseqüentes, e gerando informações para umdispositivo de rastreamento; no qual cada um dos recursos ou um dos recursos euma combinação dos dois outros recursos são executados em paralelo um emrelação ao outro e em uma unidade dedicada de computação.

12. ARRANJO DE CIRCUITO de acordo com aReivindicação 11, caracterizado pelo fato de contar com um meio separado decomputação para a escalagem ou correção dos dados de imagem com relação àescalagem, correção gama, controle de brilho, e recursos semelhantes.

13. ARRANJO DE CIRCUITO de acordo com aReivindicação 11, caracterizado pelo fato de contar com um meio de computaçãoque calcula as coordenadas de profundidade dos pontos de referência de posição(EP1, ..., EPn) determinadas a partir de pelo menos dois sensores de imagem.

14. ARRANJO DE CIRCUITO de acordo com aReivindicação 11, caracterizado pelo fato de que pelo menos uma das unidadesde computação é implementada como sendo uma CPU, DSP ou semelhante.