BR112013007715B1 - Aparelho de processamento de informação - Google Patents

Aparelho de processamento de informação Download PDF

Info

Publication number
BR112013007715B1
BR112013007715B1 BR112013007715-8A BR112013007715A BR112013007715B1 BR 112013007715 B1 BR112013007715 B1 BR 112013007715B1 BR 112013007715 A BR112013007715 A BR 112013007715A BR 112013007715 B1 BR112013007715 B1 BR 112013007715B1
Authority
BR
Brazil
Prior art keywords
image
pointing
user
information
captured image
Prior art date
Application number
BR112013007715-8A
Other languages
English (en)
Other versions
BR112013007715A2 (pt
Inventor
Yusuke Sakai
Masao Kondo
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Publication of BR112013007715A2 publication Critical patent/BR112013007715A2/pt
Publication of BR112013007715B1 publication Critical patent/BR112013007715B1/pt

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

aparelho de processamento de informação. um aparelho de processamento de informação pode incluir uma unidade de detecção para detectar um objetivo de apontamento em uma imagem capturada, e uma unidade de geração para gerar informação de apontamento com base na detecção do objetivo de apontamento pela unidade de detecção. a informação de apontamento pode indicar uma posição do objeto de apontamento determinado usando um intervalo passível de ser apontado configurado com base em um usuário na imagem capturada. o aparelho pode ainda incluir uma unidade de comunicação para transmitir a informação de apontamento para um aparelho externo.

Description

REFERÊNCIA CRUZADA PARA PEDIDOS RELACIONADOS
[001] Este pedido reivindica prioridade do Pedido de Patente Japonesa de N° 2010-224959 depositado no Escritório de Patente do Japão em 4 de outubro de 2010, do qual o conteúdo inteiro é aqui incorporado para referência.
[Campo técnico]
[002] A presente divulgação se refere a um aparelho de processamento de informação, um sistema de processamento de informação e um método de processamento de informação.
[Fundamentos da Técnica]
[003] Na técnica relacionada, um sistema de conferência de televisão é conhecido que transmite e recebe imagens e sons de áudio entre uma pluralidade de terminais de usuários distantes. À propósito, há algumas situações em conferências de televisão em que imagens e sons de áudio são transmitidos e recebidos referindo à informação de imagem comum exibida em uma pluralidade de terminais de usuário.
[Sumário] [Problema técnico]
[004] Quando um usuário aponta para uma posição arbitrária na informação de imagem para outros usuários, um terminal de usuário é operado para exibir um marcador em uma posição de apontamento ou a posição de apontamento é notificada por um som de áudio. Por conseguinte, há caos onde o usuário leva trabalho para apontar para uma posição arbitrária na informação de imagem para outros usuários.
[005] Consequentemente, a divulgação fornece um aparelho de processamento de informação, um sistema de processamento de informação e um método de processamento de informação que pode prontamente apontar para uma posição arbitrária na informação de imagem para outros usuários.
[Solução para o problema]
[006] De acordo com uma modalidade, um aparelho de processamento de informação pode incluir uma unidade de detecção para detectar um objeto de apontamento em uma imagem capturada, e uma unidade de geração para gerar informação de apontamento com base na detecção do objeto de apontamento pela unidade de detecção. A informação de apontamento pode indicar uma posição do objeto de apontamento determinada usando um intervalo passível de ser apontado configurado com base em um usuário na imagem capturada. O aparelho pode ainda incluir uma unidade de comunicação para transmitir a informação de apontamento para um aparelho externo.
[007] De acordo com uma outra modalidade, um aparelho de processamento de informação pode incluir uma unidade de comunicação para receber de um aparelho externo informação de apontamento incluindo informação de um objeto de apontamento em uma imagem capturada. A informação de apontamento pode indicar uma posição do objeto de apontamento determinada usando um intervalo passível de ser apontado configurado com base em um usuário na imagem capturada. O aparelho pode ainda incluir uma unidade de geração para controlar exibição em uma tela de exibição de uma imagem de apontamento correspondendo à informação de apontamento sobreposta em uma imagem de conteúdo.
[Efeitos Vantajosos da Invenção]
[008] A divulgação pode fornecer um aparelho de processamento de informação, um sistema de processamento de informação e um método de processamento de informação que pode prontamente apontar para uma posição arbitrária na informação de imagem para outros usuários.
[Breve Descrição dos Desenhos] [Fig. 1]
[009] Fig. 1 é um diagrama em bloco ilustrando uma configuração de um sistema de conferência de televisão de acordo com uma modalidade da divulgação.
[Fig. 2]
[0010] Fig. 2 é uma vista ilustrando uma configuração de um sistema de exibição.
[Fig. 3]
[0011] Fig. 3 é um diagrama em bloco ilustrando uma configuração de hardware de um aparelho de processamento de informação.
[Fig. 4]
[0012] Fig. 4 é um fluxograma (1/2) ilustrando um procedimento de uma operação básica de um sistema de conferência de televisão.
[Fig. 5]
[0013] Fig. 5 é um fluxograma (2/2) ilustrando um procedimento de uma configuração básica de um sistema de conferência de televisão.
[Fig. 6A]
[0014] Fig. 6A é uma vista ilustrando um exemplo de geração de uma imagem sobreposta incluindo uma imagem de apontamento de um usuário.
[Fig. 6B]
[0015] Fig. 6B é uma vista ilustrando um exemplo de geração de uma imagem sobreposta incluindo uma imagem de apontamento de um usuário.
[Fig. 6C]
[0016] Fig. 6C é uma vista ilustrando um exemplo de geração de uma imagem sobreposta incluindo uma imagem de apontamento de um usuário.
[Fig. 6D]
[0017] Fig. 6D é uma vista ilustrando um exemplo de geração de uma imagem sobreposta incluindo uma imagem de apontamento de um usuário.
[Fig. 7A]
[0018] Fig. 7A é uma vista ilustrando uma relação entre uma posição de usuário em frente de um aparelho de exibição e uma posição de sobreposição de uma imagem de apontamento.
[Fig. 7B]
[0019] Fig. 7B é uma vista ilustrando uma relação entre uma posição de usuário em frente de um aparelho de exibição e uma posição de sobreposição de uma imagem de apontamento.
[Fig. 8]
[0020] Fig. 8 é uma vista (1/4) ilustrando um exemplo de geração de ima imagem sobreposta.
[Fig. 9]
[0021] Fig. 9 é uma vista (2/4) ilustrando um exemplo de geração de uma imagem sobreposta.
[Fig. 10]
[0022] Fig. 10 é uma vista (3/4) ilustrando um exemplo de geração de uma imagem sobreposta.
[Fig. 11]
[0023] Fig. 11 é uma vista (4/4) ilustrando um exemplo de geração de uma imagem sobreposta.
[Fig. 12A]
[0024] Fig. 12A é uma vista ilustrando um exemplo de geração de uma imagem sobreposta incluindo imagens de apontamento de uma pluralidade de usuários.
[Fig. 12B]
[0025] Fig. 12B é uma vista ilustrando um exemplo de geração de uma imagem sobreposta incluindo imagens de apontamento de uma pluralidade de usuários.
[Fig. 12C]
[0026] Fig. 12C é uma vista ilustrando um exemplo de geração de uma imagem sobreposta incluindo imagens de apontamento de uma pluralidade de usuários.
[Fig. 13A]
[0027] Fig. 13A é uma vista ilustrando um exemplo modificado de geração de uma imagem sobreposta incluindo imagens de apontamento de uma pluralidade de usuários.
[Fig. 13B]
[0028] Fig. 13B é uma vista ilustrando a exemplo modificado de geração de uma imagem sobreposta incluindo imagens de apontamento de uma pluralidade de usuários.
[Fig. 13C]
[0029] Fig. 13C é uma vista ilustrando a exemplo modificado de geração de uma imagem sobreposta incluindo imagens de apontamento de uma pluralidade de usuários.
[Fig. 14]
[0030] Fig. 14 é uma vista ilustrando um exemplo de configuração de um intervalo passível de ser apontado.
[Fig. 15A]
[0031] Fig. 15A é uma vista ilustrando um exemplo de uma operação de apontamento com base em um intervalo passível de ser apontado.
[Fig. 15B]
[0032] Fig. 15B é uma vista ilustrando um exemplo de uma operação de apontamento com base em um intervalo passível de ser apontado.
[Fig. 16A]
[0033] Fig. 16A é uma vista ilustrando um outro exemplo de uma operação de apontamento com base em um intervalo passível de ser apontado.
[Fig. 16B]
[0034] Fig. 16B é uma vista ilustrando um outro exemplo de uma operação de apontamento com base em um intervalo passível de ser apontado.
[Fig. 17]
[0035] Fig. 17 é uma vista (1/2) ilustrando um exemplo de uma imagem sobreposta incluindo uma imagem de apontamento de um modo diferente.
[Fig. 18A]
[0036] Fig. 18A é uma vista (2/2) ilustrando um exemplo de uma imagem sobreposta incluindo uma imagem de apontamento de um modo diferente.
[Fig. 18B]
[0037] Fig. 18B é uma vista (2/2) ilustrando um exemplo de uma imagem sobreposta incluindo uma imagem de apontamento de um modo diferente.
[Fig. 19]
[0038] Fig. 19 é um diagrama em bloco ilustrando uma outra configuração de um sistema de conferência de televisão.
[Descrição das Modalidades]
[0039] Daqui em diante, modalidades preferidas da presente divulgação serão descritas em detalhes com referência aos desenhos em anexo. Note que, nesta especificação e nos desenhos em anexo, elementos estruturais que têm substancialmente a mesma função e estrutura são denotados com os mesmos numerais de referência, e explicação repetida desses elementos estruturais é omitida.
[0040] Fig. 1 é um diagrama em bloco ilustrando uma configuração de um sistema de conferência de televisão (sistema de processamento de informação) de acordo com uma modalidade da divulgação. Como ilustrado na Fig. 1, o sistema de conferência de televisão inclui uma pluralidade de terminal de usuários incluindo um sistema de exibição 100 e um aparelho de processamento de informação 200 conectado ao sistema de exibição 100, Como ilustrado na Fig. 2, o sistema de exibição 100 inclui um aparelho de exibição 102 tal como um monitor ou projetor, um aparelho de captura de imagem 104 tal como uma câmera de vídeo ou s câmera fixa, e um alto- falante e microfone ou o similar (não ilustrado).
[0041] Por exemplo, um primeiro terminal de usuário utilizado por um usuário A inclui o sistema de exibição 100 e aparelho de processamento de informação 200. Um segundo terminal de usuário utilizado por uma pluralidade de outros usuários inclui um sistema de exibição 400 e um aparelho de processamento de informação 500. Um terceiro terminal de usuário utilizado por um outro usuário inclui um sistema de exibição 600 e um aparelho de processamento de informação 700. Uma pluralidade de terminal de usuários é conectada através de uma linha de comunicação 800 incluindo um servidor de comunicação 300,
[0042] O aparelho de exibição 102 exibe uma imagem de conteúdo IC, e um aparelho de captura de imagem 104 captura uma imagem do usuário posicionado em frente do aparelho de exibição 102. A imagem de conteúdo IC é uma imagem arbitrária incluindo um texto, figura, símbolo, imagem ou uma combinação desses, e é exibida em uma imagem arbitrária em uma tela de exibição do aparelho de exibição 102. A frente do aparelho de exibição 102 significa a frente da tela de exibição do aparelho de exibição 102.
[0043] O aparelho de processamento de informação 200 inclui uma unidade de entrada de imagem capturada 202, uma unidade de detecção 204, uma unidade de reconhecimento 206, uma unidade de geração de imagem espelhada 208, uma unidade de comunicação 210, uma unidade de geração de imagem de apontamento 212, uma unidade de geração de imagem sobreposta 214, uma unidade de controle de exibição 216 e uma unidade de armazenamento 218.
[0044] A unidade de entrada de imagem capturada 202 recebe uma entrada de uma imagem capturada I1 capturando o usuário, a partir de um aparelho de captura de imagem 104. A unidade de entrada de imagem capturada 202 supre a imagem capturada I1 para a unidade de detecção 204, para a unidade de geração de imagem espelhada 208 e para a unidade de comunicação 210. A imagem capturada I1 é uma imagem capturando um objeto posicionado em uma intervalo pré-determinado em frente do aparelho de exibição 102, isto é, em um intervalo de um ângulo de visão do aparelho de captura de imagem 104. Embora a imagem capturada I1 seja uma imagem em movimento, a imagem capturada I1 pode ser uma imagem fixa dependendo do caso. O usuário em geral olha a imagem de conteúdo IC exibida no aparelho de exibição 102. Então, a imagem capturada I1 em geral inclui uma imagem capturando uma face F do usuário de perto da frente.
[0045] A unidade de detecção 204 detecta a face F do usuário a partir da imagem capturada I1, e gera informação de posição indicando a posição da face F na imagem capturada I1 a partir do resultado de detecção. A unidade de detecção 204 de forma seletiva detecta um objeto de apontamento H que o usuário usa para apontar para uma posição arbitrária, a partir de uma imagem capturada I1, e gera informação de posição indicando a posição do objeto de apontamento H na imagem capturada I1, a partir do resultado de detecção. A unidade de detecção 204 supre o resultado de detecção para a unidade de reconhecimento 206, para a unidade de comunicação 210 e para a unidade de geração de imagem de apontamento 212, e supre informação de posição para a unidade de comunicação 210 e para a unidade de geração de imagem de apontamento 212. A unidade de detecção 204 detecta a face F do usuário e o objeto de apontamento H usando uma técnica de detecção de imagem comum com base na informação de quantidade de características armazenada em, por exemplo, a unidade de armazenamento 218. O objeto de apontamento H se refere a uma parte do corpo ou uma ferramenta tal como o dedo do usuário da mão, palma da mão, a traseira da mão ou estilete de apontamento que é em geral usado para apontar a uma posição arbitrária.
[0046] A unidade de reconhecimento 206 reconhece o usuário a partir do resultado de detecção da face F, e de forma seletiva reconhece a forma do objeto de apontamento H a partir do resultado de detecção do objeto de apontamento H. A unidade de reconhecimento 206 supre o resultado de reconhecimento para a unidade de comunicação 210 e para a unidade de geração de imagem de apontamento 212. A unidade de reconhecimento 206 reconhece o usuário e forma do objeto de apontamento H usando uma técnica de reconhecimento de imagem comum, com base na informação de reconhecimento armazenado, por exemplo, na unidade de armazenamento 218. A forma do objeto de apontamento H se refere à forma da mão ou orientação da mão do usuário, e é usada para determinar um modo de exibição de uma imagem de apontamento I3 embora descrito abaixo. Em adição, a unidade de reconhecimento 206 pode ser removida se o usuário e objeto de apontamento H não são reconhecidos.
[0047] A unidade de geração de imagem espelhada 208 gera uma imagem espelhada I2 a partir da imagem capturada I1 para fornecer para a unidade de geração de imagem de apontamento 212. A unidade de geração de imagem espelhada 208 também gera uma imagem espelhada I2 da imagem capturada I1 de um outro usuário. A imagem espelhada I2 significa uma imagem que é uma imagem espelhada na qual a esquerda e direita da imagem capturada I1 são revertidas.
[0048] A unidade de comunicação 210 funciona como uma unidade de transmissão que transmite a imagem capturada I1 do usuário, o resultado da detecção, o resultado de reconhecimento e a informação de posição, para outro terminal de usuários através de uma linha de comunicação 800, Além disso, a unidade de comunicação 210 funciona como uma unidade de recepção que recebe a imagem capturada I1 de um outro usuário, o resultado de detecção, o resultado de reconhecimento e a informação de posição, de um outro terminal de usuário através de uma linha de comunicação 800. A unidade de comunicação 210 codifica a imagem capturada I1 fornecida a partir da unidade de entrada de imagem capturada 202 para transmitir, e decodifica os dados codificados recebidos para a imagem capturada I1 para fornecer para a unidade de geração de imagem espelhada 208.
[0049] A unidade de geração de imagem de apontamento 212 gera a imagem de apontamento I3 com base no resultado de detecção, no resultado de reconhecimento, na informação de posição e na imagem espelhada I2 para fornecer para a unidade de geração de imagem sobreposta 214. A unidade de geração de imagem de apontamento 212 também gera a imagem de apontamento I3 da imagem capturada I1 de um outro usuário. A unidade de geração de imagem de apontamento 212 de forma seletiva gera a imagem de apontamento I3 usando informação de usuário de identificação armazenado na unidade de armazenamento 218.
[0050] A imagem de apontamento I3 inclui informação que permite uma posição de apontamento que o usuário aponte para por meio do objeto de apontamento H ser especificado, e informação que permite o usuário ser identificado. A informação que permite a imagem de apontamento ser especificada se refere à, por exemplo, uma imagem do objeto de apontamento H incluída na imagem capturada I1, e uma imagem mostrando a posição de apontamento especificada a partir do resultado de detecção do objeto de apontamento H. A informação que permite o usuário ser identificado se refere à, por exemplo, uma imagem da face F do usuário incluída na imagem capturada I1, e informação de identificação atribuída ao usuário (por exemplo, nome e caricatura do usuário). Além disso, os detalhes da imagem de apontamento I3 serão descritos abaixo.
[0051] A unidade de geração de imagem sobreposta 214 gera uma imagem sobreposta I4 com base na imagem de conteúdo IC, imagem de apontamento I3 e informação de posição para fornecer para a unidade de controle de exibição 216. A unidade de geração de imagem sobreposta 214 pode gerar a imagem sobreposta I4 incluindo as imagens de apontamento I3 do usuário e de um outro usuário, e pode gerar a imagem sobreposta I4 incluindo somente a imagem de apontamento I3 de um outro usuário dependendo dos casos. A imagem sobreposta I4 se refere a uma imagem na qual a imagem de apontamento I3 é sobreposta sobre a imagem de conteúdo IC exibida no aparelho de exibição 102, com base na informação de posição. Em adição, os detalhes da imagem sobreposta I4 serão descritos abaixo.
[0052] A unidade de controle de exibição 216 exibe a imagem de conteúdo IC no aparelho de exibição 102. Além disso, a unidade de controle de exibição 216 faz o aparelho de exibição 102 exibir a imagem sobreposta I4 na qual a imagem de apontamento I3 é sobreposta sobre a imagem de conteúdo IC. A unidade de armazenamento 218 armazena informação de quantidade de características usada para detectar a face F do usuário e o objeto de apontamento H. A unidade de armazenamento 218 armazena informação de reconhecimento usado para reconhecer o usuário e a forma do objeto de apontamento H. A unidade de armazenamento 218 armazena, por exemplo, imagens usadas para gerar a imagem de apontamento I3 (por exemplo, imagens mostrando posições de apontamento e caricaturas representando usuários) e texto (por exemplo, nomes de usuários).
[0053] Em adição, com a configuração ilustrada na Fig. 1, imagens são detectadas e reconhecidas usando a imagem capturada I1. Contudo, em vez da imagem capturada I1, imagens podem ser detectadas e reconhecidas usando a imagem espelhada I2. Neste caso, informação usada para detectar e reconhecer imagens é preparada para coincidir com a imagem espelhada I2.
[0054] Além disso, com a configuração ilustrada na Fig. 1, o resultado de detecção, resultado de reconhecimento e informação de posição são transmitidos para um outro terminal de usuário junto com a imagem capturada I1. Contudo, transmitindo somente a imagem capturada I1 (ou imagem espelhada I2) para um outro terminal de usuário, o terminal de usuário que recebeu a imagem capturada I1 pode detectar e reconhecer imagens e gerar informação de posição. Além disso, transmitindo somente a imagem capturada I1 (ou imagem espelhada I2) para um servidor de comunicação 300, um servidor de comunicação 300 que recebeu a imagem capturada I1 (ou imagem espelhada I2) pode detectar e reconhecer imagens e gerar informação de posição, e transmitir um resultado de processamento para outros terminais de usuário.
[0055] Fig. 3 é um diagrama em bloco ilustrando uma configuração de hardware do aparelho de processamento de informação 200. Como ilustrado na Fig. 3, o aparelho de processamento de informação 200 inclui uma MPU 230, uma ROM 232, uma RAM 234, um meio de armazenamento 236, uma interface de entrada/saída 238, um dispositivo de operação de entrada 240, um dispositivo de exibição 242, uma interface de comunicação 244 e um bus 246. O bus 246 conecta a MPU 230, a ROM 232, a RAM 234, o meio de armazenamento 236, interface de entrada/saída 238, e a interface de comunicação 244.
[0056] A MPU 230 lê um programa armazenado, por exemplo, na ROM 232, na RAM 234 e no meio de armazenamento 236, expande o programa na RAM 234 e executa o programa para controlar a operação do aparelho de processamento de informação 200. A MPU 230 funciona particularmente como a unidade de detecção 204, a unidade de reconhecimento 206, a unidade de geração de imagem espelhada 208, a unidade de geração de imagem de apontamento 212, a unidade de geração de imagem sobreposta 214 e a unidade de controle de exibição 216. A RAM 234 funciona como a unidade de armazenamento 218.
[0057] A interface de entrada/saída 238 entrada e emite, por exemplo, dados para e proveniente de um sistema de AV. A interface de entrada/saída 238 funciona particularmente como a unidade de entrada de imagem capturada 202 e a unidade de controle de exibição 216. O dispositivo de operação de entrada 240 inclui, por exemplo, um teclado, um mouse e um painel de toque, e supre informação de operação entrada através do dispositivo, para a MPU 230 através da interface de entrada/saída 238. O dispositivo de exibição 242 exibe, por exemplo, informação de imagem e informação de texto indicando um estado de operação do sistema. A interface de comunicação 244 transmite e recebe, por exemplo, dados entre o servidor de comunicação 300 e outros aparelhos de processamento de informação 500 e 700 através da linha de comunicação 800. A interface de comunicação 244 funciona particularmente como a unidade de comunicação 210,
[0058] Fig. 4 e Fig. 5 são fluxogramas ilustrando um procedimento de uma operação básica de um sistema de conferência de televisão. Fig. 4 e Fig. 5 ilustra o procedimento de apontar para uma posição arbitrária na imagem de conteúdo IC em um estado onde uma imagem de conteúdo IC comum é exibida em uma pluralidade de terminal de usuários. Em adição, a operação de apontar para uma posição arbitrária na imagem de conteúdo IC é também referida como "operação de apontamento". Daqui em diante, embora um caso seja descrito onde uma operação de apontamento é efetuada entre o terminal de usuário A do usuário A e o terminal de usuário B do usuário B, um caso será descrita na mesma maneira onde a operação de apontamento é efetuada entre três ou mais terminais de usuário.
[0059] Primeiro, o terminal de usuário A decide se o usuário A selecionou ou não um modo de apontamento (etapa S100). O modo de apontamento pode ser selecionado operando o terminal de usuário A ou selecionado entrando um pré-determinado gesto. Quando o modo de apontamento é selecionado, o terminal de usuário A decides que conexão de rede é estabelecida com um outro terminal de usuário, neste caso, o terminal de usuário B (etapa S102). Além disso, se conexão à rede não é estabelecida, processamento na etapa S108 é executado, e, se conexão à rede é estabelecida, processamento na etapa S104 é executado.
[0060] Primeiro, referindo à Fig. 6A à Fig. 11, uma operação quando é decidido na etapa S102 que conexão à rede não é estabelecida será descrita. Fig. 6A à Fig. 6D são vistas ilustrando exemplos de geração da imagem sobreposta I4 incluindo a imagem de apontamento I3 do usuário. Em adição, um caso será descrito na mesma maneira onde a imagem sobreposta I4 incluindo, por exemplo, uma imagem de apontamento Ia3 do usuário A (descrito abaixo) é gerada.
[0061] A unidade de entrada de imagem capturada 202 recebe a imagem capturada I1 capturando o usuário A, proveniente de um aparelho de captura de imagem 104 (etapa S200). A imagem capturada I1 é uma imagem capturando um objeto posicionado em um pré-determinado intervalo em frente do aparelho de exibição 102, isto é, em um intervalo de um ângulo de visão do aparelho de captura de imagem 104. Fig. 6A ilustra um exemplo da imagem capturada I1 mostrando o corpo superior do usuário incluindo o dedo da mão que é um exemplo do objeto de apontamento H e a face F, no lado esquerdo do observador, e mostrando uma imagem de plano de fundo.
[0062] A unidade de detecção 204 detecta a face F do usuário A a partir da imagem capturada I1, e gera informação de posição indicando a posição da face F na imagem capturada I1, a partir do resultado de detecção. A unidade de reconhecimento 206 de forma seletiva reconhece o usuário A a partir do resultado de detecção da face F. A unidade de geração de imagem espelhada 208 gera a imagem espelhada I2 a partir da imagem capturada I1 (etapa S202). A imagem espelhada I2 é uma imagem que é uma imagem espelhada na qual o lado esquerdo e direito da imagem capturada I1 são revertidos. Fig. 6B ilustra a imagem espelhada I2 da imagem capturada I1 ilustrada na Fig. 6A. A imagem espelhada I2 inclui uma imagem do corpo superior do usuário incluindo o objeto de apontamento H e a face F no lado direito do observador, e uma imagem do plano de fundo.
[0063] A unidade de geração de imagem de apontamento 212 gera a imagem de apontamento I3 com base no resultado de detecção, na informação de posição e na imagem espelhada I2 (etapa S204). A imagem de apontamento I3 é uma imagem incluindo informação que permite a posição de apontamento que o usuário A aponta por meio de o objeto de apontamento H ser especificada, e informação que permite o usuário A ser identificado. Fig. 6C ilustra um exemplo da imagem de apontamento I3 gerada a partir da imagem espelhada I2 ilustrada na Fig. 6B. A imagem de apontamento I3 ilustrada na Fig. 6C é gerada especificando uma área em volta da face F do usuário a partir da imagem espelhada I2 com base na informação de posição da face F. A imagem de apontamento I3 é gerada fazendo uma imagem outra do que a área em volta transparente com base na imagem espelhada I2, e cortando a imagem da área em volta.
[0064] A área em volta é configurada como uma área em um intervalo de uma determinada distância a partir da posição da face F nas direções para cima, para baixo, para a esquerda e para a direita, com base, por exemplo, na informação de posição da face F. Por exemplo, a área em volta pode ser configurada como uma área tendo um intervalo com a largura correspondendo às duas faces nas direções à esquerda e à direita com base na posição da face F e a altura corresponde às duas faces F nas direções à esquerda e à direita. A área em volta é configurada por um terminal de usuário ou usuário para incluir a imagem do objeto de apontamento H junto com a imagem da face F.
[0065] A unidade de geração de imagem sobreposta 214 gera a imagem sobreposta I4 com base na imagem de conteúdo IC, na imagem de apontamento I3 e na informação de posição (etapa S206). A unidade de controle de exibição 216 exibe a imagem sobreposta I4 sobre o aparelho de exibição 102 (etapa S208). Fig. 6D ilustra um exemplo da imagem sobreposta I4 na qual a imagem de apontamento I3 ilustrada na Fig. 6B é sobreposta sobre a imagem de conteúdo IC. Com a imagem sobreposta I4 ilustrada na Fig. 6D, coincidindo o intervalo da imagem espelhada I2 com o intervalo da imagem de conteúdo IC, a imagem de apontamento I3 é sobreposta sobre a imagem de conteúdo IC com base na informação de posição da face F. Em adição, com a imagem sobreposta I4, a imagem de apontamento I3 pode ser sobreposta na imagem de conteúdo IC após aumentar a transmitância de exibição da imagem de apontamento I3. a
[0066] Fig. 7A e Fig. 7B são vistas ilustrando a relação entre a posição do usuário em frente do aparelho de exibição 102 e uma posição de sobreposição da imagem de apontamento I3. Conforme descrito acima, a imagem sobreposta I4 é gerada sobrepondo a imagem de apontamento I3 gerada a partir da imagem espelhada I2 na imagem de conteúdo IC, com base na informação de posição da face F. Então, como ilustrado na Fig. 7A, quando o usuário move para o lado direito em frente do aparelho de exibição 102, a imagem de apontamento I3 é sobreposta no lado direito da imagem de conteúdo IC. Ao contrário disto, como ilustrado na Fig. 7B, quando o usuário move para o lado esquerdo em frente do aparelho de exibição 102, a imagem de apontamento I3 é sobreposta no lado esquerdo da imagem de conteúdo IC.
[0067] Além disso, a imagem sobreposta I4 é basicamente gerada coincidindo o intervalo da imagem espelhada I2 (ou imagem capturada I1), isto é, o intervalo do ângulo de visão do aparelho de captura de imagem 104 com o intervalo da imagem de conteúdo IC. Consequentemente, quando, como ilustrado na Fig. 7A e Fig. 7B, o aparelho de captura de imagem 104 é arrumado no centro da frente do aparelho de exibição 102 e intervalo do ângulo de visão do aparelho de captura de imagem 104 coincide com o intervalo da imagem de conteúdo IC, o usuário é posicionado em frente da imagem de apontamento I3 sobreposta na imagem de conteúdo IC.
[0068]Ao contrário disto, se o intervalo do ângulo de visão do aparelho de captura de imagem 104 é duas vezes o intervalo da imagem de conteúdo IC, quando o usuário move para um lado direito ao longo da distância x, a imagem de apontamento I3 se move para o lado direito ao longo da distância x/2. Além disso, se o intervalo do ângulo de visão do aparelho de captura de imagem 104 é metade do intervalo da imagem de conteúdo IC, quando o usuário se move para o lado direito ao longo da distância x, a imagem de apontamento I3 se move para o lado direito ao longo da distância 2x.
[0069] Fig. 8 à Fig. 11 são vistas ilustrando exemplos de geração da imagem sobreposta I4. Em adição, na Fig. 8 à Fig. 11, o usuário A aponta para uma pré-determinada área incluída na imagem de conteúdo IC (área na qual uma imagem de um UFO é mostrada) por meio do dedo do usuário A que é o objeto de apontamento H.
[0070]Similar à imagem sobreposta I4 ilustrada na Fig. 6D, Fig. 7A e Fig. 7B, com a imagem sobreposta I4 ilustrada na Fig. 8, a imagem de apontamento Ia3 mostrando somente uma área em volta da face F do usuário A é sobreposta sobre a imagem de conteúdo IC. Enquanto isso, a imagem sobreposta I4 também inclui uma imagem de plano de fundo incluída na área em volta.
[0071] Com a imagem sobreposta I4 ilustrada na Fig. 9, a imagem de apontamento Ia3 na qual a imagem de plano de fundo é removida a partir da imagem espelhada Ia2 é sobreposta sobre a imagem de conteúdo IC. A imagem de apontamento I3 é gerada especificando uma área do corpo superior incluindo a face F do usuário A e o objeto de apontamento H incluída na imagem espelhada Ia2 com base no resultado de detecção da face F do usuário A, fazendo uma imagem outra do que a especificado área transparente especificada e cortando a imagem da área especificada.
[0072] Com a imagem sobreposta I4 ilustrada na Fig. 10, a imagem de apontamento Ia3 formada com uma imagem das áreas da face F do usuário A especificadas a partir da imagem espelhada Ia2 e o objeto de apontamento H é sobreposto sobre a imagem de conteúdo IC. A imagem de apontamento Ia3 é gerada fazendo a imagem outra do que a área transparente especificada e cortando a imagem da área especificada. A imagem de apontamento Ia3 é gerada detectando a face F do usuário A e o objeto de apontamento H a partir da imagem capturada Ia1 e gerando informação de posição da face F do usuário A e do objeto de apontamento H.
[0073]Com a imagem sobreposta I4 ilustrada na Fig. 11, uma imagem mostrando a posição de apontamento e a imagem de apontamento Ia3 incluindo um texto indicando o nome do usuário A são sobrepostas na imagem de conteúdo IC. Neste caso, a imagem incluída na imagem espelhada Ia2 não é usada para a imagem de apontamento Ia3. A imagem de apontamento Ia3 é gerada detectando a face F do usuário A e o objeto de apontamento H a partir da imagem capturada Ia1 e gerando informação de posição da face F do usuário A e do objeto de apontamento H. Além disso, o usuário A é reconhecido a partir do resultado de detecção da face F do usuário A, e do texto "usuário A" mostrando o nome do usuário A reconhecido é lido a partir da unidade de armazenamento 218. De forma similar, a forma do objeto de apontamento H é reconhecido a partir do resultado de detecção do objeto de apontamento H, e uma imagem coincidindo com a forma do objeto de apontamento H reconhecido é lido a partir da unidade de armazenamento 218.
[0074] Em adição, a imagem de apontamento Ia3 pode incluir uma caricatura (por exemplo, semelhança) atribuída ao usuário A em vez do texto mostrando o nome do usuário A, e pode incluir uma imagem da área da face F do usuário. Além disso, a imagem de apontamento Ia3 pode incluir uma imagem da área do objeto de apontamento H em vez da imagem mostrando a posição de apontamento.
[0075] A seguir, uma operação quando é decidido na etapa S102 que conexão à rede é estabelecida será descrita. Os terminais de usuário A e B exibem uma imagem de conteúdo IC comum. A unidade de comunicação 210 do terminal de usuário A transmite a imagem capturada Ia1 do usuário A, o resultado de detecção, o resultado de reconhecimento e a informação de posição, para o terminal de usuário B através da linha de comunicação 800 (etapa S104). Além disso, a unidade de comunicação 210 do terminal de usuário A recebe a imagem capturada Ib1 do usuário B, o resultado de detecção, o resultado de reconhecimento e a informação de posição, proveniente do terminal de usuário B através da linha de comunicação 800 (etapa S106). Por este meio, o terminal de usuário A adquire a imagem capturada Ib1 do usuário B (etapa S200). Em adição, o mesmo processamento é também efetuado no terminal de usuário B.
[0076] Além disso, similar à imagem capturada Ia1 do usuário A, a unidade de geração de imagem espelhada 208 gera a imagem espelhada Ib2 a partir da imagem capturada Ib1 do usuário B (etapa S202). Similar à imagem de apontamento Ia3 do usuário A, a unidade de geração de imagem de apontamento 212 gera a imagem de apontamento Ib3 do usuário B com base no resultado de detecção, no resultado de reconhecimento seletivo, na informação de posição e na imagem espelhada Ib2 (etapa S204). A unidade de geração de imagem sobreposta 214 gera a imagem sobreposta I4 com base na imagem de conteúdo IC, imagem de apontamento Ia3 e informação de posição do usuário A e imagem de apontamento Ib3 e informação de posição do usuário B (etapa S206). A unidade de controle de exibição 216 exibe a imagem sobreposta I4 no aparelho de exibição 102 (etapa S208). Em adição, o mesmo processamento é também efetuado no terminal de usuário B.
[0077] Fig. 12A à Fig. 12C são vistas ilustrando exemplos de geração da imagem sobreposta I4 incluindo a imagem de apontamento Ia3 e Ib3 dos usuários A e B. Fig. 12A ilustra uma imagem do corpo superior incluindo o dedo H da mão e face F do usuário A, no lado esquerdo do observador, e ilustra a imagem espelhada Ia2 da imagem capturada Ia1 do usuário A incluindo uma imagem de plano de fundo. Fig. 12B ilustra uma imagem do corpo superior incluindo o dedo H da mão e face F do usuário B, no lado direito do observador, e ilustra a imagem espelhada Ib2 da imagem capturada Ib1 do usuário B incluindo uma imagem de plano de fundo.
[0078] Fig. 12C ilustra um exemplo da imagem sobreposta I4 na qual as imagens de apontamento Ia3 e Ib3 dos usuários A e B são sobrepostas sobre a imagem de conteúdo IC. A imagem espelhada Ia2 do usuário A inclui a imagem do usuário A no lado esquerdo do observador, e a imagem espelhada Ib2 do usuário B inclui a imagem do usuário B no lado direito do observador. Então, com a imagem sobreposta I4, a imagem de apontamento Ia3 do usuário A é sobreposta sobre a imagem de conteúdo IC, no lado esquerdo do observador, e a imagem de apontamento Ib3 do usuário B é sobreposta sobre a imagem de conteúdo IC no lado direito do observador. As imagens de apontamento Ia3 e Ib3 dos usuários A e B incluem informação que permitem cada usuário ser identificado, e pode prontamente permitir a posição de apontamento de cada usuário ser especificada.
[0079]Em adição, a imagem sobreposta I4 ilustrada na Fig. 12C assume um caso onde a largura da imagem de conteúdo IC e as larguras das imagens espelhadas Ia2 e Ib2 do usuário A e do usuário B são as mesmas. Além disso, embora a imagem sobreposta I4 ilustrada na Fig. 12C seja gerada similar ao exemplo de geração ilustrado na Fig. 8, a imagem sobreposta I4 pode ser gerada similar aos exemplos de geração ilustrados na Fig. 9 à Fig. 11.
[0080] Fig. 13A à Fig. 13C são vistas ilustrando exemplos modificados de geração da imagem sobreposta I4 incluindo as imagens de apontamento Ia3 e Ib3 dos usuários A e B. Com os exemplos modificados, um caso é assumido onde as imagens de apontamento Ia3 e Ib3 dos usuários A e B são sobrepostas na imagem de conteúdo IC se sobrepondo cada uma a outra. Fig. 13A ilustra a imagem espelhada Ia2 do usuário A incluindo a imagem do corpo superior incluindo o dedo H da mão e face F no centro. Fig. 13B ilustra a imagem espelhada Ib2 do usuário B incluindo a imagem do corpo superior incluindo o dedo H da mão e a face F no centro.
[0081] Fig. 13C ilustra um exemplo da imagem sobreposta I4 na qual as imagens de apontamento Ia3 e Ib3 dos usuários A e B são sobrepostos na imagem de conteúdo IC. A imagem espelhada Ia2 do usuário A inclui a imagem do usuário A no centro, e a imagem espelhada Ib2 do usuário B inclui a imagem do usuário B no centro. Por conseguinte, quando a imagem sobreposta I4 é gerada similar ao exemplo de geração ilustrado na Fig. 12C, as imagens de apontamento Ia3 e Ib3 dos usuários A e B são sobrepostas cada uma a outra, e por meio disso, diminuindo a visibilidade. Então, como ilustrado na Fig. 13C, aumentando transmitância de exibição das imagens de apontamento Ia3 e Ib3 do usuário A e/ou do usuário B, uma diminuição na visibilidade das imagens de apontamento Ia3 e Ib3 que são sobrepostas se sobrepondo cada uma a outra é suprimida.
[0082] Um caso foi descrito acima onde o intervalo do ângulo de visão da aparelho de captura de imagem 104 é coincidente com o intervalo da imagem de conteúdo IC para gerar a imagem sobreposta I4. Neste caso, quando o intervalo do ângulo de visão é muito mais amplo do que o intervalo da imagem de conteúdo IC ou a posição do usuário está muito mais distante a partir do aparelho de captura de imagem 104, o usuário é forçado a fazer movimento relativamente grande para a operação de apontamento. Por conseguinte, é proposto configurar o intervalo passível de ser apontado que o usuário pode apontar sem se mover, com base na posição da face F do usuário e coincidir o intervalo passível de ser apontado com o intervalo da imagem de conteúdo IC em vez do intervalo do ângulo de visão para gerar a imagem sobreposta I4.
[0083] Fig. 14 é uma vista ilustrando um exemplo de configuração do intervalo passível de ser apontado. O intervalo passível de ser apontado ilustrado na Fig. 14 é configurado como um intervalo que pode ser apontado pelo dedo da mão esquerda ou mão direita em um estado onde o braço esquerdo é estendido para a esquerda, para a esquerda superior ou para a esquerda inferior e o braço direito é estendido para a direita, para a direita superior ou para a direita inferior, com base na posição da face F do usuário A. Por exemplo, com o exemplo ilustrado na Fig. 14, o intervalo passível de ser apontado é configurado como o intervalo da largura L em torno da posição da face F do usuário A. O intervalo passível de ser apontado pode ser configurado fazendo o usuário A efetivamente apontar para o intervalo que o usuário A está próximo de apontar, e detectar uma área Ha do objeto de apontamento H que aponta para o intervalo. Além disso, o intervalo passível de ser apontado pode ser configurado como um intervalo com a largura correspondendo às quatro faces F nas direções à esquerda e à direita com base no tamanho de uma área Fa da face F do usuário A e a largura correspondendo às duas faces F nas direções à esquerda e à direita.
[0084] Fig. 15A e Fig. 15B são vistas ilustrando exemplos da operação de apontamento com base no intervalo passível de ser apontado. Fig. 15A ilustra a imagem espelhada I2 da imagem capturada I1 incluindo o usuário A e usuário C. A imagem espelhada I2 inclui uma imagem do usuário A capturando o corpo superior incluindo o dedo H da mão e a face F, no lado esquerdo do observador, e inclui uma imagem do usuário C capturando o corpo superior incluindo o dedo H da mão e face F, no lado direito do observador. O usuário C é posicionado mais distante além do aparelho de captura de imagem 104 do que o usuário A.
[0085]Na imagem espelhada I2, quadros retangulares representando áreas de detecção Fa, Ha, Fc e Hc das faces F dos usuários A e C e os objetos de apontamento H, e intervalos passíveis de serem apontados Pa e Pc são mostrados. Em adição, os quadros retangulares das áreas de detecção Fa, Ha, Fc e Hc e intervalos passíveis de ser apontados Pa e Pc são mostrados para facilidade de descrição para ilustra processamento do terminal de usuário em vez de uma imagem formando parte da imagem espelhada I2. O usuário A pode efetuar uma operação de apontamento movendo o objeto de apontamento H no intervalo passível de ser apontado Pa do usuário A e no intervalo da imagem espelhada I2. De forma similar, o usuário C pode efetuar a operação de apontamento movendo o objeto de apontamento H no intervalo passível de ser apontado Pc do usuário C e no intervalo da imagem espelhada I2.
[0086] Enquanto isso, o intervalo passível de ser apontado Pa do usuário A e o intervalo passível de ser apontado Pc do usuário C coincidem com o intervalo da imagem de conteúdo IC, respectivamente. Consequentemente, os usuários A e C pode apontar para uma posição arbitrária na imagem de conteúdo IC movendo o objeto de apontamentos H para posições arbitrárias nos intervalos passíveis de serem apontados Pa e Pc dos usuários A e C sem mover o objeto de apontamento H no intervalo do ângulo de visão do aparelho de captura de imagem 104.
[0087] Fig. 15B ilustra um exemplo da imagem sobreposta I4 incluindo as imagens de apontamento Ia3 e Ic3 dos usuários A e C. Com a imagem espelhada I2 ilustrada na Fig. 15A, o usuário A aponta para a posição mais próxima à direita do centro do intervalo passível de ser apontado Pa do usuário A, e o usuário C aponta para a posição mais próxima à esquerda do centro do intervalo passível de ser apontado Pc do usuário C. Então, com a imagem sobreposta I4, a imagem de apontamento Ia3 do usuário A é sobreposta mais próxima à direita do centro da imagem de conteúdo IC, e a imagem de apontamento Ic3 d o usuário C é sobreposta mais próxima à esquerda do centro da imagem de conteúdo IC. Enquanto isso, as imagens de apontamento Ia3 e Ic3 dos usuários A e C mostram as posições que os usuários A e C apontam nos intervalos passíveis de serrem apontados Pa e Pc dos usuários A e C.
[0088] De forma similar, quando o usuário A aponta para o canto direito superior do intervalo passível de ser apontado Pa do usuário A, a imagem de apontamento Ia3 do usuário A é sobreposta no canto direito superior da imagem de conteúdo IC, e, quando o usuário C aponta para o canto esquerdo inferior do intervalo passível de ser apontado Pc do usuário C, a imagem de apontamento Ic3 do usuário C é sobreposta no canto esquerdo inferior da imagem de conteúdo IC. Em adição, embora a imagem sobreposta I4 ilustrada na Fig. 15B seja gerada similar ao exemplo de geração ilustrado na Fig. 11, a imagem sobreposta I4 pode ser gerada similar ao exemplo da geração ilustrado na Fig. 10.
[0089] Fig. 16A e Fig. 16B são vistas ilustrando outros exemplos da operação de apontamento com base no intervalo passível de ser apontado. Similar à Fig. 15A, Fig. 16A ilustra a imagem espelhada I2 capturando os usuários A e C. Na imagem espelhada I2, quadros retangulares representando áreas de detecção Fa e Ha da face F e do objeto de apontamento H do usuário A, e o intervalo passível de ser apontado Pa são mostrados. Com o exemplo ilustrado na Fig. 16A, detectando as faces F dos usuários A e C a partir da imagem capturada I1 e comparando os tamanhos das áreas Fa e Fc das faces detectadas F, somente o usuário A tendo uma grande área da face F, isto é, o usuário A mais próximo ao aparelho de captura de imagem 104 é permitido efetuar a operação de apontamento.
[0090]Fig. 16B ilustra um exemplo da imagem sobreposta I4 incluindo a imagem de apontamento Ia3 do usuário A. Com a imagem espelhada I2 ilustrada na Fig. 16A, o usuário A aponta para a posição mais próxima à direita do centro do intervalo passível de ser apontado Pa do usuário A. Então, com a imagem sobreposta I4, a imagem de apontamento Ia3 do usuário A é sobreposta mais próxima à direita do centro da imagem de conteúdo IC.
[0091] Em adição, em vez do usuário mais próximo ao aparelho de captura de imagem 104, somente o usuário mais distante do aparelho de captura de imagem 104 ou o usuário posicionado em uma distância adequada a partir do aparelho de captura de imagem 104 pode ser permitido efetuar a operação de apontamento. Além disso, quando uma pluralidade de faces F é detectada, somente um pré-determinado número de usuários posicionados em distâncias adequadas a partir do aparelho de captura de imagem 104 pode ser permitido efetuar a operação de apontamento.
[0092] Um caso foi descrito acima onde a imagem sobreposta I4 detectando a posição do objeto de apontamento H. À propósito, o usuário quer sobrepor a imagem de apontamento I3 de um modo diferente na imagem de conteúdo IC dependendo dos casos. Então, é proposto gerar a imagem sobreposta I4 incluindo a imagem de apontamento I3 de um modo diferente detectando a posição do objeto de apontamento H e reconhecendo a forma do objeto de apontamento H. Por meio disto, mudando o modo da imagem de apontamento I3, é possível, por exemplo, transmitir informação adicional para outros usuários e, e por meio disso, melhorar conveniência quando da operação de apontamento.
[0093] Fig. 17 à Fig. 18B são vistas ilustrando exemplos da imagem sobreposta I4 incluindo a imagem de apontamento I3 de um modo diferente. Com o exemplo ilustrado na Fig. 17, o usuário forma um anel dobrando o polegar e o dedo indicador e move o anel da esquerda para a direita em frente do aparelho de exibição 102 desenhando uma onda. Então, o terminal de usuário reconhece a forma do objeto de apontamento H, e gera a imagem sobreposta I4 incluindo a imagem de apontamento I3 mostrando a caricatura correspondente ao usuário de acordo com a modo coincidindo com a forma reconhecida. Enquanto isso, a imagem de apontamento I3 mostra a caricatura de acordo com um modo que permita reconhecimento claro da caricatura. Com a imagem sobreposta I4, conforme indicado por uma linha pontilhada na Fig. 17, a imagem de apontamento I3 se move um uma imagem de conteúdo IC em associação com o movimento do objeto de apontamento H.
[0094] Ao contrário disto, com os exemplos ilustrados na Fig. 18A e Fig. 18B, como ilustrado na Fig. 18A, o usuário primeiro move o dedo indicador da esquerda para a direita em frente do aparelho de exibição 102 desenhando uma onda em um estado onde o dedo indicador está esticado. Então, o terminal de usuário reconhece a forma do objeto de apontamento H, e gera a imagem sobreposta I4 incluindo a imagem de apontamento I3 representando a caricatura de acordo com um modo diferente da Fig. 17. Enquanto isso, a imagem de apontamento I3 mostra a caricatura de acordo com um modo que não permite reconhecimento claro da caricatura.
[0095] Além disso, como ilustrado na Fig. 18B, o usuário move o objeto de apontamento H e então faz um anel dobrando o polegar e o dedo indicador. Então, o terminal de usuário reconhece a mudança da forma do objeto de apontamento H, e gera a imagem sobreposta I4 incluindo a imagem de apontamento I3 representando a caricatura de acordo com o mesmo modo que na Fig. 17. Em adição, embora casos tenham sido descritos na Fig. 17 à Fig. 18B onde duas diferentes formas são reconhecidas, três ou mais diferentes formas podem ser reconhecidas.
[0096] Conforme descrito acima, com o sistema de conferência de televisão de acordo com uma modalidade da divulgação, cada terminal de usuário detecta a face F do usuário a partir da imagem capturada I1 e gera informação indicando a posição da face F, gera a imagem de apontamento I3 incluindo informação que permite a posição de apontamento do usuário ser especificada e informação de identificação do usuário, e gera e exibe a imagem sobreposta I4 na qual a imagem de apontamento I3 é sobreposta sobre a imagem de conteúdo IC com base na informação de posição. Além disso, pelo menos a imagem capturada I1 é transmitida para outros terminais de usuário para exibir a mesma imagem sobreposta I4 nos outros terminais de usuário. Por meio disto, entre usuários utilizando uma pluralidade de terminal de usuários, é possível prontamente apontar para uma posição arbitrária na informação de conteúdo que é comumente exibida, para outros usuários sem uma operação ou manipulação complicada.
[0097] Deve ser entendido por aqueles com qualificação na técnica que, várias modificações, combinações, subcombinações e alterações podem ocorrer dependendo dos requisitos de projeto e outros fatores na medida em que eles estejam dentro do escopo das reivindicações anexas ou das equivalentes delas.
[0098] Por exemplo, um caso foi descrito com a modalidade acima onde o terminal de usuário inclui o sistema de exibição 100 e o aparelho de processamento de informação 200, Contudo, como ilustrado na Fig. 19, o terminal de usuário pode incluir um aparelho de processamento de informação 250 no qual a configuração do sistema de exibição 100 é montada. Neste caso, o aparelho de processamento de informação 250 tem uma unidade de captura de imagem 252 (aparelho de captura de imagem) e uma unidade de exibição 254 (aparelho de exibição) em adição à configuração do aparelho de processamento de informação 200 ilustrado na Fig. 1. Em adição, pode haver aparelhos de processamento de informação do tipo montagem em sistema de exibição e aparelhos de processamento de informação do tipo separado no sistema de conferência de televisão em uma maneira misturada.

Claims (12)

1. Aparelho de processamento de informação, caracterizado pelo fato de compreender: uma unidade de detecção (204) para detectar um objeto de apontamento e uma face de um usuário em uma imagem capturada; uma unidade de geração (212) para gerar informação de posição indicando uma posição da face do usuário na imagem capturada, e para gerar informação de apontamento com base na detecção do objeto de apontamento pela unidade de detecção (204), em que a informação de apontamento indica uma posição do objeto de apontamento que é determinada usando um intervalo passível de ser apontado que o usuário pode apontar sem se mover, em que o intervalo passível de ser apontado é configurado com base na posição da face do usuário na imagem capturada, e em que a informação de apontamento inclui informação de identificação que permite o usuário ser identificado; e uma unidade de comunicação (210) para transmitir a informação de apontamento para um aparelho externo.
2. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que a informação de apontamento inclui uma porção da imagem capturada correspondendo ao objeto de apontamento detectado.
3. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente: uma unidade de captura de imagem (202) para capturar a imagem capturada.
4. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que o intervalo passível de ser apontado é baseado em uma posição do usuário distante de uma unidade de captura de imagem (202) que captura a imagem capturada.
5. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de detecção (204) detecta uma forma do objeto de apontamento.
6. Aparelho de processamento de informação, caracterizado pelo fato de compreender: uma unidade de comunicação (210) para receber proveniente de um aparelho externo informação de posição indicando uma posição de uma face de um usuário em uma imagem capturada e informação de apontamento incluindo informação de um objeto de apontamento na imagem capturada, em que a informação de apontamento indica uma posição do objeto de apontamento que é determinada usando um intervalo passível de ser apontado que o usuário pode apontar sem se mover, em que o intervalo passível de ser apontado é configurado com base na posição da face do usuário na imagem capturada, e em que a informação de apontamento inclui informação de identificação que permite o usuário ser identificado; e uma unidade de geração (212) para controlar exibição em uma tela de exibição (102) de uma imagem de apontamento correspondendo à informação de apontamento sobreposta em uma imagem de conteúdo.
7. Aparelho de acordo com a reivindicação 6, caracterizado pelo fato de que a informação de apontamento inclui uma porção da imagem capturada correspondendo ao objeto de apontamento, e a porção da imagem capturada é sobreposta como a imagem de apontamento.
8. Aparelho de acordo com a reivindicação 6, caracterizado pelo fato de que uma imagem determinada para corresponder ao objeto de apontamento é sobreposta como a imagem de apontamento de acordo com a informação de posição.
9. Aparelho de acordo com a reivindicação 8, caracterizado pelo fato de que a imagem determinada é uma imagem de cursor.
10. Aparelho de acordo com a reivindicação 6, caracterizado pelo fato de que a informação de apontamento indica uma forma do objeto de apontamento.
11. Aparelho de acordo com a reivindicação 10, caracterizado pelo fato de que a imagem de apontamento é de acordo com a forma do objeto de apontamento.
12. Aparelho de acordo com a reivindicação 10, caracterizado pelo fato de que a imagem de apontamento indica um usuário correspondendo ao objeto de apontamento com base na forma do objeto de apontamento.
BR112013007715-8A 2010-10-04 2011-10-03 Aparelho de processamento de informação BR112013007715B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-224959 2010-10-04
JP2010224959A JP5598232B2 (ja) 2010-10-04 2010-10-04 情報処理装置、情報処理システムおよび情報処理方法
PCT/JP2011/005567 WO2012046432A1 (en) 2010-10-04 2011-10-03 Information processing apparatus, information processing system and information processing method

Publications (2)

Publication Number Publication Date
BR112013007715A2 BR112013007715A2 (pt) 2016-08-09
BR112013007715B1 true BR112013007715B1 (pt) 2021-09-21

Family

ID=45927439

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112013007715-8A BR112013007715B1 (pt) 2010-10-04 2011-10-03 Aparelho de processamento de informação

Country Status (8)

Country Link
US (2) US9013535B2 (pt)
EP (1) EP2586203A4 (pt)
JP (1) JP5598232B2 (pt)
KR (1) KR101797260B1 (pt)
CN (1) CN103125115A (pt)
BR (1) BR112013007715B1 (pt)
RU (1) RU2598598C2 (pt)
WO (1) WO2012046432A1 (pt)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP5924407B2 (ja) * 2012-05-22 2016-05-25 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
WO2014073384A1 (ja) 2012-11-06 2014-05-15 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
JP6369101B2 (ja) 2013-06-28 2018-08-08 株式会社リコー 伝送端末、プログラム、画像表示方法、伝送システム
JP2015052895A (ja) * 2013-09-06 2015-03-19 株式会社東芝 情報処理装置及び情報処理方法
CN104301660A (zh) * 2014-10-31 2015-01-21 四川量迅科技有限公司 一种便携式图像通信设备
CN110366849B (zh) * 2017-03-08 2022-02-11 索尼公司 图像处理设备和图像处理方法
US20190004639A1 (en) * 2017-06-29 2019-01-03 Microsoft Technology Licensing, Llc Providing living avatars within virtual meetings
JP6714942B1 (ja) * 2020-03-04 2020-07-01 フォクレット合同会社 コミュニケーションシステム、コンピュータプログラム、及び情報処理方法
FR3139684A1 (fr) * 2023-01-09 2024-03-15 Artean Procédé de gestion d’une présentation et dispositif pour sa mise en œuvre
FR3139685A1 (fr) * 2023-01-09 2024-03-15 Artean Procédé de gestion des interventions de différents intervenants lors d’une présentation visualisée lors d’une visioconférence et dispositif pour sa mise en œuvre

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261920A (ja) * 1994-03-17 1995-10-13 Wacom Co Ltd 光学式位置検出装置および光学式座標入力装置
JPH07271818A (ja) * 1994-03-31 1995-10-20 Toshiba Corp ハイパーメディアシステム
JP3267047B2 (ja) * 1994-04-25 2002-03-18 株式会社日立製作所 音声による情報処理装置
US5675361A (en) * 1995-08-23 1997-10-07 Santilli; Donald S. Computer keyboard pointing device
JP3877188B2 (ja) * 1997-04-10 2007-02-07 株式会社ウェブマネー 電子通貨システム
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
TW417404B (en) * 1998-02-03 2001-01-01 Seiko Epson Corp Projection display device and method therefor, and an image display device
JPH11345087A (ja) * 1998-03-31 1999-12-14 Seiko Epson Corp プレゼンテ―ションシステム及び位置検出方法
JP3287312B2 (ja) * 1998-08-13 2002-06-04 日本電気株式会社 ポインティング装置
US6265993B1 (en) * 1998-10-01 2001-07-24 Lucent Technologies, Inc. Furlable keyboard
JP2000122767A (ja) * 1998-10-14 2000-04-28 Nippon Telegr & Teleph Corp <Ntt> 同室感を持つ共有空間作成方法及び装置ならびに通信システム
US7454125B2 (en) * 1999-01-04 2008-11-18 Lg Electronics Inc. Method and apparatus for recording search information and searching for recorded digital data streams using the search information
KR100329392B1 (ko) * 1999-01-04 2002-03-22 구자홍 기록 디지털 데이터 스트림의 탐색정보 기록방법 및 이를 이용한 탐색방법
US6791531B1 (en) * 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
US6577249B1 (en) * 1999-10-19 2003-06-10 Olympus Optical Co., Ltd. Information display member, position detecting method using the same, apparatus and method of presenting related information, and information presenting apparatus and information presenting method
AU2001227797A1 (en) * 2000-01-10 2001-07-24 Ic Tech, Inc. Method and system for interacting with a display
JP2001222375A (ja) * 2000-02-08 2001-08-17 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
JP3994672B2 (ja) * 2000-03-31 2007-10-24 セイコーエプソン株式会社 画像処理を用いた指示位置の検出
US6947073B1 (en) * 2000-04-14 2005-09-20 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for detecting a moving target
JP3539553B2 (ja) * 2000-05-30 2004-07-07 シャープ株式会社 アニメーション作成方法及びアニメーション作成装置並びにアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体
US6910778B2 (en) * 2001-09-28 2005-06-28 Fujinon Corporation Presentation system using laser pointer
EP1302891A1 (de) * 2001-10-12 2003-04-16 Siemens Aktiengesellschaft Vorrichtung zum Erfassen und Darstellen von Bewegungen
JP2003209821A (ja) * 2002-01-15 2003-07-25 National Institute Of Advanced Industrial & Technology 指示確認システム
US7239747B2 (en) * 2002-01-24 2007-07-03 Chatterbox Systems, Inc. Method and system for locating position in printed texts and delivering multimedia information
JP2003316510A (ja) * 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
JP4040046B2 (ja) * 2003-03-14 2008-01-30 富士通株式会社 ポインタ領域検出装置、方法及びプログラム、画像の対応付け装置、方法及びプログラム、並びにコンテンツ配信サーバ、コンテンツ配信方法
JP4103652B2 (ja) * 2003-03-27 2008-06-18 日本電気株式会社 情報重畳表示装置、情報重畳表示方法、および、情報重畳表示プログラム
JP2004318793A (ja) * 2003-04-17 2004-11-11 Kenichi Horie 操作者頭部を基準とする情報端末
US7496560B2 (en) * 2003-09-23 2009-02-24 Amazon Technologies, Inc. Personalized searchable library with highlighting capabilities
US7149353B2 (en) * 2003-09-23 2006-12-12 Amazon.Com, Inc. Method and system for suppression of features in digital images of content
WO2005031526A2 (en) * 2003-09-23 2005-04-07 Amazon.Com, Inc. Personalized searchable library based on user ownership
JP2005117285A (ja) * 2003-10-07 2005-04-28 Hitachi Ltd 情報入力装置、通信端末及び通信方法
JP2005352580A (ja) * 2004-06-08 2005-12-22 National Univ Corp Shizuoka Univ ポインタ制御信号発生方法及び装置
JP4677245B2 (ja) * 2004-03-03 2011-04-27 キヤノン株式会社 画像表示方法、プログラム、画像表示装置及び画像表示システム
KR100612691B1 (ko) * 2004-04-30 2006-08-16 에스케이 텔레콤주식회사 동영상 화질 평가시스템 및 방법
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
JP2006186589A (ja) * 2004-12-27 2006-07-13 Olympus Imaging Corp 表示制御装置及び表示制御方法
US7864159B2 (en) * 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
JP4162015B2 (ja) * 2006-05-18 2008-10-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
TW200802036A (en) * 2006-06-01 2008-01-01 Micro Nits Co Ltd Input method of a pointer input system
US20070291108A1 (en) 2006-06-16 2007-12-20 Ericsson, Inc. Conference layout control and control protocol
RU2398362C2 (ru) * 2006-06-16 2010-08-27 Эрикссон Аб Соединение независимых мультимедийных источников в конференц-связь
US8791994B2 (en) * 2006-06-29 2014-07-29 Nikon Corporation Replay device, replay system, and television set
JP4689548B2 (ja) * 2006-07-19 2011-05-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US8234578B2 (en) * 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
US20080172627A1 (en) * 2006-12-28 2008-07-17 Sharp Kabushiki Kaisha Information display apparatus, information providing server, information display system, method for controlling information display apparatus, method for controlling information providing server, control program and recording medium
US7924273B2 (en) * 2006-11-06 2011-04-12 Toshiba Matsushita Display Technology Co., Ltd. Display apparatus with optical input function
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
JP4826512B2 (ja) * 2007-03-12 2011-11-30 セイコーエプソン株式会社 表示装置及び電子機器
WO2008123500A1 (ja) * 2007-03-30 2008-10-16 National Institute Of Information And Communications Technology 空中映像インタラクション装置及びそのプログラム
JP4867766B2 (ja) * 2007-04-05 2012-02-01 セイコーエプソン株式会社 液晶装置、イメージセンサ、及び電子機器
US20130187854A1 (en) * 2007-05-26 2013-07-25 Moon Key Lee Pointing Device Using Camera and Outputting Mark
JP5380789B2 (ja) * 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8089476B2 (en) * 2007-08-01 2012-01-03 Sony Corporation Liquid crystal device
JP4829855B2 (ja) * 2007-09-04 2011-12-07 キヤノン株式会社 画像投影装置及びその制御方法
JP5294612B2 (ja) * 2007-11-15 2013-09-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想共有空間における参照マークの自動生成方法、装置及びプログラム
JP4462334B2 (ja) * 2007-11-16 2010-05-12 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報共有システム
JP4958759B2 (ja) * 2007-12-18 2012-06-20 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体
KR100952699B1 (ko) * 2008-03-10 2010-04-13 한국표준과학연구원 촉각센서를 이용한 터치스크린장치의 풀브라우징 표시방법
KR101032632B1 (ko) * 2008-04-01 2011-05-06 한국표준과학연구원 작용힘에 따른 사용자 인터페이스의 제공방법 및 기록매체
US8144241B2 (en) * 2008-04-04 2012-03-27 Sony Corporation Imaging apparatus, image processing apparatus, and exposure control method
DE112008003807T5 (de) 2008-04-09 2011-02-10 Hewlett-Packard Development Company, L.P., Houston Ferngesteuertes Zeigen
GB0808061D0 (en) * 2008-05-02 2008-06-11 Univ Teeside Computer input device
JP2010011364A (ja) * 2008-06-30 2010-01-14 Canon Inc 画像出力システムおよびその制御方法、画像入力装置およびその制御方法、ならびに、画像出力装置およびその制御方法
FI20085794A0 (fi) * 2008-08-26 2008-08-26 Multitouch Oy Vuorovaikutteinen näyttölaite
KR100912109B1 (ko) * 2008-08-27 2009-08-13 왕상주 멀티미디어 컨텐츠를 송신하는 장치, 멀티미디어 컨텐츠를 중계하는 시스템 및 그 방법
JP2010098542A (ja) * 2008-10-16 2010-04-30 Sony Corp 情報処理装置、表示装置、および情報処理システム
JP5310007B2 (ja) * 2008-10-16 2013-10-09 ソニー株式会社 情報処理システム、表示装置、出力装置および情報処理装置
JP4666060B2 (ja) * 2008-11-14 2011-04-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP5369702B2 (ja) * 2009-01-23 2013-12-18 セイコーエプソン株式会社 共有情報表示装置、共有情報表示方法およびコンピュータプログラム
JP5233708B2 (ja) * 2009-02-04 2013-07-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5113781B2 (ja) * 2009-02-17 2013-01-09 シャープ株式会社 テレビ電話装置
US20100278071A1 (en) * 2009-04-29 2010-11-04 Tomoki Hattori Method and apparatus for discovering a device on a network
JP5361567B2 (ja) * 2009-06-25 2013-12-04 キヤノン株式会社 データ処理装置、データ処理方法およびプログラム
JP2011028560A (ja) * 2009-07-27 2011-02-10 Sony Corp 情報処理装置、表示方法及び表示プログラム
US8264518B2 (en) * 2009-09-28 2012-09-11 Cisco Technology, Inc. Gesture-based actions in a video communication session
CN102148922B (zh) * 2010-02-08 2013-01-16 联想(北京)有限公司 一种电子设备、图像采集装置及图像采集控制方法
CN102667689B (zh) * 2010-02-09 2015-06-03 多点触控有限公司 交互式显示器
WO2011151965A1 (ja) * 2010-06-03 2011-12-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
TWI446218B (zh) * 2010-06-30 2014-07-21 Pixart Imaging Inc A method of switching the range of interactive pointing devices and a handover fetch for interactive pointing devices
US8269750B2 (en) * 2010-08-13 2012-09-18 Omnivision Technologies, Inc. Optical position input system and method
JP5829390B2 (ja) * 2010-09-07 2015-12-09 ソニー株式会社 情報処理装置、および情報処理方法
US20120066624A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Method and apparatus for controlling movement of graphical user interface objects
US20120066640A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Apparatus for providing multi-mode warping of graphical user interface objects
JP5740972B2 (ja) * 2010-09-30 2015-07-01 ソニー株式会社 情報処理装置および情報処理方法
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP5817400B2 (ja) * 2011-09-30 2015-11-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6196017B2 (ja) * 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
EP2804372A4 (en) * 2012-01-13 2015-09-16 Sony Corp DATA PROCESSING DEVICE, METHOD FOR DATA PROCESSING, AND COMPUTER PROGRAM
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
EP2927902A4 (en) * 2012-11-27 2016-07-06 Sony Corp DISPLAY DEVICE, DISPLAY PROCESS AND COMPUTER PROGRAM
JP2014217032A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
WO2012046432A1 (en) 2012-04-12
RU2598598C2 (ru) 2016-09-27
CN103125115A (zh) 2013-05-29
KR101797260B1 (ko) 2017-12-12
EP2586203A4 (en) 2015-11-11
RU2013113749A (ru) 2014-10-10
US9013535B2 (en) 2015-04-21
US9860484B2 (en) 2018-01-02
JP5598232B2 (ja) 2014-10-01
US20130314489A1 (en) 2013-11-28
EP2586203A1 (en) 2013-05-01
JP2012079167A (ja) 2012-04-19
US20150222851A1 (en) 2015-08-06
BR112013007715A2 (pt) 2016-08-09
KR20130115094A (ko) 2013-10-21

Similar Documents

Publication Publication Date Title
BR112013007715B1 (pt) Aparelho de processamento de informação
US10074217B2 (en) Position identification method and system
CN107491174B (zh) 用于远程协助的方法、装置、***及电子设备
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
US9268410B2 (en) Image processing device, image processing method, and program
CN109565542B (zh) 电子装置及其控制方法
EP3001406A1 (en) Display control device, display control method, and recording medium
EP3496036A1 (en) Structural modeling using depth sensors
WO2015161653A1 (zh) 一种终端操作方法及终端设备
EP3001407A1 (en) Display control device, display control method, and recording medium
US9081430B2 (en) Pointing control device, integrated circuit thereof and pointing control method
JP7005161B2 (ja) 電子機器及びその制御方法
US10074216B2 (en) Information processing to display information based on position of the real object in the image
US9760264B2 (en) Method and electronic device for synthesizing image
US10817054B2 (en) Eye watch point tracking via binocular and stereo images
JP6260241B2 (ja) ユーザの入力を受け付けるシステム、プログラムおよび方法
JP2012238293A (ja) 入力装置
US20140071349A1 (en) Method, apparatus, and computer program product for changing a viewing angle of a video image
US20140043445A1 (en) Method and system for capturing a stereoscopic image
US11100903B2 (en) Electronic device and control method for controlling a display range on a display
US20130201157A1 (en) User interface device and method of providing user interface
JP7005160B2 (ja) 電子機器及びその制御方法
JP2018084951A (ja) 行動解析装置及び行動解析方法
US11327575B2 (en) Methods and systems for positioning and controlling sound images in three-dimensional space
JP2016018513A (ja) 情報入力装置

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: A CLASSIFICACAO ANTERIOR ERA: H04N 7/173

Ipc: H04N 7/14 (2006.01), G06F 3/01 (2006.01), G06F 3/0

B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 03/10/2011, OBSERVADAS AS CONDICOES LEGAIS.

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: REFERENTE A 12A ANUIDADE.

B24J Lapse because of non-payment of annual fees (definitively: art 78 iv lpi, resolution 113/2013 art. 12)

Free format text: EM VIRTUDE DA EXTINCAO PUBLICADA NA RPI 2743 DE 01-08-2023 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDA A EXTINCAO DA PATENTE E SEUS CERTIFICADOS, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.