ES2669869T3 - Retroalimentación del seguimiento del usuario - Google Patents
Retroalimentación del seguimiento del usuario Download PDFInfo
- Publication number
- ES2669869T3 ES2669869T3 ES11798639.8T ES11798639T ES2669869T3 ES 2669869 T3 ES2669869 T3 ES 2669869T3 ES 11798639 T ES11798639 T ES 11798639T ES 2669869 T3 ES2669869 T3 ES 2669869T3
- Authority
- ES
- Spain
- Prior art keywords
- user
- game
- feedback
- tracking
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004044 response Effects 0.000 claims abstract description 38
- 230000009471 action Effects 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000008450 motivation Effects 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 230000033001 locomotion Effects 0.000 description 87
- 230000000007 visual effect Effects 0.000 description 18
- 241000282414 Homo sapiens Species 0.000 description 15
- 238000012360 testing method Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000036544 posture Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 210000002414 leg Anatomy 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000013481 data capture Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- PGOOBECODWQEAB-UHFFFAOYSA-N (E)-clothianidin Chemical compound [O-][N+](=O)\N=C(/NC)NCC1=CN=C(Cl)S1 PGOOBECODWQEAB-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000288673 Chiroptera Species 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
- G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
Abstract
Un método (700), realizado por un sistema implementado por ordenador que ejecuta una aplicación de juego que sigue las acciones del usuario para controlar un objeto presentado de un juego, para proporcionar retroalimentación a un usuario sobre la capacidad del sistema para seguir las acciones del usuario que comprende: la detección (702) del usuario en un área de captura con un sistema (20) de captura de imagen; el seguimiento (704) de al menos una parte del cuerpo del usuario en base a los datos generados por el sistema (20) de captura; en respuesta a la determinación de que la parte del cuerpo del usuario que puede controlar el objeto presentado está al menos de manera parcial fuera del campo de visión del sistema de captura de imagen, la determinación (706) de una respuesta contextual de retroalimentación a ser proporcionada dentro del contexto de la aplicación de juego, siendo dicha respuesta de retroalimentación contextual una acción contextual en el juego que cambia al menos una acción de un objeto en el elemento de presentación para proporcionar una motivación al usuario para mover la parte del cuerpo hacia el campo de visión, en donde la respuesta contextual de retroalimentación se determina en base a un perfil del usuario; y la emisión (708) de la respuesta contextual de retroalimentación al usuario en el elemento de presentación.
Description
5
10
15
20
25
30
35
40
45
50
DESCRIPCION
Retroalimentación del seguimiento del usuario Antecedentes
En un entorno informático típico, un usuario tiene un dispositivo de entrada tal como un teclado, un ratón, una palanca de mando o similar, que se puede conectar al entorno informático mediante una conexión por línea, cable, inalámbrica o similar, o algún otro medio de conexión. Si el control del entorno informático se hubiera de desplazar desde un controlador conectado a un control basado en gestos, particularmente como en una interfaz de usuario natural (NUI), el usuario ya no tiene un dispositivo conectado para informar con una gran consistencia al entorno informático acerca de una instrucción de control para una aplicación.
Por ejemplo, cuando un entorno informático tiene una entrada establecida tal como un controlador o un teclado, un usuario puede determinar que tiene un controlador conectado a un puerto, que está presionando teclas o botones y que el sistema está respondiendo. Cuando el control sobre el entorno informático se cambia a los gestos de un usuario, la detección de los gestos se puede inhibir o producir una respuesta subóptima de la aplicación debido a las características visuales o auditivas del área de captura de los movimientos corporales del usuario a diferencia de un controlador. La incapacidad de detectar de manera apropiada los gestos puede frustrar al usuario al interactuar con una aplicación en ejecución. Por ejemplo, se puede frustrar su participación en un juego que es ejecutado por la aplicación.
El documento US 2008/0030460 A1 (Hildreth et al.) describe un método para usar visión en estéreo para interactuar con un ordenador. Esto incluye la captura de una imagen en estéreo, y el procesamiento de la imagen en estéreo para determinar la información de la posición de un objeto en la imagen en estéreo. El objetivo es controlado mediante un usuario. En una realización, un detector de imagen o video cámara adquiere las imágenes en estéreo de una región de interés y la escena circundante. Los objetos detectados por el detector de imagen se pueden excluir de consideración si sus posiciones están fuera de la región de interés. El documento US 2009/0228841 A1 (Hildreth) describe un sistema de manipulación de imágenes mejorado basado en los gestos. Este narra también un proceso para orientar o alinear el objeto de control del usuario con una posición objetivo en un espacio libre que facilita o mejora futuros reconocimientos de gestos. Con este fin, un enfoque es presentar inicialmente una representación del usuario fuera de una región central de la interfaz de usuario, y una imagen objetivo en dicha región central, para indicar al usuario que alinee su representación con la imagen objetivo mediante el movimiento de su cuerpo. El documento US 2009/0133051 A1 (Hildreth) se relaciona con las técnicas para controlar de manera automática y pasiva el acceso al contenido de televisión y video.
Compendio
Es un objetivo proporcionar retroalimentación a un usuario sobre la capacidad de una aplicación en ejecución para seguir la acción de un usuario para control la aplicación en ejecución en un sistema informático. Esto se soluciona mediante el tema de las reivindicaciones independientes. Las realizaciones preferidas se describen mediante las reivindicaciones dependientes. En un ejemplo, un sistema de captura detecta a un usuario en un área de captura. En respuesta a los criterios de seguimiento del usuario que no se satisfacen, se emite una retroalimentación al usuario. En algunos ejemplos, la retroalimentación puede ser un indicador de audio. En otros ejemplos, se proporcionan indicadores visuales como retroalimentación para recomendar al usuario tomar una acción para satisfacer los criterios de seguimiento. En algunas realizaciones, la retroalimentación se proporciona dentro del contexto de una aplicación en ejecución. En una realización, se presenta la tecnología para ayudar al usuario a seleccionar un área de captura. De manera adicional, la selección de una respuesta de retroalimentación se puede determinar según los criterios de algunas realizaciones.
Este Compendio se proporciona para introducir una selección de conceptos de una forma simplificada que se describirán de manera adicional a continuación en la Descripción Detallada. Este compendio, no está destinado a identificar las características clave o las características esenciales del tema reivindicado, ni está destinado a ser usado como una ayuda para determinar el alcance del tema reivindicado.
Breve descripción de los dibujos
La Figura 1A ilustra una realización de ejemplo de un sistema de reconocimiento, análisis y seguimiento de objetivos en el que pueden operar las realizaciones tecnológicas para proporcionar la retroalimentación de usuario.
La Figura 1B ilustra otro ejemplo de una respuesta de retroalimentación del seguimiento de usuario para sugerir al usuario tomar una acción para satisfacer los criterios de seguimiento.
La Figura 1C ilustra algunos ejemplos de factores de visibilidad.
La Figura 1D ilustra otra realización en la que un usuario que sujeta un objeto interactúa con una realización de un sistema de reconocimiento, análisis, y seguimiento del objetivo.
5
10
15
20
25
30
35
40
45
50
La Figura 1E ilustra un ejemplo de los indicadores visuales que pueden informar al usuario cuando está demasiado cerca o fuera de un límite.
Las Figuras 1F y 1G ilustran ejemplos adicionales de indicadores visuales que informan a un usuario de que están fuera del campo de visión de un dispositivo de captura.
La Figura 2 es una realización ilustrativa de una arquitectura funcional implementada por ordenador para un sistema para proporcionar retroalimentación del seguimiento del usuario.
La Figura 3A ilustra un ejemplo detallado de una realización de un entorno informático que se puede usar en una consola de juegos como en las FIG. 1A-1E en las que pueden operar una o más realizaciones para proporcionar la retroalimentación del seguimiento del usuario.
La Figura 3B ilustra otra realización de ejemplo de un entorno informático tal como un ordenador personal.
La Figura 4 ilustra una realización de ejemplo de un entorno informático en red en el que pueden operar una o más realizaciones para proporcionar la retroalimentación del seguimiento del usuario a un usuario.
La Figura 5 representa un modelo de un usuario humano que se puede crear basado en los datos de imagen capturados y usar para el seguimiento de los movimientos del usuario.
La Figura 6 representa algunos ejemplos de gestos.
La Figura 7 es un diagrama de flujo de una realización del método para proporcionar retroalimentación a un usuario sobre la capacidad de una aplicación de seguir el movimiento del usuario.
La Figura 8 es un diagrama de flujo de una realización del método para ayudar a un usuario a seleccionar un área de captura.
Descripción detallada
Se presenta la tecnología para proporcionar retroalimentación a un usuario sobre la capacidad de una aplicación en ejecución de seguir las acciones de un usuario para controlar la aplicación en ejecución en un sistema informático. Un ejemplo de un factor de distinción que puede afectar la capacidad de seguir a un usuario es cuando una parte del cuerpo del usuario que controla un objeto presentado está al menos de manera parcial fuera del campo de visión del sistema de captura de imágenes. Otros factores incluyen los factores ambientales tales como el efecto de la iluminación, ciertos tipos de obstrucciones y factores de audio tales como el volumen y la distinción del habla (por ejemplo sílabas o palabras).
En algunas realizaciones, la tecnología presenta respuestas de retroalimentación que son sugerencias explícitas a un usuario. En otras realizaciones, la retroalimentación es sutil o implícita siendo proporcionada dentro del contexto de una aplicación en ejecución. Por ejemplo, cuando un usuario está demasiado cerca de un límite del campo de visión de un sistema de captura, un objeto tal como un monstruo aterrador aparece dentro de la escena en el lado de proyección cercano al límite. El usuario está motivado a moverse lejos del límite del campo de visión hacia el centro del campo de visión para escapar del monstruo.
Ejemplos de factores tras los cuales se puede determinar la respuesta de retroalimentación se discuten de manera adicional a continuación.
La Figura 1A ilustra una realización de ejemplo de un sistema 10 de reconocimiento, análisis y seguimiento de un objetivo con un usuario 18 jugando a un juego en el que pueden operar las realizaciones tecnológicas para proporcionar la retroalimentación de usuario. En este ejemplo, el sistema 10 de reconocimiento, análisis y seguimiento de objetivos reconoce a los seres humanos en su entorno natural, sin tener acoplados a los sujetos dispositivos de detección especiales. Sin embargo, se puede aplicar la tecnología a otros mecanismos de seguimiento de usuarios tales como un sistema basado en sensores en el que el usuario lleve sensores.
Según la realización de ejemplo, el objetivo puede ser un objetivo humano (por ejemplo el usuario 18), un objetivo humano con un objeto, dos o más objetivos humanos, o similares que puedan ser escaneados para generar un modelo tal como un modelo esquelético, un modelo humano de malla, o cualquier otra representación adecuada del mismo. El modelo puede ser seguido de manera tal que los movimientos físicos o los gestos del objetivo puedan actuar como una interfaz de usuario en tiempo real que ajuste y/o controle los parámetros de una aplicación. Además, el modelo se puede presentar a aplicaciones como un modelo y ser entregado a ellas en tiempo real. Por ejemplo, los gestos seguidos de un usuario se pueden usar para mover un personaje en pantalla o un avatar en un juego electrónico de rol.
En un ejemplo en el que el modelo es un modelo esquelético multi punto, el sistema 10 de reconocimientos, análisis, y seguimiento de objetivos sigue de manera eficiente a los humanos y sus movimientos naturales en base a los modelos de mecánica y capacidades naturales del sistema muscular y esquelético humano. El sistema 10 de
5
10
15
20
25
30
35
40
45
50
55
ejemplo también reconoce de manera única a los individuos para permitir a múltiples personar interactuar con el sistema a través de los movimientos naturales de sus extremidades y cuerpos.
Los movimientos de un usuario se pueden seguir hasta un avatar que puede ser una imagen generada por ordenador que represente a un usuario que normalmente es un humano. El avatar puede representar una imagen del usuario que sea altamente representativa de como se ve el usuario o puede ser un personaje (por ejemplo humano, fantástico, animal, u objeto animado) con cierto grado de parecido con el usuario o ninguno.
Específicamente, la Figura 1A, ilustra una realización de ejemplo de una configuración de un sistema 10 de reconocimiento, análisis y seguimiento de objetivos con un usuario 18 que juega un juego de boxeo. En este ejemplo, el software que se ejecuta en un sistema 12 informático que controla o interactúa con software sobre otros sistemas informáticos del sistema 20 de cámara acoplado de manera comunicativa y la unidad 16 de presentación audiovisual sigue los movimientos del usuario 18 en base a los datos de imagen capturados y los analiza para recibir instrucciones ya que los gestos del usuario controlan de manera directa las acciones de su avatar asociado en tiempo real. Por tanto, en este ejemplo, el usuario 18 puede mover su cuerpo para controla su avatar 24 en la pantalla 14 de presentación en el juego de boxeo contra su avatar 22 oponente.
El sistema 16 de presentación audiovisual puede ser un sistema de presentación avanzado tal que una televisión de alta definición (HDTV). En otras realizaciones, el elemento de presentación puede ser un elemento de presentación de baja resolución, algunos ejemplos de los cuales incluyen una televisión, un monitor de ordenador, o un elemento de presentación de un dispositivo móvil- El sistema 16 audiovisual puede recibir las señales audiovisuales del sistema 12 informático sobre una interfaz de comunicación (por ejemplo un cable S-Video, un cable coaxial, un cable HDMI, un cable DVI, un cable VGA) y puede emitir después las imágenes y/o el audio de la aplicación asociadas con las señales audiovisuales al usuario 18.
Un gesto comprende un movimiento o postura que actúe como una entrada de usuario para controlar una aplicación en ejecución. A través del movimiento de su cuerpo, un usuario puede crear gestos. Por ejemplo, un usuario puede ser capturado en datos de imágenes. Un gesto identificado del usuario se puede analizar para implicar un control de una aplicación o acción a realizar. Por ejemplo, el usuario 18 lanza un golpe en el juego de boxeo de la Figura 1A. La aplicación del juego lo representa en el combate de boxeo, determina si hace contacto sobre el avatar 22 y aumenta la puntuación del usuario si es así. Un gesto puede ser una postura estática, tal como sostener los antebrazos cruzados en frente de su torso o puede ser uno o más movimientos. Además un gesto puede comprender más de una parte del cuerpo, tal como aplaudir las manos entre sí.
Por ejemplo, el sistema 10 de reconocimiento, análisis y seguimiento de objetivos se puede usar para reconocer y analizar un puñetazo del usuario 18 en el área de captura 30 de manera tal que se pueda interpretar el puñetazo como un gesto, en este caso un control de juego de un puñetazo para su avatar 24 de jugador a realizar en el espacio de juego. Otros gestos del usuario 18 se pueden interpretar como otros controles o acciones, tales como controles para sacudir, zigzaguear, arrastras los pies, bloquear, golpear o lanzar una variedad de diferentes puñetazos. Mediante el seguimiento de los puñetazos y los golpes del usuario 18, la aplicación de software del juego de boxeo determina la puntuación del avatar 24 y qué avatar (22 o 24) ganará el combate. Las diferentes aplicaciones reconocerán y seguirán los diferentes gestos. Por ejemplo, se sigue un lanzamiento de un usuario en un juego de béisbol para determinar si es un strike o una bola.
Según otras realizaciones de ejemplo, el sistema 10 basado en gestos se puede usar además para interpretar los movimientos del objetivo como los controles de un sistema operativo y/o una aplicación que están fuera del ámbito de los juegos. Por ejemplo, de manera virtual cualquier aspecto controlable de una sistema operativo y/o una aplicación se puede controlar mediante los movimientos de un objetivo tal como el usuario 18.
El sistema 20 de cámara captura datos de imágenes del usuario en un área 30 de captura dentro del campo de visión del sistema 20 de cámara. En este ejemplo, el área 30 de captura en el campo de visión del sistema 20 de cámara es un trapezoide 30, que desde una perspectiva de usuario, tiene una línea 30f más corta que el frontal del área de captura, una línea 30b negra (por ejemplo una pared puede formar esta línea) y un lado 30l izquierdo y un lado 30r derecho. El campo de visión puede tener diferentes geometrías. Por ejemplo, los límites y las obstrucciones del área de captura pueden afectar a su geometría. Por ejemplo, si los usuarios están jugando en un gimnasio, la pared trasera puede estar mucho más atrás por lo que el campo de visión tiene más forma de cono que trapezoidal. En otros ejemplos, el tipo de lente de la cámara puede afectar al campo de visión también.
En la Figura 1A, el usuario se muestra en una posición 18b previa o anterior en la que parte de su cuerpo está fuera del área 30 de captura en el límite 30l izquierdo. La posición del usuario 18 en su posición actual está más cerca del centro del área 30 de captura y del campo de visión de la cámara. Como se discutirá con un mayor detalle más adelante, la retroalimentación en el contexto de la aplicación se proporciona para sugerir al usuario o motivar al usuario a moverse a su derecha. La posición del otro avatar 22 se puede mover a la derecha de la pantalla para que el usuario 18 necesite moverse para golpearle. En otro ejemplo, la perspectiva de la vista desplegada se puede cambiar desde una vista de perspectiva izquierda a una vista de perspectiva derecha del avatar 22 oponente. En la vista de perspectiva derecha, si el usuario 18 se queda en la posición 18b, su avatar bloqueará la vista de su avatar 22 oponente. Esta acción alienta al usuario 18 para moverse a la derecha para ver mejor a su avatar 22 oponente.
5
10
15
20
25
30
35
40
45
50
55
Se pueden usar también uno o más elementos de presentación fuera de pantalla para proporcionar retroalimentación de seguimiento del usuario. En el ejemplo ilustrado, una luz 32 de un elemento de presentación tal como un diodo emisor de luz (LED) puede ser satisfecha con un usuario concreto. Por ejemplo, se pueden usar diferentes colores para mostrar la calidad del seguimiento. El amarillo puede ser una advertencia; el verde puede ser satisfactorio; el rojo puede indicar un problema. En otro ejemplo, los diferentes patrones de iluminación pueden indicar la calidad del seguimiento. Por ejemplo, cada luz se puede asociar con un límite del campo de visión. Si un elemento de luz toma un determinado color, el color es la retroalimentación de que un usuario esté demasiado cerca del límite.
La Figura 1B ilustra otro ejemplo de una respuesta de retroalimentación del seguimiento de usuarios para sugerir al usuario tomar una acción para satisfacer un criterio de seguimiento. El cambio en la apariencia de una avatar se puede usar para informar a un usuario de un problema de seguimiento. El avatar 24 está resaltado en este ejemplo. Además, la retroalimentación explícita en forma de flecha 33 es un ejemplo de un indicador visual. En este ejemplo, la retroalimentación recomienda al usuario asociado con el avatar 24 moverse a la derecha. Estos indicadores visuales son ejemplos de retroalimentación del seguimiento de usuarios independiente de la aplicación ya que no están vinculados al contexto de la aplicación.
El contexto de una aplicación comprende la actividad que es el propósito de la aplicación. Por ejemplo, en una aplicación de interfaz de usuario de un menú, abrir o cerrar un fichero sería contextual a la aplicación. Los avatares y los objetos de la escena que se mueven según la acción de un juego son contextuales al juego. Algunos ejemplos de acciones que son contextuales en una aplicación de juego son lanzar un puñetazo, la llegada de un nuevo enemigo o monstruo así como un obstáculo, donde una bola es lanzada o cogida, un cambio en el escenario según se mueve un avatar o la vista de un usuario a través de un entorno virtual, o el cambio de dirección o de perspectiva de la vista de la acción del juego de un usuario.
La Figura 1C ilustra algunos ejemplos de factores de visibilidad. La luz del sol 45 que entra a través de la ventana 44 puede provocar que la iluminación ambiente sea un problema de visibilidad para el sistema 20 de cámara. Un medidor de luz del sistema 20 de captura de imagen puede indicar que el usuario está siendo arrastrado fuera de los datos de imagen. De manera alternativa, podría ser demasiado oscuro.
La mesa 15 de café es un ejemplo de una obstrucción que puede bloquear una parte del cuerpo del usuario. El juego de boxeo puede tener dificultad detectando el gesto de arrastrar los pies en el boxeo debido a que las piernas
18 del usuario están siendo parcialmente oscurecidas por la mesa de café.
La Figura 1D ilustra otra realización en la que un usuario que sostiene un objeto interactúa con una realización de ejemplo de un sistema 10 de reconocimiento, análisis, y seguimiento de objetivos. En dichas realizaciones, el usuario 19 de un juego electrónico puede estar sosteniendo el objeto de manera tal que los movimientos del usuario
19 y del objeto 21 se pueden usar para ajustar y/o controlar los parámetros del juego, tales como, por ejemplo, golpear una bola 68 en pantalla. En otros ejemplos, el movimiento de un usuario que sostiene una raqueta 21 se puede seguir y utilizar para controlar una raqueta en pantalla en un juego de deportes electrónico. En otra realización de ejemplo, el movimiento de un usuario que sostiene un objeto se puede seguir y utilizar para controlar un arma en pantalla en un juego de combate electrónico. Cualquier otro objeto se puede incluir también tal como uno o más guantes, bolas, bates, garrotes, guitarras, micrófonos, palos, mascotas, animales, tambores y similares.
La Figura 1D ilustra otro ejemplo de uso de retroalimentación en el contexto de una aplicación para proporcionar una sugerencia o una motivación a un usuario para moverse a una posición mejor dentro del campo de visión del sistema 20 de cámara. El usuario en la posición 19b se ha movido demasiado lejos a la izquierda con respecto a la cámara por lo que su parte superior del cuerpo que incluye su brazo derecho y la raqueta 21 están fuera del límite 30l izquierdo del campo de visión. Un bola 68b entrante anterior se hubo de presentar en la esquina superior izquierda de la pantalla. La aplicación en ejecución para este juego coloca la siguiente bola 68 entrante en el medio del elemento de presentación para motivar al usuario 19 a moverse al centro del campo de visión que cubre el área 30 de captura lo cual el usuario 19 ha hecho como se ilustra en su posición actual 19.
Se debería tener en cuenta que la Figura 1D presenta una alternativa en donde no se representa una representación del usuario en pantalla. En la Figura 1D, el usuario puede estar jugando al tenis en primera persona, viendo la bola representada en pantalla y, en un ejemplo, todo o una parte de la raqueta que golpea la bola, pero no se representa el avatar del usuario en pantalla o sólo se representa una parte de las partes del cuerpo del usuario.
La Figura 1E ilustra un ejemplo de indicadores visuales que pueden informar a un usuario cuando está demasiado cerca o fuera de un límite. De manera particular para un usuario que sea un niño muy pequeño, los objetos presentados 28l (para problemas con el límite izquierdo) y 28r (para problemas con el límite derecho) se pueden retroalimentar para informar al usuario de moverse de nuevo al centro del campo de visión. Indicadores visuales similares se pueden usar con los límites frontal y trasero también. De manera opcional, se puede asociar un sonido con cada indicador visual según aparece o después de un cierto número de infracciones de límite.
La Figura 1F ilustra otro ejemplo de un indicador visual donde un usuario 19u está jugando un juego de bolos y un brazo 19-l del usuario se mueve fuera del campo de visión. En la representación 28b en pantalla, el brazo 28A del
5
10
15
20
25
30
35
40
45
50
55
60
usuario está desvanecido para mostrar al usuario que el brazo está fuera del campo de visión de la cámara. Otras alternativas para cambiar la apariencia en pantalla del usuario o de los elementos en los que participa el usuario incluyen el cambio de color de toda o parte de la representación en pantalla del usuario, el cambio del foco de la representación del usuario (por ejemplo haciendo la representación en pantalla difuminada o desvanecida).
Aún otro ejemplo que se muestra en la Figura 1G tiene un gráfico 29 de advertencia ilustrado en la esquina superior izquierda del elemento de presentación 16. El gráfico presenta una pequeña representación del usuario 34 y del campo 35 de visión, y puede destellar de manera constante o intermitente cuando el usuario se mueve fuera del campo de visión.
El software que proporciona la retroalimentación del seguimiento del usuario puede proporcionar entrenamiento para el usuario en el elemento de presentación para ayudar al usuario a adquirir un sentido de los límites del área de captura y qué significan las diferentes respuestas de retroalimentación. Un sonido determinado se puede identificar con ser centrado en el campo de visión o tener una buena visibilidad, mientras que otro sonido indica que el usuario está demasiado cerca de un límite o que existe una obstrucción u otro efecto o elemento que degrada la calidad del seguimiento.
En un ejemplo, la calidad de seguimiento o los criterios de seguimiento se pueden basar en cuántos gestos no fueron capaces de ser identificados en un periodo de tiempo dado mientras se ha establecido la presencia y participación del usuario con el sistema de reconocimiento y seguimiento del objetivo. La calidad de seguimiento o los criterios de seguimiento se pueden basar en detectar la presencia y la participación, pero no ser capaz de reconocer una parte del cuerpo clave en los datos de imagen para la aplicación tal como, por ejemplo, un brazo en un juego de béisbol. Junto con los factores de visibilidad que afectan a la calidad o los criterios de seguimiento, los factores de distinción pueden aplicar también factores de audio tal como algunas aplicaciones dependen de una característica del cuerpo tal como la voz y no sólo de los movimientos de las características del cuerpo que son partes del cuerpo.
La Figura 2 es una realización ilustrativa de una arquitectura funcional implementada por ordenador para un sistema 200 para proporcionar retroalimentación del seguimiento de usuarios. Dicho sistema de arquitectura se puede implementar como uno o más módulos que se pueden operar por software que se ejecutan en uno o más procesadores y/o hardware informático o como hardware o firmware.
La tecnología se puede realizar en otras formas específicas sin salir del espíritu de las características esenciales de la misma. Igualmente, el nombramiento particular y la división de módulos, rutinas, características, atributos, metodologías y otros aspectos no son obligatorios, y los mecanismos que implementan la tecnología o sus características pueden tener diferentes nombres, divisiones y/o formatos. Además, como será evidente para alguien de conocimiento ordinario en la técnica relevante, los módulos, rutinas, atributos, metodologías y otros aspectos de las realizaciones descritas se pueden implementar como software, hardware, firmware o cualquier combinación de los tres. Por supuesto, donde quiera que un componente, un ejemplo del cual es un módulo, se implemente como software, el componente se puede implementar como un programa autónomo, como parte de un programa mayor, como una pluralidad de programas separados, como una librería enlazada de manera estática o dinámica, como un módulo cargable de núcleo, como un controlador de dispositivo, y/o en todas y cada una de las otras maneras conocidas ahora o en el futuro por aquellos de habilidad ordinaria en el arte de la programación. Por ejemplo, en una realización, el software 213 de retroalimentación del seguimiento discutido anteriormente se puede implementar de manera parcial en una interfaz de programación de aplicaciones (API) para manejar la respuesta independiente de la retroalimentación de la aplicación, y de manera parcial en software o una aplicación específica para manejar la retroalimentación contextual de la aplicación.
El sistema 202 de control de visualización del elemento de presentación comprende un módulo 204 de movimientos el cual accede a una memoria intermedia 223 de datos para los datos 205 de imagen de entrada y, de manera opcional, los datos 217 de audio. En la realización de ejemplo mostrada, el sistema 202 de control de visualización recibe los datos 205 de seguimiento del movimiento de manera local desde el sistema 20 de captura de datos audiovisuales. De manera adicional, el sistema 202 de control de visualización del elemento de presentación puede recibir los datos 205i de seguimiento del movimiento de manera remota a través de Internet 203 u otra red. Con respecto a un usuario, los datos de seguimiento del movimiento pueden comprender los datos de imagen en sí o una versión degradada de esos datos. De manera adicional, los datos de profundidad, y diversas formas de datos derivados de la imagen y/o los datos de profundidad, se pueden incluir en los datos de seguimiento del movimiento, algunos ejemplos de los cuales son un modelo para el cuerpo del usuario, los datos de movimiento en matemáticas primitivas que hacen referencia al modelo, o una imagen de máscara de bits derivada para el usuario para la comparación con un estado anterior del modelo. El sistema 202 de control de visualización del elemento de presentación analiza estos datos para reconocer el movimiento del usuario y seguir el movimiento hasta los objetos en el elemento de representación, por ejemplo, hasta el avatar del usuario en pantalla. Un avatar es un tipo de escena u objeto presentado.
El módulo 204 de movimientos se acopla de manera comunicativa a un módulo 209 de control de elementos de presentación del avatar, un módulo 211 de control de objetos, el software 213 de retroalimentación del seguimiento, el software y los datos 206 de reconocimiento de gestos, un sistema 20 de captura de datos audiovisuales, e Internet
5
10
15
20
25
30
35
40
45
50
55
203. El módulo 204 de movimientos también tiene acceso a los almacenes de datos 220 almacenados en la memoria tales como los datos 216 de modelo para al menos uno de cada uno de entre un usuario 216u, un avatar 216a, y un objeto 216o en el elemento de representación o alguno sostenido por el usuario. Los datos del modelo se usan como una referencia para el seguimiento del movimiento mediante el módulo 204 de movimientos de un usuario en un área de captura. o de un avatar o un objeto en una escena o vista de un elemento de presentación. En los sistemas donde los movimientos del cuerpo del usuario se hacen corresponder a los movimientos del avatar (por ejemplo en base a la captura de imagen del usuario, o los sensores en el cuerpo del usuario), pueden haber datos del modelo que representen el usuario 216u y datos del modelo que representen el avatar 216a. Donde el físico del avatar es bastante diferente, el módulo 204 de movimientos realiza la correspondencia entre los dos modelos. Por ejemplo, el usuario 18 muchacho es más bajo y probablemente no tiene el alcance del brazo de su avatar el boxeador 24. En otras palabras, si los modelos esqueléticos se usasen, no serían los mismos para el usuario y para el avatar. En algunas realizaciones, sin embargo, la aplicación usa los mismos datos 216 del modelo para analizar los movimientos del muchacho de un usuario y para dirigir los movimientos del avatar correspondiente. En un ejemplo, el modelo del muchacho se puede implementar como uno o más estructuras de datos que representan las partes del muchacho y sus posiciones en las dimensiones y/o los ángulos de rotación con respecto a una referencia. Lo datos 216 del modelo se pueden actualizar en términos de posiciones absolutas o con cambios en las posiciones y rotaciones. Los cambios en las posiciones y las rotaciones se pueden representar como vectores y ángulos.
El módulo 204 de movimientos también tiene acceso a los datos 214 de perfil. En este ejemplo, existen perfiles para los usuarios 214u, los avatares 214a y los objetos 214o. El módulo de movimiento 204 también tiene acceso a los datos 218 de presentación que incluyen los datos 219 de imagen del avatar y los datos 221 de imagen del objeto.
El módulo 209 de control de presentación del avatar actualiza los datos 219 de la imagen del avatar basado en los gestos reconocidos por el software 206 de reconocimiento de gestos y otros movimientos aplicables identificados por el módulo 204 de movimientos. En un ejemplo, los datos 219 de imagen que representan los movimientos o las posturas pueden ser datos de seguimiento del movimiento para el avatar. En un ejemplo, dichos datos de seguimiento del movimiento se pueden almacenar en un archivo de capturas de movimientos que el módulo 204 de movimientos actualiza en el tiempo según se reciben nuevos datos 205 de seguimiento del movimiento.
El módulo 211 de control de objetos actualiza los datos 221 de imagen para los objetos afectados por los gestos reconocidos del usuario. Además, el módulo 209 de control de avatares y el módulo 211 de control de objetos actualizan sus datos (219, 221) de imagen respectivos en respuesta a las instrucciones del módulo 210 de control de acciones. El módulo 210 de control de acciones supervisa la aplicación en ejecución. Por ejemplo, en un entorno de un juego, mantiene la puntuación, determina que es necesario un nuevo fondo ya que el avatar se ha movido a un nuevo nivel del juego, determina como otros avatares u objetos no controlados por el usuario se colocarán en la escena. En un entorno no de juego, identifica que acción está solicitando el usuario. Por ejemplo, si un gesto de usuario es una solicitud para abrir un archivo, puede acceder al archivo en sí o proporcionar instrucciones al módulo 211 de control de objetos para acceder al archivo y presentarlo en el elemento 16 de presentación. El módulo 207 de procesamiento de la presentación combina los datos 218 del elemento de presentación para actualizar la presentación.
Los datos 218 del elemento de presentación proporcionan una escena o un contexto de visión y definen los otros objetos en la escena o vista. Por ejemplo, los datos 218 del elemento de presentación están proporcionando un entorno de contexto de un combate de boxeo en las Figuras 1A y 1B, y las posiciones de los objetos incluyendo las cuerdas del ring de boxeo y la existencia del avatar 22 del boxeador oponente. Los movimientos, características y partes del cuerpo más recientes del avatar 22 del otro boxeador, en la escena se pueden almacenar también como otro perfil en el almacén de datos 214 de perfiles de avatar. Las actualizaciones de los datos 218 del elemento de presentación se pueden recibir mediante uno o más módulos tales como el módulo 209 de control de la presentación del avatar o el módulo 204 de movimientos sobre Internet 203 u otra red desde un módulo remoto.
El módulo 209 de control la presentación del avatar y el módulo 211 de control de objetos actualizan de manera periódica o en respuesta a un mensaje desde el módulo 204 de movimientos su perfil o perfiles 214 respectivos y procesan los datos 219, 221 de imagen que representan los movimientos o las posturas para el avatar o el objeto. Los datos 219, 221 de imagen se pueden representar de manera local en un elemento 16 de presentación o se pueden transmitir a través de internet 203 u otra red.
Ejemplos de los datos 214a del perfil del avatar pueden ser los datos del color de la imagen para características del avatar tales como el pelo, los rasgos faciales, el color de la piel, la ropa, la posición del avatar en la escena y otras propiedades asociadas con él.
Ejemplos de información que se puede almacenar en el perfil 214u de un usuario pueden incluir los modos típicos de uso o juego, la edad, la altura, la información del peso, los nombres, discapacidades, puntuaciones más altas o cualquier otra información asociada con un usuario y el uso del sistema.
Un ejemplo de un factor que afecta a la selección de una respuesta de retroalimentación puede incluir la información de perfil. Por ejemplo, la edad o discapacidades de un usuario, físicas o mentales, pueden hacer un tipo de respuestas de retroalimentación más apropiadas que otras. Por ejemplo, una persona de 5 años de edad puede no
5
10
15
20
25
30
35
40
45
50
55
ser capaz de leer por lo que una retroalimentación sutil en el contexto de la aplicación puede ser más apropiada que un texto explícito en la pantalla. Un jugador puede ser sordo por lo que una respuesta de audio no es apropiada.
Como se discutió anteriormente, algunos movimiento y posturas, gestos, tienen un significado especial en el contexto de un programa de entretenimiento u otras aplicaciones, y el sistema 202 de control de visualización del elemento de presentación ejecuta las instrucciones para identificarlos. En concreto, el módulo 204 de movimientos tiene que acceder al software 206 de reconocimiento de gestos y los datos para el reconocimiento o la identificación de los gestos basado en un modelo y unos datos de seguimiento del movimiento.
El software 206 de reconocimiento de gestos puede incluir filtros de gestos. En un ejemplo, el módulo 204 de movimientos puede seleccionar uno o más filtros 206 de movimientos basados en un índice de datos asociativo, tal como un índice de partes del cuerpo por ejemplo. Por ejemplo, cuando un conjunto de datos de seguimiento del movimiento actualizado es recibido por el sistema 202 de control de visualización del elemento de presentación y se indican cambios de movimiento para ciertas partes del cuerpo, el módulo 204 de movimientos indexa los filtros de gestos asociados con esas partes del cuerpo determinadas.
Los filtros 206 de gestos ejecutan instrucciones basadas en datos de parámetros que definen criterios para determinar si un gesto en concreto se ha realizado basado en los datos 205 de seguimiento del movimiento. En una realización, cada filtro 206 de gestos es enlazado con un módulo de librería para un gesto particular en una librería de gestos. Cada módulo de librería asociado con un gesto incluye instrucciones ejecutables para realizar el procesamiento de la respuesta al gesto. Este procesamiento a menudo implica la actualización del movimiento o la imagen del avatar para reflejar el gesto de alguna forma.
Por ejemplo, un usuario 18 adolescente en la Figura 1A tiene un físico mucho menor que su avatar boxeador 24. Parte de la diversión de jugar juegos con avatares es que ellos a menudo hacen cosas mejor que el usuario en la vida real. El puñetazo del chico 18 en la Figura 1A en su sala de estar se traduce en un puñetazo mucho más intenso de su avatar 24 en la pantalla 14. El módulo de librería para un “puñetazo” en el juego de boxeo puede determinar la aceleración en la velocidad del puño del usuario que se extiende por su codo, esto es un “puñetazo poderoso” para este usuario 18 en el juego, y el puñetazo 24 de su avatar refleja esto en el elemento de presentación debido a las instrucciones del módulo de puñetazos de la librería. El módulo 210 de control de acciones es notificado también del gesto y responde a este. Por ejemplo, actualiza la puntuación del usuario 18.
Algunos sistemas pueden proporcionar una combinación de sólo un determinado número de movimientos o posturas que el avatar puede realizar para determinadas partes o regiones del cuerpo, por ejemplo las manos y los brazos, mientras que permite un seguimiento directo de otras partes o regiones del cuerpo, por ejemplo las piernas.
El seguimiento de los movimientos del usuario para actualizar la presentación de un avatar u otros objetos visualizados en el elemento de presentación se realiza en tiempo real de manera tal que el usuario pueda interactuar con una aplicación en ejecución en tiempo real. Una presentación en tiempo real se refiere a la presentación de una representación visual en respuesta a un gesto, en donde la presentación se presenta de manera simultánea o casi simultánea con la ejecución del gesto en el espacio físico. Por ejemplo, una tasa de presentación actualizada en la que el sistema puede proporcionar una presentación que refleja a un usuario puede ser una tasa de 20Hz o superior, en donde los retardos de procesamiento insignificantes resultan en un retardo mínimo de la presentación o no son visibles para todos los usuarios. Por tanto, el tiempo real incluye cualquier retardo insignificante correspondiente a la puntualidad de los datos que se han sido retardados por el tiempo requerido para el procesamiento automático de los datos.
El software 213 de retroalimentación del seguimiento recibe un mensaje desde el módulo 204 de movimientos identificando un problema de seguimiento. Un ejemplo de problema de seguimiento es que el usuario se haya movido fuera del campo de visión o que no haya ningún usuario en el campo de visión. Algunos otros ejemplos de problemas de seguimiento son un gesto para una parte del cuerpo que no se puede determinar o que no se satisfaga una probabilidad umbral de que un movimiento o postura corresponda a un gesto particular. Otro ejemplo de problema de seguimiento es que el volumen del sonido no sea suficiente para el software de reconocimiento del habla o del canto para detectar el sonido del usuario. En otro ejemplo, el sonido del usuario tiene sílabas indistinguibles por lo que las palabras no se pueden detectar. Por ejemplo, en una aplicación de entretenimiento musical, la incapacidad para identificar o detectar el canto del usuario puede afectar de manera significativa a la frustración sentida por el jugador usuario.
El módulo 204 de movimientos puede proporcionar también retroalimentación sobre un número de factores de distinción basado en los datos que ha recibido desde el sistema 20 de captura audiovisual o en los mensajes del sistema 20 de captura audiovisual. Un tipo de factor de distinción son los factores de audio como un volumen insuficiente y el carácter distintivo como se mencionó anteriormente. Otro ejemplo de factor de distinción es un factor de visibilidad. Un ejemplo de un factor de visibilidad es el usuario o una parte del cuerpo para controlar la aplicación que está al menos de manera parcial fuera del campo de visión. Otros son problemas de iluminación borrando al usuario de la imagen capturada. Otro ejemplo es una obstrucción. Otro ejemplo de un factor de visibilidad es una obstrucción. Un ejemplo de esto puede ser un mueble, incluso en el campo de visión en sí como la mesa 15 de café en la Figura 1C. Demasiados elementos en los límites del campo de visión o en la visión en sí
5
10
15
20
25
30
35
40
45
50
55
pueden crear un factor de distinción o de visibilidad. Otro ejemplo de una obstrucción es un artículo de ropa o ropa en combinación con otro elemento. Una parte superior de un poncho puede inhibir la detección de los movimientos de los brazos. Una falda larga puede inhibir la detección de los movimientos de las piernas para un juego en que un usuario puede hacer gestos de andar o correr. Pantalones negros contra un sofá negro pueden provocar un problema de visibilidad debido a la ausencia de contraste; el sistema 20 de captura no puede distinguir los movimientos de las piernas cuando el usuario está cerca del sofá negro. El color de la ropa puede provocar problemas de contraste que resultan en un problema de distinción también, como pueden superponerse sus brazos y piernas. Los datos de profundidad pueden ayudar a distinguir al usuario, pero esto puede ser un problema en base a la resolución de profundidad del sistema 20 de captura de imagen.
El software 213 de retroalimentación del seguimiento puede seleccionar un tipo de retroalimentación que indica un problema de seguimiento para proporcionarlo a un usuario. En algunos ejemplos, la retroalimentación proporciona instrucciones al usuario para mejorar la calidad del seguimiento con un indicador visual o de audio que es independiente de la actividad de la aplicación. Por ejemplo, la superposición explícita 33 de la flecha de pantalla en la Figura 1B. Puede estar acompañada también de un mensaje de texto o de audio para “Moverse a la Derecha” mientras apunta al centro del campo 30 de visión.
Otra retroalimentación puede ser un poco más implícita y sutil. Las características visuales del elemento de presentación se pueden cambiar. Por ejemplo, la retroalimentación puede ser que la nitidez de la visión del elemento de presentación se puede degradar ligeramente según el usuario se aproxima dentro de una distancia de un límite del campo de visión. Se pone borroso por ejemplo. Según el usuario se mueve hacia el centro del campo de visión, la nitidez de la escena mejora. El usuario puede incluso no ser consciente del cambio en la nitidez. Junto a la nitidez, otro ejemplo de característica visual que se puede cambiar para alterar la presentación de la escena o la visión es la vitalidad del color. Otro ejemplo es el color en sí. Por ejemplo, según el usuario se mueve fuera del campo de visión, el color en el elemento de presentación se torna en blanco y negro.
En algunos ejemplos, el software 213 de retroalimentación del seguimiento determina que la retroalimentación en el contexto de la aplicación es apropiada. Algunos de estos ejemplos se han mencionado anteriormente tales como un monstruo en el límite cuando el usuario está demasiado cerca o una bola para que el usuario “golpee” siendo enviada a una dirección a la que el usuario debería moverse. Otros ejemplos incluirían un enemigo al que disparar en una dirección a la que moverse, u otro jugador avatar que entra y golpea al usuario de vuelta hacia el centro u otros personajes que corren en una dirección para volver al campo de visión. En otro ejemplo, se puede dirigir un sonido en una determinada dirección para motivar al usuario a correr hacia este lejos de esta dirección. Si el usuario está demasiado lejos del sistema 20 de captura de imagen como se muestra en los datos de profundidad capturados por el sistema 20, se puede usar un objeto parpadeante u otro objeto en el elemento de presentación que capte nuestra atención para atraer al usuario hacia dentro del campo de visión. Si un usuario se está acercando demasiado a la cámara 20, por ejemplo entre el límite frontal del campo de visión, 30f y la cámara, se puede hacer un objeto de presentación para llenar bastante la pantalla para hacer al usuario tomar unos pasos hacia atrás.
Para esta retroalimentación contextual de la aplicación, el módulo 213 de retroalimentación del seguimiento envía una solicitud al módulo 210 de software de control de acciones para la retroalimentación contextual. El módulo 210 de control de acciones o el software 213 de seguimiento pueden seguir qué técnicas de retroalimentación contextual se han usado para evitar la repetición tanto como sea posible. La solicitud de retroalimentación contextual puede incluir el tipo de factor de distinción a ser abordado. Puede incluir además una sugerencia de acción. Por ejemplo, puede incluir también una zona objetivo en el elemento de presentación en la que colocar un objeto para motivar el movimiento de un usuario de vuelta al campo de visión. En otros casos, el módulo 210 de control de acciones puede determinar la acción a tomar.
El software 213 de retroalimentación del seguimiento puede basar su selección de una respuesta de retroalimentación en ciertos criterios. Como se mencionó anteriormente, un ejemplo de dichos criterios es la edad del usuario. Para una persona de 3 o 4 años de edad, colocar un elemento en una zona objetivo en la pantalla para hacer que el usuario se mueva puede no ser muy repetitivo para un niño de esa edad. Para una persona de 7 años de edad, la técnica de retroalimentación contextual específica puede necesitar ser un poco más variada.
El nivel de competitividad de la aplicación puede ser otro factor. En un juego que se juega contra otro usuario, poner un objetivo al que disparar en una zona del elemento de presentación para animar al movimiento del usuario puede no ser apropiado. Sin embargo, colocar una explosión cerca del límite del campo de visión puede hacer que el usuario se mueva sin aumentar la previsibilidad de los objetivos.
Algunas aplicaciones no quieren nada que complique la acción que se está presentando por la aplicación en el elemento de presentación. En estos ejemplos, el elementos 16 de presentación o la consola 12 pueden incluir dispositivos de presentación fuera de pantalla. Por ejemplo, el diodo 32 emisor de luz (LED) en la consola 12 o en la cámara 20 se puede asociar con el usuario, y la capacidad de la aplicación para seguir al usuario se puede indicar mediante una paleta de colores. Por ejemplo, verde es bueno. Amarillo es una advertencia de que la capacidad de seguimiento se está degradando, y rojo indica que la capacidad de seguimiento se ha degradado hasta un nivel inaceptable. Otros dispositivos o vistas de presentación fuera de pantalla se pueden usar tales como gráficos de
5
10
15
20
25
30
35
40
45
50
55
barras u otras luces en la consola 12, el elemento 16 de presentación, o la cámara 20 que indiquen el grado de capacidad de seguimiento.
Como compromiso, la aplicación puede permitir que aparezca un pequeño icono en un avatar del usuario para un usuario que esté demasiado cerca de un límite o cuyo seguimiento no esté satisfaciendo los criterios de seguimiento. El usuario puede seleccionar el icono si lo desea. En otro ejemplo, se puede presentar una pequeña caja, imagen en imagen, que muestra al usuario o su avatar indicando un problema de seguimiento e incluso una sugerencia para abordarlo. En otro ejemplo, si el usuario presiona la pausa, se puede mostrar una caja que muestra al usuario o su avatar con el mensaje del problema de seguimiento.
En otros ejemplos, el módulo 213 de retroalimentación del seguimiento puede enviar una solicitud para un cambio en la apariencia de un avatar al módulo 209 de control de la presentación del avatar. Un ejemplo de un cambio en la apariencia puede ser destacar el avatar. Otros ejemplos incluyen el cambio de características visuales tales como difuminar la apariencia del avatar, o hacerlo todo negro o todo blanco o en blanco o negro como opuesto al color. El avatar se puede hacer para parecer desvanecido en otro ejemplo. De manera particular si una sesión de entrenamiento ocurre antes del comienzo de la aplicación, el usuario puede recibir instrucciones de que un cambio en la apariencia de su avatar signifique que existen problemas de seguimiento con sus gestos. Para los problemas de visión, puede ser efectivo sin cambiar demasiado la acción competitiva.
La retroalimentación puede ser de audio o audiovisual. Por ejemplo, en una sesión de entrenamiento antes del comienzo de la actividad de la aplicación, un usuario puede recibir instrucciones de que un icono en concreto significa que un factor de visibilidad concreto está efectuando el reconocimiento de los gestos del usuario. El icono puede ser acompañado por un sonido concreto para que el usuario sepa que es el quien, por ejemplo, se ha mover hacia dentro.
El no ser capaz de detectar los gestos del usuario de manera apropiada puede afectar de manera significativa a la ejecución de la aplicación, pausar la acción, quizás junto con un cambio en la apariencia del avatar del usuario, puede ser una respuesta de retroalimentación seleccionada también. En otro ejemplo, se puede detener el sonido.
En algunas realizaciones, el software de retroalimentación del seguimiento se puede separar de la aplicación concreta. Por ejemplo, el software de retroalimentación del seguimiento puede proporcionar una API para la cual una aplicación puede enviar una solicitud para una respuesta de retroalimentación. Esta puede ser una interfaz conveniente para los desarrolladores de aplicaciones que desean usar respuestas de retroalimentación por defecto. Por supuesto, se pueden usar otras construcciones además de una API. El software de aplicación puede proporcionar tipos adicionales de respuestas de retroalimentación del seguimiento de usuario a aquellas proporcionadas por la API o que los desarrolladores de aplicaciones prefieran usar en lugar de los mecanismos por defecto. En otras realizaciones, el software de retroalimentación del seguimiento se puede manejar enteramente dentro de la aplicación o enteramente mediante software independiente a la aplicación. La tecnología descrita en la presente memoria no se limita a una implementación de nivel de código concreta. El sistema 20 de captura de imagen reconoce objetivos humanos y no humanos en un área de captura (con o sin dispositivos de detección especiales acoplados a los sujetos), únicamente los identifica y los sigue en el espacio tridimensional.
Según una realización de ejemplo, el sistema 20 de captura de imagen se puede configurar para capturar video con información de profundidad que incluye una imagen de profundidad que puede incluir valores de profundidad a través de cualquier técnica adecuada que incluya, por ejemplo, tiempo de vuelo, luz estructurada, imagen en estéreo, o similar. Como se muestra en la FIG. 2, según una realización de ejemplo, un componente 70 de cámara de imagen puede incluir un componente 72 de luz IR, una cámara 74 tridimensional (3-D), y una cámara 76 RGB que se puede usar para capturar la imagen de profundidad de un área de captura. Por ejemplo, en el análisis en tiempo de vuelo, el componente 72 de luz IR del sistema 20 de captura puede emitir una luz infrarroja en el área de captura y puede usar entonces sensores para detectar la luz retrodispersada desde la superficie de uno o más objetivos y los objetos en el área de captura usando, por ejemplo, la cámara 74 3-D y/o la cámara 76 RGB. En algunas realizaciones, la luz infrarroja pulsada se puede usar de manera tal que el tiempo entre el pulso de luz de salida y el correspondiente pulso de luz de entrada se pueda medir y usar para determinar la distancia física desde el sistema 20 de captura hasta una ubicación concreta en los objetivos u objetos en el área de captura. De manera adicional, en otras realizaciones de ejemplo, la fase de la onda de luz de salida se puede comparar con la fase de la onda de luz de entrada para determinar el desplazamiento de fase. El desplazamiento de fase se puede usar entonces para determinar la distancia física desde el sistema de captura hasta la ubicación concreta de los objetivos u objetos.
Según otra realización de ejemplo, el análisis de tiempo de vuelo se puede usar para determinar de manera indirecta la distancia física desde el sistema 20 de captura hasta una ubicación concreta en los objetivos u objetos analizando la intensidad del haz reflejado de la luz a lo largo del tiempo a través de diversas técnicas que incluyen, por ejemplo, la imagen de pulso con luz obturada.
En otra realización de ejemplo, el sistema 20 de captura puede usar una luz estructurada para capturar la información de profundidad. En dicho análisis, la luz con patrones (esto es, la luz presentada como un patrón conocido tal como un patrón de cuadros o de rayas) se puede proyectar en el área de captura a través de, por
5
10
15
20
25
30
35
40
45
50
55
ejemplo, el componente 72 de luz IR. Tras golpear la superficie de uno o más objetivos u objetos en el área de captura, el patrón en respuesta puede resultar deformado. Dicha deformación del patrón puede ser capturada por, por ejemplo, la cámara 3-D 74 y/o la cámara RGB 76 y puede analizarse después para determinar la distancia física desde el sistema de captura hasta la ubicación concreta de los objetivos u objetos.
Según otra realización, el sistema 20 de captura puede incluir dos o más cámaras físicamente separadas que puedan ver un área de captura desde diferentes ángulos, para obtener datos visuales en estéreo que se pueden resolver para generar la información de profundidad.
Como un ejemplo de la sinergia proporcionada por estos elementos, considere que el componente 72 de luz IR y la cámara 3-D 74 pueden proporcionar una imagen de profundidad de un área de captura, pero en ciertas situaciones la imagen de profundidad sola puede no ser suficiente para discernir la posición o el movimiento de una objetivo humano. En estas situaciones, la cámara RGB 76 puede “tomar el control” o suplementar la información de la cámara 3-D para permitir un reconocimiento más completo del movimiento o la posición de los objetivos humanos. Por ejemplo, la cámara RGB se puede usar para reconocer, entre otras cosas, los colores asociados con uno o más objetivos. Si un usuario está vistiendo una camisa con un patrón en este que la cámara de profundidad no es capaz de detectar, la cámara RGB se puede usar para seguir ese patrón y proporcionar información sobre los movimientos que el usuario está haciendo. Como otro ejemplo, si un usuario gira, la cámara RGB se puede usar para suplementar la información de uno o más otros sensores para determinar el movimiento del usuario. Como un ejemplo adicional, si un usuario está próximo a otro objeto tal como una pared o un segundo objetivo, los datos RGB se pueden usar para distinguir entre los dos objetos. La cámara RGB puede ser capaz también de determinar finas características de un usuario tal como el reconocimiento facial, el color de pelo y similares que se pueden usar para proporcionar información adicional. Por ejemplo, si u usuario se gira hacia atrás, la cámara RGB puede usar el color del pelo y/o la falta de rasgos faciales para determinar que un usuario está de espaldas al sistema de captura.
El sistema 20 de captura puede capturar datos a tasas interactivas, aumentando la fidelidad de los datos y permitiendo a las técnicas descritas procesar los datos de profundidad sin procesar, digitalizar los objetos en la escena, extraer la superficie y la textura del objeto, y realizar cualquiera de estas técnicas en tiempo real de manera tal que el elemento de presentación (por ejemplo 16) pueda proporcionar una representación de la escena en su pantalla de presentación (por ejemplo 54).
En la realización del sistema de la Figura 2, el sistema 20 de captura de imagen se acopla de manera comunicativa con un entorno informático de manera tal que los ejemplos de sistemas informáticos en las Figuras 3A-3B envíen los datos 205l de seguimiento del movimiento y de manera opcional los datos 217 de audio. El acople de comunicación se puede implementar en una o más conexiones por cable o inalámbricas, tales como, una conexión USB, una conexión Firewire, una conexión por cable Ethernet, o similar y/o una conexión inalámbrica tal como una conexión 802.11b, g, a, o n.
El sistema 20 de captura incluye además un componente 82 de memoria para almacenar las instrucciones que pueden ser ejecutadas por el procesador 80, así como los datos de imagen que se pueden capturar en un formato de trama. El componente 82 de memoria puede incluir memoria de acceso aleatorio (RAM), memoria de sólo lectura (ROM), caché, memoria Flash, un disco duro, o cualquier otro componente de almacenamiento adecuado. En una realización, el componente 82 de memoria puede ser un componente separado en comunicación 90 con el componente 70 de captura de imagen y el procesador 80 como se ilustra. Según otra realización, el componente 82 de memoria se puede integrar dentro del procesador 80 y/o el componente 70 de captura de imagen.
El sistema 20 de captura de imagen incluye además un procesador 80 acoplado de manera comunicativa 90 al componente 70 de cámara de imagen para controlarlo y la memoria 82 para almacenar los datos de imagen. El procesador 80 puede incluir un procesador estandarizado, un procesador especializado, un microprocesador, o similar que pueda ejecutar las instrucciones que puedan incluir instrucciones para almacenar perfiles, recibir los datos de una imagen de profundidad, almacenar los datos en un formato especifico en la memoria 82, determinar si un objetivo adecuado se puede incluir en la imagen de profundidad, convertir el objetivo adecuado en una representación esquelética u otro tipo de modelo del objetivo, o cualquier otra instrucción adecuada. Además, parte de este procesamiento puede ser ejecutado por otros procesadores en uno o más entornos informáticos acoplados.
La inclusión de capacidades de procesamiento en el sistema 20 de captura de imágenes permite un modelo tal como un modelo esquelético multipunto, de un usuario para ser ofrecido en tiempo real. En una realización, puede existir un procesador separado para cada uno de los múltiples componentes del sistema de captura, o puede existir un procesador central único. Como otro ejemplo, puede existir un procesador central así como al menos otro procesador asociado. Si hay una tarea de elevado coste computacional, los dos o más procesadores pueden compartir las tareas de procesamiento de cualquier manera. El procesador o los procesadores pueden incluir una memoria como se describe anteriormente y la memoria puede almacenar uno o más perfiles de usuario. Estos perfiles pueden almacenar escaneos corporales, modos de uso o juego típicos, la edad, la altura, información del peso, los nombres, los avatares, las puntuaciones máximas o cualquier otra información asociada con un usuario y el uso del sistema.
5
10
15
20
25
30
35
40
45
50
55
60
El sistema 20 de captura puede incluir además un micrófono 78 que se puede usar para recibir señales de audio producidas por el usuario. Por tanto, en esta realización, el sistema 20 de captura de imagen es un sistema de captura de datos audiovisuales. El micrófono o los micrófonos en el sistema de captura se pueden usar para proporcionar información adicional y suplementaria sobre un objetivo para permitir al sistema discernir mejor aspectos de la posición o el movimiento del objetivo. Por ejemplo, el micrófono o los micrófonos pueden comprender un micrófono o micrófonos direccionales o un conjunto de micrófonos direccionales que se pueden usar para discernir más la posición de un objetivo humano o para distinguir entre dos objetivos. Por ejemplo, si dos usuario son de forma o tamaños similares y están en un área de captura, los micrófonos se pueden usar para proporcionar información sobre los usuarios de manera tal que se puedan distinguir los usuarios el uno del otro, por ejemplo, en base al reconocimiento de sus voces separadas. Como otro ejemplo, los micrófonos se pueden usar para proporcionar información a un perfil de usuario sobre el usuario, o en una realización del tipo 'lenguaje a texto', donde el al menos un micrófono se puede usar para crear texto en el sistema informático.
Los datos de píxel con los valores de profundidad para una imagen son referidos como una imagen de profundidad. Según una realización, la imagen de profundidad puede incluir un área de píxeles bidimensional (2-D) de la escena capturada donde cada píxel en el área de píxeles 2-D tiene un valor de profundidad asociado tal como una longitud o una distancia en, por ejemplo, centímetros, milímetros, o similar de un objeto en la escena capturada a partir de un punto de referencia, por ejemplo, con respecto a algún aspecto del componente 70 de cámara. Por ejemplo, los valores de profundidad para los píxeles se pueden representar en “capas Z”, que son capas que pueden ser perpendiculares a un eje Z que se extiende desde la cámara 70 de profundidad a lo largo de su línea de visión. Estos valores de profundidad pueden ser referidos de manera colectiva como mapa de profundidad.
Una imagen de profundidad se puede degradar a una resolución de procesamiento menor de manera tal que la imagen de profundidad se pueda procesar de manera más fácil y/o más rápida con menos sobrecarga informática. Por ejemplo, diversas regiones de la imagen de profundidad observada se pueden separar en regiones de fondo y regiones ocupadas por la imagen del objetivo. Las regiones de fondo se pueden eliminar de la imagen o se pueden identificar para que puedan ser ignoradas durante uno o más de los pasos de procesamiento posteriores. De manera adicional, uno o más valores de profundidad de alta varianza o ruido se pueden eliminar y/o suavizar de la imagen de profundidad. Las partes de la información de profundidad faltantes y/o eliminadas se pueden rellenar y/o reconstruir. Dicho relleno se puede lograr promediando los vecinos más cercanos, filtrando, y/o cualquier otro método adecuado. Otro procesamiento adecuado se puede realizar de manera tal que la información de profundidad se pueda usar para generar un modelo tal como el modelo esquelético.
La Figura 3A ilustra un ejemplo detallado de una realización de un entorno informático que se puede usar en una consola de juegos tal como en las FIG. 1A-1E en las que puede operar una o más realizaciones para proporcionar retroalimentación del seguimiento de usuario. Como se muestra en la Figura 3A, la consola 12 multimedia tiene una unidad 101 central de procesamiento (CPU) que tiene una caché 102 de nivel 1, una caché 104 de nivel 2, y una ROM (Memoria de sólo lectura) 106 flash. La caché 102 de nivel 1, y la caché 104 de nivel 2 almacena de manera temporal los datos y por lo tanto reduce el número de ciclos de acceso a memoria, mejorando de este modo la velocidad de procesamiento y el rendimiento. La CPU 101 se puede proporcionar teniendo más de un núcleo, y así, las cachés 102 y 104 de nivel 1 y nivel 2. La ROM 106 flash puede almacenar el código ejecutable que se carga durante una fase inicial de un proceso de arranque cuando se enciende la consola 12 multimedia.
Una unidad 108 de procesamiento de gráficos (GPU) y un codificador de video/códec (codificador/decodificador) de video 114 crea un canal de procesamiento de video para el procesamiento de gráficos de alta velocidad y alta resolución. Los datos son transportados desde la unidad 108 de procesamiento de gráficos hasta el codificador de video/códec de video 114 a través de un bus. El canal de procesamiento de video emite los datos a un puerto A/V (audio/video) 140 para su transmisión a una televisión u otro elemento de presentación. Un controlador 110 de memoria se conecta a la GPU 108 para facilitar al procesador el acceso a diversos tipos de memoria 112, tales como, pero no limitado a, una RAM (Memoria de Acceso Aleatorio).
La consola 12 multimedia incluye un controlador 120 de I/O, un controlador 122 de gestión de sistema, una unidad 123 de procesamiento de audio, un controlador 124 de la interfaz de red, un primer controlador USB 126, un segundo controlador USB 128 y un subsistema 130 de I/O de panel frontal que son implementados en un módulo 118. Los controladores USB 126 y 128 sirven como organizadores de los controladores 142(1)-142(2) periféricos, un adaptador 148 inalámbrico, y un dispositivo 146 de memoria externa (por ejemplo, una memoria flash, una unidad ROM de CD/DVD externa, un medio extraíble, etc). La interfaz 124 de red y/o el adaptador 148 inalámbrico proporcionan acceso a una red (por ejemplo, Internet, una red doméstica, etc.) y puede ser cualquiera de entre una amplia variedad de diversos componentes adaptadores por cable o inalámbricos que incluyen una tarjeta Ethernet, un módem, un módulo Bluetooth, un módem de cable, y similares.
La memoria 143 de sistema se proporciona para almacenar los datos de aplicación que se cargan durante el proceso de arranque. Una unidad 144 de medios se proporciona y puede comprender una unidad de DVD/CD, un disco duro, u otra unidad de medios extraíble, etc. La unidad 144 de medios puede ser interna o externa a la consola 100 multimedia. Los datos de aplicación se pueden acceder a través de la unidad 144 de medios para su ejecución, reproducción, etc. por la consola 12 multimedia. La unidad 144 de medios se conecta al controlador 120 de I/O a través de un bus, tal como un bus Serial ATA u otra conexión de alta velocidad (por ejemplo, IEEE 1394).
5
10
15
20
25
30
35
40
45
50
55
En una realización, se puede almacenar una copia del software y los datos para el sistema 202 de control de visualización del elemento de presentación en la unidad 144 de medios y se puede cargar en la memoria 143 del sistema cuando se ejecuten.
El controlador 122 de gestión del sistema proporciona una variedad de funciones de servicio relacionadas con asegurar la disponibilidad de la consola 12 multimedia. La unidad 123 de procesamiento de audio y el códec 132 de audio forman el canal de procesamiento de audio correspondiente con procesamiento estéreo y de alta fidelidad. Los datos de audio son transportados entre la unidad 123 de procesamiento de audio y el códec 132 de audio a través de un enlace de comunicación. El canal de procesamiento de audio emite los datos al puerto A/V 140 para su reproducción por un reproductor de audio externo o un dispositivo que tenga capacidades de audio.
El subsistema 130 de I/O del panel frontal soporta la funcionalidad del botón 150 de encendido y el botón 152 de expulsión, así como todos los LED (diodos emisores de luz) u otros indicadores expuestos en la superficie exterior de la consola 12 multimedia. Un módulo 136 de suministro de la energía del sistema proporciona la energía a los componentes de la consola 12 multimedia. Un ventilador 138 enfría la circuitería dentro de la consola 12 multimedia.
La CPU 101, la GPU 108, el controlador 110 de memoria, y diversos otros componentes dentro de la consola 100 multimedia se interconectan a través de uno o más buses, incluyendo los buses serie y paralelo, un bus de memoria, un bus periférico, y un procesador o un bus local usando cualquier de entre una variedad de arquitecturas de bus. A modo de ejemplo, dichas arquitecturas pueden incluir un bus de Interconexión de Componentes Periféricos (PCI), un bus PCI- Exprés, etc.
Cuando la consola 12 multimedia se enciende, los datos de aplicación se pueden cargar desde la memoria 143 de sistema en la memoria 112 y/o las cachés 102, 104 y se ejecutan en la CPU 101. La aplicación puede presentar una interfaz de usuario gráfica que proporcione una experiencia de usuario consistente al navegar por los diferentes tipos de medios disponibles en la consola 100 multimedia. En operación, las aplicaciones y/o los otros medios contenidos dentro de la unidad 144 de memoria se pueden lanzar o reproducir desde la unidad 144 de medios para proporcionar funcionalidades adicionales a la consola 12 multimedia.
La consola 12 multimedia se puede operar como un sistema autónomo mediante simplemente conectar el sistema a una televisión u otro elemento de presentación. En este modo autónomo, la consola 12 multimedia permite a uno o más usuarios interactuar con el sistema, ver películas, o escuchar música. Sin embargo, con la integración de la conectividad de banda ancha que está disponible a través de la interfaz 124 de red o del adaptador 148 inalámbrico, la consola 12 multimedia puede ser operada además como un participante en una comunidad de red mayor.
Cuando la consola 12 multimedia es encendida, un conjunto de recursos de hardware se reservan para el uso del sistema por el sistema operativo de la consola multimedia. Estos recursos pueden incluir una reserva de memoria (por ejemplo, 16MB), un ciclo de CPU y de GPU (por ejemplo, un 5%), ancho de banda de red (por ejemplo, 8kbs), etc. Ya que estos recursos se reservan en el momento del arranque del sistema,, los recursos reservados no existen desde el punto de vista de las aplicaciones.
En concreto, la reserva de memoria es suficientemente grande para contener el núcleo de lanzamiento, las aplicaciones de sistema concurrentes y los controladores. La reserva de CPU es constante de manera tal que si el uso de CPU reservado no se usa por las aplicaciones de sistema, un hilo inactivo consumirá todos los ciclos sin usar.
Con respecto a la reserva de la GPU, los mensajes ligeros generados por las aplicaciones de sistema (por ejemplo, las ventanas emergentes) se presentan mediante el uso de un interruptor de GPU para planificar el código para representar la ventana emergente en superposición. La cantidad de memoria requerida para una superposición depende del tamaño del área de las escalas de superposición con la resolución de pantalla. Donde se usa una interfaz de usuario total por la aplicación de sistema concurrente, es preferible usar una resolución independiente de la resolución de la aplicación. Se puede usar un escalador para establecer esta resolución de manera tal que se elimina la necesidad de cambiar la frecuencia y provocar una resincronización de la TV.
Después de que arranque la consola 12 multimedia y se reserven los recursos multimedia, las aplicaciones de sistema concurrentes se ejecutan para proporcionar las funcionalidades del sistema. Las funcionalidades del sistema se encapsulan en un conjunto de aplicaciones de sistema que se ejecutan dentro de los recursos de sistema reservados descritos anteriormente. El núcleo del sistema operativo identifica los hilos que son hilos de aplicaciones del sistema contra los hilos de aplicaciones de juego. Las aplicaciones de sistema se planifican para ejecutarse en la CPU 101 en momentos e intervalos predeterminados para proporcionar una visión de los recursos de sistema consistente a la aplicación. La planificación es para minimizar la ruptura de la caché para la aplicación de juego que se ejecuta en la consola.
Cuando una aplicación de sistema concurrente requiere audio, el procesamiento del audio se planifica de manera asíncrona con la aplicación de juego debido a la sensibilidad con el tiempo. Un gestor de aplicaciones de consola multimedia (descrito más adelante) controla el nivel de audio de la aplicación de juego (por ejemplo, en silencio, atenuado) cuando las aplicaciones de sistema están activas.
5
10
15
20
25
30
35
40
45
50
55
60
Los dispositivos de entrada (por ejemplo, los controladores 142(1) y 142(2)) son compartidos por las aplicaciones de juego y las aplicaciones de sistema. Los dispositivos de entrada no son recursos reservados, sino que se han de conmutar entre las aplicaciones de sistema y la aplicación de juego de manera tal que cada una tendrá el foco de atención del dispositivo. El gestor de aplicaciones controla la conmutación del flujo de entrada, sin el conocimiento de la aplicación de juego y el controlador mantiene la información de estado respecto a las conmutaciones del foco de atención. El sistema 20 de captura de imagen puede definir los dispositivos de entrada adicionales para la consola 12 (por ejemplo para su sistema de cámara).
La Figura 3B ilustra otra realización de ejemplo de un entorno informático tal como un ordenador personal. Con referencia a la Figura 3B, un sistema ejemplar para implementar la tecnología incluye un dispositivo informático de propósito general en forma de un ordenador 310. Los componentes del ordenador 310 pueden incluir, pero no se limitan a, una unidad 320 de procesamiento, un memoria 330 de sistema, y un bus 321 de sistema que acopla diversos componentes de sistema que incluyen la memoria de sistema a la unidad 320 de procesamiento. El bus 321 de sistema puede ser cualquiera de entre varios tipos de estructuras de bus que incluyen un bus de memoria o un controlador de memoria, un bus periférico, y un bus local que usa cualquiera de entre una variedad de arquitecturas de bus. A modo de ejemplo, y no de limitación, dichas arquitecturas incluyen el bus de la Arquitectura Estándar de Industria (ISA), el bus de la Arquitectura de Micro Canal (MCA), el bus de ISA mejorado (EISA), el bus local de la Asociación de Estándares Electrónicos de Video (VESA), y el bus de Interconexión de Componentes Periféricos (PCI) también conocido como bus Mezzanine.
El ordenador 310 normalmente incluye una variedad de medios legibles por ordenador. Los medios legibles por ordenador pueden ser cualquier medio disponible que se pueda acceder por el ordenador 310 e incluye tanto los medios volátiles como los no volátiles, los medios extraíbles como los no extraíbles. A modo de ejemplo, y no de limitación, los medios legibles por ordenador pueden comprender los medios de almacenamiento informático y los medios de comunicación. Los medios de almacenamiento informático incluyen los medios volátiles y los no volátiles, los extraíbles y los no extraíbles implementados en cualquier método o tecnología para el almacenamiento de información tal como las instrucciones legibles por ordenador, las estructuras de datos, los módulos de programa u otros datos. Los medios de almacenamiento informáticos incluyen, pero no se limitan a, una RAM, una ROM, una EEPROM, una memoria flash u otra tecnología de memoria, un CD-ROM, discos digitales versátiles (DVD) u otro almacenamiento en disco óptico, cintas magnéticas, almacenamiento en disco magnético u otros dispositivos de almacenamiento magnético, o cualquier otro medio que se pueda usar para almacenar la información deseada y que pueda ser accedido por un ordenador 310. Los medios de comunicación normalmente representan las instrucciones legibles por ordenador. las estructuras de datos, los módulos de programa u otros datos en una señal de datos modulada tal como una onda portadora u otro mecanismo de transporte e incluye cualquier medio de entrega de información. El término “señal de datos modulada” implica una señal que tiene una o más de sus características establecida o cambiada de tal manera para codificar la información en la señal. A modo de ejemplo, y no de limitación, los medios de comunicación incluyen medios por cable tales como una red por cable o una conexión directa por cable, y los medios inalámbricos tales como los acústicos, de RF, infrarrojos, y otros medios inalámbricos. Las combinaciones de cualquiera de los anteriores se deberían incluir dentro del alcance de los medios legibles por ordenador.
La memoria 330 de sistema incluye un medio de almacenamiento informático en forma de una memoria volátil y/o no volátil tal como una memoria 331 de sólo lectura (ROM) y una memoria 332 de acceso aleatorio (RAM). Un sistema 333 de entrada/salida básico (BIOS), que contiene las rutinas básicas que ayudan a transferir la información entre los elementos dentro de un ordenador 310, tales como durante la puesta en marcha, se almacenan normalmente en la ROM 331. La RAM 332 normalmente contiene los datos y/o los módulos de programa que son accesibles de manera inmediata y/o que actualmente son operados por la unidad 320 de procesamiento. A modo de ejemplo, y no de limitación, la Figura 3B ilustra el sistema 334 operativo, los programas 335 de operación, otros módulos 336 de programa, y los datos 337 de programa.
El ordenador 310 puede incluir también otros medios de almacenamiento informático extraíbles/no extraíbles, volátiles/no volátiles. A modo de ejemplo sólo, la FIG. 3B ilustra una unidad 340 de disco duro que lee desde o escribe a unos medios magnéticos, no extraíbles, no volátiles, una unidad 351 de disco magnético que lee desde o escribe a un disco 352 magnético, extraíble, no volátil, y una unidad 355 de disco óptico que lee desde o escribe a un disco 356 óptico extraíble, no volátil tal como un CR ROM u otro medio óptico. Otros medios de almacenamiento informático extraíbles/no extraíbles, volátiles/no volátiles que se pueden usar en el entorno operativo ejemplar incluyen, pero no se limitan a, cintas magnéticas, tarjetas de memoria flash, discos versátiles digitales, cintas de video digital, RAM de estado sólido, ROM de estado sólido, y similares. La unidad 341 de disco duro se conecta normalmente al bus 321 de sistema a través de una interfaz de memoria no extraíble tal como la interfaz 340, y la unidad 351 de disco magnético y la unidad 355 de disco óptico se conectan normalmente al bus de sistema 321 mediante una interfaz de memoria extraíble, tal como la interfaz 350.
Las unidades y sus medios de almacenamiento informático asociados discutidos anteriormente e ilustrados en la Figura 3B, proporcionan almacenamiento de instrucciones legibles por ordenador, estructuras de datos, módulos de programa y otros datos para el ordenador 310. En la FIG. 3B, por ejemplo, la unidad 341 de disco duro se ilustra como que almacena el sistema 344 operativo, los programas 345 de aplicación, otros módulos 346 de programa, y los datos 347 de programa. Tenga en cuenta que estos componentes pueden bien ser los mismos o diferentes del
5
10
15
20
25
30
35
40
45
50
55
60
sistema 334 operativo, los programas 335 de aplicación, otros módulos 336 de programa, y los datos 337 de programa. Al sistema 344 operativo, los programas 345 de aplicación, otros módulos 346 de programa, y los datos 347 de programa se les da diferentes números en la presente memoria para ilustrar que, como mínimo, son copias diferentes.
En una realización, se puede almacenar una copia del software y de los datos para el sistema 202 de control de visualización del elemento de presentación en los programas 345 de aplicaciones y los datos 347 de programa almacenados en la unidad 238 de disco duro o de manera remota (por ejemplo 248). Una copia se puede cargar también como un programa 226 de aplicación y datos 228 de programa en la memoria 222 de sistema cuando se ejecute.
Un usuario puede introducir comandos e información dentro del ordenador 20 a través de dispositivos de entrada tales como un teclado 362 y un dispositivo de apuntamiento 361, comúnmente referido como un ratón, una rueda de desplazamiento o un panel táctil. Otros dispositivos de entrada (no mostrados) pueden incluir un micrófono, una palanca de mando, un panel de juego, una antena parabólica, un escáner, o similares. Estos y otros dispositivos de entrada se conectan a menudo a la unidad 320 de procesamiento a través de una interfaz 360 de entrada que se acopla al bus de sistema, pero que se puede conectar mediante otras estructuras de interfaz y bus, tales como un puerto paralelo, un puerto de juegos o un bus serie universal (USB). También se conecta un monitor 391 u otro tipo de dispositivo de presentación al bus 321 de sistema a través de una interfaz, tal como una interfaz 390 de video. Además del monitor, los ordenadores pueden incluir también otros dispositivos periféricos de salida tales como unos altavoces 397 e impresoras 396, que se pueden conectar a través de una interfaz 390 periférica de salida.
El ordenador 310 puede operar en un entorno de red que usa conexiones lógicas con uno o más ordenadores remotos, tales como el ordenador 380 remoto. El ordenador 380 remoto puede ser un ordenador personal, un servidor, un enrutador, un PC de red, un dispositivo de par u otro nodo de red común, y normalmente incluye muchos o todos los elementos descritos anteriormente en relación con el ordenador 310, aunque sólo se ha ilustrado un dispositivo 381 de almacenamiento de memoria en la Figura 3. Las conexiones lógicas representadas en la Figura 3 incluyen una red 371 de área local (LAN) y una red 373 de área amplia (WAN), pero puede incluir también otras redes. Dichos entornos de red son normales en oficinas, redes de ordenadores amplias de empresas, intranets e Internet.
Cuando se usa en un entorno de red LAN, el ordenador 310 se conecta a la LAN 371 a través de una interfaz o adaptador de red 370. Cuando se usa en un entorno de red WAN, el ordenador 310 normalmente incluye un módem 372 u otro medio para establecer las comunicaciones a través de la WAN 373, tal como Internet. El módem 372, que puede ser interno o externo, se puede conectar al bus 321 de sistema a través de la interfaz 360 de entrada de usuario, u otro mecanismo apropiado. En un entorno de red, los módulos de programa representados en relación con el ordenador 310, o partes del mismo, se pueden almacenar en el dispositivo de almacenamiento de memoria remota. A modo de ejemplo, y no de limitación, la Figura 3B ilustra los programas 385 de aplicación remota como residiendo en el dispositivo 381 de memoria. Se apreciará que las conexiones de red mostradas son ejemplares y se pueden usar otros medios de establecimiento de un enlace de comunicaciones entre los ordenadores.
La Figura 4 ilustra una realización de ejemplo de un entorno informático en red en el que pueden operar una o más realizaciones para proporcionar retroalimentación del seguimiento de usuario a un usuario. Como se muestra en la Fig. 4, las múltiples consolas 400A-400X o dispositivos de procesamiento, tales como los ilustrados en las Figuras 3A y 3B se pueden acoplar a una red 402 y pueden comunicarse las unas con las otras y con un servicio 404 de juego en red que tiene uno o más servidor o servidores 406 a través de la red 402. El servidor o los servidores 406 pueden incluir un componente de comunicación capaz de recibir información desde y transmitir información hasta las consolas 400A-X y puede proporcionar una colección de servicios que las aplicaciones que se ejecutan en las consolas 400A-X pueden invocar y utilizar.
La consolas 400A-X pueden invocar el servicio 408 de inicio de sesión de usuario, que se usa para autenticar e identificar a un usuario en las consolas 400A-X. Durante el inicio de sesión, el servicio 408 de inicio de sesión obtiene una etiqueta de jugador (un identificador único asociado con el usuario) y una contraseña del usuario así como un identificador de la consola que identifica de manera única la consola que el usuario está usando y la ruta de red hasta la consola. La etiqueta de jugador y la contraseña se autentican comparándolas con una base 416 de datos de perfiles de usuario, que se puede ubicar en el mismo servidor que el servicio 408 de inicio de sesión o se puede distribuir en diferentes servidores o en una colección de diferentes servidores. Una vez autenticado, el servicio 408 de inicio de sesión de usuario almacena el identificador de la consola y la ruta de red en la base 416 de datos de perfiles de usuario para que los mensajes y la información se pueda enviar a la consola.
En una realización, las consola 400A-X pueden incluir un servicio 410 de juego, un servicio 412 compartido, unos datos 428 compartidos de usuario y una base 418 de datos de sustitución. El servicio de juego puede permitir a los usuarios jugar en línea juegos interactivos, crear y compartir entornos de juego para el juego conjunto entre consolas, y proporcionar otros servicios tales como un mercado en línea, un seguimiento de logros centralizado a través de diversos juegos y funciones de experiencia compartida. Un servicio 412 compartido permite a los usuarios compartir los elementos de juego con otros usuarios. Por ejemplo, un usuario en una consola 400x puede crear elementos para usar en juegos y compartirlos o venderlos a otros usuarios. Además, un usuario puede registrar
5
10
15
20
25
30
35
40
45
50
55
elementos de la experiencia de juego, tales como un vídeo de una carrera o diversas escenas en un juego, y compartirlas con otros usuarios. La información proporcionada por los usuarios para compartir o vender se puede almacenar en los datos 428 compartidos de usuario.
La base 416 de datos de perfiles de usuarios global puede incluir información sobre todos los usuarios en las consolas 400A-X así como la información de las cuentas de los usuarios y un identificador de consola que identifique de manera única la consola concreta que cada usuario esté usando. La base 416 de datos de perfil de usuario puede incluir también la información de las preferencias de usuario asociada con todos los usuarios en las consolas 400A-X. La base 416 de datos de perfiles de usuarios global puede incluir también la información sobre los usuarios tal como los registros del juego una lista de amigos asociada con los usuarios.
El software 414 de retroalimentación del seguimiento se puede proporcionar en el servicio 404 de juego. El software de retroalimentación del seguimiento puede responder a los problemas de seguimiento con gestos y movimiento en los elementos del juego subidos al servidor y almacenados en los datos 428 compartidos de usuario.
Cualquier número de dispositivos de procesamiento en red se puede proporcionar de acuerdo con un sistema de juego como se proporciona en la Fig. 4. Como tal, la tecnología presentada en la presente memoria puede operar uno o más servidores 406 en conjunción con un servicio 404 de juego o se puede proporcionar en dispositivos de procesamiento individuales en un entorno en red, tal como los dispositivos 400A -400x.
La Figura 5 representa un modelo de un usuario 500 humano que se puede crear usando el sistema 20 de captura y el entorno 12 informático. La correspondencia 500 esquelética de ejemplo de un usuario se ha generado desde los datos 205 de seguimiento del movimiento capturados mediante el sistema 20 de captura de datos audiovisuales. Este modelo se puede usar mediante uno o más aspectos del sistema 10 basado en gestos para determinar los gestos y similares. El modelo puede estar comprendido por articulaciones y huesos. El seguimiento de dichas articulaciones y huesos puede permitir al sistema basado en gestos determinar que gestos está haciendo un usuario. Estos gestos se pueden usar para controlar el sistema basado en gestos. En esta realización, se identifican una variedad de articulaciones y huesos: cada muñeca 502a, 502b, cada antebrazo 504a, 504b, cada codo 506a, 506b, cada bíceps 508a, 508b, cada hombro 510a, 510b, cada cadera 512a, 512b, cada muslo 514a, 514b, cada rodilla 516a, 516b, cada pierna 518a, 518b, cada pie 520a, 520b, una cabeza 522, un torso 524, una parte superior 526 y una parte inferior 528 de la espina, y una cintura 530. Cuantos más puntos se sigan, más características se pueden identificar, tal como las características individuales de la cara, tal como la nariz y los ojos. Sin embargo, cuantos más cambios en los datos se sigan, más se puede ralentizar también la presentación del avatar.
La Figura 6 representa una serie de gestos tales como una onda o una mano 602 levantada, haciendo una X con los brazos 604, o un choque de manos 606. Aunque no se limita de ninguna manera por los pocos gestos que se han representado, estos gestos, junto con cualesquiera otros pueden ser comandos para el sistema 10 basado en gestos. En una realización, los gestos pueden ser universales, significando que no deberían estar limitados a aplicaciones de software o hardware concretas. En otra realización los juegos u otros programas operados sobre el entorno 12 informático pueden tener gestos específicos del programa. Por ejemplo, un gesto universal para transferir el control del juego a otro jugador puede ser un apretón de manos; sin embargo, un juego tal como un juego de lucha libre puede tener un gesto específico de programa que realice la transferencia del control si los usuarios realizan un gesto 524 de chocar los cinco.
Las realizaciones del método de las Figuras 7 y 8 respectivamente se discuten en el contexto de la realización de la arquitectura funcional implementada por ordenador de la Figura 2 sólo con propósitos ilustrativos y no para ser limitantes del mismo.
La Figura 7 es un diagrama de flujo de una realización 700 del método para proporcionar retroalimentación a un usuario sobre la capacidad de una aplicación de seguir el movimiento del usuario. El sistema de captura detecta en 702 a un usuario en un área de captura. El módulo 204 de movimientos recibe los datos 205l del seguimiento del movimiento y de manera opcional, los datos 217 de audio y sigue en 704 al menos una característica corporal del usuario basado en los datos generados por el sistema de captura. En respuesta a los criterios de seguimiento de usuario que no se satisfacen para una aplicación en ejecución, el software 213 de retroalimentación determina en 706 una respuesta de retroalimentación y provoca la salida en 708 de la retroalimentación al usuario. Como se describe anteriormente, la salida de la retroalimentación puede incluir la presentación de indicadores visuales, proporcionando un indicador de audio o proporcionando una acción dentro del contexto de la actividad de la aplicación.
La Figura 8 es un diagrama de flujo de una realización 800 del método para ayudar a un usuario en la selección de un área de captura. El software 213 de retroalimentación del seguimiento presenta las instrucciones que instruyen en 802 a un usuario para dirigir el campo de visión de la cámara a un área de captura de prueba, y el sistema 20 de captura, captura datos 804 de imagen del área de captura de prueba. En una realización, el software 213 de retroalimentación del seguimiento puede presentar los datos de imagen del área de captura de prueba en el elemento de presentación para que el usuario pueda verlos por sí mismo. El software 213 de retroalimentación del seguimiento presenta en 806 las instrucciones que dirigen al usuario a hacer al menos un gesto usando al menos una parte del cuerpo usada para controlar la actividad para la aplicación en ejecución. El módulo 204 de
5
10
15
20
25
30
35
40
45
50
movimientos sigue en 808 el movimiento de al menos una parte del cuerpo que hace el gesto. El software 213 determina en 811 si el criterio de seguimiento está siendo satisfecho. En respuesta a los criterios de seguimiento del usuario que se satisfacen, el software 213 de retroalimentación del seguimiento determina en 812 una puntuación de la calidad del seguimiento para el área de captura de prueba.
El módulo 204 de movimientos puede proporcionar las puntuaciones o los pesos o algún valor representativo de la calidad de ciertos factores de visibilidad para el área de captura de prueba para el software 213 de retroalimentación del seguimiento para que este los compare con los criterios de seguimiento basados en los factores de visibilidad. En alguna realización, un algoritmo de pesajes se puede aplicar entonces a estos factores para determinar una puntuación. Algunos ejemplos de los factores incluyen la ubicación de la parte del cuerpo del usuario para el gesto en el campo de visión del sistema de captura, la iluminación en el área de captura, y las obstrucciones de la parte del cuerpo.
Las diferentes áreas de captura se califican o se puntúan, y la mejor se recomienda en 818. En otra alternativa, el sistema 20 de captura de imagen se gira a lo largo de un rango de ángulos capturando diferentes vistas en una habitación, y sugiriendo como área de captura la que proporcione la mejor capacidad de seguimiento. El área de captura con la mejor capacidad de seguimiento se puede presentar en el elemento 16 de presentación a través del módulo 207 de procesamiento de la presentación para identificarlo por el usuario.
El módulo 204 de movimientos puede no ser capaz de hacer coincidir un gesto con el movimiento del usuario que lo hace, y puede enviar un mensaje al software 213 de retroalimentación del seguimiento indicándolo. El módulo 204 de movimientos puede indicar también un factor de visibilidad que contribuya a que los criterios de seguimiento del usuario no se estén satisfaciendo. Por ejemplo, el valor de calidad representativo para el factor de visibilidad de la iluminación puede indicar que es pobre.
En respuesta a los criterios de seguimiento del usuario que no se satisfacen, el software 213 de retroalimentación del seguimiento determina como uno o más de los factores de visibilidad se pueden mejorar para el seguimiento, y emite la retroalimentación en 820 al usuario identificando al menos un cambio en el área de captura para mejorar un factor de visibilidad. La retroalimentación se puede emitir a través de elementos de presentación visuales o como mensajes de audio.
El software 213 de retroalimentación del seguimiento determina en 812 una puntuación de calidad del seguimiento para el área de captura de prueba. El módulo 204 de movimientos puede proporcionar puntuaciones o pesos o algún valor representativo de la calidad de ciertos factores de visibilidad para el área de captura de prueba al software 213 de retroalimentación del seguimiento que puede aplicar un algoritmo de pesajes a estos factores para determinar una puntuación.
El software 213 de retroalimentación del seguimiento determina en 814 si existe otra área de captura de prueba a ser probada. Por ejemplo, solicita la entrada del usuario a través del elemento de presentación para ver si hay otra área de captura de prueba. Si hay otra área de captura de prueba, los pasos se repiten para este área de prueba. Si no hay otra área de captura de prueba, el software 213 de retroalimentación del seguimiento presenta una recomendación de área de captura de prueba con la mejor puntuación de visibilidad. Por ejemplo, el área de captura de prueba con la mejor puntuación se presenta en el elemento de presentación. Si hay otra área de captura de prueba, el software 213 presenta en 802 las instrucciones para dirigir el campo de visión de la cámara a la siguiente área de captura y repetir los pasos anteriores.
La descripción detallada anterior se ha presentado con propósitos de ilustración y descripción. No está destinada a ser exhaustiva o a limitar la tecnología descrita a la forma descrita precisa. Muchas modificaciones y variaciones son posibles a la luz de las enseñanzas anteriores. Las realizaciones descritas se eligieron para explicar mejor los principios de la tecnología y su aplicación práctica para de este modo permitir a otros expertos en la técnica utilizar mejor la tecnología en las diversas realizaciones y con las diversas modificaciones que sean adecuadas al uso concreto contemplado. Además, se debería tener en cuenta que el lenguaje usado en la especificación se ha seleccionado principalmente con el propósito de legibilidad e instrucción.
Aunque el tema se ha descrito en un lenguaje específico para las características estructurales y/o los actos metodológicos, se ha de entender que el tema definido en las reivindicaciones adjuntas no está necesariamente limitado a las características o actos específicos descritos anteriormente. Más bien, las características y actos específicos descritos anteriormente se describen como ejemplo de las formas de implementar las reivindicaciones.
Claims (8)
- 51015202530354045REIVINDICACIONES1. Un método (700), realizado por un sistema implementado por ordenador que ejecuta una aplicación de juego que sigue las acciones del usuario para controlar un objeto presentado de un juego, para proporcionar retroalimentación a un usuario sobre la capacidad del sistema para seguir las acciones del usuario que comprende:la detección (702) del usuario en un área de captura con un sistema (20) de captura de imagen;el seguimiento (704) de al menos una parte del cuerpo del usuario en base a los datos generados por el sistema (20) de captura;en respuesta a la determinación de que la parte del cuerpo del usuario que puede controlar el objeto presentado está al menos de manera parcial fuera del campo de visión del sistema de captura de imagen, la determinación (706) de una respuesta contextual de retroalimentación a ser proporcionada dentro del contexto de la aplicación de juego, siendo dicha respuesta de retroalimentación contextual una acción contextual en el juego que cambia al menos una acción de un objeto en el elemento de presentación para proporcionar una motivación al usuario para mover la parte del cuerpo hacia el campo de visión, en donde la respuesta contextual de retroalimentación se determina en base a un perfil del usuario; yla emisión (708) de la respuesta contextual de retroalimentación al usuario en el elemento de presentación.
- 2. El método (700) de la reivindicación 1en donde dicha acción contextual en el juego es para enviar el objeto en el elemento de presentación en una dirección en la que el usuario debería moverse para poner la parte del cuerpo de vuelta en el campo de visión.
- 3. El método (700) de la reivindicación 1en donde dicha acción contextual en el juego es un cambio de dirección o de perspectiva de la visión del usuario de la acción del juego.
- 4. El método (700) de cualquiera de las reivindicaciones precedentes, en donde el perfil del usuario incluye la edad del usuario.
- 5. El método (700) de cualquiera de las reivindicaciones precedentes, comprendiendo además la emisión de un indicador de audio al usuario dirigido en una determinada dirección para motivar al usuario a correr lejos de esa dirección en respuesta a la determinación de que la parte del cuerpo del usuario que puede controlar el objeto presentado está al menos de manera parcial fuera del campo de visión del sistema de captura de imagen.
- 6. El método (700) de cualquiera de las reivindicaciones precedentes, comprendiendo además la determinación de la respuesta contextual de retroalimentación en respuesta a criterios de seguimiento del usuario adicionales que no se satisfacen, estando dichos criterios de seguimiento de usuario basados en el factor de visibilidad del grupo consistente de lo siguiente:la iluminación;el contraste; yuna obstrucción de la parte del cuerpo del usuario.
- 7. Un medio (112, 143, 330, 341, 352, 356) legible por ordenador que comprende instrucciones ejecutables por ordenador almacenadas en el mismo que, cuando son ejecutadas por una unidad de procesamiento (101, 108, 320), provocan que la unidad (101, 108, 320) de procesamiento realice el método (700) de cualquiera de las reivindicaciones precedentes.
- 8. Un sistema para proporcionar retroalimentación a un usuario sobre la capacidad del sistema para seguir las acciones del usuario que comprende:un sistema (20) de captura de imagen para capturar los datos de imagen de un usuario; una memoria (112, 143, 330, 341, 352, 356) que almacena instrucciones; yuno o más procesadores (101, 108, 320) que se acoplan de manera comunicativa al sistema (20) de captura de imagen y a la memoria (112, 143, 330, 341, 352, 356);un elemento (16) de presentación acoplado de manera comunicativa con el uno o más procesadores para presentar la retroalimentación al usuario;el uno o más procesadores (101, 108, 320) que se configuran para, cuando se ejecutan las instrucciones almacenadas en la memoria (112, 143, 330, 341, 352, 356), realizar el método (700) según cualquiera de las reivindicaciones 1 a 6.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/820,954 US9898675B2 (en) | 2009-05-01 | 2010-06-22 | User movement tracking feedback to improve tracking |
| US820954 | 2010-06-22 | ||
| PCT/US2011/040317 WO2011163011A2 (en) | 2010-06-22 | 2011-06-14 | User tracking feedback |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2669869T3 true ES2669869T3 (es) | 2018-05-29 |
Family
ID=45372024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES11798639.8T Active ES2669869T3 (es) | 2010-06-22 | 2011-06-14 | Retroalimentación del seguimiento del usuario |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US9898675B2 (es) |
| EP (1) | EP2585896B1 (es) |
| JP (1) | JP5943913B2 (es) |
| CN (1) | CN102947777B (es) |
| CA (1) | CA2800538A1 (es) |
| ES (1) | ES2669869T3 (es) |
| TW (1) | TW201203089A (es) |
| WO (1) | WO2011163011A2 (es) |
Families Citing this family (123)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110025689A1 (en) * | 2009-07-29 | 2011-02-03 | Microsoft Corporation | Auto-Generating A Visual Representation |
| JP5829390B2 (ja) * | 2010-09-07 | 2015-12-09 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
| US8698092B2 (en) | 2010-09-10 | 2014-04-15 | Samsung Electronics Co., Ltd. | Method and apparatus for motion recognition |
| US9477302B2 (en) * | 2012-08-10 | 2016-10-25 | Google Inc. | System and method for programing devices within world space volumes |
| US9358426B2 (en) | 2010-11-05 | 2016-06-07 | Nike, Inc. | Method and system for automated personal training |
| US8385596B2 (en) * | 2010-12-21 | 2013-02-26 | Microsoft Corporation | First person shooter control with virtual skeleton |
| WO2012091185A1 (en) * | 2010-12-27 | 2012-07-05 | Lg Electronics Inc. | Display device and method of providing feedback for gestures thereof |
| KR101792866B1 (ko) | 2011-04-06 | 2017-11-20 | 삼성전자주식회사 | 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법 |
| JP6297484B2 (ja) | 2011-04-20 | 2018-03-20 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ジェスチャーに基づく要素又はアイテムの制御 |
| DE102011075467A1 (de) * | 2011-05-06 | 2012-11-08 | Deckel Maho Pfronten Gmbh | Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken |
| CN103635240B (zh) | 2011-07-01 | 2015-12-16 | 英派尔科技开发有限公司 | 基于姿势的游戏的安全方案 |
| TWI441042B (zh) | 2011-07-01 | 2014-06-11 | Pixart Imaging Inc | 互動影像系統、互動控制裝置及其運作方法 |
| CN102866772B (zh) * | 2011-07-07 | 2016-02-17 | 原相科技股份有限公司 | 互动影像***、互动控制装置及其运作方法 |
| US9159152B1 (en) * | 2011-07-18 | 2015-10-13 | Motion Reality, Inc. | Mapping between a capture volume and a virtual world in a motion capture simulation environment |
| WO2013032045A1 (en) | 2011-08-31 | 2013-03-07 | Empire Technology Development Llc | Position-setup for gesture-based game system |
| US9628843B2 (en) * | 2011-11-21 | 2017-04-18 | Microsoft Technology Licensing, Llc | Methods for controlling electronic devices using gestures |
| US10423515B2 (en) * | 2011-11-29 | 2019-09-24 | Microsoft Technology Licensing, Llc | Recording touch information |
| WO2013081223A1 (en) | 2011-12-02 | 2013-06-06 | Empire Technology Development Llc | Safety scheme for gesture-based game system |
| WO2013093040A1 (de) * | 2011-12-23 | 2013-06-27 | Sensomotoric Instruments Gmbh | Verfahren und system zur darstellung mindestens eines bilds zumindest einer anwendung auf einer anzeigevorrichtung |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US8790179B2 (en) | 2012-02-24 | 2014-07-29 | Empire Technology Development Llc | Safety scheme for gesture-based game system |
| CN103369214A (zh) * | 2012-03-30 | 2013-10-23 | 华晶科技股份有限公司 | 图像获取方法与图像获取装置 |
| US9210401B2 (en) | 2012-05-03 | 2015-12-08 | Microsoft Technology Licensing, Llc | Projected visual cues for guiding physical movement |
| EP2662827B1 (en) * | 2012-05-08 | 2016-01-13 | Axis AB | Video analysis |
| TWI557685B (zh) * | 2012-05-23 | 2016-11-11 | 雲南恆達睿創三維數字科技有限公司 | 網格動畫製作方法 |
| TWI457532B (zh) * | 2012-05-31 | 2014-10-21 | Pixart Imaging Inc | 光學物件辨識系統 |
| US9690465B2 (en) * | 2012-06-01 | 2017-06-27 | Microsoft Technology Licensing, Llc | Control of remote applications using companion device |
| TWI471630B (zh) * | 2012-06-01 | 2015-02-01 | Hon Hai Prec Ind Co Ltd | 主動式距離對焦系統及方法 |
| US9704171B2 (en) * | 2012-06-05 | 2017-07-11 | Applause App Quality, Inc. | Methods and systems for quantifying and tracking software application quality |
| CN103488277B (zh) * | 2012-06-12 | 2016-08-03 | 原相科技股份有限公司 | 光学物体识别*** |
| US9682321B2 (en) * | 2012-06-20 | 2017-06-20 | Microsoft Technology Licensing, Llc | Multiple frame distributed rendering of interactive content |
| US8777226B1 (en) | 2012-06-21 | 2014-07-15 | Robert Hubert Decker, Jr. | Proxy target system |
| US20140188009A1 (en) * | 2012-07-06 | 2014-07-03 | University Of Southern California | Customizable activity training and rehabilitation system |
| US8512140B1 (en) | 2012-07-26 | 2013-08-20 | Zynga Inc. | Gaming system for updating a presentation of a virtual game environment |
| DE102012216195A1 (de) | 2012-09-12 | 2014-05-28 | Continental Automotive Gmbh | Eingabeeinrichtung |
| TWI463181B (zh) * | 2012-09-25 | 2014-12-01 | Au Optronics Corp | 三維顯示器系統及其控制方法 |
| JP6157631B2 (ja) * | 2012-10-30 | 2017-07-05 | ナイキ イノベイト シーブイ | リモート共同ワークアウトセッション用のユーザインタフェース及びフィットネスメーター |
| US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
| US9681982B2 (en) | 2012-12-17 | 2017-06-20 | Alcon Research, Ltd. | Wearable user interface for use with ocular surgical console |
| TWI564062B (zh) * | 2012-12-21 | 2017-01-01 | 新力電腦娛樂（美國）責任有限公司 | 第二使用者對第一使用者之遊戲玩法的遠端控制 |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
| US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
| US9632658B2 (en) | 2013-01-15 | 2017-04-25 | Leap Motion, Inc. | Dynamic user interactions for display control and scaling responsiveness of display objects |
| US9372541B2 (en) * | 2013-03-11 | 2016-06-21 | Honeywell International Inc. | Gesture recognition system operability verification |
| WO2014200589A2 (en) | 2013-03-15 | 2014-12-18 | Leap Motion, Inc. | Determining positional information for an object in space |
| US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
| US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
| US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
| US9798388B1 (en) * | 2013-07-31 | 2017-10-24 | Aquifi, Inc. | Vibrotactile system to augment 3D input systems |
| TWI509464B (zh) * | 2013-08-07 | 2015-11-21 | Univ Nat Taipei Technology | 互動程式物件處理方法與其多機通訊方法 |
| US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
| US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| IL228332A0 (en) * | 2013-09-10 | 2014-08-31 | Pointgrab Ltd | The method of repeated feeding and a system for interactive systems |
| TWI524211B (zh) * | 2013-09-11 | 2016-03-01 | 萬國商業機器公司 | 電子裝置及其顯示角度調整方法 |
| US9630105B2 (en) | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
| US9729864B2 (en) | 2013-09-30 | 2017-08-08 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
| US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| TWI537767B (zh) | 2013-10-04 | 2016-06-11 | 財團法人工業技術研究院 | 可調體感範圍之多人指引系統與其方法 |
| US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| US9542544B2 (en) * | 2013-11-08 | 2017-01-10 | Microsoft Technology Licensing, Llc | Correlated display of biometric identity, feedback and user interaction state |
| US9595146B2 (en) * | 2013-11-18 | 2017-03-14 | Microsoft Technology Licensing, Llc | Persistent user identification |
| TWI488072B (zh) * | 2013-12-19 | 2015-06-11 | Lite On Technology Corp | 手勢辨識系統及其手勢辨識方法 |
| TWI602602B (zh) * | 2014-01-10 | 2017-10-21 | International Games System Co Ltd | The method of judging the score of somatosensory game |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| US9563956B2 (en) * | 2014-03-26 | 2017-02-07 | Intel Corporation | Efficient free-space finger recognition |
| TWI499938B (zh) | 2014-04-11 | 2015-09-11 | Quanta Comp Inc | 觸控系統 |
| US9665198B2 (en) * | 2014-05-06 | 2017-05-30 | Qualcomm Incorporated | System and method for optimizing haptic feedback |
| US9600074B2 (en) * | 2014-07-09 | 2017-03-21 | Pearson Education, Inc. | Operational feedback with 3D commands |
| US9691293B2 (en) | 2014-07-09 | 2017-06-27 | Pearson Education, Inc. | Customizing application usability with 3D input |
| DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
| KR102214194B1 (ko) * | 2014-08-19 | 2021-02-09 | 삼성전자 주식회사 | Rf센서를 가진 디스플레이장치 및 디스플레이장치의 사용자 감지방법 |
| US9554188B2 (en) * | 2014-08-27 | 2017-01-24 | Verizon Patent And Licensing Inc. | Shock block |
| CN106797413B (zh) * | 2014-09-30 | 2019-09-27 | 惠普发展公司，有限责任合伙企业 | 声音调节 |
| US9928233B2 (en) | 2014-11-12 | 2018-03-27 | Applause App Quality, Inc. | Computer-implemented methods and systems for clustering user reviews and ranking clusters |
| TWI571767B (zh) * | 2014-12-09 | 2017-02-21 | 國立臺灣大學 | 背螢幕式三維互動系統與方法 |
| CN104536568B (zh) * | 2014-12-26 | 2017-10-31 | 技嘉科技股份有限公司 | 侦测用户头部动态的操控***及其操控方法 |
| US9715619B2 (en) | 2015-03-14 | 2017-07-25 | Microsoft Technology Licensing, Llc | Facilitating aligning a user and camera for user authentication |
| US9984519B2 (en) | 2015-04-10 | 2018-05-29 | Google Llc | Method and system for optical user recognition |
| CN105045712B (zh) * | 2015-07-15 | 2017-09-26 | 中国航空无线电电子研究所 | 一种用于测试图形处理模块的测试*** |
| US20170038829A1 (en) * | 2015-08-07 | 2017-02-09 | Microsoft Technology Licensing, Llc | Social interaction for remote communication |
| US20170039986A1 (en) * | 2015-08-07 | 2017-02-09 | Microsoft Technology Licensing, Llc | Mixed Reality Social Interactions |
| US10225301B2 (en) * | 2015-08-26 | 2019-03-05 | Zhan Ma | Method and apparatus for use of input messages in media transport to support interactive communications |
| CN106648042B (zh) * | 2015-11-04 | 2020-11-06 | 重庆邮电大学 | 一种识别控制方法以及装置 |
| US10610133B2 (en) | 2015-11-05 | 2020-04-07 | Google Llc | Using active IR sensor to monitor sleep |
| US10204265B2 (en) * | 2016-01-11 | 2019-02-12 | Electronics And Telecommunications Research Institute | System and method for authenticating user |
| JP2017143992A (ja) * | 2016-02-16 | 2017-08-24 | 株式会社トプコン | 眼科検査システム及び眼科検査装置 |
| EP3455700A1 (en) * | 2016-05-12 | 2019-03-20 | Google LLC | System and method relating to movement in a virtual reality environment |
| US11146661B2 (en) * | 2016-06-28 | 2021-10-12 | Rec Room Inc. | Systems and methods for detecting collaborative virtual gestures |
| US11295706B2 (en) | 2016-06-30 | 2022-04-05 | Microsoft Technology Licensing, Llc | Customizable compact overlay window |
| EP3267289B1 (en) | 2016-07-05 | 2019-02-27 | Ricoh Company, Ltd. | Information processing apparatus, position information generation method, and information processing system |
| JP6834197B2 (ja) * | 2016-07-05 | 2021-02-24 | 株式会社リコー | 情報処理装置、表示システム、プログラム |
| JP6699406B2 (ja) * | 2016-07-05 | 2020-05-27 | 株式会社リコー | 情報処理装置、プログラム、位置情報作成方法、情報処理システム |
| US10440240B2 (en) * | 2016-09-30 | 2019-10-08 | Sony Interactive Entertainment Inc. | Systems and methods for reducing an effect of occlusion of a tracker by people |
| JP6208837B1 (ja) * | 2016-10-12 | 2017-10-04 | 株式会社エイチアイ | ユーザインタフェースを制御する方法、プログラム及び装置 |
| CN106338839A (zh) * | 2016-11-08 | 2017-01-18 | 金陵科技学院 | 一种3d动漫演示装置 |
| JP2018084951A (ja) * | 2016-11-24 | 2018-05-31 | 株式会社日立製作所 | 行動解析装置及び行動解析方法 |
| CN106601217B (zh) * | 2016-12-06 | 2021-03-02 | 北京邮电大学 | 一种交互式乐器演奏方法及装置 |
| CN110637273B (zh) * | 2017-05-10 | 2021-12-03 | 微软技术许可有限责任公司 | 在虚拟环境内呈现应用 |
| TWI637341B (zh) * | 2017-05-18 | 2018-10-01 | 緯創資通股份有限公司 | 穿戴式裝置、動態事件記錄系統及其動態事件記錄方法 |
| TWI637363B (zh) * | 2017-07-26 | 2018-10-01 | 銘傳大學 | 擴增實境之人機互動系統 |
| US11266328B2 (en) * | 2017-08-03 | 2022-03-08 | Latella Sports Technologies, LLC | Systems and methods for evaluating body motion |
| TWI633326B (zh) * | 2017-09-11 | 2018-08-21 | 宏碁股份有限公司 | 多人定位系統以及多人定位方法 |
| KR101987864B1 (ko) * | 2017-12-22 | 2019-06-11 | (주)네오인터넷 | 게임 유저의 액션 기반 전자 게임 제공방법 |
| US10983604B2 (en) | 2018-05-16 | 2021-04-20 | Alcon Inc. | Foot controlled cursor |
| US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
| US11204648B2 (en) * | 2018-06-12 | 2021-12-21 | Mastercard International Incorporated | Handshake to establish agreement between two parties in virtual reality |
| US10636118B2 (en) | 2018-06-25 | 2020-04-28 | Microsoft Technology Licensing, Llc | Input scaling to keep controller inside field of view |
| US10958828B2 (en) | 2018-10-10 | 2021-03-23 | International Business Machines Corporation | Advising image acquisition based on existing training sets |
| EP3726344A1 (en) * | 2019-04-16 | 2020-10-21 | InterDigital CE Patent Holdings | Method and apparatus for user control of an application and corresponding device |
| US11138798B2 (en) | 2019-05-06 | 2021-10-05 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying objects in 3D contexts |
| TWI730500B (zh) | 2019-11-13 | 2021-06-11 | 財團法人資訊工業策進會 | 運動輔助裝置及運動輔助方法 |
| USD954108S1 (en) * | 2019-12-24 | 2022-06-07 | Sony Corporation | Display screen or portion thereof with an animated graphical user interface |
| US11554324B2 (en) * | 2020-06-25 | 2023-01-17 | Sony Interactive Entertainment LLC | Selection of video template based on computer simulation metadata |
| US11640725B2 (en) | 2021-05-28 | 2023-05-02 | Sportsbox.ai Inc. | Quantitative, biomechanical-based analysis with outcomes and context |
| US12008839B2 (en) | 2021-05-28 | 2024-06-11 | Sportsbox.ai Inc. | Golf club and other object fitting using quantitative biomechanical-based analysis |
| US20230267667A1 (en) * | 2022-02-22 | 2023-08-24 | Autodesk, Inc. | Immersive analysis environment for human motion data |
Family Cites Families (285)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4695953A (en) | 1983-08-25 | 1987-09-22 | Blair Preston E | TV animation interactively controlled by the viewer |
| US4630910A (en) | 1984-02-16 | 1986-12-23 | Robotic Vision Systems, Inc. | Method of measuring in three-dimensions at high speed |
| US4627620A (en) | 1984-12-26 | 1986-12-09 | Yang John P | Electronic athlete trainer for improving skills in reflex, speed and accuracy |
| US4645458A (en) | 1985-04-15 | 1987-02-24 | Harald Phillip | Athletic evaluation and training apparatus |
| US4702475A (en) | 1985-08-16 | 1987-10-27 | Innovating Training Products, Inc. | Sports technique and reaction training system |
| US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
| US4711543A (en) | 1986-04-14 | 1987-12-08 | Blair Preston E | TV animation interactively controlled by the viewer |
| US4796997A (en) | 1986-05-27 | 1989-01-10 | Synthetic Vision Systems, Inc. | Method and system for high-speed, 3-D imaging of an object at a vision station |
| US5184295A (en) | 1986-05-30 | 1993-02-02 | Mann Ralph V | System and method for teaching physical skills |
| US4751642A (en) | 1986-08-29 | 1988-06-14 | Silva John M | Interactive sports simulation system with physiological sensing and psychological conditioning |
| US4809065A (en) | 1986-12-01 | 1989-02-28 | Kabushiki Kaisha Toshiba | Interactive system and related method for displaying data to produce a three-dimensional image of an object |
| US4817950A (en) | 1987-05-08 | 1989-04-04 | Goo Paul E | Video game control unit and attitude sensor |
| US5239463A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Method and apparatus for player interaction with animated characters and objects |
| US5239464A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Interactive video system providing repeated switching of multiple tracks of actions sequences |
| US4901362A (en) | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
| US4893183A (en) | 1988-08-11 | 1990-01-09 | Carnegie-Mellon University | Robotic vision system |
| JPH02199526A (ja) | 1988-10-14 | 1990-08-07 | David G Capper | 制御インターフェース装置 |
| US4925189A (en) | 1989-01-13 | 1990-05-15 | Braeunig Thomas F | Body-mounted video game exercise device |
| US5229756A (en) | 1989-02-07 | 1993-07-20 | Yamaha Corporation | Image control apparatus |
| US5469740A (en) | 1989-07-14 | 1995-11-28 | Impulse Technology, Inc. | Interactive video testing and training system |
| JP2622620B2 (ja) | 1989-11-07 | 1997-06-18 | プロクシマ コーポレイション | コンピュータにより発生されたデイスプレイ可視像を変更するためのコンピュータ入力システム |
| JPH03103822U (es) | 1990-02-13 | 1991-10-29 | ||
| US5101444A (en) | 1990-05-18 | 1992-03-31 | Panacea, Inc. | Method and apparatus for high speed object location |
| US5148154A (en) | 1990-12-04 | 1992-09-15 | Sony Corporation Of America | Multi-dimensional user interface |
| US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
| US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
| US5295491A (en) | 1991-09-26 | 1994-03-22 | Sam Technology, Inc. | Non-invasive human neurocognitive performance capability testing method and system |
| US6054991A (en) | 1991-12-02 | 2000-04-25 | Texas Instruments Incorporated | Method of modeling player position and movement in a virtual reality system |
| JPH06508788A (ja) | 1991-12-03 | 1994-10-06 | フレンチ スポーテク コーポレイション | 対話型ビデオ式検査および訓練システム |
| US5875108A (en) | 1991-12-23 | 1999-02-23 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| JPH07325934A (ja) | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
| US5999908A (en) | 1992-08-06 | 1999-12-07 | Abelow; Daniel H. | Customer-based product design module |
| US5320538A (en) | 1992-09-23 | 1994-06-14 | Hughes Training, Inc. | Interactive aircraft training system and method |
| IT1257294B (it) | 1992-11-20 | 1996-01-12 | Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori. | |
| US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
| US5690582A (en) | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
| JP2799126B2 (ja) * | 1993-03-26 | 1998-09-17 | 株式会社ナムコ | ビデオゲーム装置及びゲーム用入力装置 |
| US5405152A (en) | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
| US5454043A (en) | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
| US5423554A (en) | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
| US5980256A (en) | 1993-10-29 | 1999-11-09 | Carmein; David E. E. | Virtual reality system with enhanced sensory apparatus |
| JP3419050B2 (ja) | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
| US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
| JP2552427B2 (ja) | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
| US5577981A (en) | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
| US5580249A (en) | 1994-02-14 | 1996-12-03 | Sarcos Group | Apparatus for simulating mobility of a human |
| US5597309A (en) | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
| US5385519A (en) | 1994-04-19 | 1995-01-31 | Hsu; Chi-Hsueh | Running machine |
| US5524637A (en) | 1994-06-29 | 1996-06-11 | Erickson; Jon W. | Interactive system for measuring physiological exertion |
| JPH0844490A (ja) | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
| US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
| US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
| US5516105A (en) | 1994-10-06 | 1996-05-14 | Exergame, Inc. | Acceleration activated joystick |
| US5638300A (en) | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
| JPH08161292A (ja) | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | 混雑度検知方法およびそのシステム |
| US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
| US5682229A (en) | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
| US5913727A (en) | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
| JP3481631B2 (ja) | 1995-06-07 | 2003-12-22 | ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク | 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法 |
| IL114278A (en) | 1995-06-22 | 2010-06-16 | Microsoft Internat Holdings B | Camera and method |
| DE69635891T2 (de) | 1995-06-22 | 2006-12-14 | 3Dv Systems Ltd. | Verbesserte optische kamera zur entfernungsmessung |
| US5682196A (en) | 1995-06-22 | 1997-10-28 | Actv, Inc. | Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers |
| US5702323A (en) | 1995-07-26 | 1997-12-30 | Poulton; Craig K. | Electronic exercise enhancer |
| US6308565B1 (en) | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
| US6098458A (en) | 1995-11-06 | 2000-08-08 | Impulse Technology, Ltd. | Testing and training system for assessing movement and agility skills without a confining field |
| US6073489A (en) | 1995-11-06 | 2000-06-13 | French; Barry J. | Testing and training system for assessing the ability of a player to complete a task |
| US6430997B1 (en) | 1995-11-06 | 2002-08-13 | Trazer Technologies, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
| US6176782B1 (en) | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
| US5933125A (en) | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
| US5641288A (en) | 1996-01-11 | 1997-06-24 | Zaenglein, Jr.; William G. | Shooting simulating process and training device using a virtual reality display screen |
| US5813863A (en) * | 1996-05-01 | 1998-09-29 | Sloane; Sharon R. | Interactive behavior modification system |
| JP2000510013A (ja) | 1996-05-08 | 2000-08-08 | リアル ヴィジョン コーポレイション | 位置検出を用いたリアルタイムシミュレーション |
| US6173066B1 (en) | 1996-05-21 | 2001-01-09 | Cybernet Systems Corporation | Pose determination and tracking by matching 3D objects to a 2D sensor |
| US5989157A (en) | 1996-08-06 | 1999-11-23 | Walton; Charles A. | Exercising system with electronic inertial game playing |
| WO1998007129A1 (fr) | 1996-08-14 | 1998-02-19 | Latypov Nurakhmed Nurislamovic | Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes |
| JP3064928B2 (ja) | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
| ATE232621T1 (de) | 1996-12-20 | 2003-02-15 | Hitachi Europ Ltd | Verfahren und system zur erkennung von handgesten |
| JP3819096B2 (ja) | 1997-01-22 | 2006-09-06 | 株式会社東芝 | ユーザインタフェース装置及び操作範囲呈示方法 |
| US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
| US6100896A (en) | 1997-03-24 | 2000-08-08 | Mitsubishi Electric Information Technology Center America, Inc. | System for designing graphical multi-participant environments |
| US5877803A (en) | 1997-04-07 | 1999-03-02 | Tritech Mircoelectronics International, Ltd. | 3-D image detector |
| US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
| US6124862A (en) | 1997-06-13 | 2000-09-26 | Anivision, Inc. | Method and apparatus for generating virtual views of sporting events |
| US6075895A (en) | 1997-06-20 | 2000-06-13 | Holoplex | Methods and apparatus for gesture recognition based on templates |
| JP3077745B2 (ja) | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
| US6188777B1 (en) | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
| US6289112B1 (en) | 1997-08-22 | 2001-09-11 | International Business Machines Corporation | System and method for determining block direction in fingerprint images |
| US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
| WO1999015863A1 (en) | 1997-09-24 | 1999-04-01 | 3Dv Systems, Ltd. | Acoustical imaging system |
| EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
| US6141463A (en) | 1997-10-10 | 2000-10-31 | Electric Planet Interactive | Method and system for estimating jointed-figure configurations |
| US6130677A (en) | 1997-10-15 | 2000-10-10 | Electric Planet, Inc. | Interactive computer vision system |
| WO1999019840A1 (en) | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | A system and method for generating an animatable character |
| US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
| AU1099899A (en) | 1997-10-15 | 1999-05-03 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
| US6181343B1 (en) | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
| JP2002516121A (ja) | 1998-03-03 | 2002-06-04 | アリーナ， インコーポレイテッド | 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法 |
| JPH11272293A (ja) | 1998-03-24 | 1999-10-08 | Sanyo Electric Co Ltd | 遠隔制御装置 |
| US6159100A (en) | 1998-04-23 | 2000-12-12 | Smith; Michael D. | Virtual reality game |
| US6077201A (en) | 1998-06-12 | 2000-06-20 | Cheng; Chau-Yang | Exercise bicycle |
| US6801637B2 (en) | 1999-08-10 | 2004-10-05 | Cybernet Systems Corporation | Optical body tracker |
| US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
| US20010008561A1 (en) | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
| US7121946B2 (en) | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
| US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
| US6950534B2 (en) | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
| IL126284A (en) | 1998-09-17 | 2002-12-01 | Netmor Ltd | System and method for three dimensional positioning and tracking |
| EP0991011B1 (en) | 1998-09-28 | 2007-07-25 | Matsushita Electric Industrial Co., Ltd. | Method and device for segmenting hand gestures |
| US6501515B1 (en) | 1998-10-13 | 2002-12-31 | Sony Corporation | Remote control system |
| US6241612B1 (en) | 1998-11-09 | 2001-06-05 | Cirrus Logic, Inc. | Voice communication during a multi-player game |
| US7483049B2 (en) | 1998-11-20 | 2009-01-27 | Aman James A | Optimizations for live event, real-time, 3D object tracking |
| WO2000034919A1 (en) | 1998-12-04 | 2000-06-15 | Interval Research Corporation | Background estimation and segmentation based on range and color |
| US6147678A (en) | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
| EP1147370B1 (en) | 1998-12-16 | 2009-02-25 | 3DV Systems Ltd. | Self gating photosurface |
| US6570555B1 (en) | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
| US6363160B1 (en) | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
| US7003134B1 (en) | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
| US6299308B1 (en) | 1999-04-02 | 2001-10-09 | Cybernet Systems Corporation | Low-cost non-imaging eye tracker system for computer control |
| US6614422B1 (en) | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
| US7406214B2 (en) | 1999-05-19 | 2008-07-29 | Digimarc Corporation | Methods and devices employing optical sensors and/or steganography |
| US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
| US6476834B1 (en) | 1999-05-28 | 2002-11-05 | International Business Machines Corporation | Dynamic creation of selectable items on surfaces |
| US6873723B1 (en) | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
| US6738066B1 (en) | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
| US7113918B1 (en) | 1999-08-01 | 2006-09-26 | Electric Planet, Inc. | Method for video enabled electronic commerce |
| US7050606B2 (en) | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
| ATE285079T1 (de) | 1999-09-08 | 2005-01-15 | 3Dv Systems Ltd | 3d- bilderzeugungssystem |
| US6512838B1 (en) | 1999-09-22 | 2003-01-28 | Canesta, Inc. | Methods for enhancing performance and data acquired from three-dimensional image systems |
| US7006236B2 (en) * | 2002-05-22 | 2006-02-28 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
| US6690618B2 (en) | 2001-04-03 | 2004-02-10 | Canesta, Inc. | Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device |
| US7050177B2 (en) | 2002-05-22 | 2006-05-23 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
| US20030132950A1 (en) | 2001-11-27 | 2003-07-17 | Fahri Surucu | Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains |
| DE19960180B4 (de) | 1999-12-14 | 2006-03-09 | Rheinmetall W & M Gmbh | Verfahren zur Herstellung eines Sprenggeschosses |
| US6674877B1 (en) | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
| US6663491B2 (en) * | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
| US6633294B1 (en) | 2000-03-09 | 2003-10-14 | Seth Rosenthal | Method and apparatus for using captured high density motion for animation |
| US6767287B1 (en) | 2000-03-16 | 2004-07-27 | Sony Computer Entertainment America Inc. | Computer system and method for implementing a virtual reality environment for a multi-player game |
| EP1152261A1 (en) | 2000-04-28 | 2001-11-07 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
| US6784901B1 (en) | 2000-05-09 | 2004-08-31 | There | Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment |
| US6640202B1 (en) | 2000-05-25 | 2003-10-28 | International Business Machines Corporation | Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications |
| US6731799B1 (en) | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
| US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
| US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
| US7327376B2 (en) | 2000-08-29 | 2008-02-05 | Mitsubishi Electric Research Laboratories, Inc. | Multi-user collaborative graphical user interfaces |
| US7058204B2 (en) | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
| JP3725460B2 (ja) | 2000-10-06 | 2005-12-14 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| US20020075334A1 (en) | 2000-10-06 | 2002-06-20 | Yfantis Evangelos A. | Hand gestures and hand motion for replacing computer mouse events |
| US7039676B1 (en) | 2000-10-31 | 2006-05-02 | International Business Machines Corporation | Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session |
| US6809726B2 (en) | 2000-12-11 | 2004-10-26 | Xerox Corporation | Touchscreen display calibration using results history |
| US20020126090A1 (en) * | 2001-01-18 | 2002-09-12 | International Business Machines Corporation | Navigating and selecting a portion of a screen by utilizing a state of an object as viewed by a camera |
| US6539931B2 (en) | 2001-04-16 | 2003-04-01 | Koninklijke Philips Electronics N.V. | Ball throwing assistant |
| US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
| US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
| WO2003001722A2 (en) | 2001-06-22 | 2003-01-03 | Canesta, Inc. | Method and system to display a virtual input device |
| JP3420221B2 (ja) | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
| JP3611807B2 (ja) | 2001-07-19 | 2005-01-19 | コナミ株式会社 | ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム |
| US6937742B2 (en) | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
| WO2003054683A2 (en) | 2001-12-07 | 2003-07-03 | Canesta Inc. | User interface for electronic devices |
| AU2003217587A1 (en) | 2002-02-15 | 2003-09-09 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
| AU2003219926A1 (en) | 2002-02-26 | 2003-09-09 | Canesta, Inc. | Method and apparatus for recognizing objects |
| US7310431B2 (en) | 2002-04-10 | 2007-12-18 | Canesta, Inc. | Optical methods for remotely measuring objects |
| ATE321689T1 (de) | 2002-04-19 | 2006-04-15 | Iee Sarl | Sicherheitsvorrichtung für ein fahrzeug |
| US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
| US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
| US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
| US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
| US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US7623115B2 (en) | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
| US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
| US7782297B2 (en) * | 2002-07-27 | 2010-08-24 | Sony Computer Entertainment America Inc. | Method and apparatus for use in determining an activity level of a user in relation to a system |
| US7151530B2 (en) | 2002-08-20 | 2006-12-19 | Canesta, Inc. | System and method for determining an input selected by a user through a virtual interface |
| US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
| JP4235729B2 (ja) | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| GB2398691B (en) | 2003-02-21 | 2006-05-31 | Sony Comp Entertainment Europe | Control of data processing |
| US20040179037A1 (en) * | 2003-03-03 | 2004-09-16 | Blattner Patrick D. | Using avatars to communicate context out-of-band |
| US7103852B2 (en) | 2003-03-10 | 2006-09-05 | International Business Machines Corporation | Dynamic resizing of clickable areas of touch screen applications |
| DE602004006190T8 (de) | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
| US7372977B2 (en) | 2003-05-29 | 2008-05-13 | Honda Motor Co., Ltd. | Visual tracking using depth data |
| US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| EP3190546A3 (en) | 2003-06-12 | 2017-10-04 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
| US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
| US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| WO2005041579A2 (en) | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
| US7963652B2 (en) * | 2003-11-14 | 2011-06-21 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
| US20050183035A1 (en) | 2003-11-20 | 2005-08-18 | Ringel Meredith J. | Conflict resolution for graphic multi-user interface |
| JP3847753B2 (ja) | 2004-01-30 | 2006-11-22 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| US20050215319A1 (en) | 2004-03-23 | 2005-09-29 | Harmonix Music Systems, Inc. | Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment |
| EP1743277A4 (en) | 2004-04-15 | 2011-07-06 | Gesturetek Inc | MONITORING OF BI-MANUAL MOVEMENTS |
| WO2005110567A2 (en) * | 2004-05-10 | 2005-11-24 | Nintendo Co., Ltd. | Video game including effects for providing different first person experiences of the same video game world and a storage medium storing software for the video game |
| US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
| GB0417075D0 (en) | 2004-07-30 | 2004-09-01 | Hewlett Packard Development Co | Calibrating digital pens |
| US7704135B2 (en) | 2004-08-23 | 2010-04-27 | Harrison Jr Shelton E | Integrated game system, method, and device |
| WO2006025137A1 (ja) | 2004-09-01 | 2006-03-09 | Sony Computer Entertainment Inc. | 画像処理装置、ゲーム装置および画像処理方法 |
| JP2006068315A (ja) * | 2004-09-02 | 2006-03-16 | Sega Corp | ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| EP1645944B1 (en) | 2004-10-05 | 2012-08-15 | Sony France S.A. | A content-management interface |
| TWI316196B (en) | 2004-11-01 | 2009-10-21 | Ibm | Apparatus method and system for improved feedback of pointing device event processing |
| JP4449723B2 (ja) | 2004-12-08 | 2010-04-14 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| KR20060070280A (ko) | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 |
| HUE049974T2 (hu) | 2005-01-07 | 2020-11-30 | Qualcomm Inc | Képeken lévõ objektumok észlelése és követése |
| US7379566B2 (en) | 2005-01-07 | 2008-05-27 | Gesturetek, Inc. | Optical flow based tilt sensor |
| WO2006074310A2 (en) | 2005-01-07 | 2006-07-13 | Gesturetek, Inc. | Creating 3d images of objects by illuminating with infrared patterns |
| US8369795B2 (en) * | 2005-01-12 | 2013-02-05 | Microsoft Corporation | Game console notification system |
| CN1304931C (zh) | 2005-01-27 | 2007-03-14 | 北京理工大学 | 一种头戴式立体视觉手势识别装置 |
| US8009871B2 (en) | 2005-02-08 | 2011-08-30 | Microsoft Corporation | Method and system to segment depth images and to detect shapes in three-dimensionally acquired data |
| EP1851750A4 (en) | 2005-02-08 | 2010-08-25 | Oblong Ind Inc | SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES |
| KR100688743B1 (ko) | 2005-03-11 | 2007-03-02 | 삼성전기주식회사 | 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법 |
| US7317836B2 (en) | 2005-03-17 | 2008-01-08 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
| US7577925B2 (en) | 2005-04-08 | 2009-08-18 | Microsoft Corporation | Processing for distinguishing pen gestures and dynamic self-calibration of pen-based computing systems |
| US20060258427A1 (en) | 2005-05-13 | 2006-11-16 | Igt | Wide area table gaming monitor and control system |
| BRPI0613165A2 (pt) | 2005-05-17 | 2010-12-21 | Gesturetek Inc | saìda de sinal sensìvel à orientação |
| ATE412882T1 (de) | 2005-08-12 | 2008-11-15 | Mesa Imaging Ag | Hochempfindliches, schnelles pixel für anwendung in einem bildsensor |
| US20080026838A1 (en) | 2005-08-22 | 2008-01-31 | Dunstan James E | Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games |
| JP4773170B2 (ja) * | 2005-09-14 | 2011-09-14 | 任天堂株式会社 | ゲームプログラムおよびゲームシステム |
| US7450736B2 (en) | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
| GB2431717A (en) | 2005-10-31 | 2007-05-02 | Sony Uk Ltd | Scene analysis |
| US7834850B2 (en) * | 2005-11-29 | 2010-11-16 | Navisense | Method and system for object control |
| US8241118B2 (en) | 2006-01-27 | 2012-08-14 | Great Play Holdings Llc | System for promoting physical activity employing virtual interactive arena |
| US8537112B2 (en) * | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| US8537111B2 (en) * | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| US8004503B2 (en) | 2006-02-21 | 2011-08-23 | Microsoft Corporation | Auto-calibration of a touch screen |
| JP4917615B2 (ja) | 2006-02-27 | 2012-04-18 | プライム センス リミティド | スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ） |
| US8668334B2 (en) * | 2006-02-27 | 2014-03-11 | Vital Art And Science Incorporated | Vision measurement and training system and method of operation thereof |
| JP4785569B2 (ja) | 2006-03-10 | 2011-10-05 | 株式会社コナミデジタルエンタテインメント | 表示装置、表示方法、ならびに、プログラム |
| JP5089060B2 (ja) * | 2006-03-14 | 2012-12-05 | 株式会社ソニー・コンピュータエンタテインメント | エンタテインメントシステムおよびゲームコントローラ |
| JP3954631B1 (ja) | 2006-03-30 | 2007-08-08 | 株式会社バンダイナムコゲームス | サーバシステム、ゲーム端末、プログラム及び情報記憶媒体 |
| CN1828630A (zh) | 2006-04-06 | 2006-09-06 | 上海交通大学 | 基于流形学习的人脸姿势识别方法 |
| JP4567805B2 (ja) | 2006-05-04 | 2010-10-20 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | １つ以上の視覚、音響、慣性およびミックスデータに基づく入力にギアリング効果を与える方法ならびに装置 |
| EP2194509A1 (en) | 2006-05-07 | 2010-06-09 | Sony Computer Entertainment Inc. | Method for providing affective characteristics to computer generated avatar during gameplay |
| US7721207B2 (en) | 2006-05-31 | 2010-05-18 | Sony Ericsson Mobile Communications Ab | Camera based control |
| US20080040692A1 (en) | 2006-06-29 | 2008-02-14 | Microsoft Corporation | Gesture input |
| US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
| US8180114B2 (en) | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
| JP4267648B2 (ja) | 2006-08-25 | 2009-05-27 | 株式会社東芝 | インターフェース装置及びその方法 |
| US8395658B2 (en) | 2006-09-07 | 2013-03-12 | Sony Computer Entertainment Inc. | Touch screen-like user interface that does not require actual touching |
| JP5395323B2 (ja) | 2006-09-29 | 2014-01-22 | ブレインビジョン株式会社 | 固体撮像素子 |
| US8683386B2 (en) | 2006-10-03 | 2014-03-25 | Brian Mark Shuster | Virtual environment for computer game |
| US20100015585A1 (en) | 2006-10-26 | 2010-01-21 | Richard John Baker | Method and apparatus for providing personalised audio-visual instruction |
| US8157652B2 (en) | 2006-11-10 | 2012-04-17 | Igt | Interactive gaming table |
| US20080134102A1 (en) | 2006-12-05 | 2008-06-05 | Sony Ericsson Mobile Communications Ab | Method and system for detecting movement of an object |
| JP2008146243A (ja) * | 2006-12-07 | 2008-06-26 | Toshiba Corp | 情報処理装置、情報処理方法、及びプログラム |
| US20080146302A1 (en) * | 2006-12-14 | 2008-06-19 | Arlen Lynn Olsen | Massive Multiplayer Event Using Physical Skills |
| JP2008152530A (ja) | 2006-12-18 | 2008-07-03 | Sony Corp | 顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラム |
| US8351646B2 (en) | 2006-12-21 | 2013-01-08 | Honda Motor Co., Ltd. | Human pose estimation and tracking using label assignment |
| US7412077B2 (en) | 2006-12-29 | 2008-08-12 | Motorola, Inc. | Apparatus and methods for head pose estimation and head gesture detection |
| US20080200287A1 (en) * | 2007-01-10 | 2008-08-21 | Pillar Vision Corporation | Trajectory detection and feedfack system for tennis |
| GB0703974D0 (en) | 2007-03-01 | 2007-04-11 | Sony Comp Entertainment Europe | Entertainment device |
| US7729530B2 (en) | 2007-03-03 | 2010-06-01 | Sergey Antonov | Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system |
| US20090005141A1 (en) | 2007-06-26 | 2009-01-01 | Nokia Corporation | Personalized Multiplayer Media Game or Quiz |
| US8726194B2 (en) | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
| US7852262B2 (en) | 2007-08-16 | 2010-12-14 | Cybernet Systems Corporation | Wireless mobile indoor/outdoor tracking system |
| US8630924B2 (en) * | 2007-08-31 | 2014-01-14 | Accenture Global Services Limited | Detection of stock out conditions based on image processing |
| KR101141087B1 (ko) | 2007-09-14 | 2012-07-12 | 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 | 제스처-기반 사용자 상호작용의 프로세싱 |
| US7970176B2 (en) | 2007-10-02 | 2011-06-28 | Omek Interactive, Inc. | Method and system for gesture classification |
| EP2203893A4 (en) | 2007-10-30 | 2014-05-07 | Hewlett Packard Development Co | INTERACTIVE DISPLAY SYSTEM WITH GROUP GESTURE DETECTION |
| US8139110B2 (en) | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
| US9986293B2 (en) | 2007-11-21 | 2018-05-29 | Qualcomm Incorporated | Device access control |
| WO2009067670A1 (en) * | 2007-11-21 | 2009-05-28 | Gesturetek, Inc. | Media preferences |
| US20090221368A1 (en) | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
| US8419545B2 (en) * | 2007-11-28 | 2013-04-16 | Ailive, Inc. | Method and system for controlling movements of objects in a videogame |
| GB2455316B (en) | 2007-12-04 | 2012-08-15 | Sony Corp | Image processing apparatus and method |
| US20110009194A1 (en) * | 2007-12-06 | 2011-01-13 | Oz Gabai | Acoustic motion capture |
| US8149210B2 (en) | 2007-12-31 | 2012-04-03 | Microsoft International Holdings B.V. | Pointing device and method |
| US8166421B2 (en) * | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
| US8696458B2 (en) | 2008-02-15 | 2014-04-15 | Thales Visionix, Inc. | Motion tracking system and method using camera and non-camera sensors |
| US20100039500A1 (en) | 2008-02-15 | 2010-02-18 | Matthew Bell | Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator |
| US20090319459A1 (en) | 2008-02-20 | 2009-12-24 | Massachusetts Institute Of Technology | Physically-animated Visual Display |
| US9772689B2 (en) | 2008-03-04 | 2017-09-26 | Qualcomm Incorporated | Enhanced gesture-based image manipulation |
| US20090237490A1 (en) * | 2008-03-21 | 2009-09-24 | Nelson Jr Douglas V | System and method for stereoscopic image creation and transmission |
| CN101254344B (zh) | 2008-04-18 | 2010-06-16 | 李刚 | 场地方位与显示屏点阵按比例相对应的游戏装置和方法 |
| JP4583472B2 (ja) * | 2008-04-28 | 2010-11-17 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法及びプログラム |
| US8113991B2 (en) | 2008-06-02 | 2012-02-14 | Omek Interactive, Ltd. | Method and system for interactive fitness training program |
| US9092053B2 (en) * | 2008-06-17 | 2015-07-28 | Apple Inc. | Systems and methods for adjusting a display based on the user's position |
| JP5231903B2 (ja) | 2008-09-03 | 2013-07-10 | 株式会社日立ハイテクノロジーズ | プラズマ処理装置 |
| US8127236B2 (en) * | 2008-09-12 | 2012-02-28 | International Business Machines Corporation | Virtual universe subject matter expert assistance |
| JP4850885B2 (ja) | 2008-10-02 | 2012-01-11 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法及びプログラム |
| US8619043B2 (en) | 2009-02-27 | 2013-12-31 | Blackberry Limited | System and method of calibration of a touch screen display |
| WO2010103482A2 (en) * | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
| US8294105B2 (en) * | 2009-05-22 | 2012-10-23 | Motorola Mobility Llc | Electronic device with sensing assembly and method for interpreting offset gestures |
| US9250746B2 (en) | 2010-03-12 | 2016-02-02 | Shafa Wala | Position capture input apparatus, system, and method therefor |
| JP5039808B2 (ja) | 2010-03-16 | 2012-10-03 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法、及びプログラム |
| EP2579955B1 (en) * | 2010-06-11 | 2020-07-08 | Harmonix Music Systems, Inc. | Dance game and tutorial |
| US8562403B2 (en) * | 2010-06-11 | 2013-10-22 | Harmonix Music Systems, Inc. | Prompting a player of a dance game |
-
2010
- 2010-06-22 US US12/820,954 patent/US9898675B2/en active Active
-
2011
- 2011-05-20 TW TW100117828A patent/TW201203089A/zh unknown
- 2011-06-14 CN CN201180030882.0A patent/CN102947777B/zh active Active
- 2011-06-14 ES ES11798639.8T patent/ES2669869T3/es active Active
- 2011-06-14 JP JP2013516608A patent/JP5943913B2/ja not_active Expired - Fee Related
- 2011-06-14 WO PCT/US2011/040317 patent/WO2011163011A2/en active Application Filing
- 2011-06-14 EP EP11798639.8A patent/EP2585896B1/en active Active
- 2011-06-14 CA CA2800538A patent/CA2800538A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| CN102947777A (zh) | 2013-02-27 |
| JP2013539565A (ja) | 2013-10-24 |
| EP2585896A2 (en) | 2013-05-01 |
| US20100277411A1 (en) | 2010-11-04 |
| CN102947777B (zh) | 2016-08-03 |
| WO2011163011A3 (en) | 2012-03-29 |
| EP2585896B1 (en) | 2018-02-28 |
| US9898675B2 (en) | 2018-02-20 |
| JP5943913B2 (ja) | 2016-07-05 |
| CA2800538A1 (en) | 2011-12-29 |
| TW201203089A (en) | 2012-01-16 |
| EP2585896A4 (en) | 2016-03-23 |
| WO2011163011A2 (en) | 2011-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2669869T3 (es) | Retroalimentación del seguimiento del usuario | |
| US9245177B2 (en) | Limiting avatar gesture display | |
| US8465108B2 (en) | Directed performance in motion capture system | |
| US9159151B2 (en) | Bringing a visual representation to life via learned input from the user | |
| US20100302138A1 (en) | Methods and systems for defining or modifying a visual representation | |
| US8334842B2 (en) | Recognizing user intent in motion capture system | |
| CN102207771A (zh) | 推断参与运动捕捉***的用户意图 | |
| BRPI1011193B1 (pt) | método e sistema para prover ajuda com relação a um gesto realizado por usuário | |
| CN102129293A (zh) | 在运动捕捉***中跟踪用户组 | |
| US10350486B1 (en) | Video motion capture for wireless gaming | |
| Cordeiro et al. | ARZombie: A mobile augmented reality game with multimodal interaction | |
| US9383814B1 (en) | Plug and play wireless video game |