ES2806947T3 - Interfaz de usuario para dispositivos habilitados con realidad aumentada - Google Patents

Interfaz de usuario para dispositivos habilitados con realidad aumentada Download PDF

Info

Publication number
ES2806947T3
ES2806947T3 ES13815188T ES13815188T ES2806947T3 ES 2806947 T3 ES2806947 T3 ES 2806947T3 ES 13815188 T ES13815188 T ES 13815188T ES 13815188 T ES13815188 T ES 13815188T ES 2806947 T3 ES2806947 T3 ES 2806947T3
Authority
ES
Spain
Prior art keywords
augmented reality
reality content
user
content
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES13815188T
Other languages
English (en)
Inventor
Babak Forutanpour
Shriram Ganesh
Daniel S Baker
Devender A Yamakawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Application granted granted Critical
Publication of ES2806947T3 publication Critical patent/ES2806947T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Un procedimiento para mostrar contenidos de realidad aumentada, que comprende: controlar (702) una cámara (105) de un dispositivo habilitado con realidad aumentada, ARD, para escanear un entorno a la vista de un usuario; identificar (704) un conjunto de superficies planas en el entorno para mostrar ventanas de interfaz de usuario (610, 612, 614, 616, 618, 620, 622, 624); asignar uno o más niveles de prioridad de superficie a cada conjunto de superficies planas, basado en al menos uno de a) qué tan bien se pueden rastrear características de las ventanas de interfaz de usuario; b) un área o un tamaño de la superficie; c) una localización de la superficie en el escaneo del entorno relativo a la cámara; d) una orientación o una relación de aspecto de la superficie; y e) un color de fondo de la superficie; asignar uno o más niveles de prioridad de contenido a un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies planas en el entorno; mostrar (708) el conjunto de contenidos de realidad aumentada en el conjunto de superficies planas en una pantalla basado en uno o más niveles de prioridad de superficie y los uno o más niveles de prioridad de contenido; rastrear basado en uno o más sensores en el ARD para determinar seis grados de libertad si al menos una de las superficies se ha movido en las tramas capturadas por la cámara porque el usuario ha movido la cabeza, o si la superficie real correspondiente se ha movido; y en respuesta a la determinación de que la superficie real correspondiente se ha movido, reducir al menos una superficie y reasignar las ventanas de interfaz de usuario.

Description

DESCRIPCIÓN
Interfaz de usuario para dispositivos habilitados con realidad aumentada
REFERENCIA CRUZADA A SOLICITUDES RELACIONADAS
[0001] La presente solicitud reivindica el beneficio y la prioridad de la solicitud de EE.UU. N.° 13/718.923, presentada el 18 de diciembre de 2012, y titulada "User Interface for Augmented Reality Enabled Devices, [Interfaz de usuario para dispositivos habilitados con realidad aumentada]", que se cede al cesionario de la misma.
CAMPO
[0002] La presente divulgación se refiere al campo de la realidad aumentada. En particular, la presente divulgación se refiere a una interfaz de usuario para dispositivos habilitados con realidad aumentada.
ANTECEDENTES
[0003] Las pantallas montadas sobre la cabeza se pueden configurar para permitir a los usuarios ver el mundo que tienen delante, mientras siguen siendo capaces de leer su correo electrónico, acceder al teletipo de cotizaciones en bolsa, etc. Sin embargo, un problema común con los dispositivos existentes es que pueden dar lugar a una sobrecarga de información ya que el usuario tiene que ver el mundo real y también tiene que cambiar el enfoque para ver el contenido de AR. Otro problema con los dispositivos existentes es que no priorizan y organizan las áreas disponibles a la vista del usuario en base a los contenidos que se mostrarán. La FIG. 1 ilustra un ejemplo de información mostrada de acuerdo con determinadas aplicaciones convencionales. Como se muestra en la FIG. 1, diversos anuncios se colocan en el monitor de una pantalla. Algunos de los anuncios, por ejemplo 152, 154 y 156 pueden haber bloqueado determinadas partes de la escena del usuario. Por tanto, las aplicaciones convencionales no han integrado eficazmente los contenidos de realidad aumentada en el entorno al tiempo que permiten a los usuarios interactuar con su entorno natural, lo que puede afectar negativamente la experiencia de los usuarios con las pantallas montadas sobre la cabeza.
[0004] Por lo tanto, existe la necesidad de procedimientos y dispositivos que puedan abordar los problemas anteriores de las soluciones convencionales.
[0005] El documento de Jonathan Ventura y Tobias Hollerer, "Real-time Planar World Modeling for Augmented Reality", Realidad virtual, 17(2), 2013, divulga procedimientos para el modelado visual y el rastreo del mundo urbano exterior usando un supuesto simplificador de superficies planas texturizadas.
[0006] El documento US 2006/026628 A1 divulga un procedimiento y un aparato que inserta anuncios virtuales u otros contenidos virtuales en una secuencia de tramas de una presentación de vídeo realizando el procesamiento de tramas de vídeo basadas en contenido en tiempo real para identificar localizaciones adecuadas en el vídeo para su implantación. Dichas localizaciones corresponden tanto a los segmentos temporales dentro de la presentación de vídeo como a las regiones dentro de una trama de imagen que comúnmente se consideran de menor relevancia para los espectadores de la presentación de vídeo. El documento presenta un procedimiento y un aparato que permite que un medio no intrusivo incorpore contenido virtual adicional en una presentación de vídeo, facilitando que un canal adicional de comunicaciones potencie la mayor interactividad del vídeo.
BREVE EXPLICACIÓN
[0007] De acuerdo con la presente invención, se proporciona un procedimiento como se expone en la reivindicación 1, un producto de programa informático como se expone en la reivindicación 12 y un sistema como se expone en la reivindicación 13. Los modos de realización de la invención se reivindican en las reivindicaciones dependientes.
[0008] La presente divulgación se refiere a la interfaz de usuario para dispositivos habilitados con realidad aumentada. De acuerdo con los modos de realización de la presente divulgación, un procedimiento para mostrar contenidos de realidad aumentada comprende controlar una cámara para escanear un entorno a la vista de un usuario, identificar un conjunto de superficies en el entorno para mostrar ventanas de interfaz de usuario de acuerdo con las características del entorno, priorizar un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies en el entorno, y mostrar el conjunto de contenidos de realidad aumentada en el conjunto de superficies en una pantalla. Las características del entorno comprenden al menos la relación de aspecto del conjunto de superficies con respecto al conjunto de contenidos de realidad aumentada que se va a mostrar, y/o el color de fondo del conjunto de superficies con respecto al conjunto de contenidos de realidad aumentada que se va a mostrar.
[0009] El procedimiento de priorizar un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies en el entorno comprende priorizar el conjunto de contenidos de realidad aumentada para su visualización basado en: áreas del conjunto de superficies, orientaciones del conjunto de superficies, localizaciones del conjunto de superficies en relación con el campo de visión del usuario y la rastreabilidad del conjunto de superficies.
[0010] En algunas de otras implementaciones, el procedimiento de priorizar un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies en el entorno comprende además priorizar el conjunto de contenidos de realidad aumentada para su visualización basado en al menos uno de: la relación de aspecto del conjunto de superficies con respecto al conjunto de contenidos de realidad aumentada que se va a mostrar, y el color de fondo del conjunto de superficies con respecto al conjunto de contenidos de realidad aumentada que se va a mostrar.
[0011] Aún en algunas de otras implementaciones, el procedimiento de priorizar un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies en el entorno comprende además determinar un conjunto de contenidos de realidad aumentada para su visualización de acuerdo con un historial de patrones de uso anteriores del usuario en el entorno. El procedimiento para determinar un conjunto de contenidos de realidad aumentada para su visualización comprende al menos uno de: seleccionar un primer conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está trabajando; seleccionar un segundo conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en casa; seleccionar un tercer conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en una reunión de trabajo; y seleccionar un cuarto conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en un evento social.
[0012] Debe observarse que el primer conjunto de contenidos de realidad aumentada incluye programas de aplicación para comunicación y documentación que el usuario está acostumbrado a usar en el trabajo, y el segundo conjunto de contenidos de realidad aumentada incluye programas de aplicación para comunicación y entretenimiento que el usuario está acostumbrado a usar en casa. El primer conjunto de contenidos de realidad aumentada para comunicación y documentación incluye aplicaciones de correo electrónico, navegador web y productividad de oficina, y el segundo conjunto de contenidos de realidad aumentada para comunicación y entretenimiento incluye aplicaciones de Facebook, Twitter, películas y videojuegos.
[0013] Aún en algunas de otras implementaciones, el procedimiento de priorizar un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies en el entorno comprende además priorizar el conjunto de contenidos de realidad aumentada para su visualización basado en al menos uno de: factores de ajuste a escala del conjunto de contenidos de realidad aumentada que se va a mostrar y relaciones lógicas del conjunto de contenidos de realidad aumentada que se va a mostrar.
[0014] Aún en algunas de otras implementaciones, el procedimiento de priorizar un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies en el entorno comprende además determinar un conjunto de contenidos de realidad aumentada para su visualización de acuerdo con las preferencias predefinidas del usuario; y mostrar el conjunto de contenidos de realidad aumentada en el conjunto de superficies en la pantalla. Las preferencias predefinidas del usuario comprenden al menos una de: importancia de un contenido de realidad aumentada para el usuario; cantidad del contenido de realidad aumentada que se va a mostrar; y orientación de visualización del contenido de realidad aumentada con respecto al conjunto de superficies.
[0015] En otro modo de realización, un producto de programa informático comprende un medio no transitorio que almacena programas informáticos para su ejecución por uno o más sistemas informáticos; el producto de programa informático comprende código para controlar una cámara para escanear un entorno a la vista de un usuario; código para identificar un conjunto de superficies en el entorno para mostrar ventanas de interfaz de usuario de acuerdo con las características del entorno; código para priorizar un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies en el entorno; código para mostrar el conjunto de contenidos de realidad aumentada en el conjunto de superficies en una pantalla.
[0016] Aún en otro ejemplo que no forma parte de la presente invención, un aparato comprende al menos un procesador, donde el al menos un procesador comprende la lógica configurada para controlar una cámara para escanear un entorno a la vista de un usuario, la lógica configurada para identificar un conjunto de superficies en el entorno para mostrar ventanas de interfaz de usuario de acuerdo con las características del entorno, la lógica configurada para priorizar un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies en el entorno, y la lógica configurada para mostrar el conjunto de contenidos de realidad aumentada en el conjunto de superficies en una pantalla.
[0017] Aún en otro modo de realización, un sistema para mostrar contenidos de realidad aumentada comprende medios para controlar una cámara para escanear un entorno a la vista de un usuario, medios para identificar un conjunto de superficies en el entorno para mostrar ventanas de interfaz de usuario de acuerdo con las características del entorno, medios para priorizar un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies en el entorno, y medios para mostrar el conjunto de contenidos de realidad aumentada en el conjunto de superficies en una pantalla.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
[0018] Las características y ventajas de la divulgación mencionado anteriormente, así como las características y ventajas adicionales de la misma, se comprenderán con mayor claridad después de leer las descripciones detalladas de los modos de realización de la divulgación junto con los siguientes dibujos.
La FIG. 1 ilustra un ejemplo de información mostrada de acuerdo con determinadas aplicaciones convencionales.
La FIG. 2 ilustra un dispositivo habilitado con realidad aumentada de acuerdo con algunos aspectos de la presente divulgación.
La FIG. 3 ilustra un diagrama de bloques de un dispositivo habilitado con realidad aumentada ejemplar de acuerdo con algunos aspectos de la presente divulgación.
La FIG. 4 ilustra otro dispositivo habilitado con realidad aumentada ejemplar de acuerdo con algunos aspectos de la presente divulgación.
La FIG. 5 ilustra un diagrama de bloques del dispositivo habilitado con realidad aumentada de la FIG. 4 de acuerdo con algunos aspectos de la presente divulgación.
La FIG. 6 ilustra una interfaz de usuario ejemplar para un dispositivo habilitado con realidad aumentada de acuerdo con algunos aspectos de la presente divulgación.
La FIG. 7 ilustra un procedimiento ejemplar para mostrar contenidos de realidad aumentada de acuerdo con algunos aspectos de la presente divulgación.
DESCRIPCIÓN DE LOS MODOS DE REALIZACIÓN
[0019] Se divulgan modos de realización de la interfaz de usuario para dispositivos habilitados con realidad aumentada. Las siguientes descripciones se presentan para permitir que cualquier experto en la técnica realice y use la divulgación. Las descripciones de modos de realización y aplicaciones específicos se proporcionan solo como ejemplos. Diversas modificaciones y combinaciones de los ejemplos descritos en el presente documento resultarán fácilmente evidentes para los expertos en la técnica, y los principios generales definidos en el presente documento se pueden aplicar a otros ejemplos y aplicaciones sin apartarse del alcance de la divulgación. Por tanto, la presente divulgación no pretende limitar los ejemplos descritos y mostrados, sino que se le debe conceder el alcance más amplio conforme a los principios y características divulgados en el presente documento. El término "ejemplar" o "ejemplo" se usa en el presente documento para significar "que sirve de ejemplo, caso o ilustración". No se ha de considerar necesariamente que cualquier aspecto o modo de realización descrito en el presente documento como "ejemplar" o como un "ejemplo" sea preferente o ventajoso con respecto a otros aspectos o modos de realización.
[0020] La FIG. 2 ilustra un dispositivo habilitado con realidad aumentada de acuerdo con algunos aspectos de la presente divulgación. Como se muestra en la FIG. 2, el dispositivo habilitado con realidad aumentada (ARD) 200 incluye la carcasa 101, la pantalla 102, uno o más altavoces 104 y el micrófono 106. La pantalla 102, que puede ser una pantalla táctil, puede ilustrar imágenes capturadas por la cámara 105 o cualquier otra información de interfaz de usuario deseada. Por supuesto, el ARD 200 puede incluir componentes adicionales que no están necesariamente relacionados con la presente divulgación.
[0021] Como se usa en el presente documento, un dispositivo ARD se refiere a cualquier dispositivo electrónico portátil, tal como un dispositivo celular u otro dispositivo de comunicación inalámbrica, un dispositivo de sistema de comunicaciones personal (PCS), un dispositivo de navegación personal (PND), un gestor de información personal (PIM), un asistente digital personal (PDA), un ordenador portátil u otra plataforma móvil adecuada. La plataforma móvil puede ser capaz de recibir señales de comunicación y/o de navegación inalámbricas, tales como señales de posicionamiento de navegación. El término ARD también está previsto que incluya dispositivos que se comuniquen con un dispositivo de navegación personal (PND), tal como mediante una conexión inalámbrica, una conexión por infrarrojos, una conexión por cable u otra conexión de corto rango, independientemente de si la recepción de señales de satélites, la recepción de datos de asistencia y/o el procesamiento relacionado con la posición se producen en el dispositivo o en el PND. Además, el ARD está previsto que incluya todos los dispositivos electrónicos, incluyendo dispositivos de comunicación inalámbrica, ordenadores, ordenadores portátiles, tabletas, teléfonos inteligentes, cámaras digitales, etc., que son capaces de capturar imágenes usadas en el rastreo de posturas, así como también que sean capaces de realizar las funciones de interfaz de usuario de realidad aumentada.
[0022] La FIG. 3 ilustra un diagrama de bloques de un dispositivo habilitado con realidad aumentada ejemplar de acuerdo con algunos aspectos de la presente divulgación. La plataforma móvil del ARD 300 incluye una cámara 108 para capturar imágenes del entorno, que pueden ser fotos individuales o tramas de vídeo. La plataforma móvil del ARD 300 también puede incluir sensores 116, que se pueden usar para proporcionar datos con los que la plataforma móvil del ARD 300 puede determinar su posición y orientación, es decir, la postura. Los ejemplos de sensores que se pueden usar con la plataforma móvil del ARD 300 incluyen acelerómetros, sensores de cuarzo, giroscopios, sensores del sistema microelectromecánico (MEMS) usados como acelerómetros lineales, así como magnetómetros.
[0023] La plataforma móvil del ARD 300 también puede incluir una interfaz de usuario 110 que incluye una pantalla 112 capaz de mostrar imágenes. La interfaz de usuario 110 también puede incluir un teclado 114 u otro dispositivo de entrada a través del cual el usuario puede introducir información en la plataforma móvil del ARD 300. Si se desea, el teclado 114 puede obviarse integrando un teclado virtual en la pantalla 112 con un sensor táctil. La interfaz de usuario 110 también puede incluir un micrófono 117 y uno o más altavoces 118, por ejemplo, si la plataforma móvil es un teléfono celular. Por supuesto, la plataforma móvil 300 del ARD puede incluir otros componentes no relacionados con la presente divulgación.
[0024] La plataforma móvil del ARD 300 incluye además una unidad de control 120 que está conectada y se comunica con la cámara 108 y los sensores 116, así como con la interfaz de usuario 110, junto con cualquier otra característica. La unidad de control 120 puede ser proporcionada por uno o más procesadores 122 y memoria/almacenamiento asociado 124. La unidad de control 120 también puede incluir el software 126, así como el hardware 128 y el firmware 130. La unidad de control 120 incluye un módulo de rastreo 132 configurado para rastrear la posición del ARD 300, así como para rastrear las posiciones de uno o más objetos monitoreados por el ARD 300. La unidad de control 120 incluye además un módulo de interfaz de usuario de realidad aumentada 134 configurado para presentar interacciones de realidad aumentada en la pantalla 112 del ARD 300. El módulo de rastreo 132 y el módulo de interfaz de usuario de realidad aumentada 134 se ilustran por separado del procesador 122 y/o el hardware 128 para mayor claridad, pero se pueden combinar y/o implementar en el procesador 122 y/o el hardware 128 en base a las instrucciones del software 126 y el firmware 130.
[0025] La FIG. 4 ilustra otro dispositivo habilitado con realidad aumentada ejemplar 400 de acuerdo con algunos aspectos de la presente divulgación. Como se muestra en la FIG. 4, el dispositivo habilitado con realidad aumentada 400 puede ser un dispositivo montado sobre la cabeza. De acuerdo con los aspectos de la presente divulgación, el dispositivo montado sobre la cabeza se puede configurar para aprender patrones de uso y preferencias de un usuario a lo largo del tiempo y adaptar automáticamente las ventanas de la interfaz de usuario en base al tiempo y el entorno en el que se puede encontrar el usuario. Por ejemplo, el dispositivo montado sobre la cabeza se puede configurar para determinar un conjunto de contenidos de realidad aumentada para su visualización de acuerdo con un historial de patrones de uso anteriores del usuario en un entorno determinado, y a continuación, mostrar el conjunto de contenidos de realidad aumentada en consecuencia.
[0026] En un enfoque, el dispositivo montado sobre la cabeza se puede configurar para seleccionar un primer conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está trabajando. En otro enfoque, el dispositivo montado sobre la cabeza se puede configurar para seleccionar un segundo conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en casa. Aún en otro enfoque, el dispositivo montado sobre la cabeza se puede configurar para seleccionar un tercer conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en una reunión de trabajo. Aún en otro enfoque, el dispositivo montado sobre la cabeza se puede configurar para seleccionar un cuarto conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en un evento social.
[0027] De acuerdo con aspectos de la presente divulgación, el primer conjunto de contenidos de realidad aumentada puede incluir programas de aplicación para comunicación y documentación que el usuario está acostumbrado a usar en el trabajo, y el segundo conjunto de contenidos de realidad aumentada puede incluir programas de aplicación para comunicación y entretenimiento que el usuario está acostumbrado a usar en casa. El primer conjunto de contenidos de realidad aumentada para comunicación y documentación puede incluir aplicaciones de correo electrónico, navegador web y productividad de oficina, y el segundo conjunto de contenidos de realidad aumentada para comunicación y entretenimiento puede incluir aplicaciones de Facebook, Twitter, películas y videojuegos.
[0028] La FIG. 5 ilustra un diagrama de bloques del dispositivo habilitado con realidad aumentada de la FIG. 4 de acuerdo con algunos aspectos de la presente divulgación. En algunas implementaciones, el dispositivo montado sobre la cabeza 400 puede funcionar como parte de un sistema en el que una matriz de sensores 500 puede proporcionar datos a un procesador 507 que realiza operaciones de los diversos modos de realización descritos en el presente documento, y comunica datos y recibe datos de un servidor. Debe observarse que el procesador 507 del dispositivo montado sobre la cabeza 400 puede incluir más de un procesador (o un procesador multinúcleo) en el que un procesador central puede realizar funciones de control generales mientras un coprocesador ejecuta aplicaciones, a veces denominado procesador de aplicaciones. El procesador central y el procesador de aplicaciones se pueden configurar en el mismo paquete de microchip, tal como un procesador multinúcleo o en chips separados. Además, el procesador 507 se puede empaquetar dentro del mismo paquete de microchip con procesadores asociados con otras funciones, tales como comunicaciones inalámbricas (es decir, un procesador de módem), navegación (por ejemplo, un procesador dentro de un receptor GPS) y procesamiento de gráficos (por ejemplo, una unidad de procesamiento de gráficos o "GPU").
[0029] El dispositivo montado sobre la cabeza 400 se puede comunicar con un sistema o red de comunicación que puede incluir otros dispositivos informáticos, tales como ordenadores personales y dispositivos móviles con acceso a Internet. Dichos ordenadores personales y dispositivos móviles pueden incluir una antena 551, un transmisor/receptor o transceptor 552 y un convertidor analógico a digital 553 acoplado a un procesador 507 para permitir que el procesador envíe y reciba datos por medio de una red de comunicación inalámbrica. Por ejemplo, los dispositivos móviles, tal como los teléfonos celulares, pueden acceder a Internet por medio de una red de comunicación inalámbrica (por ejemplo, una red de comunicación de datos por Wi-Fi o teléfono celular). Dichas redes de comunicación inalámbrica pueden incluir una pluralidad de estaciones base acopladas a una puerta de enlace o servidor de acceso a Internet acoplado a Internet. Los ordenadores personales se pueden acoplar a Internet de cualquier manera convencional, tal como, por ejemplo, mediante conexiones por cable por medio de una puerta de enlace a Internet (no se muestra) o mediante una red de comunicación inalámbrica.
[0030] En referencia a la FIG. 5, el dispositivo montado sobre la cabeza 400 puede incluir un sensor de escena 500 y un sensor de audio 505 acoplado a un procesador de sistema de control 507 que se puede configurar con una serie de módulos 510-550. En un modo de realización, el procesador 507 o el sensor de escena 500 pueden aplicar un algoritmo de reconocimiento de características anatómicas a las imágenes para detectar una o más características anatómicas. El procesador 507 asociado con el sistema de control puede revisar las características anatómicas detectadas para reconocer uno o más gestos y procesar los gestos reconocidos como un comando de entrada. Por ejemplo, como se analiza con más detalle a continuación, un usuario puede ejecutar un gesto de movimiento correspondiente a un comando de entrada, tal como señalar con un dedo el objeto virtual para cerrar el objeto virtual. En respuesta al reconocimiento de este gesto de ejemplo, el procesador 507 puede eliminar el objeto virtual de la pantalla. Como otro ejemplo, el usuario puede tocar el dedo índice con el pulgar de una mano para formar el signo "OK" para confirmar una instrucción u opción presentada en la pantalla.
[0031] El sensor de escena 500, que puede incluir cámaras estéreo, sensores de orientación (por ejemplo, acelerómetros y una brújula electrónica) y sensores de distancia, puede proporcionar datos relacionados con la escena (por ejemplo, imágenes) a un gestor de escena 510 implementado dentro del procesador 507 que se puede configurar para interpretar información de escena tridimensional. En diversos modos de realización, el sensor de escena 500 puede incluir cámaras estéreo (como se describe a continuación) y sensores de distancia, que pueden incluir emisores de luz infrarroja para iluminar la escena para una cámara infrarroja. Por ejemplo, en un modo de realización ilustrado en la FIG. 5, el sensor de escena 500 puede incluir una cámara estéreo rojo-verde-azul (RGB) 503a para recopilar imágenes estéreo, y una cámara infrarroja 503b configurada para reproducir imágenes de la escena en luz infrarroja que puede ser proporcionada por un emisor de luz infrarroja estructurada 503c. Como se analiza a continuación, el emisor de luz infrarroja estructurada se puede configurar para emitir pulsos de luz infrarroja que se pueden reproducir en imágenes por la cámara infrarroja 503b, registrando el tiempo de los píxeles recibidos y usándose para determinar las distancias a los elementos de imagen usando los cálculos del tiempo de vuelo. Conjuntamente, la cámara RGB estéreo 503a, la cámara infrarroja 503b y el emisor infrarrojo 503c pueden hacer referencia a una cámara RGB-D (D por distancia) 503.
[0032] El módulo de gestión de escena 510 puede escanear las mediciones de distancia y las imágenes proporcionadas por el sensor de escena 500 para producir una reconstrucción tridimensional de los objetos dentro de la imagen, incluyendo la distancia desde las cámaras estéreo y la información de orientación de la superficie. En un modo de realización, el sensor de escena 500, y más en particular una cámara RGB-D 503, puede apuntar en una dirección alineada con el campo de visión del usuario y el dispositivo montado sobre la cabeza 400. El sensor de escena 500 puede proporcionar una captura de movimiento tridimensional de cuerpo completo y reconocimiento de gestos. El sensor de escena 500 puede tener un emisor de luz infrarroja 503c combinado con una cámara infrarroja 503c, tal como un sensor monocromático CMOS. El sensor de escena 500 puede incluir además cámaras estéreo 503a que capturan datos de vídeo tridimensionales. El sensor de escena 500 puede funcionar con luz ambiental, luz solar u oscuridad total y puede incluir una cámara RGB-D como se describe en el presente documento. El sensor de escena 500 puede incluir un componente de iluminación de pulso de infrarrojo cercano (NIR), así como un sensor de imagen con un mecanismo de activación rápida. Las señales de pulso se pueden recopilar para cada píxel y corresponden a localizaciones desde las cuales se puede reflejar el pulso y se pueden usar para calcular la distancia a un punto correspondiente en el sujeto capturado.
[0033] En otro modo de realización, el sensor de escena 500 puede usar otras tecnologías de medición de distancia (es decir, diferentes tipos de sensores de distancia) para capturar la distancia de los objetos dentro de la imagen, por ejemplo, ecolocalización por ultrasonido, radar, triangulación de imágenes estereoscópicas, etc. Como se analiza anteriormente, en un modo de realización, el sensor de escena 500 puede incluir una cámara de alcance, una cámara de detección y alcance de luz de flash (LIDAR), una cámara de tiempo de vuelo (ToF) y/o una cámara RGB-D 503, que puede determinar distancias a los objetos usando al menos uno de los sistemas de detección de ToF con apertura de rango, detección de ToF modulada por RF, detección de ToF con luz pulsada y detección estéreo con luz proyectada. En otro modo de realización, el sensor de escena 500 puede usar una cámara estéreo 503a para capturar imágenes estéreo de una escena, y determinar la distancia en base a un brillo de los píxeles capturados contenidos dentro de la imagen. Como se menciona anteriormente, por coherencia, uno o más de estos tipos de sensores y técnicas de medición de distancia se denominan en el presente documento en general "sensores de distancia". Pueden estar presentes múltiples sensores de escena de diferentes capacidades y resolución para ayudar en el mapeo del entorno físico, el rastreo exacto de la posición del usuario dentro del entorno y el rastreo exacto de la visión del entorno del usuario.
[0034] El dispositivo montado sobre la cabeza 400 también puede incluir un sensor de audio 505 tal como un micrófono o conjunto de micrófonos. Un sensor de audio 505 permite que el dispositivo montado sobre la cabeza 400 grabe audio y realice una localización de fuente acústica y supresión de ruido ambiental. El sensor de audio 505 puede capturar audio y convertir las señales de audio en datos digitales de audio. Un procesador asociado con el sistema de control puede revisar los datos digitales de audio y aplicar un algoritmo de reconocimiento de voz para convertir los datos en datos de texto de búsqueda. El procesador también puede revisar los datos de texto generados para determinados comandos o palabras clave reconocidos y usar comandos o palabras clave reconocidos como comandos de entrada para ejecutar una o más tareas. Por ejemplo, un usuario puede decir un comando tal como "anclar objeto virtual" para anclar el objeto virtual visualizado en una superficie seleccionada. Por ejemplo, el usuario puede decir "cerrar aplicación" para cerrar una aplicación visualizada en la pantalla.
[0035] El dispositivo montado sobre la cabeza 400 también puede incluir una pantalla 540. La pantalla 540 puede mostrar imágenes obtenidas por la cámara dentro del sensor de escena 500 o generadas por un procesador dentro o acoplado al dispositivo montado sobre la cabeza 400. En un modo de realización, la pantalla 540 puede ser una micropantalla. La pantalla 540 puede ser una pantalla completamente ocluida. En otro modo de realización, la pantalla 540 puede ser una pantalla semitransparente que puede mostrar imágenes en un monitor que el usuario puede ver para visualizar el entorno circundante. La pantalla 540 se puede configurar en una configuración monocular o estéreo (es decir, binocular). De forma alternativa, la pantalla montada sobre la cabeza 400 puede ser un dispositivo de pantalla montado sobre casco, usado sobre la cabeza, o como parte de un casco, que puede tener una pequeña pantalla óptica 540 delante de un ojo (monocular) o delante de ambos ojos (es decir, una pantalla binocular o estéreo). De forma alternativa, el dispositivo montado sobre la cabeza 400 también puede incluir dos unidades de visualización 540 que están miniaturizadas y pueden ser cualquiera o más de pantallas de tubo de rayos catódicos (CRT), pantallas de cristal líquido (LCD), pantallas de cristal líquido sobre silicio (LCos), pantallas de diodo emisor de luz orgánicas (OLED), pantallas Mirasol basadas en elementos del modulador interferométrico (IMOD) que son dispositivos simples del sistema microelectromecánico (MEMS), pantallas de guía de luz y pantallas de guía de onda, y otras tecnologías de pantalla que existen y que se pueden desarrollar. En otro modo de realización, la pantalla 540 puede comprender múltiples micropantallas 540 para incrementar la resolución general total e incrementar un campo de visión.
[0036] El dispositivo montado sobre la cabeza 400 también puede incluir un dispositivo de salida de audio 550, que puede ser un auricular y/o altavoz que se muestra conjuntamente como el número de referencia 550 para la salida de audio. El dispositivo montado sobre la cabeza 400 también puede incluir uno o más procesadores que pueden proporcionar funciones de control al dispositivo montado sobre la cabeza 400, así como generar imágenes, tales como ventanas de interfaz de usuario como se describe a continuación en asociación con la FIG. 6. Por ejemplo, el dispositivo montado sobre la cabeza 400 puede incluir un procesador central, un procesador de aplicaciones, un procesador de gráficos y un procesador de navegación. De forma alternativa, la pantalla montada sobre la cabeza 400 puede estar acoplada a un procesador separado, tal como el procesador en un teléfono inteligente u otro dispositivo informático móvil. La salida de vídeo/audio puede ser procesada por el procesador o por una CPU móvil, que está conectada (por medio de un cable o una red inalámbrica) al dispositivo montado sobre la cabeza 400. El dispositivo montado sobre la cabeza 400 también puede incluir un bloque de gestión de escena 510, un bloque de control de usuario 515, un bloque de gestión de superficie 520, un bloque de gestión de audio 525 y un bloque de acceso a la información 530, que pueden ser módulos de circuito separados o implementados dentro del procesador como módulos de software. El dispositivo montado sobre la cabeza 400 puede incluir además una memoria local y una interfaz inalámbrica o cableada para comunicarse con otros dispositivos o una red local inalámbrica o cableada para recibir datos digitales desde una memoria remota 555. El uso de una memoria remota 555 en el sistema puede permitir que el dispositivo montado sobre la cabeza 400 sea más ligero al reducir los chips de memoria y las placas de circuito en el dispositivo.
[0037] El bloque de gestión de escena 510 del controlador puede recibir datos del sensor de escena 500 y construir la representación virtual del entorno físico. Por ejemplo, se puede usar un láser para emitir la luz láser que se refleja de los objetos en una habitación y se captura en una cámara, con el tiempo de ida y retorno de la luz para calcular las distancias a diversos objetos y superficies en la habitación. Dichas mediciones de distancia se pueden usar para determinar la localización, el tamaño y la forma de los objetos en la habitación y para generar un mapa de la escena. Después de formular un mapa, el bloque de gestión de escena 510 puede vincular el mapa a otros mapas generados para formar un mapa más grande de un área predeterminada. En un modo de realización, los datos de la escena y la distancia se pueden transmitir a un servidor u otro dispositivo informático que puede generar un mapa amalgamado o integrado basado en la imagen, la distancia y los datos del mapa recibidos de una serie de dispositivos montados sobre la cabeza (y a lo largo del tiempo en que el usuario se movió alrededor dentro de la escena). Dichos datos de mapas integrados están disponibles por medio de enlaces de datos inalámbricos a los procesadores de dispositivos montados sobre la cabeza. Los otros mapas pueden ser mapas escaneados por el dispositivo instantáneo o por otros dispositivos montados sobre la cabeza, o se pueden recibir de un servicio en la nube. El gestor de escena 510 puede identificar superficies y rastrear la posición actual del usuario en base a los datos de los sensores de escena 500. El bloque de control de usuario 515 puede reunir entradas de control de usuario al sistema, por ejemplo, comandos de audio, gestos y dispositivos de entrada (por ejemplo, teclado, ratón). En un modo de realización, el bloque de control de usuario 515 puede incluir o estar configurado para acceder a un diccionario de gestos para interpretar los movimientos de la parte del cuerpo del usuario identificada por el gestor de escena 510. Debe observarse que un diccionario de gestos puede almacenar datos de movimiento o patrones para reconocer gestos que pueden incluir codazos, palmadas, golpes, empujones, guías, gestos, giros, rotaciones, agarres y tirones, dos manos con las palmas abiertas para imágenes panorámicas, dibujar (por ejemplo, pintar con los dedos), formar formas con los dedos (por ejemplo, un signo "OK") y manotazos, todo lo cual se puede lograr en o cerca de la localización evidente de un objeto virtual en una pantalla generada. El bloque de control de usuario 515 también puede reconocer comandos compuestos. Esto puede incluir dos o más comandos. Por ejemplo, un gesto y un sonido (por ejemplo, aplausos) o un comando de control por voz (por ejemplo, un gesto de "OK" con la mano detectado, realizado y combinado con un comando de voz o una palabra hablada para confirmar una operación). Cuando se identifica un control de usuario 515, el controlador puede proporcionar una solicitud a otro subcomponente del dispositivo montado sobre la cabeza 400.
[0038] El dispositivo montado sobre la cabeza 400 también puede incluir un bloque de gestión de superficie 520. El bloque de gestión de superficie 520 puede rastrear continuamente las posiciones de superficies dentro de la escena en base a imágenes capturadas (tal como las gestiona el bloque de gestión de escena 510) y las mediciones de sensores de distancia. El bloque de gestión de superficie 520 también puede actualizar continuamente las posiciones de los objetos virtuales que pueden estar anclados en superficies dentro de la imagen capturada. El bloque de gestión de superficie 520 puede ser responsable de superficies activas y ventanas de interfaz de usuario. El bloque de gestión de audio 525 puede proporcionar instrucciones de control para la entrada y salida de audio. El bloque de gestión de audio 525 puede construir una secuencia de audio administrada a los auriculares y altavoces 550.
[0039] El bloque de acceso a la información 530 puede proporcionar instrucciones de control para mediar el acceso a la información digital. Los datos se pueden almacenar en un medio de almacenamiento de memoria local en el dispositivo montado sobre la cabeza 400. Los datos también se pueden almacenar en un medio de almacenamiento de datos remoto 555 en dispositivos digitales accesibles, o los datos se pueden almacenar en una memoria de almacenamiento en la nube distribuida, a la que puede acceder el dispositivo montado sobre la cabeza 400. El bloque de acceso a la información 530 se comunica con un almacén de datos 555, que puede ser una memoria, un disco, una memoria remota, un recurso informático en la nube o una memoria integrada 555.
[0040] La FIG. 6 ilustra una interfaz de usuario ejemplar para un dispositivo habilitado con realidad aumentada de acuerdo con algunos aspectos de la presente divulgación. Como se muestra en la FIG. 6, la interfaz de usuario se puede configurar para fusionar eficazmente objetos del mundo real y contenidos de AR. En una implementación ejemplar, el ARD escanea un entorno usando una cámara frontal. En un enfoque, la aplicación de visión por ordenador Qualcomm Vuforia™ se puede usar para detectar superficies planas. Como se muestra en la FIG. 6, las superficies planas pueden incluir superficies en la vista superior, inferior, izquierda, derecha y frontal del usuario, y el entorno puede incluir objetos del mundo real, tal como la mesa 602, la ventana 604, la pintura 606 y la lámpara 608. Las ventanas de interfaz de usuario, por ejemplo 610, 612, 614, 616, 618, 620, 622 y 624, se pueden colocar a continuación en las superficies planas para mostrar contenidos de realidad aumentada, tal como correo electrónico, presentaciones en PowerPoint, Facebook, tweets, películas, etc.
[0041] En algunas implementaciones, si el número de contenidos de realidad aumentada puede ser mayor que el número de ventanas de interfaz de usuario identificadas, el ARD se puede configurar para priorizar y reducir el número de contenidos de realidad aumentada que se va a mostrar. En algunas de otras implementaciones, el ARD se puede configurar para fusionar o dividir las superficies planas detectadas para formar diferentes conjuntos de ventanas de interfaz de usuario para que coincidan con los contenidos de realidad aumentada que se van a mostrar.
[0042] De acuerdo con los modos de realización de la presente divulgación, el ARD se puede configurar para priorizar las superficies planas detectadas en base a los siguientes criterios, que incluyen pero no se limitan a: a) qué tan bien se pueden rastrear las características de las ventanas de interfaz de usuario; b) área/tamaño de una superficie; c) localización de las superficies en relación con el campo de visión del usuario (FOV); 4) orientación y relación de aspecto de las superficies; y 5) color de fondo de las superficies. En algunas implementaciones, si una superficie tiene muchos colores y tiene variaciones de alta frecuencia, se puede elegir un conjunto de marcadores de modo que la(s) ventana(s) virtual(es) de interfaz de usuario se puedan "adherir" a la superficie, aunque el usuario mueva su cabeza desde una vista a otra vista. Además, en situaciones en las que un usuario está conversando con una persona, las superficies en la periferia se pueden preferir a las superficies en el centro para que las ventanas de interfaz de usuario no interfieran con la conversación del usuario con la persona. En algunas aplicaciones, se pueden preferir áreas grandes a áreas pequeñas.
[0043] En algunas implementaciones, dependiendo del contenido que se va a mostrar, se puede preferir una superficie que tenga una orientación vertical para mostrar un documento de Word, mientras que se puede preferir una superficie que tenga una orientación horizontal para mostrar una película. Además, la relación de aspecto de cada ventana de interfaz de usuario se puede usar como criterio para hacer coincidir los contenidos de realidad aumentada que se van a mostrar en las ventanas de interfaz de usuario. Por ejemplo, se puede usar una ventana de interfaz de usuario horizontal larga y estrecha para mostrar un teletipo de cotización en bolsa, mientras que se puede usar una ventana de interfaz de usuario que tiene una relación de aspecto aproximada de 16:9 o 4:3 para mostrar películas.
[0044] En otras implementaciones, el color de fondo de una superficie (por ejemplo, una pared) se puede usar como criterio para hacer coincidir los contenidos de realidad aumentada que se van a mostrar en las ventanas de la interfaz de usuario. Por ejemplo, se puede preferir una pared con papel tapiz gris sobre una pared blanca lisa, ya que el contenido de realidad aumentada que se muestra sobre una superficie gris puede tener un mayor contraste que una pared blanca lisa que refleja las luces de las ventanas o de otras fuentes de luz en el entorno.
[0045] De acuerdo con los aspectos de la presente divulgación, después de que las superficies que se van a usar como fondos se hayan priorizado, las ventanas de interfaz de usuario se pueden caracterizar a continuación para su visualización. Las ventanas de interfaz de usuario están provistas de atributos basados en los siguientes criterios, que incluyen, pero no se limitan a: a) importancia de determinado contenido para el usuario; b) la cantidad de contenido que se va a mostrar; y c) orientación de visualización y relación de aspecto del contenido que se va a mostrar.
[0046] A continuación, el ARD puede asignar ventanas de interfaz de usuario a superficies en base a los criterios descritos anteriormente. Por ejemplo, una ventana de interfaz de usuario de mayor prioridad con muchos contenidos se puede colocar en una superficie de alta prioridad que tenga un área grande. El ARD se puede configurar para rastrear si una superficie se ha movido en las tramas capturadas por la cámara frontal porque el usuario ha movido la cabeza o si la superficie real (por ejemplo, el lado de un autobús) se ha movido. Esta determinación se realiza en base al uso de uno o más sensores de seis grados de libertad (por ejemplo, acelerómetro, magnetómetro y giroscopio) en el ARD. Por ejemplo, si la cabeza del usuario todavía se ha quedado quieta mientras la superficie se ha movido, entonces esa superficie se puede reducir y las ventanas de interfaz de usuario se pueden reasignar. De acuerdo con los aspectos de la presente divulgación, en un enfoque, el ARD se puede configurar para rastrear las superficies disponibles en el entorno usando la técnica de transformada de características invariantes de escala (SIFT) con imágenes capturadas por una cámara del ARD. En otro enfoque, el ARD se puede configurar para rastrear las superficies disponibles en el entorno usando la técnica de consenso de muestra aleatoria (RANSAC) con imágenes capturadas por la cámara del ARD. Aún en otro enfoque, el ARD se puede configurar para rastrear las superficies en el entorno usando procedimientos no visuales, tal como el uso de identificaciones de radiofrecuencia (RFID) disponibles en el entorno.
[0047] De acuerdo con algunos aspectos de la presente divulgación, los objetos virtuales dentro de una escena, tal como en una superficie de anclaje, se pueden rastrear y renderizar continuamente de modo que los objetos virtuales puedan aparecer estacionarios incluso cuando el usuario gira la cabeza y se mueve. Como se menciona anteriormente, el proceso de orientar el ARD (por ejemplo, un dispositivo montado sobre la cabeza) con respecto a los alrededores, y determinar las distancias y la orientación relativa de diversas superficies se puede lograr de forma continua mediante el monitoreo de sensores de orientación (por ejemplo, acelerómetros y giroscopios) y la triangulación de la posición y el ángulo de visión del dispositivo a medida que se mueve en el espacio haciendo referencia constantemente a los cambios en la topografía del entorno tridimensional (3D) escaneado, realizando por tanto operaciones simultáneas de localización y mapeo (SLAM).
[0048] Usando los procedimientos descritos anteriormente, como se muestra en la FIG. 6, la ventana de interfaz de usuario 610 puede describir un área en el suelo en modo horizontal que tiene un tamaño de 120 pies cuadrados con prioridad relativamente baja y rastreabilidad relativamente baja. La ventana de interfaz de usuario 612 puede describir un área en la pared derecha en modo vertical que tiene un tamaño de 70 pies cuadrados con prioridad relativamente media y rastreabilidad relativamente alta. La ventana de interfaz de usuario 614 puede describir un área en la pared derecha en modo vertical que tiene un tamaño de 100 pies cuadrados con prioridad relativamente media y rastreabilidad relativamente alta. La ventana de interfaz de usuario 616 puede describir un área en el techo en modo horizontal que tiene un tamaño de 100 pies cuadrados con prioridad relativamente baja y rastreabilidad relativamente baja. La ventana de interfaz de usuario 618 puede describir un área en la pared frontal en modo horizontal que tiene un tamaño de 80 pies cuadrados con prioridad relativamente alta y rastreabilidad relativamente alta. La ventana de interfaz de usuario 620 puede describir un área en la pared izquierda en modo horizontal que tiene un tamaño de 50 pies cuadrados con prioridad relativamente alta y rastreabilidad relativamente alta. La ventana de interfaz de usuario 622 puede describir un área en la pared izquierda en modo vertical que tiene un tamaño de 100 pies cuadrados con prioridad relativamente media y rastreabilidad relativamente alta. La ventana de interfaz de usuario 624 puede describir un área en la pared izquierda en modo horizontal que tiene un tamaño de 50 pies cuadrados con prioridad relativamente media y rastreabilidad relativamente alta.
[0049] Después de que el ARD haya identificado superficies planas en el entorno, puede asignar las ventanas de AR a las superficies planas, en orden de sus respectivas prioridades. Por ejemplo, un documento de Word con el que el usuario estaba trabajando por última vez en su ordenador personal antes de su reunión puede tener una prioridad más alta y se puede colocar en la pared frente a él en la sala de reuniones. De acuerdo con los aspectos de la presente divulgación, el ARD puede considerar el tamaño de una ventana de AR para asegurarse de que coincida con el contenido de AR que se va a mostrar. Por ejemplo, el tamaño de una ventana de AR se puede ampliar si la fuente en un documento que se va a mostrar puede ser demasiado pequeña y difícil de leer. Por otra parte, el tamaño de la ventana de AR se puede reducir si el tamaño de la ventana de AR puede ser demasiado grande para el documento e incómodo para los ojos del usuario. En algunas implementaciones, el ARD puede aplicar un conjunto de factores de ajuste a escala que se pueden usar para estirar o encoger una ventana de AR. En un enfoque, un factor de ajuste a escala mínimo y un factor de ajuste a escala máximo, tal como resize_min y resize_max, se pueden usar para ajustar el tamaño de una ventana de AR. Por ejemplo, los valores típicos para mostrar un documento pueden variar entre 0,5 (50 %) para resize_min y 3,0 (300 %) para resize_max en base a un tamaño de ventana de AR predeterminado, tal como 640 x 480 VGA. Para otro ejemplo, resize_min y resize_max para una película que se reproducirá desde una aplicación de Netflix puede ser de 0,5 (50 %) y 10,0 (1.000 %) respectivamente, lo que indica que la película puede cambiar de tamaño mucho más que los documentos.
[0050] En algunas implementaciones, basado en el tamaño que puede mostrar una ventana de AR en una superficie determinada, se pueden hacer determinaciones para dividir una superficie plana para soportar dos o más ventanas de AR. De acuerdo con aspectos de la presente divulgación, una superficie asignada a una primera ventana de AR se puede dividir además en múltiples ventanas de AR si los contenidos de AR que se mostrarán en la primera ventana de AR pueden no usar toda la superficie disponible. Por otra parte, se pueden fusionar múltiples ventanas de AR para formar una nueva ventana de AR si los contenidos de AR que se mostrarán requieren una superficie de visualización mayor.
[0051] En algunas de otras implementaciones, la priorización y asignación de los contenidos de AR a las ventanas de AR pueden estar determinadas por las relaciones lógicas entre los contenidos de AR que se van a mostrar. El ARD se puede configurar para mostrar múltiples contenidos de AR relacionados lógicamente en dos o más ventanas de AR cercanas entre sí. Por ejemplo, el ARD se puede configurar para usar una ventana de AR para mostrar un documento que explique una teoría científica y usar una ventana de AR contigua para mostrar un vídeo que muestre una demostración de la teoría científica. En otro ejemplo, el ARD se puede configurar para usar una ventana de AR para mostrar un trabajo que se publicará en una conferencia y usar una ventana de AR contigua para mostrar las diapositivas de presentación que el autor puede usar para presentar el trabajo en la conferencia.
[0052] Con la interfaz de usuario descrita anteriormente, los usuarios pueden interactuar con su entorno de forma más natural mientras leen contenido de realidad aumentada desde las ventanas de interfaz de usuario establecidas, porque estas ventanas de interfaz de usuario no solo se colocan frente a ellos. Sino que se colocan para fusionarse mejor en la escena natural del entorno de acuerdo con aspectos de la presente divulgación. Por tanto, la interfaz de usuario divulgada se puede aplicar para mejorar la eficacia y la productividad de los usuarios.
[0053] La FIG. 7 ilustra un procedimiento ejemplar para mostrar contenidos de realidad aumentada de acuerdo con algunos aspectos de la presente divulgación. En el bloque 702, el procesador 122 y/o el módulo de interfaz de usuario de realidad aumentada 134 se pueden configurar para controlar una cámara para escanear un entorno a la vista de un usuario. En el bloque 704, el procesador 122 y/o el módulo de interfaz de usuario de realidad aumentada 134 se pueden configurar para identificar un conjunto de superficies en el entorno para visualizar ventanas de interfaz de usuario de acuerdo con las características del entorno. En el bloque 706, el procesador 122 y/o el módulo de interfaz de usuario de realidad aumentada 134 se pueden configurar para priorizar un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies en el entorno. En el bloque 708, el procesador 122 y/o el módulo de interfaz de usuario de realidad aumentada 134 se pueden configurar para mostrar el conjunto de contenidos de realidad aumentada en el conjunto de superficies en una pantalla.
[0054] De acuerdo con aspectos de la presente divulgación, el entorno comprende objetos del mundo real, y donde el conjunto de superficies incluye superficies en la vista superior, inferior, izquierda, derecha y frontal del usuario, y la pantalla es una pantalla montada sobre la cabeza. Las características del entorno incluyen, pero no se limitan a, la relación de aspecto del conjunto de superficies con respecto al conjunto de contenidos de realidad aumentada que se va a mostrar, y el color de fondo del conjunto de superficies con respecto al conjunto de contenidos de realidad aumentada que se va a mostrar.
[0055] De acuerdo con los modos de realización de la presente divulgación, los procedimientos realizados en el bloque 706 pueden incluir además procedimientos realizados en los bloques 710, 712, 714, 716 y 718. En el bloque 710, el procesador 122 y/o el módulo de interfaz de usuario de realidad aumentada 134 se pueden configurar para priorizar el conjunto de contenidos de realidad aumentada para su visualización basado en: áreas del conjunto de superficies, orientaciones del conjunto de superficies, localizaciones del conjunto de superficies en relación con el campo de visión del usuario y la rastreabilidad del conjunto de superficies.
[0056] En el bloque 712, el procesador 122 y/o el módulo de interfaz de usuario de realidad aumentada 134 se pueden configurar para priorizar el conjunto de contenidos de realidad aumentada para su visualización basado en al menos uno de: la relación de aspecto del conjunto de superficies con respecto al conjunto de contenidos de realidad aumentada que se va a mostrar, y el color de fondo del conjunto de superficies con respecto al conjunto de contenidos de realidad aumentada que se va a mostrar.
[0057] En el bloque 714, el procesador 122 y/o el módulo de interfaz de usuario de realidad aumentada 134 se pueden configurar para determinar un conjunto de contenidos de realidad aumentada para su visualización de acuerdo con un historial de patrones de uso anteriores del usuario en el entorno. En algunas implementaciones, el procesador 122 y/o el módulo de interfaz de usuario de realidad aumentada 134 se pueden configurar para seleccionar un primer conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está trabajando, seleccionar un segundo conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en casa, seleccionar un tercer conjunto de contenido de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en una reunión de trabajo o seleccionar un cuarto conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en un evento social.
[0058] En algunas implementaciones, el primer conjunto de contenidos de realidad aumentada incluye programas de aplicación para comunicación y documentación que el usuario está acostumbrado a usar en el trabajo, y el segundo conjunto de contenidos de realidad aumentada incluye programas de aplicación para comunicación y entretenimiento que el usuario está acostumbrado a usar en casa. Además, el primer conjunto de contenidos de realidad aumentada para comunicación y documentación incluye aplicaciones de correo electrónico, navegador web y productividad de oficina, y el segundo conjunto de contenidos de realidad aumentada para comunicación y entretenimiento incluye aplicaciones de Facebook, Twitter, películas y videojuegos.
[0059] En el bloque 716, el procesador 122 y/o el módulo de interfaz de usuario de realidad aumentada 134 se pueden configurar para priorizar el conjunto de contenidos de realidad aumentada para su visualización basado en al menos uno de: factores de ajuste a escala del conjunto de contenidos de realidad aumentada que se va a mostrar, y relaciones lógicas del conjunto de contenidos de realidad aumentada que se va a mostrar.
[0060] En el bloque 718, el procesador 122 y/o el módulo de interfaz de usuario de realidad aumentada 134 se pueden configurar para determinar un conjunto de contenidos de realidad aumentada para su visualización de acuerdo con las preferencias predefinidas del usuario, y mostrar el conjunto de contenidos de realidad aumentada en el conjunto de superficies en la pantalla. Debe observarse que las preferencias predefinidas del usuario comprenden al menos una de: importancia de un contenido de realidad aumentada para el usuario, cantidad del contenido de realidad aumentada que se va a mostrar, y orientación de visualización del contenido de realidad aumentada con respecto al conjunto de superficies.
[0061] De acuerdo con los aspectos de la presente divulgación, el procesador 122 y/o el módulo de interfaz de usuario de realidad aumentada 134 se pueden configurar para identificar un conjunto de marcadores en el entorno, asociar el conjunto de marcadores con el conjunto de superficies y rastrear el conjunto de superficies usando el conjunto de marcadores. De acuerdo con algunos aspectos de la presente divulgación, las funciones descritas en la FIG. 7 se puede implementar mediante el procesador 122 o el módulo de interfaz de usuario de realidad aumentada 134 de la FIG. 3 o mediante una combinación de los dos, potencialmente en combinación con uno o más de otros elementos. En algunas implementaciones, las funciones pueden ser realizadas por el procesador 122, el software 126, el hardware 128 y el firmware 130 o una combinación de los anteriores para realizar diversas funciones del aparato descrito en la presente divulgación. Aún en algunas de otras implementaciones, las funciones descritas en la FIG. 7 se puede implementar mediante el procesador 507 en combinación con uno o más de otros elementos, por ejemplo, los elementos 500-550 de la FIG. 5.
[0062] Debe observarse que al menos los párrafos [0066]-[0068], FIG. 3, FIG. 5, FIG. 7 y sus descripciones correspondientes proporcionan medios para controlar una cámara para escanear un entorno a la vista de un usuario, medios para identificar un conjunto de superficies en el entorno para mostrar ventanas de interfaz de usuario de acuerdo con las características del entorno, medios para priorizar un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies en el entorno, y medios para mostrar el conjunto de contenidos de realidad aumentada en el conjunto de superficies en una pantalla. Al menos los párrafos [0066]-[0068], FIG. 3, FIG. 5, FIG. 6, FIG. 7 y sus descripciones correspondientes proporcionan medios para priorizar el conjunto de contenidos de realidad aumentada para su visualización basado en: áreas del conjunto de superficies, orientaciones del conjunto de superficies, localizaciones del conjunto de superficies en relación con el campo de visión del usuario y rastreabilidad del conjunto de superficies; y medios para priorizar el conjunto de contenidos de realidad aumentada para su visualización basado en al menos uno de: la relación de aspecto del conjunto de superficies con respecto al conjunto de contenidos de realidad aumentada que se va a mostrar, y el color de fondo del conjunto de superficies con respecto al conjunto de contenidos de realidad aumentada que se va a mostrar; medios para determinar un conjunto de contenidos de realidad aumentada para su visualización de acuerdo con un historial de patrones de uso anteriores del usuario en el entorno; medios para priorizar el conjunto de contenidos de realidad aumentada para su visualización basado en al menos uno de: factores de ajuste a escala del conjunto de contenidos de realidad aumentada que se va a mostrar y relaciones lógicas del conjunto de contenidos de realidad aumentada que se va a mostrar; medios para determinar un conjunto de contenidos de realidad aumentada para su visualización de acuerdo con preferencias predefinidas del usuario; y medios para mostrar el conjunto de contenidos de realidad aumentada en el conjunto de superficies en la pantalla.
[0063] Las metodologías y el dispositivo móvil descritos en el presente documento se pueden implementar mediante diversos medios dependiendo de la aplicación. Por ejemplo, estas metodologías se pueden implementar en hardware, firmware, software o una combinación de los mismos. Para una implementación de hardware, las unidades de procesamiento se pueden implementar dentro de uno o más circuitos integrados específicos de la aplicación (ASIC), procesadores de señales digitales (DSP), dispositivos de procesamiento de señales digitales (DSPD), dispositivos lógicos programables (PLD), matrices de compuertas programables en el terreno (FPGA), procesadores, controladores, microcontroladores, microprocesadores, dispositivos electrónicos, otras unidades electrónicas diseñadas para realizar las funciones descritas en el presente documento o una combinación de los mismos. En el presente documento, el término "lógica de control" engloba la lógica implementada por software, hardware, firmware o una combinación.
[0064] Para una implementación de firmware y/o software, las metodologías se pueden implementar con módulos (por ejemplo, procedimientos, funciones, etc.) que realizan las funciones descritas en el presente documento. Se puede usar cualquier medio legible por máquina que incorpore instrucciones tangibles para implementar las metodologías descritas en el presente documento. Por ejemplo, los códigos de software se pueden almacenar en una memoria y ejecutar mediante una unidad de procesamiento. La memoria se puede implementar dentro de la unidad de procesamiento o externa a la unidad de procesamiento. Como se usa en el presente documento, el término "memoria" se refiere a cualquier tipo de dispositivo de almacenamiento a largo plazo, a corto plazo, volátil, no volátil u otros dispositivos de almacenamiento, y no se limita a ningún tipo particular de memoria o número de memorias, o tipo de medios sobre los cuales se almacena la memoria.
[0065] Si se implementa en firmware y/o software, las funciones se pueden almacenar como una o más instrucciones o códigos en un medio legible por ordenador. Los ejemplos incluyen medios legibles por ordenador codificados con una estructura de datos y medios legibles por ordenador codificados con un programa informático. Los medios legibles por ordenador pueden adoptar la forma de un artículo del fabricante. Los medios legibles por ordenador incluyen medios físicos de almacenamiento informático y/u otros medios no transitorios. Un medio de almacenamiento puede ser cualquier medio disponible al que se pueda acceder mediante un ordenador. A modo de ejemplo, y sin limitación, dichos medios legibles por ordenador pueden comprender RAM, ROM, EEPROM, CD-ROM u otro almacenamiento en disco óptico, almacenamiento en disco magnético u otros dispositivos de almacenamiento magnético, o cualquier otro medio que se pueda usar para almacenar código de programa deseado en forma de instrucciones o estructuras de datos y al que se puede acceder mediante un ordenador; el término disco, como se usa en el presente documento, incluye disco compacto (CD), disco láser, disco óptico, disco versátil digital (DVD), disco flexible y disco Blu-ray, donde unos discos reproducen normalmente los datos magnéticamente, mientras que otros discos reproducen datos ópticamente con láseres. Las combinaciones de lo anterior también se deben incluir dentro del alcance de los medios legibles por ordenador.
[0066] Además de almacenarse en un medio legible por ordenador, las instrucciones y/o los datos se pueden proporcionar como señales en medios de transmisión incluidos en un aparato de comunicación, que no forma parte de la presente invención. Por ejemplo, un aparato de comunicación puede incluir un transceptor que tiene señales que indican instrucciones y datos. Las instrucciones y los datos están configurados para hacer que uno o más procesadores implementen las funciones descritas de forma general en las reivindicaciones. Es decir, el aparato de comunicación incluye medios de transmisión con señales indicativas de información para realizar las funciones divulgadas. En un primer momento, los medios de transmisión incluidos en el aparato de comunicación pueden incluir una primera parte de la información para realizar las funciones divulgadas, mientras que, en un segundo momento, los medios de transmisión incluidos en el aparato de comunicación pueden incluir una segunda parte de la información para realizar las funciones divulgadas.
[0067] La divulgación se puede implementar conjuntamente con diversas redes de comunicación inalámbrica, tales como una red inalámbrica de área extensa (WWAN), una red inalámbrica de área local (WLAN), una red inalámbrica de área personal (WPAN), etc. Los términos “red” y “sistema” se usan a menudo de manera intercambiable. Los términos "posición" y "localización" se usan a menudo de forma intercambiable. Una WWAN puede ser una red de acceso múltiple por división de código (CDMA), una red de acceso múltiple por división de tiempo (TDMA), una red de acceso múltiple por división de frecuencia (FDMA), una red de acceso múltiple por división ortogonal de frecuencia (OFDMA), una red de acceso múltiple por división de frecuencia de portadora única (SC-FDMA), una red de evolución a largo plazo (LTE), una red WiMAX (IEEE 802.16), etc. Una red CDMA puede implementar una o más tecnologías de acceso radioeléctrico (RAT), tales como cdma2000, CDMA de banda ancha (W-CDMA), etc. La tecnología cdma2000 incluye las normas IS-95, IS2000 e IS-856. Una red TDMA puede implementar el sistema global para comunicaciones móviles (GSM), el sistema de telefonía móvil avanzado digital (D-AMPS) o alguna otra RAT. GSM y W-CDMA se describen en documentos de un consorcio llamado "Proyecto de Colaboración de Tercera Generación" (3GPP). cdma2000 se describe en documentos de un consorcio llamado "Segundo Proyecto de Colaboración de Tercera Generación" (3GPP2). Los documentos del 3GPP y del 3GPP2 están a disposición del público. Una WLAN puede ser una red IEEE 802.11x y una WPAN puede ser una red Bluetooth, una red IEEE 802.15x o algún otro tipo de red. Las técnicas también se pueden implementar junto con cualquier combinación de WWAN, WLAN y/o WPAN.
[0068] Una estación móvil se refiere a un dispositivo tal como un dispositivo celular u otro dispositivo de comunicación inalámbrica, un dispositivo de un sistema de comunicaciones personal (PCS), un dispositivo de navegación personal (PND), un gestor de información personal (PIM), un asistente digital personal (PDA), un ordenador portátil u otro dispositivo móvil adecuado que pueda recibir señales inalámbricas de navegación y/o de comunicación. El término "estación móvil" también pretende incluir dispositivos que se comunican con un dispositivo de navegación personal (PND), tal como mediante una conexión inalámbrica de corto alcance, una conexión mediante infrarrojos, una conexión por cable u otra conexión, independientemente de si la recepción de señales de satélites, la recepción de datos de asistencia y/o el procesamiento relacionado con la posición se llevan a cabo en el dispositivo o en el PND. Además, la "estación móvil" pretende incluir todos los dispositivos, incluyendo dispositivos de comunicación inalámbrica, ordenadores, ordenadores portátiles, etc., que se pueden comunicar con un servidor, tal como a través de Internet, Wi-Fi u otra red, e independientemente de si la recepción de señales de satélites, la recepción de datos de asistencia y/o el procesamiento relacionado con la posición se llevan a cabo en el dispositivo, en un servidor o en otro dispositivo asociado a la red. Cualquier combinación operativa de lo anterior también se considera una "estación móvil".
[0069] La designación de que algo está "optimizado", "requerido" u otra designación no indica que la presente divulgación se aplique solo a sistemas que están optimizados, o sistemas en los que los elementos "requeridos" están presentes (u otra limitación debida a otras designaciones). Estas designaciones se refieren solo a la implementación particular descrita. Por supuesto, son posibles muchas implementaciones. Las técnicas se pueden usar con protocolos distintos a los analizados en el presente documento, incluyendo protocolos que están en desarrollo o por desarrollar.
[0070] Un experto en la técnica pertinente reconocerá que se pueden usar muchas modificaciones y combinaciones posibles de los modos de realización divulgados, al mismo tiempo que se siguen empleando los mismos mecanismos y metodologías básicos subyacentes. La descripción anterior, con fines explicativos, se ha escrito con referencias a modos de realización específicos. Sin embargo, los análisis ilustrativos anteriores no están previstos para ser exhaustivos o para limitar la divulgación a las formas precisas divulgadas. Muchas modificaciones y variaciones son posibles en vista de las enseñanzas anteriores. Los modos de realización se eligieron y describieron con el fin de explicar los principios de la divulgación y sus aplicaciones prácticas, para permitir que otros expertos en la técnica utilicen mejor la divulgación y diversos modos de realización con diversas modificaciones que puedan adaptarse al uso particular contemplado.

Claims (13)

REIVINDICACIONES
1. Un procedimiento para mostrar contenidos de realidad aumentada, que comprende:
controlar (702) una cámara (105) de un dispositivo habilitado con realidad aumentada, ARD, para escanear un entorno a la vista de un usuario;
identificar (704) un conjunto de superficies planas en el entorno para mostrar ventanas de interfaz de usuario (610, 612, 614, 616, 618, 620, 622, 624);
asignar uno o más niveles de prioridad de superficie a cada conjunto de superficies planas, basado en al menos uno de a) qué tan bien se pueden rastrear características de las ventanas de interfaz de usuario; b) un área o un tamaño de la superficie; c) una localización de la superficie en el escaneo del entorno relativo a la cámara; d) una orientación o una relación de aspecto de la superficie; y e) un color de fondo de la superficie;
asignar uno o más niveles de prioridad de contenido a un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies planas en el entorno;
mostrar (708) el conjunto de contenidos de realidad aumentada en el conjunto de superficies planas en una pantalla basado en uno o más niveles de prioridad de superficie y los uno o más niveles de prioridad de contenido;
rastrear basado en uno o más sensores en el ARD para determinar seis grados de libertad si al menos una de las superficies se ha movido en las tramas capturadas por la cámara porque el usuario ha movido la cabeza, o si la superficie real correspondiente se ha movido; y
en respuesta a la determinación de que la superficie real correspondiente se ha movido, reducir al menos una superficie y reasignar las ventanas de interfaz de usuario.
2. El procedimiento de la reivindicación 1, en el que el entorno comprende objetos del mundo real (602, 604, 606, 608), y en el que el conjunto de superficies planas incluye superficies en la vista superior, inferior, izquierda, derecha y frontal del usuario; y en el que la pantalla es una pantalla montada sobre la cabeza.
3. El procedimiento de la reivindicación 1, en el que asignar uno o más niveles de prioridad de contenido al conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies planas en el entorno comprende:
asignar los uno o más niveles de prioridad de contenido basado en al menos uno de: la relación de aspecto del conjunto de superficies planas con respecto al conjunto de contenidos de realidad aumentada que se va a mostrar, y el color de fondo del conjunto de superficies planas con respecto al conjunto de contenidos de realidad aumentada que se va a mostrar.
4. El procedimiento de la reivindicación 1, en el que asignar uno o más niveles de prioridad de contenido al conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies planas en el entorno comprende:
asignar los uno o más niveles de prioridad de contenido basado en un historial de patrones de uso anteriores del usuario en el entorno.
5. El procedimiento de la reivindicación 4, en el que asignar los uno o más niveles de prioridad de contenido basado en un historial de patrones de uso anteriores del usuario en el entorno comprende al menos uno de:
seleccionar un primer conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en el trabajo;
seleccionar un segundo conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en casa;
seleccionar un tercer conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en una reunión de negocios; y
seleccionar un cuarto conjunto de contenidos de realidad aumentada para su visualización en respuesta a una determinación de que el usuario está en un evento social.
6. El procedimiento de la reivindicación 5, en el que
el primer conjunto de contenidos de realidad aumentada incluye programas de aplicación para comunicación y documentación que el usuario está acostumbrado a usar en el trabajo; y
el segundo conjunto de contenidos de realidad aumentada incluye programas de aplicación para comunicación y entretenimiento que el usuario está acostumbrado a usar en casa.
7. El procedimiento de la reivindicación 6, en el que
el primer conjunto de contenidos de realidad aumentada para comunicación y documentación incluye aplicaciones de correo electrónico, navegador web y de productividad de oficina; y
el segundo conjunto de contenidos de realidad aumentada para comunicación y entretenimiento incluye aplicaciones de Facebook, Twitter, películas y videojuegos.
8. El procedimiento de la reivindicación 1, en el que asignar uno o más niveles de prioridad de contenido al conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies planas en el entorno comprende:
asignar los uno o más niveles de prioridad de contenido basado en al menos uno de: factores de ajuste a escala del conjunto de contenidos de realidad aumentada que se va a mostrar, o relaciones lógicas del conjunto de contenidos de realidad aumentada que se va a mostrar.
9. El procedimiento de la reivindicación 1, en el que asignar uno o más niveles de prioridad de contenido al conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies planas en el entorno comprende:
asignar los uno o más niveles de prioridad de contenido basado en preferencias de usuario predefinidas.
10. El procedimiento de la reivindicación 10, en el que las preferencias de usuario predefinidas comprenden al menos uno de:
importancia de un contenido de realidad aumentada para el usuario;
cantidad del contenido de realidad aumentada que se va a mostrar; y
orientación de visualización del contenido de realidad aumentada con respecto al conjunto de superficies planas.
11. El procedimiento de la reivindicación 1, que comprende, además:
identificar un conjunto de marcadores en el entorno;
asociar el conjunto de marcadores con el conjunto de superficies planas; y
rastrear el conjunto de superficies planas usando el conjunto de marcadores.
12. Un producto de programa informático que comprende un medio no transitorio que almacena programas informáticos para realizar un procedimiento de acuerdo con una de las reivindicaciones precedentes.
13. Un sistema para mostrar contenidos de realidad aumentada, que comprende:
medios para controlar una cámara (105) de un dispositivo habilitado con realidad aumentada, ARD, para escanear un entorno a la vista de un usuario;
medios para identificar un conjunto de superficies planas en el entorno para mostrar ventanas de interfaz de usuario (610, 612, 614, 616, 618, 620, 622, 624);
medios para priorizar un conjunto de contenidos de realidad aumentada para su visualización con respecto al conjunto de superficies planas en el entorno mediante la asignación de uno o más niveles de prioridad de superficie a cada uno de los conjuntos de superficies planas, basado en al menos uno de a) qué tan bien se pueden rastrear las características de las ventanas de interfaz de usuario; b) un área o un tamaño de la superficie; c) una localización de la superficie en el escaneo del entorno relativo a la cámara; d) una orientación o relación de aspecto de la superficie; y e) un color de fondo de la superficie, y asignar uno o más niveles de prioridad de contenido al conjunto de contenidos de realidad aumentada;
medios para mostrar el conjunto de contenidos de realidad aumentada en el conjunto de superficies planas en una pantalla basado en uno o más niveles de prioridad de superficie y los uno o más niveles de prioridad de contenido;
medios para rastrear basado en uno o más sensores en el ARD para determinar seis grados de libertad si al menos una de las superficies se ha movido en las tramas capturadas por la cámara porque el usuario ha movido la cabeza, o si la superficie real correspondiente se ha movido; y
medios para reducir, en respuesta a la determinación de que la superficie real correspondiente se ha movido, la al menos una superficie y reasignar las ventanas de interfaz de usuario.
ES13815188T 2012-12-18 2013-11-20 Interfaz de usuario para dispositivos habilitados con realidad aumentada Active ES2806947T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/718,923 US9317972B2 (en) 2012-12-18 2012-12-18 User interface for augmented reality enabled devices
PCT/US2013/071044 WO2014099231A2 (en) 2012-12-18 2013-11-20 User interface for augmented reality enabled devices

Publications (1)

Publication Number Publication Date
ES2806947T3 true ES2806947T3 (es) 2021-02-19

Family

ID=49887197

Family Applications (1)

Application Number Title Priority Date Filing Date
ES13815188T Active ES2806947T3 (es) 2012-12-18 2013-11-20 Interfaz de usuario para dispositivos habilitados con realidad aumentada

Country Status (9)

Country Link
US (1) US9317972B2 (es)
EP (1) EP2936444B1 (es)
JP (1) JP6090879B2 (es)
KR (1) KR20150095868A (es)
CN (1) CN104871214B (es)
ES (1) ES2806947T3 (es)
HU (1) HUE049782T2 (es)
TW (1) TWI533162B (es)
WO (1) WO2014099231A2 (es)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2501567A (en) * 2012-04-25 2013-10-30 Christian Sternitzke Augmented reality information obtaining system
WO2014091824A1 (ja) * 2012-12-10 2014-06-19 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP5900393B2 (ja) * 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
US10514256B1 (en) * 2013-05-06 2019-12-24 Amazon Technologies, Inc. Single source multi camera vision system
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US20150185825A1 (en) * 2013-12-30 2015-07-02 Daqri, Llc Assigning a virtual user interface to a physical object
FR3019333B1 (fr) * 2014-03-26 2016-03-11 Schneider Electric Ind Sas Procede de generation d'un contenu en realite augmentee
AU2014202574A1 (en) * 2014-05-13 2015-12-03 Canon Kabushiki Kaisha Positioning of projected augmented reality content
WO2015176163A1 (en) 2014-05-21 2015-11-26 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
US9589362B2 (en) 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
DE102014012710A1 (de) * 2014-08-27 2016-03-03 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
US9607388B2 (en) 2014-09-19 2017-03-28 Qualcomm Incorporated System and method of pose estimation
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US10373366B2 (en) 2015-05-14 2019-08-06 Qualcomm Incorporated Three-dimensional model generation
US9911242B2 (en) 2015-05-14 2018-03-06 Qualcomm Incorporated Three-dimensional model generation
US10304203B2 (en) 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation
US10462421B2 (en) * 2015-07-20 2019-10-29 Microsoft Technology Licensing, Llc Projection unit
US10799792B2 (en) * 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US10197998B2 (en) 2015-12-27 2019-02-05 Spin Master Ltd. Remotely controlled motile device system
WO2017147892A1 (en) * 2016-03-04 2017-09-08 Intel Corporation OPERATING INTERNET OF THINGS DEVICES USING LiDAR METHOD AND APPARATUS
US20170256096A1 (en) * 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
CN105929945A (zh) * 2016-04-18 2016-09-07 展视网（北京）科技有限公司 增强现实互动方法和设备、移动终端和迷你主机
CN105955471A (zh) * 2016-04-26 2016-09-21 乐视控股（北京）有限公司 虚拟现实交互的方法及装置
KR20230113663A (ko) 2016-05-20 2023-07-31 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
US20170345178A1 (en) * 2016-05-27 2017-11-30 Rovi Guides, Inc. Methods and systems for determining a region near a user device for displaying supplemental content during presentation of a media asset on the user device
US10726443B2 (en) 2016-07-11 2020-07-28 Samsung Electronics Co., Ltd. Deep product placement
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US10341568B2 (en) 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
CN107948393A (zh) * 2016-10-13 2018-04-20 阿里巴巴集团控股有限公司 基于场景的应用操作方法、装置、终端设备和操作***
US20190258313A1 (en) * 2016-11-07 2019-08-22 Changchun Ruixinboguan Technology Development Co., Ltd. Systems and methods for interaction with an application
WO2018110800A1 (ko) * 2016-12-15 2018-06-21 전자부품연구원 논리적 화면 표시장치 생성 시스템 및 방법
WO2018118657A1 (en) 2016-12-21 2018-06-28 Pcms Holdings, Inc. Systems and methods for selecting spheres of relevance for presenting augmented reality information
US10575067B2 (en) 2017-01-04 2020-02-25 Samsung Electronics Co., Ltd. Context based augmented advertisement
US10477602B2 (en) 2017-02-04 2019-11-12 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities and services in connection with the reception of an electromagnetic signal
US10880716B2 (en) 2017-02-04 2020-12-29 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities, and services in connection with the reception of an electromagnetic signal
WO2018148076A1 (en) * 2017-02-10 2018-08-16 Pcms Holdings, Inc. System and method for automated positioning of augmented reality content
US10867181B2 (en) 2017-02-20 2020-12-15 Pcms Holdings, Inc. Dynamically presenting augmented reality information for reducing peak cognitive demand
JP6980802B2 (ja) * 2017-03-06 2021-12-15 Ｌｉｎｅ株式会社 拡張現実を提供するための方法、装置及びコンピュータプログラム
WO2018204419A1 (en) * 2017-05-01 2018-11-08 Magic Leap, Inc. Matching content to a spatial 3d environment
WO2018217470A1 (en) * 2017-05-23 2018-11-29 Pcms Holdings, Inc. System and method for prioritizing ar information based on persistence of real-life objects in the user's view
US11682045B2 (en) * 2017-06-28 2023-06-20 Samsung Electronics Co., Ltd. Augmented reality advertisements on objects
JP2019028603A (ja) * 2017-07-27 2019-02-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10943399B2 (en) 2017-08-28 2021-03-09 Microsoft Technology Licensing, Llc Systems and methods of physics layer prioritization in virtual environments
US10762713B2 (en) * 2017-09-18 2020-09-01 Shoppar Inc. Method for developing augmented reality experiences in low computer power systems and devices
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
JP7196179B2 (ja) 2017-12-22 2022-12-26 マジック リープ， インコーポレイテッド 複合現実システムにおいて仮想コンテンツを管理および表示する方法およびシステム
US11120612B2 (en) 2018-01-22 2021-09-14 Apple Inc. Method and device for tailoring a synthesized reality experience to a physical setting
KR102549932B1 (ko) * 2018-01-22 2023-07-03 애플 인크. 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스
EP4213104A1 (en) * 2018-02-22 2023-07-19 Magic Leap, Inc. Browser for mixed reality systems
WO2019165044A1 (en) 2018-02-22 2019-08-29 Magic Leap, Inc. Object creation with physical manipulation
US11262903B2 (en) * 2018-03-30 2022-03-01 Data Alliance Co., Ltd. IoT device control system and method using virtual reality and augmented reality
EP3557378B1 (en) * 2018-04-16 2022-02-23 HTC Corporation Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same
WO2019226001A1 (en) 2018-05-23 2019-11-28 Samsung Electronics Co., Ltd. Method and apparatus for managing content in augmented reality system
US10665206B2 (en) 2018-07-30 2020-05-26 Honeywell International Inc. Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
US10698603B2 (en) * 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
TWI719343B (zh) 2018-08-28 2021-02-21 財團法人工業技術研究院 資訊顯示方法及其顯示系統
US10569164B1 (en) * 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
US11321411B1 (en) * 2018-12-28 2022-05-03 Meta Platforms, Inc. Systems and methods for providing content
US11163434B2 (en) * 2019-01-24 2021-11-02 Ademco Inc. Systems and methods for using augmenting reality to control a connected home system
EP3948747A4 (en) 2019-04-03 2022-07-20 Magic Leap, Inc. MANAGEMENT AND DISPLAY OF WEB PAGES IN A VIRTUAL THREE-DIMENSIONAL SPACE USING A MIXED REALITY SYSTEM
EP3742259B1 (en) * 2019-05-24 2023-08-23 General Electric Technology GmbH Method and apparatus for displaying information
GB201909022D0 (en) * 2019-06-24 2019-08-07 Terrys Textiles Ltd Image cropping method and system
WO2021105748A1 (en) * 2019-11-26 2021-06-03 Telefonaktiebolaget Lm Ericsson (Publ) Virtual content units for extended reality
US11538199B2 (en) * 2020-02-07 2022-12-27 Lenovo (Singapore) Pte. Ltd. Displaying a window in an augmented reality view
US11354867B2 (en) 2020-03-04 2022-06-07 Apple Inc. Environment application model
US11423621B1 (en) * 2020-05-21 2022-08-23 Facebook Technologies, Llc. Adaptive rendering in artificial reality environments
US11508130B2 (en) 2020-06-13 2022-11-22 Snap Inc. Augmented reality environment enhancement
EP3926441B1 (en) * 2020-06-15 2024-02-21 Nokia Technologies Oy Output of virtual content
KR20210158695A (ko) * 2020-06-24 2021-12-31 삼성전자주식회사 영상에서 평면을 검출하는 전자 장치 및 그 동작 방법
TWI741663B (zh) * 2020-06-30 2021-10-01 美律實業股份有限公司 穿戴式裝置與耳機
JP2022070719A (ja) * 2020-10-27 2022-05-13 シャープ株式会社 コンテンツ表示システム、コンテンツ表示方法、及びコンテンツ表示プログラム
US11756297B2 (en) 2021-03-03 2023-09-12 Wipro Limited Augmented realty based assistance system and method thereof
CN115619960A (zh) 2021-07-15 2023-01-17 北京小米移动软件有限公司 图像处理的方法、装置及电子设备
US11620797B2 (en) 2021-08-05 2023-04-04 Bank Of America Corporation Electronic user interface with augmented detail display for resource location
US20240071001A1 (en) * 2022-08-30 2024-02-29 Rovi Guides, Inc. Systems and methods for pinning content items to locations in an augmented reality display based on user preferences
US20240071002A1 (en) * 2022-08-30 2024-02-29 Rovi Guides, Inc. Systems and methods for pinning content items to locations in an augmented reality display based on user preferences
WO2024101581A1 (ko) * 2022-11-09 2024-05-16 삼성전자주식회사 가상 공간 내에 배치된 멀티미디어 콘텐트를 제어하기 위한 웨어러블 장치 및 그 방법
KR102595385B1 (ko) * 2022-12-14 2023-10-30 주식회사 버넥트 식별코드 기반의 ar 객체 제공 방법 및 시스템

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7134080B2 (en) * 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
SG119229A1 (en) 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US20090189830A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Eye Mounted Displays
US20100208033A1 (en) 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US8947455B2 (en) 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
KR101260576B1 (ko) * 2010-10-13 2013-05-06 주식회사 팬택 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8514295B2 (en) * 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
JP2012164157A (ja) * 2011-02-07 2012-08-30 Toyota Motor Corp 画像合成装置
KR20130136566A (ko) 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display

Also Published As

Publication number Publication date
WO2014099231A2 (en) 2014-06-26
TWI533162B (zh) 2016-05-11
CN104871214A (zh) 2015-08-26
WO2014099231A3 (en) 2014-09-25
KR20150095868A (ko) 2015-08-21
JP2016508257A (ja) 2016-03-17
US20140168262A1 (en) 2014-06-19
HUE049782T2 (hu) 2020-10-28
JP6090879B2 (ja) 2017-03-08
EP2936444B1 (en) 2020-04-22
TW201432495A (zh) 2014-08-16
CN104871214B (zh) 2017-08-22
US9317972B2 (en) 2016-04-19
EP2936444A2 (en) 2015-10-28

Similar Documents

Publication Publication Date Title
ES2806947T3 (es) Interfaz de usuario para dispositivos habilitados con realidad aumentada
KR102257255B1 (ko) 혼합 현실 스포트라이트
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
KR102175595B1 (ko) 펄스형 광원을 이용한 근접 평면 분할
KR102291777B1 (ko) 바디 락 증강 현실과 월드 락 증강 현실 사이의 전환 기법
ES2759054T3 (es) Región basada en gestos del cuerpo humano y selección de volumen para HMD
KR102289389B1 (ko) 가상 오브젝트 방위 및 시각화
EP2691938B1 (en) Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
CN107003821B (zh) 促进用于玻璃显示器的改进观看能力
CN113016008A (zh) 重力对准影像的机器学习推断
US20160284130A1 (en) Display control method and information processing apparatus
US20240144617A1 (en) Methods and systems for anchoring objects in augmented or virtual reality
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별
WO2021125190A1 (ja) 情報処理装置、情報処理システムおよび情報処理方法
CN116609789A (zh) 可穿戴设备的定位方法、穿戴设备及电子设备