ES2713521T3 - Foco virtual variable automático para presentaciones de realidad aumentada - Google Patents
Foco virtual variable automático para presentaciones de realidad aumentada Download PDFInfo
- Publication number
- ES2713521T3 ES2713521T3 ES11840164T ES11840164T ES2713521T3 ES 2713521 T3 ES2713521 T3 ES 2713521T3 ES 11840164 T ES11840164 T ES 11840164T ES 11840164 T ES11840164 T ES 11840164T ES 2713521 T3 ES2713521 T3 ES 2713521T3
- Authority
- ES
- Spain
- Prior art keywords
- user
- micro
- presentation
- processors
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0149—Head-up displays characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0149—Head-up displays characterised by mechanical features
- G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
- G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Processing Or Creating Images (AREA)
Abstract
Un método para presentar objetos virtuales con foco variable mediante un sistema de realidad aumentada (10), comprendiendo el método: determinar mediante uno o más procesadores (210, 320, 322) un campo de visión del usuario tridimensional de un dispositivo de presentación próximo a los ojos (2) de un sistema de realidad aumentada; identificar mediante uno o más procesadores una ubicación objetivo tridimensional de uno o más objetos virtuales dentro del campo de visión del usuario; determinar mediante uno o más procesadores una región focal actual tridimensional del usuario que lleva el dispositivo de presentación próximo a los ojos dentro del campo de visión del usuario; identificar cuál de los uno o más objetos virtuales está en la región focal actual del usuario en base a las ubicaciones objetivo o tridimensionales del uno o más objetos virtuales dentro del campo de visión del usuario; y presentar mediante el dispositivo de presentación próximo a los ojos el uno o más objetos virtuales identificados como que están en la región focal actual del usuario ajustando una región focal de un conjunto de micropresentación (173) que incluye elementos de procesamiento de luz alineados en una trayectoria óptica (133) dirigida sobre una presentación (112) del dispositivo de presentación próximo a los ojos moviendo los elementos de procesamiento de luz en la trayectoria óptica bajo el control de uno o más procesadores; en donde: los elementos de procesamiento de luz del conjunto del micropresentación comprenden al menos un elemento óptico (122) y una unidad de micropresentación (120) alineada en la trayectoria óptica con un elemento reflectante (124); y mover los elementos de procesamiento de luz en la trayectoria óptica del conjunto de micropresentación bajo el control de los uno o más procesadores comprende además: determinar mediante uno o más procesadores un valor de desplazamiento, S1, entre un punto nodal delantero del al menos un elemento óptico y la ubicación objetivo de al menos un objeto virtual, estando el al menos un elemento óptico situado en una trayectoria óptica entre la unidad de micropresentación y el elemento reflectante, determinar mediante uno o más procesadores un valor de desplazamiento, S2, entre el elemento reflectante y un punto nodal trasero del al menos un elemento óptico para una longitud focal de al menos un elemento óptico, f, en base a la ecuación 1/S1 + 1/S2 = 1/f; y mover el al menos un elemento óptico bajo el control de uno o más procesadores para generar los valores del 30 desplazamiento determinados S1 y S2.
Description
DESCRIPCION
Foco virtual variable automatico para presentaciones de realidad aumentada
Antecedentes
La realidad aumentada es una tecnolog^a que permite que las imagenes virtuales sean mezcladas con un entorno ffsico del mundo real. ^picamente, sistemas de presentacion o pantallas, transparentes, proximas a los ojos son llevadas por los usuarios para ver las imagenes mezcladas de objetos virtuales y reales. Las pantallas proximas a los ojos ffpicamente utilizan una combinacion de elementos opticos y la estereopsis para enfocar imagenes virtuales a una distancia fija. Sin embargo, con el objeto virtual a una distancia fija, y la ubicacion del usuario cambiando, el objeto virtual no se mueve dentro y fuera del foco para un usuario como si el usuario viera el objeto virtual con luz natural. "A Novel Prototype for an Optical See-Through Head-Mounted Display with Addressable Focus Cues" por Sheng Liu et al, describe el uso de una lente ffquida en una presentacion montada en la cabeza tanto en el modo de plano focal variable en el que un senal de alojamiento es abordable, y un modo de plano multifocal de tiempo multiplexado en el que tanto las senales de alojamiento como de senales de borrosidad retinales pueden ser realizados.
Compendio
La invencion proporciona un sistema de realidad aumentada y un metodo como el reivindicado, que incluye las realizaciones para conseguir focos variables para pantallas de realidad mezclada o de realidad aumentada. Un usuario ve una escena a traves de un dispositivo de pantalla transparente. La escena incluye uno o mas objetos reales en un entorno ffsico que el usuario observa directamente con sus ojos a traves de lentes claras o transparentes del dispositivo de presentacion. Uno o mas objetos virtuales son proyectados por el dispositivo de presentacion en al menos una de las ubicaciones del ojo del usuario. De este modo, la presentacion de la escena real esta aumentada con objetos virtuales.
En una realizacion, la tecnologfa proporciona variacion de la distancia focal de los objetos virtuales proyectados por el dispositivo de presentacion. Un campo de vision de tres dimensiones es determinado para el usuario, y las ubicaciones en tres dimensiones de uno o mas objetos virtuales dentro del campo de vision del usuario son determinadas tambien. Una region focal en tres dimensiones actual del usuario esta determinada dentro del campo de vision. Uno o mas objetos virtuales en la region focal actual del usuario son identificados en base a sus ubicaciones.
Para presentar un objeto virtual en la region focal actual del usuario en la presentacion, el objeto virtual es movido a una region de la imagen en la region focal actual. En una realizacion, esto se realiza cambiando la region focal de un conjunto de micropresentacion del dispositivo de presentacion transparente. Un conjunto de micropresentacion puede incluir elementos tales como al menos un elemento optico, una unidad de micropresentacion alineada a lo largo de una trayectoria optica, asf como un ajustador de foco virtual variable. La unidad de micropresentacion genera imagenes para la presentacion, y la luz de las imagenes se desplaza a lo largo de la trayectoria optica a traves de al menos un elemento optico, por ejemplo una lente de colimacion, hasta un elemento reflectante.
El ajustador cambia el desplazamiento a lo largo de la trayectoria optica entre al menos dos elementos del conjunto de micropresentacion para cambiar la region focal de un objeto virtual en una imagen. En otra realizacion, adicionalmente una longitud focal de un elemento optico puede ser ajustada para obtener la region focal deseada. Por ejemplo, la polarizacion de al menos una lente birrefringente puede ser cambiada o puede ser ajustado un radio de curvatura de una lente de fluido o ffquida.
En una realizacion, una profundidad artificial de la tecnica de campo puede ser aplicada a un objeto virtual fuera de la region focal del usuario pero dentro del campo de vision del usuario como una funcion de la distancia desde la region focal del usuario.
El sistema puede incluir ademas un generador de sincronizacion en los circuitos de control para controlar la sincronizacion del ajustador de foco virtual variable que barre el conjunto de micropresentacion a traves de diferentes regiones focales. En la mayona de las realizaciones, la velocidad de barrido es ajustada para ser lo suficientemente rapida, de manera que la fusion de imagen temporal humana hara que las imagenes generadas en las diferentes regiones focales parezcan estar presentes a la vez. Un usuario que observa una presentacion de imagenes generadas en diferentes regiones focales observa los sujetos virtuales de forma natural dentro y fuera del foco como si los objetos virtuales fueran objetos reales en el entorno ffsico.
La tecnologfa tambien puede proporcionar un metodo para generar objetos virtuales en diferentes regiones focales en una presentacion de realidad aumentada. Un campo de vision de tres dimensiones esta determinado para un usuario que ve una escena que incluye objetos reales y virtuales utilizando un dispositivo de presentacion transparente. Una region focal de tres dimensiones esta identificada para uno o mas objetos virtuales dentro del campo de vision del usuario. El conjunto de micropresentacion esta ajustado para barrer a traves de un cierto numero de regiones focales. Las regiones focales pueden ser seleccionadas para incluir una region focal que el usuario esta actualmente viendo y aquellas regiones que incluyen un objeto virtual. Una imagen es generada para
cada region focal.
En un ejemplo, cada una de estas imagenes puede ser presentada al usuario a una velocidad lo suficientemente rapida, de manera que la fusion de imagen temporal humana hace que parezcan estar presentes a la vez para el ojo humano. En otro ejemplo, es presentada una imagen compuesta, de partes en foco de imagenes virtuales generadas en diferentes regiones focales.
Este Compendio se proporciona para introducir una seleccion de conceptos de una manera simplificada que seran descritos con mas detalle en la Descripcion Detallada. Este Compendio no esta destinado a identificar caractensticas claves o caractensticas esenciales de la materia objeto reivindicada, ni esta destinado a ser utilizado como una ayuda en la determinacion del alcance de la materia objeto reivindicada.
Breve descripcion de los dibujos
La Fig. 1 es un diagrama de bloques que muestra componentes a modo de ejemplo de una realizacion del sistema para proporcionar foco variable de objetos virtuales.
La Fig. 2A es una vista superior de una parte de una realizacion de una unidad de presentacion montada en la cabeza.
La Fig. 2B es una vista superior de una parte de otra realizacion de una unidad de presentacion montada en la cabeza.
La Fig. 3A es un ejemplo de un sistema de lentes giratorias para utilizar como parte de un conjunto de micropresentacion de presentacion proxima al ojo.
La Fig. 3B1 y la Fig. 3B2 son ejemplos de una lente de fluido que presentaban diferentes radios de curvatura, siendo la lente de fluido para utilizar como parte de un conjunto de micropresentacion.
La Fig. 3C es un ejemplo de un sistema de lente birrefringente para utilizar como parte de un conjunto de micropresentacion de presentacion proxima a los ojos.
La Fig. 3D es un ejemplo de un sistema de lente de para utilizar como parte de un conjunto de micropresentacion. La Fig. 4 es un diagrama de bloques de una realizacion de los componentes de la unidad de presentacion montada en la cabeza.
En la Fig. 5 es un diagrama de bloques de una realizacion de los componentes de una unidad de procesamiento asociada con una unidad de presentacion montada en la cabeza.
La Fig. 6 es un diagrama de bloques de una realizacion de los componentes de un sistema de ordenador concentrador utilizado con la unidad de presentacion montada en la cabeza.
La Fig. 7 es un diagrama de bloques de una realizacion del sistema de ordenador que puede ser utilizado para implementar el sistema de ordenador concentrador descrito en la presente memoria.
La Fig. 8 es un diagrama de bloques que muestra un sistema de multiples usuarios que puede variar el foco del contenido virtual para estar en foco para un usuario.
La Fig. 9 es un diagrama de flujo que describe una realizacion de un proceso para presentar un objeto virtual para que este en foco cuando sea visto por el usuario.
La Fig. 10 es un diagrama de flujo que describe una realizacion de un proceso para crear un modelo de un espacio. La Fig. 11 es un diagrama de flujo que describe una realizacion de un proceso para segmentar un modelo en objetos.
La Fig. 12 es un diagrama de flujo que el describe una realizacion de un proceso para identificar objetos.
La Fig. 13 es un diagrama de flujo que describe una realizacion de un proceso para presentar un objeto virtual para estar en foco cuando es visto por un usuario que observa una presentacion transparente.
La Fig. 14 es un diagrama de flujo que describe una realizacion de un proceso para el concentrador que rastrea la posicion y la orientacion de un usuario y/o la unidad de presentacion montada en la cabeza.
La Fig. 15 es un diagrama de flujo que describe una realizacion de un proceso para rastrear la posicion de un ojo. La Fig. 16 es un diagrama de flujo que describe una realizacion de un proceso para determinar el campo de vision de un usuario.
La Fig. 17A es un diagrama de flujo que describe una realizacion de un proceso para cambiar una region focal de un conjunto de micropresentacion desplazando al menos una lente del conjunto.
La Fig. 17B es un diagrama de flujo que describe una realizacion de un proceso para cambiar una region focal de un conjunto de micropresentacion cambiando una polarizacion de al menos una lente del conjunto.
La Fig. 17C es un diagrama de flujo que describe una realizacion de un proceso para cambiar una region focal de un conjunto de micropresentacion cambiando un radio de curvatura de al menos una lente de fluido del conjunto.
La Fig. 18A es un diagrama de flujo que describe una realizacion de un proceso para generar imagenes de objetos virtuales en diferentes regiones focales en una presentacion de realidad aumentada.
La Fig. 18B es un diagrama de flujo que describe otra realizacion de un proceso para generar imagenes de objetos virtuales en diferentes regiones focales en una presentacion de realidad aumentada.
Las Figuras 19A y 19B ilustran esquematicamente ejemplos de las diferentes formas de presentar objetos virtuales de multiples focos en una presentacion de realidad aumentada.
Descripcion detallada
La tecnologfa proporciona realizaciones para conseguir focos variables para presentaciones de realidad mezclada o de realidad aumentada. En una realizacion, un sistema incluye una presentacion proxima al ojo para realidad aumentada un dispositivo de presentacion transparente y una unidad de procesamiento en comunicacion con el dispositivo de presentacion transparente. En las realizaciones descritas mas adelante, la presentacion transparente esta en un conjunto de anteojos pero otros formatos HMD y soportes de presentacion proxima a los ojos tambien pueden ser utilizados.
La vision natural del usuario es utilizada para ver realmente y directamente objetos reales en una escena vista con la presentacion transparente. Basada en el contexto de ejecucion de software, por ejemplo, una aplicacion de juego, el sistema puede proyectar imagenes virtuales en la presentacion que son visibles por la persona que lleva el dispositivo de presentacion transparente a la vez que la persona que esta tambien viento objetos del mundo real a traves de la presentacion.
Uno o mas sensores son utilizados para escanear el entorno ffsico que el usuario ve proporcionando de este modo datos sobre los cuales puede ser construido un modelo tridimensional del entorno escaneado. El modelo es segmentado en objetos reales, y como se explica mas adelante, es aumentado con las ubicaciones de las imagenes de objetos virtuales.
Adicionalmente, son utilizados distintos sensores para detectar la posicion y orientacion de la cabeza del usuario y la posicion del ojo con el fin de determinar donde proyectar las imagenes virtuales. El sistema rastrea automaticamente donde esta mirando el usuario, de manera que el sistema puede calcular el campo de vision del usuario a traves de la presentacion del dispositivo de presentacion transparente. El usuario puede ser rastreado utilizando camaras de profundidad y cualquiera de los distintos sensores que incluyen sensores de profundidad, sensores de imagen, sensores de inercia, sensores de posicion del ojo, etc. Ademas del campo de vision del usuario, el sistema tambien determina en que ubicacion del campo de vision el usuario esta enfocando o esta mirando, referida a menudo como region focal del usuario.
En algunas realizaciones, la region focal del usuario es un volumen conocido como area a fusional de Panum, en la que los ojos humanos ven objetos con vision sencilla. Los seres humanos tienen vision binocular o vision estereoscopica. Cada ojo produce una imagen desde un punto de vista diferente. Solo en este el pequeno volumen del area fusional de Panum los humanos ven un objeto con vision sencilla. Esto es generalmente lo que significa cuando se dice que un objeto esta en foco. Fuera de este area, los objetos pueden aparecer borrosos o incluso aparecer como imagenes dobles. Dentro del centro del area fusional de Panum hay un Horoptero que incluye el punto focal de los ojos del usuario. Cuando un usuario esta enfocando en un punto en el espacio, en lo que sigue el punto focal, ese punto focal esta situado en una lmea curva. Los objetos en esta lmea curvada en el espacio caen sobre la retinas de los ojos en la fovea. La lmea curvada esta a veces referida como el horoptero horizontal. Tambien existe un horoptero vertical que es una lmea a traves de la lmea curvada que se inclina alejandose de los ojos por encima del punto focal y hacia los ojos debajo del punto focal sobre la curva. El termino Horoptero como se utiliza en lo que sigue se refiere tanto a sus componentes verticales como horizontales.
Una vez que el sistema conoce el campo de vision del usuario, y la region focal del usuario, el sistema puede calcular donde van a ser proyectadas una o mas imagenes de objetos virtuales por la presentacion del dispositivo de presentacion transparente. La generacion de una presentacion de un objeto virtual en una ubicacion de region focal seleccionada en la presentacion proyectada se puede realizar ajustando una longitud de trayectoria optica en el conjunto de micropresentacion del dispositivo de presentacion transparente.
El paralaje se genera desplazando las imagenes colocadas en las micropresentaciones izquierda y derecha. Ajustando una cantidad de paralaje para un objeto virtual, su distancia virtual es supuesta por la distancia a la que la
lmea de vista al objeto virtual generado por la presentacion de ojo izquierdo intersecta la correspondiente lmea de vista de la presentacion de ojo derecho. Las presentaciones convencionales pueden ajustar esta distancia implicada de paralaje. Independiente del paralaje hay una distancia implicada por la curvatura del frente de onda que sale de la presentacion. Este radio de curvatura es simplemente la distancia a un punto sobre el objeto. Los objetos cercanos tienen frentes de onda fuertemente curvados debido a que el radio de curvatura es por tanto pequeno. Los objetos distantes tienen frentes de onda mucho mas planos debido a que el radio de curvatura es correspondientemente grande. En el lfmite de los objetos muy distantes el frente de onda llega a ser el plano. Las presentaciones montadas en la cabeza convencionales tienen una curvatura de frente de onda fija debido a que no tienen elementos opticos que puedan ser variados en base al contenido de la escena.
En el caso en el que la ubicacion del usuario cambie a una ubicacion mas lejos de la ubicacion actual del objeto virtual, el paralaje y la escala para el objeto virtual pueden ser cambiados colocando las imagenes apropiadas en las micro presentaciones izquierda y derecha. Un Horoptero, un area fusional de Panum para la nueva ubicacion del usuario puede ser definida. Las presentaciones convencionales no pueden ajustar el radio de curvatura del frente de ondas para llevar el objeto virtual al interior del area fusional de Panum. La tecnologfa descrita mas adelante puede establecer la curvatura del frente de ondas a una distancia, que tambien es acorde con otras senales establecidas por la escala y en paralaje, y que llevan el objeto virtual dentro del area fusional de Panum. De esta manera las imagenes parecen naturales y reales. El mismo argumento se aplica si el usuario permanece fijo en una ubicacion, y el objeto virtual se mueve mas cerca o mas lejos con relacion a objetos naturales en la escena.
Un conjunto de micropresentacion comprende elementos de procesamiento de luz y un ajustador de foco variable. Algunos ejemplos de elemento de procesamiento de luz son una unidad de micropresentacion, uno o mas elementos opticos, por ejemplo, lentes de un sistema de lentes y un elemento reflectante, por ejemplo una superficie reflectante o una superficie parcialmente reflectante. La unidad de micropresentacion incluye una fuente de luz y genera una imagen de un objeto virtual. La unidad de micropresentacion esta opticamente alineada con uno o mas elementos opticos y con el elemento reflectante. La alineacion optica puede ser a lo largo de un eje optico o una trayectoria optica que incluye uno o mas ejes opticos. La luz de imagen puede ser colimada y dirigida por uno o mas elementos opticos hasta el elemento reflectante. La luz reflejada desde un elemento parcialmente reflectante puede ser dirigida hasta las ubicaciones del ojo del usuario en una realizacion. Dado que la superficie es parcialmente reflectante, puede permitir que la luz procedente de la escena natural la atraviese y se vea. En otras realizaciones la luz procedente de la unidad de micropresentacion reflejada por el elemento reflectante viaja al interior de otro elemento optico que proyecta imagenes para ser visualizadas por el usuario, y tambien permite que la luz natural sea vista. El ajustador de foco variable cambia el desplazamiento entre uno o mas elementos de procesamiento de luz en la trayectoria optica del conjunto de micropresentacion o una potencia optica de un elemento en el conjunto de micropresentacion. La potencia optica de la lente esta definida como el redproco de su longitud focal, por ejemplo 1/longitud focal de manera que un cambio en uno afecta al otro. El cambio da lugar a un cambio en la region del campo de vision que esta en foco para una imagen generada por el conjunto de micropresentacion con el desplazamiento o la potencia optica cambiados. Como se expone para las realizaciones siguientes, puede haber un conjunto de micropresentacion para cada ojo. Cada uno de los conjuntos de micropresentacion realiza el procesamiento para la perspectiva de su respectivo ojo.
En un ejemplo, una profundidad artificial de la tecnica de campo tal como una borrosidad artificial se aplica a cualquier objeto virtual en el campo de vision y fuera de la region focal en proporcion a su distancia desde la region focal. En otra realizacion, el ajustador barre a traves de un rango de longitudes focales correspondientes a un rango de regiones focales a una velocidad o frecuencia a la vez que se presenta objetos virtuales dentro de las respectivas regiones focales. La velocidad o frecuencia puede ser igual o mas rapida que una velocidad de fotograma para el dispositivo de presentacion. En una realizacion, las imagenes de objeto virtual generadas en las diferentes regiones focales son presentadas como imagenes en capas, y la velocidad de presentacion es lo suficientemente rapida para que las imagenes parezcan presentes al mismo tiempo. En otra realizacion, se presenta una imagen compuesta de las partes en foco de las imagenes generadas en las diferentes regiones focales. Cuando el usuario cambia su foco actual a otra region focal, los objetos virtuales en las diferentes regiones focales entran y salen del foco como cuando son vistos con la vision natural.
Las imagenes son entonces reproducidas mediante el dimensionamiento y la orientacion de la imagen virtual y reproducida esa imagen dimensionada/orientada en una presentacion transparente.
La Fig. 1 es un diagrama de bloques que muestra componentes a modo de ejemplo de una realizacion de un sistema 10 para proporcionar foco variable de objetos virtuales. El sistema 10 incluye un dispositivo de presentacion transparente como dispositivo de presentacion montado en la cabeza 2 en comunicacion con la unidad de procesamiento 4 a traves de un cable 6. En otras realizaciones, el dispositivo de presentacion montado en la cabeza 2 se comunica con la unidad de procesamiento 4 a traves de una comunicacion sin cable. El dispositivo de presentacion montado en la cabeza 2, que en una realizacion tiene forma de gafas con una montura 115 proporciona un soporte para sujetar los elementos del sistema en su sitio y tambien un conducto para las conexiones electricas, es llevado en la cabeza del usuario de manera que el usuario puede ver a traves de una presentacion o pantalla y con ello tener una vision directa y real del espacio delante del usuario. El uso de la expresion "en vision real y directa" se refiere a la capacidad de ver los objetos del mundo real directamente con el ojo humano, en lugar de ver representaciones de los objetos. Por ejemplo, mirar a traves de las gafas en una habitacion permite que el
usuario tenga una vision real directa de la habitacion, mientras que el visionado de un video de una habitacion en una television no es una imagen real directa de la habitacion. Mas adelante se proporcionan mas detalles del dispositivo de presentacion montado en la cabeza 2.
En una realizacion, la unidad de procesamiento 4 es llevada en la muneca del usuario e incluye mucha de la potencia de ordenador utilizada para operar el dispositivo de presentacion montado en la cabeza 2. La unidad de procesamiento 4 se comunica de manera inalambrica (por ejemplo, mediante WiFi, Bluetooth, infrarrojos, u otros medios de comunicacion inalambrica) con uno o mas sistemas de ordenador concentrador 12.
El sistema de ordenador concentrador 12 puede ser un ordenador, un sistema de juego o consola, o similar. De acuerdo con una realizacion a modo de ejemplo, el sistema de ordenador concentrador 12 puede incluir componentes de hardware y/o componentes de software, de manera que el sistema de ordenador concentrador 12 puede ser utilizado para ejecutar aplicaciones tales como aplicaciones de juego, aplicaciones que no son de juego, o similares. En una realizacion, el sistema de ordenador concentrador 12 puede incluir un procesador tal como un procesador estandarizado, un procesador especializado, un microprocesador, o similar, que puede ejecutar instrucciones almacenadas en un dispositivo de almacenamiento lefble por procesador para realizar los procesos descritos en la presente memoria.
El sistema de ordenador concentrador 12 incluye ademas uno o mas dispositivos de captura, tal como dispositivos de captura 20A y 20B. En otras realizaciones, se pueden utilizar mas de dos o menos de dos dispositivos de captura. En una implementacion a modo de ejemplo, los dispositivos de captura 20A y 20B apuntan en direcciones diferentes de manera que capturan diferentes partes de la habitacion. Puede resultar ventajoso que el campo de vision de los dos dispositivos de captura se superponga ligeramente de manera que el sistema de ordenador concentrador 12 puede entender como se relacionan entre sf los campos de vision de los dispositivos de captura. De esta manera, pueden ser utilizados multiples dispositivos de captura para ver una habitacion completa (u otro espacio). Alternativamente, un dispositivo de captura puede ser utilizado si el dispositivo de captura puede ser separado durante la operacion de manera que en el tiempo el espacio relevante completo es visto por el dispositivo de captura.
Los dispositivos de captura 20A y 20B pueden ser, por ejemplo, camaras que monitorizan visualmente uno o mas usuarios y el espacio circundante de manera que los gestos y/o movimientos realizados por uno o mas usuarios, asf como la estructura del espacio circundante, pueden ser capturados, analizados, y rastreados para realizar uno o mas controles o acciones dentro de la aplicacion y/o animar un avatar o un caracter en la pantalla.
El sistema de ordenador concentrador 12 puede estar conectado a un dispositivo audiovisual 16 tal como una television, un monitor, una television de alta definicion (HDTV), o similar que puede proporcionar elementos visuales de juego o de aplicacion. Por ejemplo, el sistema de ordenador concentrador 12 puede incluir un adaptador de video tal como una tarjeta grafica y/o un adaptador de audio tal como una tarjeta de sonido que puede proporcionar senales audiovisuales asociadas con la aplicacion de juego, con la aplicacion que no es un juego, etc. El dispositivo audiovisual 16 puede recibir las senales audiovisuales procedentes del sistema de ordenador concentrador 12 y puede entonces extraer los elementos visuales de juego o de aplicacion y/o el audio asociado con las senales audiovisuales. De acuerdo con una realizacion, el dispositivo audiovisual 16 puede estar conectado a un sistema de ordenador concentrador 12 a traves de, por ejemplo, un cable de video S, un cable coaxial, un cable HDMI, un cable DVI, un cable VGA, un cable de video componente, cables RCA, etc. En un ejemplo, un dispositivo audiovisual 16 incluye altavoces internos. En otras realizaciones, el dispositivo audiovisual 16, un estereo separado o sistema de ordenador concentrador 12 esta conectado a los altavoces externos 22.
El dispositivo de ordenador concentrador 10, con los dispositivos de captura 20A y 20B, pueden ser utilizados para reconocer, analizar, y/o rastrear objetivos humanos (y de otros tipos). Por ejemplo, un usuario que lleva un dispositivo de presentacion montado en la cabeza 2 puede ser rastreado utilizando los dispositivos de captura 20A y 20B, de manera que los gestos y/o movimientos del usuario pueden ser capturados para animar un avatar o un caracter en la pantalla y/o pueden ser interpretados como controles que pueden ser utilizados para acercar la aplicacion que esta siendo ejecutada por el sistema de ordenador concentrador 12.
La Fig. 2A muestra una vista superior de una parte del dispositivo de presentacion montado en la cabeza 2, que incluye una parte de la montura que incluye la patilla 102 y el puente de nariz 104. Solo se muestra el lado derecho del dispositivo de presentacion montado en la cabeza 2. Integrado en el puente de nariz 104 hay un microfono 110 para grabar sonidos y transmitir esos datos de audio a la unidad de procesamiento 4, como se describe mas adelante. En la parte frontal del dispositivo de presentacion montado en la cabeza 2 hay una camara de video 113 vuelta hacia el entorno ffsico que puede capturar video e imagenes estaticas. Esas imagenes son transmitidas a la unidad de procesamiento 4, como se describe mas adelante.
Una parte de la montura 115 del dispositivo de presentacion montado en la cabeza 2 rodeara una presentacion (que incluye uno o mas elementos opticos). Para mostrar los componentes del dispositivo de presentacion montado en la cabeza 2, una parte de la montura 115 que rodea la presentacion no esta mostrada. La presentacion incluye un elemento optico de guiado de luz 112, un filtro de opacidad 114, lentes transparentes 116 y lentes transparentes 118. En una realizacion, el filtro de opacidad 114 esta detras y alineado con la lente transparente 116, el elemento
optico de guiado de luz 112 esta detras y alineado con el filtro de opacidad 114, y la lente transparente 118 esta detras y alineada con el elemento optico de guiado de luz 112. Las lentes transparentes 116 y 118 son lentes estandar utilizadas en gafas y pueden estar hechas de acuerdo con cualquier prescripcion (incluyendo sin prescripcion). En una realizacion, las lentes transparentes 116 y 118 pueden ser sustituidas por una lente de prescripcion variable. En algunas realizaciones, el dispositivo de presentacion montado en la cabeza 2 incluira solo una lente a traves transparente o ninguna lente transparente. En otra alternativa, una lente de prescripcion puede ir dentro del elemento optico de guiado de luz 112. El filtro de opacidad 114 filtra la luz natural (o bien en base a los pixeles o bien uniformemente) para aumentar el contraste de la imagen virtual. El elemento optico de guiado de luz 112 canaliza la luz artificial hasta el ojo. Se proporcionan mas adelante mas detalles del filtro de opacidad 114 y del elemento optico de guiado de luz 112.
Montada en o dentro de la patilla 102 hay una fuente de imagen, que en una o mas realizaciones incluye la micropresentacion 120 que proyecta una imagen a traves de uno o mas elementos opticos, por ejemplo un sistema de lentes 122, sobre un elemento reflectante que en esta realizacion es una superficie reflectante 124 que grna la imagen al interior del elemento optico de guiado de luz 112. Existen diferentes tecnologfas de generacion de imagenes que pueden ser utilizadas para implementar la micropresentacion 120. Por ejemplo la micropresentacion 120 puede ser incrementada utilizando una tecnologfa de proyeccion transmisiva en donde la fuente de luz es modulada mediante material opticamente activo, retroiluminacion con luz blanca. Estas tecnologfas normalmente son implementadas utilizando presentaciones de tipo LCD con potentes retroluminaciones y densidades de energfa optica elevadas. La micropresentacion 120 tambien puede ser implementada utilizando una tecnologfa reflectante para la cual la luz externa es reflejada y modulada por un material opticamente activo. La iluminacion es iluminacion delantera mediante o bien una fuente blanca o bien una fuente RGB, dependiendo de la tecnologfa. El procesamiento de luz digital (DLP), tecnologfa de presentacion de cristal lfquido en silicio (LCOS) y Mirasol® de Qualcomm, Inc., son ejemplos el tecnologfas reflectantes que son eficientes cuando la mayona de la energfa es reflejada desde la estructura modulada y puede ser utilizada en el sistema descrito en la presente memoria. Adicionalmente, la micropresentacion 120 puede ser implementada utilizando una tecnologfa de emision en donde la luz es generada por la presentacion. Por ejemplo, un motor PicoPTM de Microvision, Inc., emite una senal laser con un micro espejo que gira o bien sobre una pantalla diminuta que actua como elemento de trasmision o bien es emitida directamente dentro del ojo (por ejemplo, laser).
En la realizacion ilustrada, la micropresentacion 120 es parte de un conjunto de micropresentacion 173 que comprende elementos de procesamiento de luz para transferir una imagen a una presentacion transparente. El conjunto de micropresentacion en este ejemplo comprende la micropresentacion 120, uno o mas elementos opticos encarnados en un sistema de lentes 122, y la superficie reflectante 124. El sistema de lentes 122 puede comprender una unica lente o una pluralidad de lentes. El sistema de lentes 122, la unidad de micropresentacion 120 y la superficie reflectante 124 (por ejemplo, un espejo u otra superficie) estan alineados en una trayectoria optica, en este ejemplo, alineados a lo largo del eje optico 133. La luz de imagen puede ser colimada y dirigida por el sistema de lentes 122 hasta la superficie reflectante 124.
El conjunto del micropresentacion 173 comprende ademas un ajustador de foco virtual variable 135 que controla un desplazamiento entre sistema de lentes 122 y la unidad de micropresentacion 120, o un desplazamiento entre sistema de lentes 122 y la superficie reflectante 124 o ambos a lo largo de la trayectoria optica 133. Diferentes desplazamientos entre los elementos de procesamiento de luz del conjunto de micropresentacion corresponden a diferentes regiones focales en el campo de vision de tres dimensiones del usuario en el que los elementos virtuales pueden ser proyectados. En este ejemplo, los cambios de desplazamiento son guiados dentro de una armadura 137 que soporta al menos un elemento de procesamiento de luz, tal como el sistema de lentes 122 y la micropresentacion 120 en este ejemplo. La armadura 137 ayuda a estabilizar la alineacion a lo largo de la trayectoria optica 133 durante el movimiento ffsico de los elementos para conseguir un desplazamiento seleccionado o una potencia optica seleccionada. El rango de desplazamiento es tfpicamente del orden de unos pocos milfmetros (mm). En un ejemplo, el rango desde 1-2 mm.
En un ejemplo, el ajustador 135 puede ser un actuador tal como un motor piezoelectrico. Tambien pueden ser utilizadas otras tecnologfas para el actuador y algunos ejemplos de tales tecnologfas son una bobina de voz formada de una bobina y un iman permanente, un elemento de magnetostriccion y un elemento de electrostriccion.
El elemento optico de guiado de luz 112 trasmite luz desde la micropresentacion 120 hasta el ojo 140 del usuario que lleva el dispositivo de presentacion montado en la cabeza 2. El elemento optico de guiado de luz 112 permite tambien que la luz procedente de la parte delantera del dispositivo de presentacion montado en la cabeza 2 sea transmitida a traves del elemento optico de guiado de luz 112 hasta el ojo 140, como se representa mediante la flecha 142, lo que permite que el usuario tenga una vision real directa del espacio delante del dispositivo de presentacion montado en la cabeza 2 ademas de recibir una imagen visual desde la micropresentacion 120. De este modo, las paredes del elemento optico de guiado de luz 112 son transparentes. El elemento optico de guiado de luz 112 incluye una primera superficie reflectante 124. La luz procedente de la micropresentacion 120 pasa a traves del sistema de lentes 122 y se hace incidente sobre la superficie reflectante 124. La superficie reflectante 124 refleja la luz incidente procedente de la micropresentacion 120 de manera que la luz es atrapada dentro de un "planer", sustrato que comprende el elemento optico de guiado de luz 112 mediante reflexion interna. Despues de varias reflexiones de las superficies del sustrato, las ondas de luz atrapadas alcanzan una disposicion de superficies
selectivamente reflectantes 126. Notese que solo una de las cinco superficies esta etiquetada 126 para evitar sobrecargar el dibujo. Las superficies reflectantes 126 se asocian con las ondas de luz incidente sobre esas superficies reflectantes fuera del sustrato en el ojo 140 del usuario. Cuando diferentes rayos de luz se desplazan y rebotan fuera del interior del sustrato en diferentes angulos, los diferentes rayos chocaran con las distintas superficies reflectantes 126 en diferentes angulos. Por lo tanto, seran reflejados diferentes rayos de luz fuera del sustrato por diferentes superficies reflectantes. La seleccion de que los rayos de luz seran reflejados fuera del sustrato mediante que superficie 126 esta disenado seleccionando un angulo apropiado de las superficies 126. Se pueden encontrar mas detalles de un elemento optico de guiado de luz en la Publicacion de Solicitud de Patente de Estados Unidos 2008/0285140, N° de Serie 12/214.366, publicada el 20 de noviembre de 2008, "Substrate-Guided Optical Devices". En una realizacion, cada ojo tendra su propio elemento optico de guiado de luz 112. Cuando el dispositivo de presentacion montada en la cabeza tiene dos elementos opticos de guiado de luz, cada ojo puede tener su propia micropresentacion 120 que puede presentar la misma imagen en ambos ojos o diferentes imagenes en los dos ojos. En otra realizacion, puede haber un elemento optico de guiado de luz que refleje luz en ambos ojos. El filtro de opacidad 114, que esta alineado con el elemento optico de guiado de luz 112, bloquea selectivamente la luz natural, o bien uniformemente o bien en base a los pfxeles, para que no pase a traves del elemento optico de guiado de luz 112. En una realizacion, el filtro de opacidad puede ser un panel LCD transparente, una pelfcula electrocromica, o un dispositivo similar que sea capaz de servir como filtro de opacidad. Tal panel LCD transparente se puede obtener retirando varias capas de sustrato, retroiluminacion y difusores de un LCD convencional. El panel LCD puede incluir uno o mas chips LCD trasmisores de luz que permiten que la luz pase a traves del cristal lfquido. Tales chips son utilizados en proyectores LCD, por ejemplo.
El filtro de opacidad 114 puede incluir una red densa de pfxeles, en donde la transmisividad de luz de cada pixel se puede controlar individualmente entre transmisividades minima y maxima. Aunque un rango de transmisividad de 0 100% es ideal, tambien son aceptables rangos mas limitados. Como ejemplo, un panel LCD monocromo con no mas de dos filtros de polarizacion es suficiente para proporcionar un rango de opacidad de aproximadamente 50% a 90% por pixel, hasta la resolucion del LCD. En la minima del 50%, la lente puede tener una apariencia ligeramente tintada, lo cual es tolerable. La transmisividad del 100% representa una lente perfectamente clara. Una escala "alfa" pueden estar definida de 0-100%, en donde 0% no permite el paso de luz y 100% permite que toda la luz pase. El valor que alfa puede ser establecido para cada pixel por el circuito de control de filtro de opacidad 224 descrito mas adelante.
Mas detalles de un filtro de opacidad se proporcionan en la Solicitud de Patente de Estados Unidos N° 12/887.426, "Opacity Filter For See-Through Mounted Display," presentada el 21 de septiembre de 2010, y la Solicitud de Patente de Estados Unidos N° 12/905.952 presentada el 15 de octubre de 2010 titulada "Fusing Virtual Content Into Real Content".
El dispositivo de presentacion montado en la cabeza 2 incluye tambien un sistema para rastrear la posicion de los ojos del usuario. Como se explicara mas adelante, el sistema rastreara la posicion y orientacion del usuario de manera que el sistema puede determinar el campo de vision del usuario. Sin embargo, un humano no percibira nada delante de el. En su lugar, los ojos del usuario seran dirigidos a un subconjunto del entorno. Por lo tanto, en una realizacion, el sistema incluira tecnologfa para rastrear la posicion de los ojos del usuario con el fin de mejorar la medida del campo de vision del usuario. Por ejemplo, el dispositivo de presentacion montado en la cabeza 2 incluye un conjunto de rastreo de ojos 134 (vease la Fig. 2A), que incluira un dispositivo de iluminacion de rastreo de ojos 134A y la camara de rastreo de ojos 134B (vease la Fig. 4). En una realizacion, la fuente de iluminacion de rastreo de ojos 134A incluye uno o mas emisores infrarrojos (IR), que emiten luz infrarroja hacia el ojo. La camara de rastreo de ojos 134B incluye una o mas camaras que detectan la luz infrarroja reflejada.
La posicion de la pupila puede ser identificada mediante tecnicas de generacion de imagen conocidas que detectan la reflexion de la cornea. Por ejemplo, vease la patente de Estados Unidos 7.401.920, titulada "Head Mounted Eye Tracking and Display System", expedida el 22 de julio de 2008 a Ophir et al., incorporada en la presente memoria como referencia. Tal tecnica puede situar una posicion del centro del ojo con relacion a la camara de rastreo. Generalmente, el rastreo del ojo implica obtener una imagen del ojo y utilizando tecnicas de vision de ordenador determinar la ubicacion de la pupila dentro del globo ocular. En una realizacion, es suficiente rastrear la ubicacion de un ojo dado que los ojos normalmente se mueven al urnsono. Sin embargo, es posible rastrear cada ojo de manera separada.
En una realizacion, el sistema utilizara cuatro LEDs de infrarrojos (IR) y cuatro fotodetectores de infrarrojos en una configuracion rectangular, de manera que hay un LED de infrarrojos y un fotodetector de infrarrojos en cada esquina de la lente del dispositivo de presentacion montado en la cabeza 2. La luz procedente de los LEDs se refleja en los ojos. La cantidad de luz infrarroja detectada en cada uno de los cuatro fotodetectores de infrarrojos determina la direccion de la pupila. Esto es, la cantidad de blanco frente al negro en el ojo determinara la cantidad de luz reflejada fuera del ojo para ese fotodetector particular. Esto es, el fotodetector tendra una medida de la cantidad de blanco o negro en el ojo. A partir de las cuatro muestras, el sistema puede determinar la direccion del ojo.
Otra alternativa es utilizar cuatro LEDs infrarrojos como se ha descrito anteriormente, pero solo un dispositivo de generacion de imagenes infrarrojas en el lado de la lente del dispositivo de presentacion montado en la cabeza 2. El
dispositivo de generacion de imagenes utilizara un pequeno espejo y/o lente (ojo de pez) de manera que el dispositivo de generacion de imagenes puede generar imagenes de hasta el 75% del ojo visible desde la montura de las gafas. El dispositivo de generacion de imagenes detectara entonces una imagen y utilizara vision de ordenador para encontrar la imagen, como se ha descrito anteriormente. De este modo, aunque la Fig. 2A muestra un conjunto con un emisor de infrarrojos, la estructura de la Fig. 2A puede ser ajustada para tener cuatro transmisores de infrarrojos y/o cuatro sensores de infrarrojos. Tambien se pueden utilizar mas de cuatro o menos de cuatro trasmisores de infrarrojos y/o cuatro sensores de infrarrojos.
Otra realizacion para rastrear la direccion de los ojos esta basada en el rastreo de carga. Este concepto esta basado en la observacion de que una retina lleva una carga positiva medible y la cornea tiene una carga negativa. Los sensores estan montados en los ofdos del usuario (cerca de los auriculares 130) para detectar el potencial electrico mientras los ojos se mueven alrededor y leen de forma efectiva lo que los ojos estan haciendo en tiempo real. Tambien se pueden utilizar otras realizaciones para el rastreo de los ojos.
Los circuitos de control 136 proporcionan diversos elementos electronicos que soportan los otros componentes del dispositivo de presentacion montado en la cabeza 2. Mas detalles de los circuitos de control 136 se proporcionan mas adelante con respecto a la Fig. 4. Dentro de o montados en la patilla 102, hay auriculares 130, sensores de inercia 132 y un sensor de temperatura 138. En una realizacion, los sensores de inercia 132 incluyen un magnetometro de tres ejes 132A, un giroscopio de tres ejes 132B y un acelerometro de tres ejes 132C (vease la Fig. 4). Los sensores de energfa son para detectar la posicion, orientacion, aceleraciones repentinas del dispositivo de presentacion montado en la cabeza 2.
La Fig. 2A solo muestra la mitad del dispositivo de presentacion montado en la cabeza 2. Un dispositivo de presentacion montado en la cabeza, completo incluina otro conjunto de lentes transparentes, otro filtro de opacidad, otro elemento optico de guiado de luz, otra micropresentacion 120, otro sistema de lentes 122, la camara vuelta hacia la habitacion 113, el conjunto de rastreo de ojo 134, los auriculares 130, y el sensor de temperatura 138. La Fig. 2B es una vista superior de una parte de otra realizacion de una unidad de presentacion montada en la cabeza. La montura 115 se muestra en imeas de puntos para exponer la disposicion de los elementos opticos soportados en la misma. En esta realizacion, la luz procedente de un elemento reflectante 124a es dirigida a un elemento parcialmente reflector 124b que combina la vista de imagen virtual que viaja a lo largo de la trayectoria optica 133 con la vista natural o real y directa 142. La vista natural 142 puede estar afectada por el filtro de opacidad 114. La combinacion de vistas es dirigida al ojo del usuario 140 en lugar de al interior de otro elemento optico tal como el elemento optico de guiado de luz 112. En esta realizacion, la montura 115 proporciona una montura de gafas conveniente como soporte para los elementos del sistema tales como que el conjunto del micropresentacion 173 que incluye sus elementos de procesamiento de luz 122 y 120, el ajustador de foco variable 135 y la armadura 137. En este ejemplo, la camara de rastreo de ojos 134r, 1341 para cada ojo esta situada sobre el puente 104. En otras realizaciones, se pueden utilizar otras estructuras de soporte ademas de una montura de gafas. Un ejemplo de tal estructura es un visor.
Como se ha mencionado anteriormente, la configuracion de los elementos de procesamiento de luz del conjunto de micropresentacion 173 crea una distancia focal o region focal en la que un objeto virtual aparece en una imagen. Cambiando la configuracion se cambia la region focal para la imagen de objeto virtual. La region focal determinada por los elementos de procesamiento de luz puede ser determinada y cambiada en base a la ecuacion 1/Si 1/S2 = 1/f. El sfmbolo f representa la longitud focal de una lente tal como el sistema de lentes 122 en el conjunto de micropresentacion 173. El sistema de lentes 122 tiene un punto nodal delantero y un punto nodal trasero. Si los rayos de luz son dirigidos hacia un punto nodal en un angulo dado con relacion al eje optico, los rayos de luz surgiran desde el otro punto nodal en un angulo equivalente con relacion al eje optico. En un ejemplo, el punto nodal trasero del sistema de lentes 122 estana entre el mismo y el elemento reflectante 124 en la Fig. 2A o el elemento reflectante 124a en la Fig. 2B. La distancia desde el punto nodal trasero al elemento reflectante 124, 124a puede ser designada como S2. El punto nodal delantero estana entre sistema de lentes 122 y una ubicacion objetivo de la imagen virtual generada por la micropresentacion 120 en un modelo tridimensional del espacio ffsico del usuario. (Vease la exposicion de las Figuras 10-12 mas adelante para mas detalles acerca de la creacion del modelo.) La distancia desde el punto nodal delantero a la ubicacion objetivo de la imagen virtual puede ser designada como S1. Si la longitud focal de la lente es fija, S1 y S2 son modificados para enfocar objetos virtuales en diferentes profundidades. Por ejemplo, una posicion inicial puede tener S1 establecido para el infinito, y S2 ser igual a la longitud focal del sistema de lentes 122. Asumiendo que el sistema de lentes 122 tiene una longitud focal de 10 mm, se considera un ejemplo en el que el objeto virtual va ser colocado aproximadamente un pie o 30 cm dentro del campo de vision del usuario. S1 es ahora aproximadamente 30 cm o 300 mm, f es 10 mm y S2 es establecido actualmente en la posicion inicial de la longitud focal, 10 mm, lo que significa que el punto nodal trasero del sistema de lentes 122 esta a 10 mm del elemento reflectante 124, 124a. La nueva distancia o el nuevo desplazamiento entre la lente 122 y el elemento reflectante 124, 124a es determinado en base a 1/300 1/S2 = 1/10 con todas las unidades en mm. El resultado es de aproximadamente 10,3 mm para S2.
En un ejemplo, la unidad de procesamiento 4 puede calcular los valores del desplazamiento S1 y S2, dejando la longitud focal f fija y haciendo que los circuitos de control 136 hagan que el accionador de ajustador variable 237
envfe senales de accionamiento para hacer que el ajustador de foco virtual variable 135 mueva el sistema de lentes 122 a lo largo de la trayectoria optica 133 por ejemplo. En algunos ejemplos, el ajustador 135 puede mover uno o mas elementos opticos 122 dentro de la armadura 137. En otros ejemplos, la armadura puede tener ranuras o espacio en el area alrededor de un elemento de procesamiento de luz de manera que se desliza sobre elemento, por ejemplo la micropresentacion 120, sin mover el elemento de procesamiento de luz. Otro elemento en la armadura tal como el uno o mas elementos opticos 122 estan unidos de manera que se deslizan o se mueven con la armadura en movimiento 237. En otras realizaciones, la unidad de micropresentacion 120 o el elemento reflectante 124, 124a o ambos se pueden mover en lugar de, o ademas de, moviendo el sistema de lentes 122.
En otras realizaciones, la longitud focal de al menos una lente en el sistema de lentes 122 puede ser cambiada con cambios en el desplazamiento a lo largo de la trayectoria optica 133 tambien. Algunas realizaciones de conjuntos de micropresentacion se presentan en las Figuras 3A a 3D. El numero espedfico de lentes mostrado es solo a modo de ejemplo. Se pueden utilizar otros numeros y configuraciones de lentes que funcionan basadas en los mismos principios.
La Fig. 3A es un ejemplo de un sistema de lentes giratorio para utilizar como parte de un conjunto de la micropresentacion de una presentacion proxima al ojo. Cada una de las lentes 122a a 122d tiene una longitud focal diferente y esta soportada dentro de un soporte de disco 160 que puede girar por el ajustador de foco virtual variable 135. La unidad de procesamiento 4 determina una region focal y selecciona una de las lentes de longitud focal para obtener esa region focal. Como se muestra con respecto a la Fig. 3, un accionador ajustador variable 237 de los circuitos de control 136 envfa al menos una senal de control al ajustador de foco virtual variable 135 para girar el disco, de manera que la lente seleccionada es alineada en la trayectoria optica 133 del conjunto.
La Fig. 3B1 y la Fig. 3B2 son ejemplos de una lente de fluido que presentan diferentes radios de curvatura como se muestra en Hongwen et al., "Tunable-focus liquid lens controlled using a servo motor", OPTICS EXPRESS, 4 septiembre 2006, Vol. 14, No. 18, pp. 8031-8036. La lente de fluido puede ser utilizada como parte de un conjunto de micropresentacion. La longitud focal de la lente puede ser cambiada cambiando el radio de curvatura. La relacion entre el radio de curvatura, R, y una longitud focal f viene dada por f = R/ nnquido -1. El mdice de refraccion del lfquido o del fluido de la lente es nnquido.
Esta realizacion comprende un soporte 137 tal como un anillo de obturacion anular que tiene una membrana externa flexible 152, en un ejemplo una membrana de goma, como una parte o conectada para el. La membrana externa 153 esta en contacto con un deposito de lfquido 156. La membrana de lente 150 se apoya sobre la parte superior de, o forma un lado flexible de una celula de lente de lfquido 158 que puede recibir desde, y liberar lfquido en el, deposito 156. En el ejemplo citado, la membrana de lente flexible es una membrana elastica tal como una membrana elastomerica de polidimetilsiloxano (PDMS). La placa de vidrio 154 detras de la celula de lfquido proporciona soporte. El ajustador de foco virtual variable 135 es controlado para empujar contra la membrana externa flexible 152 como se muestra en la Fig. 3B2 y liberar la membrana 152 como en la Fig. 3B1 para hacer que el volumen de agua del deposito 156 entre y salga de la lente de lfquido 158 haciendo, de este modo, convexa la membrana elastica 150 y relajando la membrana elastica 150 debido a los cambios en el volumen de lfquido. Los cambios en el volumen de lfquido producen cambios en el radio de curvatura de la membrana de lente 150 y de este modo es la longitud focal de la lente de lfquido 158. La relacion entre el radio de curvatura y el cambio de volumen AV se puede expresar como sigue:
en donde r0 es el radio de la apertura de lente.
La Fig. 3C es un ejemplo que un sistema de lentes birrefringentes para utilizar como parte de un conjunto de micropresentacion de una presentacion proxima al ojo. Un material birrefringente es anisotropo o direccionalmente dependiente. Describir la luz como un rayo es una construccion ilustrativa, una lente birrefringente descompone la luz en un rayo ordinario y en un rayo extraordinario. Para un unico eje de anisotropfa o eje optico,diferentes pueden existir indices de refraccion, y por tanto diferentes longitudes focales, para diferentes polarizaciones, una paralela y una perpendicular al eje. En un ejemplo de la Fig. 3C, las lentes 122a y 122b son lentes hechas de un material birrefringente con diferentes polarizaciones como se indica mediante las flechas. En este ejemplo de dos lentes, pueden ser predeterminados por seleccion cuatro indices de refraccion diferentes o longitudes focales. Cada longitud focal diferente puede estar asociada con una region focal diferente para la seleccion mediante la unidad de procesamiento 4. Las combinaciones de polarizacion pueden ser polarizaciones perpendiculares para las lentes 122a y 122b como se muestra en la Fig. 3C, las polarizaciones perpendiculares opuestas a las mostradas en la Fig. 3C, las dos lentes que tienen las mismas polarizaciones en una direccion, y las dos lentes tienen las mismas polarizaciones en la otra direccion de polarizacion. El ajustador de foco virtual variable puede aplicar un voltaje a cada lente para efectuar una polarizacion seleccionada en una realizacion. En otra realizacion, se puede aplicar un esfuerzo ffsico para cambiar la polarizacion de una lente.
La Fig. 3D es un ejemplo de un sistema de lentes insertable para utilizar como parte de un conjunto de micropresentacion. En esta realizacion, cada una de un numero de lentes 122 esta unida a un brazo respectivo 123
unido a la armadura 137. Cada brazo 123 mueve su uno o mas elementos opticos 122, por ejemplo una lente o un sistema de lentes 122, en oposicion en un desplazamiento en la trayectoria optica 133 del conjunto de micropresentacion bajo el control del ajustador de foco virtual variable 135. Por ejemplo, si estan siendo utilizados desplazamientos predeterminados para prestablecer regiones focales, cada lente 122 puede ser establecida a una cierta distancia separada de sus vecinas, por ejemplo separada 0,1 miffmetros (mm). Tambien se puede utilizar separacion no uniforme y desplazamientos ajustables.
En cada uno de los ejemplos anteriores que ajusta la longitud focal de una lente, tambien se realiza el desplazamiento a lo largo de la trayectoria optica 133.
De nuevo como se ha mencionado anteriormente, cada uno de los conjuntos de micropresentacion realiza el procesamiento para la perspectiva de su respectivo ojo, de manera que la imagen virtual aparece en la region focal del usuario, por ejemplo, el area fusional de Panum, el area de vision sencilla para los seres humanos.
La Fig. 4 es un diagrama de bloques que muestra los diversos componentes del dispositivo de presentacion montado en la cabeza 2. La Fig. 5 es un diagrama de bloques que describe los distintos componentes de la unidad de procesamiento 4. El dispositivo de presentacion montado en la cabeza 12, cuyos componentes se muestran en la Fig. 4, son utilizados para proporcionar una imagen virtual en foco con la vista del usuario del mundo real. Adicionalmente, los componentes del dispositivo de presentacion montado en la cabeza de la Fig. 4 incluyen muchos sensores que rastrean diversas condiciones. El dispositivo de presentacion montado en la cabeza recibira instrucciones acerca de la imagen virtual procedente de la unidad de procesamiento 4 y proporcionara la informacion de sensor de nuevo a la unidad de procesamiento 4. La unidad de procesamiento 4, cuyos componentes se muestran en la Fig. 5 recibiran la informacion de sensor procedente del dispositivo de presentacion montado en la cabeza 3 y tambien procedente del dispositivo de ordenador concentrador 12 (vease la Fig. 1). En base a esa informacion, la unidad de procesamiento 4 determinara donde y cuando proporcionar una imagen virtual en foco al usuario y enviar instrucciones acordes con el dispositivo de presentacion montado en la cabeza de la Fig. 4.
Notese que algunos de los componentes de la Fig. 4 (por ejemplo, la camara vuelta hacia el entorno ffsico 113, la camara de rastreo de ojos 134B, el ajustador de foco virtual variable 135, la micropresentacion 120, el filtro de opacidad 114, la iluminacion de rastreo de ojos 134A, los auriculares 130, y el sensor de temperatura 138) se muestran sombreados para indicar que hay dos de cada uno de esos dispositivos, uno en el lado izquierdo y uno en el lado derecho del dispositivo de presentacion montado en la cabeza 2. La Fig. 4 muestra el circuito de control 200 en comunicacion con el circuito de gestion de potencia 202. El circuito de control 200 incluye el microprocesador 210, el controlador de memoria 212 en comunicacion con la memoria 214 (por ejemplo, D-RAM), la interfaz de camara 216, el bufer de camara 218, el accionador de presentacion 220, el formateador de presentacion 222, el generador de sincronizacion 226, la interfaz de salida de presentacion 228, la interfaz de entrada de presentacion 230. En una realizacion, todos los componentes del circuito de control 220 estan en comunicacion entre sf a traves de lmeas dedicadas uno o mas buses. En otra realizacion, cada uno de los componentes del circuito de control 200 esta en comunicacion con el procesador 210. La interfaz de camara 216 proporciona una interfaz a las dos camaras vueltas hacia el entorno ffsico 113 y almacena imagenes recibidas desde las camaras vueltas hacia el entorno ffsico en el bufer de camara 218. El accionador de presentacion 220 accionara la micropresentacion 120. El formateador de presentacion 222 proporciona informacion acerca de la imagen virtual que esta siendo presentada en la micropresentacion 120, al circuito de control de opacidad 224, que controla el filtro de opacidad 114. El generador de sincronizacion 226 se utiliza para proporcionar datos de sincronizacion para el sistema. La salida de presentacion 228 es un bufer que proporciona imagenes procedentes de las camaras vueltas hacia el entorno ffsico 113 a la unidad de procesamiento 4. La entrada de presentacion 230 es un bufer para recibir imagenes tales como una imagen virtual que va ser presentada en la micropresentacion 120. La salida de presentacion 228 y la entrada de presentacion 230 comunican con la interfaz de banda 232 que es una interfaz para la unidad de procesamiento 4.
El circuito de gestion de potencia 202 incluye el regulador de voltaje 234, el accionador de iluminacion de rastreo de ojo 236, el accionador ajustador variable 237, el DAC de audio y el amplificador 238, el preamplificador de microfono y el ADC de audio 240, la interfaz de sensor de temperatura 242, el generador de reloj 244. El regulador de voltaje 234 recibe potencia desde la unidad de procesamiento 4 a traves de la interfaz de banda 232 y proporciona esa potencia a los otros componentes del dispositivo de presentacion montado en la cabeza 2. El accionador de iluminacion de rastreo de ojos 236 proporciona la fuente de luz infrarroja para la iluminacion de rastreo de ojos 134A, como se ha descrito anteriormente. El accionador ajustador variable 237 proporciona una serial de control, por ejemplo una corriente de accionamiento o un voltaje de accionamiento, al ajustador 135 para mover uno o mas elementos del conjunto del micropresentacion para conseguir un desplazamiento para una region focal calculada mediante el software que se ejecuta en la unidad de procesamiento 4 o el ordenador concentrador 12 ambos. En las realizaciones de barrido a traves de un rango de desplazamientos y, por tanto, un rango de regiones focales, el accionador ajustador variable 237 recibe senales de sincronizacion procedentes del generador de sincronizacion 226, o alternativamente, el generador de reloj 244 para operar a una velocidad o frecuencia preprogramadas. El DAC de audio y el amplificador 238 reciben la informacion de audio procedente de los auriculares 130. El preamplificador de microfono y el ADC de audio 240 proporcionan una interfaz para el microfono 110. La interfaz de sensor de temperatura 242 es una interfaz para el sensor de temperatura 138. La unidad de gestion de potencia 202 proporciona tambien potencia y recibe datos procedentes del magnetometro de tres ejes 132A, el giroscopio que tres ejes 132B y el acelerometro de tres ejes 132C.
La Fig. 5 es un diagrama de bloques que describe los distintos componentes de la unidad de procesamiento 4. La Fig. 5 muestra el circuito de control 304 en comunicacion con el circuito de gestion de potencia 306. El circuito de control 304 incluye una unidad de procesamiento central 320, la unidad de procesamiento de graficos 322, el cache 324, la RAM 326, el control de memoria 328 en comunicacion con la memoria 330 (por ejemplo, D-RAM), el controlador de memoria temporal 332 en comunicacion con la memoria temporal 334 (u otro tipo de almacenamiento no volatil), el bufer de salida de presentacion 336 en comunicacion con el dispositivo de presentacion montado en la cabeza 2 a traves de la interfaz de banda 302 y la interfaz de banda 232, el bufer de entrada de presentacion 338 en comunicacion con el dispositivo de presentacion montado en la cabeza 2 a traves de la interfaz de banda 302 y la interfaz de banda 232, la interfaz de microfono 340 en comunicacion con un conector de microfono externo 342 para conectar a un microfono, la interfaz expres de PCI para conectar al a un dispositivo de comunicacion sin cable 346, y el(los) puerto(s) USB 348. En una realizacion, el componente de comunicacion sin cable 346 puede incluir un dispositivo de comunicacion habilitado para Wi-Fi, un dispositivo de comunicacion Bluetooth, dispositivo de comunicacion de infrarrojos, etc. El puerto USB puede ser utilizado para conectar la unidad de procesamiento 4 al dispositivo de ordenador concentrador 12 con el fin de cargar datos o el software en la unidad de procesamiento 4, asf como cargar la unidad de procesamiento 4. En una realizacion, la CPU 320 y la GPU 322 son los componentes principales para determinar donde, cuando y como insertar imagenes virtuales en la vision del usuario. Se proporcionan mas detalles mas adelante.
El circuito la gestion de potencia 306 incluye el generador de reloj 360, el conversor de analogico a digital 362, el cargador de batena 364, el regulador de voltaje 366, la fuente de alimentacion de presentacion montada en la cabeza 376, y la interfaz de sensor de temperatura 372 en comunicacion con el sensor de temperatura 374 (situado en la banda de muneca de la unidad de procesamiento 4). Una corriente alterna para dirigir el convertidor de corriente 362 esta conectada a un enchufe de carga 370 para recibir un suministro de corriente alterna y crear un suministro de corriente continua para el sistema. El regulador de voltaje 366 esta en comunicacion con la batena 368 para suministrar potencial sistema. El cargador de batena 364 se utiliza para cargar la batena 368 (a traves del regulador de voltaje 366) despues de recibir potencia desde el enchufe de carga 370. La interfaz de potencia HMD 376 proporciona potencia al dispositivo de presentacion montado en la cabeza 2.
El sistema descrito anteriormente estara configurado para insertar una imagen virtual en el campo de vision de un usuario de manera que la imagen virtual aparece en foco o fuera de foco de forma natural para el usuario. En varias realizaciones, la imagen virtual sera ajustada para coincidir con la orientacion apropiada, tamano y forma en base al entorno para el que la imagen esta siendo insertada. En una realizacion, el dispositivo de presentacion montado en la cabeza 2, la unidad de procesamiento 4 y el dispositivo de ordenador concentrador 12 trabajan juntos ya que cada uno de los dispositivos incluye un subconjunto de sensores que son utilizados para obtener los datos para determinar donde cuando y como insertar las imagenes virtuales. En una realizacion, los calculos que determinan donde, como y cuando insertar las imagenes virtuales son realizados por el dispositivo de ordenador concentrador 12. En otra realizacion, estos calculos son realizados mediante la unidad de procesamiento 4. En otra realizacion algunos de los calculos son realizados por el dispositivo de ordenador concentrador 12 mientras que otros calculos son realizados por la unidad de procesamiento 4. En otras realizaciones, los calculos pueden ser realizados por el dispositivo de presentacion montado en la cabeza 2.
En una realizacion a modo de ejemplo, el dispositivo de ordenador concentrador 12 creara un modelo del entorno en el que el usuario esta y rastreara diversos objetos en movimiento en ese entorno. Ademas, el dispositivo de ordenador concentrador 12 rastrea el campo de vision del dispositivo de presentacion montado en la cabeza 2 rastreando la posicion y la orientacion del dispositivo de presentacion montado en la cabeza 2. El modelo y la informacion de rastreo son proporcionados desde el dispositivo de ordenador concentrador 12 a la unidad de procesamiento 4. La informacion de sensor obtenida por el dispositivo de presentacion montado en la cabeza 2 es trasmitida a la unidad de procesamiento 4. La unidad de procesamiento 4 entonces utiliza la informacion de sensor adicional que recibe desde el dispositivo de presentacion montado en la cabeza 2 para redefinir el campo de vision del usuario y proporcionar instrucciones al dispositivo de presentacion montado en la cabeza 2 acerca de como, donde y cuando insertar la imagen virtual.
La Fig. 6 ilustra una realizacion a modo de ejemplo del sistema de ordenador concentrador 12 con un dispositivo de captura. En una realizacion, los dispositivos de captura 20A y 20B son la misma estructura, por tanto, la Fig. 6 solo muestra dispositivo de captura 20A.
De acuerdo con una realizacion a modo de ejemplo, el dispositivo de captura 20A puede estar configurado para capturar video con informacion de profundidad que incluye una imagen de profundidad que puede incluir valores de profundidad mediante cualquier tecnica apropiada, por ejemplo, tiempo de vuelo, luz estructurada, estereo imagen, o similar. De acuerdo con una realizacion, el dispositivo de captura 20A puede organizar la informacion de profundidad en "capas Z", o capas que pueden ser perpendiculares a un eje Z que se extiende desde la camara de profundidad a lo largo de su lmea de vision.
Como se muestra en la Fig. 6, el dispositivo de captura 20A puede incluir un componente de camara 423. De acuerdo con una realizacion a modo de ejemplo, el componente de camara 423 puede ser o puede incluir una camara de profundidad que puede capturar una imagen de profundidad de una escena. La imagen de profundidad puede incluir un area de pfxeles en dos dimensiones (2-D) de la escena capturada en donde cada pixel en el area
de pfxeles 2D puede representar un valor de profundidad tal como una distancia en, por ejemplo, cenffmetros, miffmetros, o similares, de un objeto en la escena capturada desde la camara.
El componente de camara 23 puede incluir un componente de luz infrarroja (IR) 425, una camara tridimensional (3 D) 426, y una camara RGB (imagen visual) 428 que se puede utilizar para capturar la imagen de profundidad de una escena. Por ejemplo, en el analisis de tiempo de vuelo, el componente de luz infrarroja 425 del dispositivo de captura 20A puede emitir una luz infrarroja sobre la escena y puede entonces utilizar sensores (en algunas realizaciones, incluyendo sensores no mostrados) para detectar la luz retrodispersada procedente de la superficie de uno o mas objetivos y objetos en la escena utilizando, por ejemplo, la camara 3-D 326 y/o la camara RGB 428. En algunas realizaciones, puede ser utilizada luz infrarroja de pulsos de manera que el tiempo entre un pulso de luz que sale y un correspondiente pulso de luz que entra puede ser medido y utilizado para determinar una distancia ffsica desde el dispositivo de captura 20A hasta una ubicacion particular sobre los objetivos u objetos en la escena. Adicionalmente, en otras realizaciones a modo de ejemplo, la fase de la onda de luz saliente puede ser comparada con la fase de la onda de luz entrante para determinar un desplazamiento de fases. El desplazamiento de fases puede ser entonces utilizado para determinar una distancia ffsica desde el dispositivo de captura a una ubicacion particular en los objetivos u objetos.
De acuerdo con otra realizacion a modo de ejemplo, el analisis de tiempo de vuelo puede ser utilizado para determinar de forma indirecta una distancia ffsica desde el dispositivo de captura 20A a una ubicacion particular en los objetivos u objetos analizando la intensidad del rayo de luz reflejado en el tiempo a traves de distintas tecnicas que incluyen por ejemplo generacion de imagenes de pulsos de luz obturada.
En otra realizacion a modo de ejemplo, el dispositivo de captura 20A puede utilizar una luz estructurada para capturar informacion de profundidad. En tal analisis, la luz como patron (es decir, la luz presentada como un patron conocido tal como un patron reticular, un patron de rayas, o un patron diferente) puede ser proyectada sobre la escena mediante, por ejemplo, el componente de luz infrarroja 424. Despues de chocar con la superficie de uno o mas objetivos u objetos en la escena, el patron se puede deformar como respuesta. Tal deformacion del patron puede ser capturada mediante, por ejemplo, la camara 3-D 426 y/o la camara RGB 428 (y/u otro sensor) y puede entonces ser analizada para determinar una distancia ffsica desde el dispositivo de captura hasta una ubicacion particular sobre los objetivos u objetos. En algunas implementaciones, el componente de luz infrarroja 425 esta desplazado de las camaras 425 y 426 de manera que se puede utilizar triangulacion para determinar la distancia desde las camaras 425 y 426. En algunas implementaciones, el dispositivo de captura 20A incluira un sensor de infrarrojos dedicado para detectar la luz infrarroja, o un sensor con un filtro de infrarrojos.
De acuerdo con otra realizacion, el dispositivo de captura 20A puede incluir dos o mas camaras ffsicamente separadas que pueden ver una escena desde diferentes angulos para obtener datos de estereo visual que pueden ser resueltos para generar informacion de profundidad. Tambien se pueden utilizar otros tipos de sensores de imagen de profundidad para crear una imagen en profundidad.
El dispositivo de captura 20A puede incluir ademas un microfono 430, que incluye un transductor o sensor que puede recibir y convertir un sonido en una senal electrica. El microfono 430 puede ser utilizado para recibir senales de audio que tambien pueden ser proporcionadas por el sistema de ordenador concentrador 12.
En una realizacion a modo de ejemplo, el dispositivo de captura 20A puede incluir ademas un procesador 432 que puede estar en comunicacion con el componente de camara de imagen 423. El procesador 432 puede incluir un procesador estandarizado, un procesador especializado, un microprocesador, o similar, que puede ejecutar instrucciones que incluyen, por ejemplo, instrucciones para recibir una imagen de profundidad, generar el formato de datos apropiado (por ejemplo, fotograma) y transmitir los datos al sistema de ordenador concentrador 12.
El dispositivo de captura 20A tambien puede incluir una memoria 434 que puede almacenar las instrucciones que son ejecutadas por el procesador 432, imagenes o fotogramas de imagenes capturados por la camara 3-D y/o la camara RGB, o cualquier otra informacion adecuada, imagenes, o similares. De acuerdo con una realizacion a modo de ejemplo, la memoria 434 puede incluir memoria de acceso aleatorio (RAM), una memoria de solo lectura (ROM), cache, memoria temporal, un disco duro, o cualquier otro componente de almacenamiento adecuado. Como se muestra en la Fig. 6, en una realizacion, la memoria 434 puede ser un componente separado en comunicacion con el componente de captura de imagen 423 y el procesador 432. De acuerdo con otra realizacion, la memoria 434 puede estar integrada en el procesador 432 y/o el componente de captura de imagen 422.
Los dispositivos de captura 20A y 20B estan en comunicacion con el sistema de ordenador concentrador 12 a traves de un enlace de comunicacion 436. El enlace de comunicacion 436 puede ser una conexion por cable que incluye, por ejemplo, una conexion USB, una conexion Fireware, una conexion de cable Ethernet, o similar y/o una conexion sin cable tal como una conexion inalambrica 802.11b, g, a, o n. De acuerdo con una realizacion, el sistema de ordenador concentrador 12 puede proporcionar un reloj para el dispositivo de captura 20A que puede ser utilizado para determinar cuando capturar, por ejemplo, una escena mediante el enlace de comunicacion 436. De manera adicional, el dispositivo de captura 20A proporciona las imagenes de informacion de profundidad y visuales (por ejemplo, RGB) capturadas por, por ejemplo, la camara 3-D 426 y/o la camara RGB 428 para el sistema de ordenador concentrador 12 a traves del enlace de comunicacion 436. En una realizacion, las imagenes de
profundidad y las imagenes visuales son transmitidas a 30 fotogramas por segundo; sin embargo, se pueden utilizar otras velocidades de fotograma. El sistema de ordenador concentrador 12 puede entonces crear y utilizar un modelo, informacion de profundidad, e imagenes capturadas para, por ejemplo, controlar una aplicacion tal como un juego o un procesador de palabras y/o animar un avatar o un caracter que en la pantalla.
El sistema de ordenador concentrador 12 incluye un modulo que procesamiento de imagen de profundidad y de rastreo oseo 450, que utiliza las imagenes de profundidad para rastrear una o mas personas separables por la funcion de camara de profundidad del dispositivo de captura 20A. El modulo de procesamiento de imagen de profundidad y de rastreo oseo 450 proporciona la informacion de rastreo para la aplicacion 452, que puede ser un juego de video, una aplicacion de productividad, una aplicacion de comunicaciones u otra aplicacion de software, etc. Los datos de audio y los datos de imagen visual tambien son proporcionados a la aplicacion 452 y al modulo de procesamiento de imagen de profundidad y rastreo oseo 450. La aplicacion 452 proporciona la informacion de rastreo, los datos de audio y los datos de imagen visual al motor reconocedor 454. En otra realizacion, el motor reconocedor 454 recibe la informacion de rastreo directamente desde el modulo de procesamiento de imagen de profundidad y de rastreo oseo 450 y recibe los datos de audio y los datos de imagen visual directamente desde los dispositivos de captura 20A y 20B.
El motor reconocedor 454 esta asociado con una coleccion de filtros 460, 462, 464,..., 466 que comprende cada uno, informacion referente a los gestos, accion o condicion que pueden ser realizados por cualquier persona u objeto detectable por el dispositivo de captura 20A o 20B. Por ejemplo, los datos procedentes del dispositivo de captura 20A pueden ser procesados por los filtros 460, 462, 464,..., 466 para identificar cuando un usuario o grupo de usuarios ha realizado uno o mas gestos u otras acciones. Esos gestos pueden estar asociados con varios controles, objetos o condiciones de la aplicacion 452. De este modo, el sistema de ordenador concentrador 12 puede utilizar el motor reconocedor 454, con los filtros, para interpretar y rastrear el movimiento de objetos (incluyendo personas).
Los dispositivos de captura 20A y 20B proporcionan imagenes RGB (o imagenes visuales en otros formatos o espacios de color) e imagenes de profundidad al sistema de ordenador concentrador 12. La imagen de profundidad puede ser una pluralidad de pfxeles observados en donde cada pixel observado tiene un valor de profundidad observado. Por ejemplo, la imagen de profundidad puede incluir un area de pfxeles de dos dimensiones (2-D) de la escena capturada en donde cada pixel en el area de pfxeles 2-D puede tener un valor de profundidad tal como la distancia de un objeto en la escena capturada desde el dispositivo de captura. El sistema de ordenador concentrador 12 utilizara las imagenes RGB y las imagenes de profundidad para rastrear los movimientos de un usuario o de un objeto. Por ejemplo el sistema rastreara el esqueleto de una persona utilizando las imagenes de profundidad. Existen muchos metodos que pueden ser utilizados para rastrear el esqueleto de una persona utilizando imagenes de profundidad. Un ejemplo adecuado de rastreo de un esqueleto utilizando imagenes de profundidad se proporciona en la Solicitud de Patente de Estados Unidos 12/603.437, "Pose Tracking Pipeline" presentada el 21 de octubre de 2009, Craig, et al. (en lo que sigue referida como Solicitud '437). El proceso de la Solicitud '437 incluye adquirir una imagen de profundidad, muestrear los datos, eliminar y/o suavizar los datos de ruido de varianza elevada, identificar y retirar el fondo, y asignar cada uno de los pfxeles de primer plano a diferentes partes del cuerpo. En base a estas etapas, el sistema encajara un modelo con los datos y creara un esqueleto. El esqueleto incluira una serie de articulaciones y conexiones entre las articulaciones. Tambien se pueden utilizar otros metodos para el rastreo. Tecnologfas de rastreo adecuadas estan tambien descritas en las siguientes Solicitudes de Patente de Estados unidos: Solicitud de Patente de Estados Unidos 12/475,308, "Device for Identifying and Tracking Multiple Humans Over Time", presentada el 29 de Mayo de 2009; Solicitud de Patente de Estados Unidos 12/696,282, "Visual Based Identity Tracking", presentada el 29 de enero de 2010; Solicitud de Patente de Estados Unidos 12/641 ,788, "Motion Detection Using Depth Images," presentada el 18 de diciembre de 2009; and Solicitud de Patente de Estados Unidos 12/575,388, "Human Tracking System", presentada el 7 de octubre de 2009.
El motor reconocedor 454 incluye multiples filtros 460, 462, 464, ..., 466 para determinar un gesto o accion. Un filtro comprende informacion que define un gesto, accion o condicion junto con los parametros, o metadatos, para ese gesto, accion o condicion. Por ejemplo, un lanzamiento, que comprende movimiento de una de las manos desde detras de la parte trasera del cuerpo para pasar la parte delantera del cuerpo, puede ser implementado como un gesto que comprende informacion que representa el movimiento de una de las manos del usuario desde detras de la parte trasera del cuerpo para pasar la parte delantera del cuerpo, como ese movimiento sena capturado por la camara de profundidad. Los parametros pueden entonces ser establecidos para ese gesto. Cuando el gesto es un lanzamiento, un parametro puede ser una velocidad umbral que la mano tiene que alcanzar, una distancia que la mano recorre (o bien absoluta o bien relativa al tamano del usuario como un conjunto), y un mdice de confidencia por el motor reconocedor de que el gesto se ha producido. Estos parametros del gesto pueden variar entre aplicaciones, entre contextos de una unica aplicacion, o dentro de un contexto de una aplicacion a lo largo del tiempo.
Los filtros pueden ser modulares o intercambiables. En una realizacion, un filtro tiene un numero de entradas (teniendo cada una de estas entradas un tipo) y un numero de salidas (teniendo cada una de estas salidas un tipo). Un primer filtro puede ser remplazado por un segundo filtro que tenga el mismo numero de tipos de entradas y salidas que el primer filtro sin alterar ningun otro aspecto de la arquitectura del motor reconocedor. Por ejemplo, puede haber un primer filtro para accionar que tiene como datos de esqueleto de entrada y salida una confidencia de que el gesto asociado con el filtro esta ocurriendo y un angulo de giro. Cuando se desea sustituir este primer filtro de
accionamiento por un segundo filtro accionamiento -quizas debido a que el segundo filtro de accionamiento es mas eficiente y requiere menos recursos de procesamiento -se puede hacer simplemente sustituyendo el primer filtro por el segundo filtro siempre y cuando segundo filtro tenga las mismas entradas y salidas - una entrada de tipo de datos de esqueleto, y dos salidas de tipo de confidencia y tipo de angulo.
Un filtro no necesita tener un parametro. Por ejemplo, un filtro de "altura de usuario" que devuelve la altura del usuario puede no permitir que pueda ser devuelto ningun parametro. Un filtro de "altura de usuario" alternativo puede tener parametros ajustables - tales como tener en cuenta el calzado del usuario, el peinado, las prendas de la cabeza y postura en la determinacion de la altura del usuario.
Las entradas a un filtro pueden comprender cosas tales como datos de articulacion acerca de una posicion de la articulacion del usuario, angulos formados por los huesos que se unen en la articulacion, datos de color RGB procedentes de la escena, y la velocidad de cambio de un aspecto del usuario. La salida de un filtro puede comprender cosas tales como la confidencia de que un gesto dado esta siendo realizado, la velocidad a la que se hace el movimiento del gesto, y un momento en el que el movimiento de gesto se hace.
El motor reconocedor 454 puede tener un motor reconocedor base que proporciona funcionabilidad a los filtros. En una realizacion, la funcionalidad que el motor que reconocedor 454 implementa incluye un archivo de entrada en el tiempo que rastrea gestos reconocidos y otra entrada, una implementacion de Modelo de Hidden Markov (en donde el sistema modelado se supone que es un proceso Markov - en donde un estado presente encapsula cualquier informacion de estado pasado necesaria para determinar un estado futuro, de manera que ninguna otra informacion de estado pasado puede ser mantenida para este fin - con parametros desconocidos, y parametros ocultos son determinados a partir de datos observables), asf como otra funcionalidad para resolver casos particulares de reconocimiento de gestos.
Los filtros 460, 462, 464, ..., 466 son cargados e implementados en la parte superior del motor reconocedor 454 y pueden utilizar servicios proporcionados por el motor reconocedor 454 a todos los filtros 460, 462, 464, ..., 466. En una realizacion, el motor reconocedor 454 recibe datos para determinar si cumple los requisitos de cualquier filtro 460, 462, 464, ..., 466. Dado que estos servicios proporcionados, tales como analizar sintacticamente la entrada, son proporcionados una vez por el motor reconocedor 454 en lugar de por cada filtro 460, 462, 464, ..., 466, tal servicio solo necesita ser procesado una vez en un periodo de tiempo en lugar de una vez por filtro durante ese periodo, de manera que el procesamiento utilizado para determinar gestos se reduce.
La aplicacion 452 puede utilizar los filtros 460, 462, 464, ..., 466 provistos del motor reconocedor 454, o puede proporcionar su propio filtro que se enchufa en el motor reconocedor 454. En una realizacion, todos los filtros tienen una interfaz comun para habilitar esta caractenstica de enchufe. Ademas, todos los filtros pueden utilizar parametros, de manera que una unica herramienta de gestos debajo puede ser utilizada para depurar y ajustar todo el sistema de filtro.
Se puede encontrar mas informacion acerca del motor reconocedor 454 en la Solicitud de Patente de Estados Unidos 12/422,661, "Gesture Recognizer System Architecture", presentada el 13 de abril de 2009. Se puede encontrar mas informacion acerca del reconocimiento de gestos en la Solicitud de Patente de Estados Unidos 12/391,150, "Standard Gestures," presentada el 23 de febrero de 2009; y en la Solicitud de Patente de Estados Unidos 12/474,655, "Gesture Tool" presentada el 29 de mayo de 2009.
La Fig. 7 ilustra una realizacion a modo de ejemplo de un sistema de ordenador que puede ser utilizado para implementar el sistema de ordenador concentrador 12. Como se muestra en la Fig. 7, la consola multimedia 500 tiene una unidad de procesamiento central (CPU) 501 que tiene un cache 502 de nivel 1, cache 504 de nivel 2, una ROM temporal (memoria de solo lectura) 506. El cache 502 de nivel 1 y el cache 504 de nivel 2 almacenan temporalmente datos y por tanto reducen el numero de ciclos de acceso de memoria, mejorando con ello la velocidad y la produccion de procesamiento. La CPU 501 puede estar dispuesta teniendo mas de un nucleo, y de este modo, los caches 502 y 504 de nivel 1 y de nivel 2 adicionales. La ROM temporal 506 puede almacenar un codigo ejecutable que es cargado durante una fase inicial de un proceso de arranque cuando se enciende la consola multimedia 500.
Una unidad de procesamiento de graficos (GPU) 508 y un codificador de vfdeo/codec de video (codificador/descodificador) 514 forman una lmea de procesamiento de video para procesar graficos de alta resolucion y alta velocidad. Los datos son llevados desde la unidad de procesamiento de graficos 508 hasta el codificador de vfdeo/codec de video 514 a traves de un bus. La lmea de procesamiento de video envfa los datos a un puerto A/V (audioMdeo) 540 para la transmision a una television u otra presentacion. Un controlador de memoria 510 esta conectado a la GPU 508 para facilitar acceso de procesador a varios tipos de memoria 512, tales como, pero no limitados a, RAM (memoria de acceso aleatorio).
La consola multimedia 500 incluye un controlador I/O 520, un controlador de gestion de sistema 522, una unidad de procesamiento de audio 523, un controlador de interfaz de red 524, un primer controlador de ordenador principal USB 526, un segundo controlador USB 528 y un subconjunto I/O de panel frontal 530 que estan preferiblemente implementados en un modulo 518. Los controladores USB 526 y 528 sirven como ordenadores principales para los
controladores perifericos 542(1)-542(2), un adaptador inalambrico 548, y un dispositivo de memoria externo 546 (por ejemplo, memoria temporal, accionador CD/DVD ROM externo, medios retirables, etc.). La interfaz de red 524 y/o el adaptador inalambrico 548 proporcionan acceso a una red (por ejemplo, internet, una red domestica, etc.) y pueden ser cualquiera de una amplia variedad de diversos componentes que adaptador con cable o inalambricos que incluyen una tarjeta de Ethernet, un modulo de Bluetooth, un modem de cable, y similares.
La memoria del sistema 543 esta dispuesta para almacenar datos de aplicacion que son cargados durante el proceso de arranque. Un accionador de medios 544 esta dispuesto y puede comprender un accionador DVD/CD, un accionador Blu-Ray, un accionador de disco duro, u otro accionador de medios retirable, etc. El accionador de medios 144 puede ser interno o externo respecto a la consola multimedia 500. Se puede acceder a los datos de aplicacion a traves del accionador de medios 544 para la ejecucion, reproduccion, etc. por la consola multimedia 500. El accionador de medios 544 esta conectado al controlador I/O 520 a traves de un bus, tal como un bus de la serie ATA u otra conexion de alta velocidad (por ejemplo, IEEE 1394).
El controlador de gestion del sistema 522 proporciona una variedad de funciones de servicio relacionadas con la capacidad de asegurar de la consola multimedia 500. La unidad de procesamiento de audio 523 y el codec de audio 532 forman una correspondiente lmea de procesamiento de audio con procesamiento estereo y de alta fidelidad. Los datos de audio son llevados entre la unidad de procesamiento de audio 523 y el codec de audio 532 a traves de un enlace de comunicacion. La lmea de procesamiento de audio envfa los datos al puerto A/V 540 para la reproduccion por un usuario o dispositivo de audio externo que tenga capacidades de audio.
El subconjunto I/O de pared delantero 530 soporta la funcionalidad del boton de potencia 550 y el boton de expulsion 552, asf como cualesquiera LEDs (diodos de emision de luz) u otros indicadores expuestos en la superficie exterior de la consola multimedia 100. El modulo de suministro de potencia de sistema 536 proporciona potencia a los componentes de la consola multimedia 100. Un ventilador 538 enfna los circuitos dentro de la consola multimedia 500.
La CPU 501, la GPU 508, el controlador de memoria 510, y diversos otros componentes dentro de la consola multimedia 500 estan interconectados a traves de uno o mas buses, que incluyen buses en serie y paralelos, un bus de memoria, un bus periferico, un procesador o bus local que utilizan a cualquiera de una variedad de arquitecturas de bus. A modo de ejemplo, tales arquitecturas pueden incluir un bus de Interconexion de Componente Periferico (PCI), un bus PCI-Express, etc.
Cuando se enciende la consola multimedia 500, los datos de aplicacion pueden ser cargados desde la memoria del sistema 543 en la memoria 512 y/o los caches 502, 504 y ejecutados en la CPU 501. La aplicacion puede presentar una interfaz de usuario grafica que proporciona una experiencia de usuario consistente cuando se navega a diferentes tipos de medios disponibles en la consola multimedia 500. En funcionamiento, las aplicaciones y/u otros medios contenidos dentro del accionador de medios 544 pueden ser lanzados o reproducidos desde el accionador de medios 544 para proporcionar funcionalidades adicionales a la consola multimedia 500.
La consola multimedia 500 puede ser operada como un sistema independiente simplemente conectando el sistema a una television otro medio de presentacion. En este modo independiente, la consola multimedia 500 permite que uno o mas usuarios interaction con el sistema, vean pelfculas, o escuchen musica. Sin embargo, con la integracion de la conectividad de banda ancha hecha disponible a traves del interfaz de red 524 o el adaptador inalambrico 548, la consola multimedia 500 puede ser ademas operada como un participante en una comunidad de red mas grande. Adicionalmente, la consola multimedia 500 puede comunicarse con la unidad de procesamiento 4 a traves de un adaptador inalambrico 548.
Cuando se enciende la consola multimedia 500, una cantidad de conjuntos de recursos de hardware son reservados para el uso del sistema por el sistema de operacion de consola multimedia. Esto recursos pueden incluir una reserva de memoria, un ciclo CPU y GPU, anchura de banda de vez, etc. Dado que estos recursos son reservados en el momento de arranque del sistema, los recursos reservados no existen desde el punto de vista de la aplicacion. En particular, la reserva de memoria preferiblemente es lo suficientemente grande para contener la cuestion del lanzamiento, aplicaciones de sistema concurrentes y accionadores. La reserva de CPU es preferiblemente constante de manera que si el uso de CPU reservada no se utiliza por las aplicaciones del sistema, un hilo inactivo consumira cualesquiera ciclos no utilizados.
Con respecto a la reserva de GPU, los mensajes de peso ligero generados por las aplicaciones del sistema (por ejemplo, mensajes surgentes) son presentados utilizando una interrupcion GPU para programar un codigo para realizar mensajes surgentes en una transparencia. La cantidad de memoria requerida para una superposicion depende del tamano del area de superposicion y la superposicion preferiblemente se escala con la resolucion de la pantalla. Cuando una interfaz de usuario total es utilizada por la aplicacion del sistema concurrente, es preferible utilizar una resolucion independiente de la resolucion de aplicacion. Se puede utilizar un escalador para establecer esta resolucion de manera que se elimine la necesidad de cambiar la frecuencia y se produzca una resincronizacion de TV.
Despues de que la consola multimedia 500 arranque y los recursos del sistema sean reservados, las aplicaciones
del sistema concurrentes se ejecutan para proporcionar funcionalidades del sistema. Las funcionalidades del sistema son encapsuladas en un conjunto de aplicaciones de sistema que se ejecutan dentro de los recursos del sistema reservados anteriormente descritos. El nucleo del sistema de operacion identifica hilos que son hilos de aplicacion del sistema frente a hilos de aplicacion de juego. Las aplicaciones del sistema son preferiblemente programadas para ser ejecutadas en la CPU 501 en unos momentos e intervalos predeterminados con el fin de proporcionar una vista del recurso de sistema consistente a la aplicacion. La programacion es para minimizar la perturbacion para la aplicacion de juego que se ejecuta en la consola.
Cuando una aplicacion del sistema concurrente requiere audio, el procesamiento del audio se programa de manera asmcrona respecto a la aplicacion de juego debido a la sensibilidad de tiempo. Un gestor de aplicacion de consola multimedia (descrito mas adelante) controla el nivel de audio de aplicacion de juego (por ejemplo, silencio, atenuacion) cuando las aplicaciones del sistema estan activas.
Los dispositivos de entrada opcionales (por ejemplo, los controladores 542(1) y 542(2)) son compartidos por las aplicaciones de juego y por las aplicaciones del sistema. Los dispositivos de entrada no son recursos reservados, pero pueden ser conmutados entre aplicaciones de sistema y aplicaciones de juego, de manera que cada uno tendra un foco del dispositivo. El gestor de aplicacion preferiblemente controla la conmutacion de la cadena de entrada, sin saber el conocimiento de la aplicacion de juego y el accionador mantiene la informacion de estado referente a los conmutadores de foco. Los dispositivos de captura 20A y 20B pueden definir dispositivos de entrada para la consola 500 a traves del controlador USB 526 u otra interfaz. En otras realizaciones, el sistema de ordenador concentrador 12 puede ser implementado utilizando otras arquitecturas de hardware. No se requiere ninguna arquitectura de hardware.
El sistema de ordenador a modo de ejemplo ilustrado en las Figuras 4, 5, 6 y 7 incluye ejemplos de medios de almacenamiento lefbles por ordenador. Tales medios pueden incluir medios volatiles y no volatiles, retirables y no retirables implementados en cualquier metodo o tecnologfa para el almacenamiento de informacion tal como instrucciones lefbles por ordenador, estructuras de datos, modulos de programa u otros datos. El medio de almacenamiento de ordenador incluye, pero no se limita a, RAM, ROM, EEPROM, memoria temporal u otra tecnologfa de memoria, CD-ROM, discos versatiles digitales (DVD) u otro almacenamiento de disco optico, tarjetas o pinchos de memoria, casetes magneticos, cintas magneticas, almacenamiento de disco magnetico un otros dispositivos de almacenamiento magneticos, o cualquier otro medio que pueda ser utilizado para almacenar la informacion deseada y al que se pueda acceder mediante un ordenador. Algunos ejemplos de medios de almacenamiento lefbles por ordenador en las Figuras incluyen la memoria 214 de la Fig. 4, la memoria temporal 334, la memoria 330, la RAM 326 y el cache 324 de la Fig. 5, la memoria 434 de la Fig. 6, y la ROM 506, los caches 502, 504, la memoria 512, la memoria del sistema 543, la unidad de memoria 546 y el accionador de medios 544.
La Fig. 1 muestra un dispositivo de presentacion montado en la cabeza 2 y una unidad de procesamiento 4 (en conjunto referidos como dispositivo de presentacion movil) en comunicacion con el dispositivo de ordenador concentrador 12 (referido como un concentrador). En otra realizacion, multiples dispositivos de presentacion movil pueden estar en comunicacion con un unico concentrador. Cada uno de los dispositivos de presentacion movil se comunicara con el concentrador utilizando comunicacion inalambrica, como se ha descrito anteriormente. En tal realizacion, se contempla que mucha de la informacion que es util para todos los dispositivos de presentacion moviles sera calculada y almacenada en el concentrador y trasmitida a cada uno de los dispositivos de presentacion moviles. Por ejemplo, el concentrador generara el modelo del entorno y proporcionara ese modelo a todos los dispositivos de presentacion moviles en comunicacion con el concentrador. Adicionalmente, el concentrador puede rastrear la ubicacion y orientacion de los dispositivos de presentacion moviles y de los objetos en movimiento en la habitacion, y despues transferir esa informacion a cada uno de los dispositivos de presentacion moviles.
En otra realizacion, un sistema de multiples usuarios que puede variar el foco del contenido virtual que va a estar en foco para un usuario podna incluir multiples concentradores, incluyendo cada concentrador uno o mas dispositivos de presentacion moviles. Los concentradores se pueden comunicar entre sf o a traves de internet (u otras redes). Por ejemplo, la Fig. 8 muestra concentradores 560, 562 y 564. El concentrador 560 se comunica directamente con el concentrador 562. El concentrador 560 se comunica con el concentrador 564 a traves de Internet. El concentrador 560 esta comunicado con los dispositivos de presentacion moviles 570, 572, ..., 574. El concentrador 562 se comunica con el dispositivo de presentacion movil 578, 580, ..., 582. El concentrador 564 se comunica con el dispositivo de presentacion movil 584, 586, ..., 588. Cada uno de los dispositivos de presentacion moviles se comunica con su respectivo concentrador mediante comunicacion inalambrica como se ha descrito anteriormente. Si estos concentradores estan en un entorno comun, despues cada uno de los concentradores puede proporcionar una parte del modelo de los entornos, o un concentrador puede crear el modelo para los otros concentradores. Cada uno de los concentradores rastrea a un subconjunto de objetos en movimiento y compartira esa informacion con los otros concentradores, que a su vez que compartiran la informacion con los dispositivos de presentacion moviles apropiados. La informacion de sensor de los dispositivos de presentacion moviles sera proporcionada a sus respectivos concentradores y despues compartida con otros concentradores para compartir finalmente con otros dispositivos de presentacion moviles. De este modo, la informacion compartida entre los concentradores puede incluir rastreo de esqueleto, informacion acerca de modelos, diversos estados de aplicaciones, y otros rastreos. La informacion comunicada entre los concentradores y sus respectivos dispositivos de presentacion moviles incluye informacion de rastreo de objetos en movimiento, actualizaciones de estado y ffsicas para los modelos reales,
informacion de geometna y textura, video y audio, y otra informacion utilizada para realizar las operaciones descritas en la presente memoria.
La Fig. 9 es un diagrama de flujo que describe una realizacion de un proceso para presentar un objeto virtual que va a estar en foco cuando es visto por el usuario que esta realizado mediante los componentes descritos anteriormente. En la etapa 602, es configurado el sistema. Por ejemplo, una aplicacion (por ejemplo, la aplicacion 452 de la Fig. 6) puede configurar el sistema para indicar que una imagen virtual particular (que representa un objeto virtual) va ser insertada en el modelo de tres dimensiones de la escena, en una ubicacion deseada. Se considera un ejemplo en el que una habitacion vada esta poblada con objetos virtuales para convertir la habitacion vada en una realidad virtual. En otro ejemplo, la aplicacion que se ejecuta en el sistema de ordenador concentrador 12 indicara que una imagen virtual particular (que representa un objeto virtual) va ser insertada en la escena como parte de un videojuego o de otro proceso.
En la etapa 604, el sistema creara un modelo volumetrico del espacio para el que esta situado el dispositivo de presentacion montado en la cabeza 2. En una realizacion, por ejemplo, el dispositivo de ordenador concentrador 12 utilizara imagenes de profundidad procedentes de una o mas camaras de profundidad para crear un modelo tridimensional del entorno o del espacio en el que el dispositivo de presentacion montado en la cabeza 2 esta situado. En las etapas 606, ese modelo es segmentado en uno o mas objetos. Por ejemplo, si el dispositivo de ordenador concentrador 12 crea un modelo tridimensional de una habitacion, es probable que esa habitacion tenga multiples objetos en ella. Ejemplos de objetos que pueden estar en una habitacion incluyen personas, sillas, mesas, sofas, etc. La etapa 606 incluye distinguir unos objetos de otros. En la etapa 608, el sistema identificara los objetos. Por ejemplo, el dispositivo de ordenador concentrador 12 puede identificar que un objeto particular es una mesa y otro objeto que es una silla. En la etapa 610, el sistema presentara un objeto virtual para estar en foco cuando es visto por un usuario. El objeto virtual aparece en foco como si fuera un objeto real que se ve realmente y directamente a traves de las lentes transparentes, por ejemplo 116, 118s. Esto es, el sistema presenta una imagen virtual en el campo de vision del usuario a la profundidad focal que el usuario esta viendo mientras el usuario esta mirando a traves del dispositivo de presentacion montado en la cabeza 2. De este modo, la imagen virtual aparece en su ubicacion del mundo real en un dispositivo de presentacion que permite visualizar de forma real y directa al menos una parte del entorno ffsico a traves de dicha presentacion. El objeto virtual puede ser un objeto estacionario o un objeto en movimiento. En la etapa 612, el usuario del dispositivo de presentacion montado en la cabeza 2 interactuara con una aplicacion que se ejecuta en un dispositivo de ordenador concentrador 12 (u otro dispositivo de ordenador) en base al objeto virtual que esta siendo presentado en el dispositivo de presentacion montado en la cabeza 2. Cada una de las etapas 604-610 sera descrita con mas detalle mas adelante.
La Fig. 10 es un diagrama de flujo que describe una realizacion de un proceso para crear un modelo tridimensional del espacio. Por ejemplo, en proceso de la Fig. 10 es una implementacion a modo de ejemplo de la etapa 604 de la Fig. 9. En la etapa 640, el sistema de ordenador concentrador 12 recibe una o mas imagenes de profundidad para multiples perspectivas del espacio en el que esta el dispositivo de presentacion montado en la cabeza 2. Por ejemplo, el dispositivo de ordenador concentrador 12 puede obtener imagenes de profundidad procedentes de las multiples camaras de profundidad, o multiples imagenes de profundidad procedentes de la misma camara apuntando la camara en diferentes direcciones o utilizando una camara de profundidad con una lente que permita una vision total del espacio para el cual el modelo sera construido. En la etapa 642, los datos de profundidad procedentes de las distintas imagenes de profundidad son combinados en base a un sistema de coordenadas comun. Por ejemplo, si este sistema recibe imagenes de profundidad procedentes de multiples camaras, el sistema correlacionara las dos imagenes que tengan un sistema de coordenadas comun (por ejemplo alineando las imagenes). En la etapa 644, se crea una descripcion volumetrica del espacio utilizando los datos de profundidad. En la etapa 646, el sistema detectara y rastreara objetos en movimiento tales como personas que se mueven en la habitacion. Mas detalles acerca del rastreo de personas se han descrito anteriormente. En la etapa 648, la descripcion volumetrica del espacio es actualizada en base al rastreo de los objetos en movimiento. Las etapas 646 y 648 se pueden realizar de forma continua durante el funcionamiento del sistema, de manera que el modelo es actualizado de forma continua teniendo en cuenta los objetos en movimiento. En otra realizacion, el modelo solo incluira informacion acerca de objetos estacionarios y los objetos en movimiento son rastreados de forma separada.
La Fig. 11 es un diagrama de flujo que describe una realizacion de un proceso para segmentar el modelo del espacio que en objetos. Por ejemplo, el proceso de la Fig. 11 es una implementacion a modo de ejemplo de la etapa 606 de la Fig. 9. En la etapa 680 de la Fig. 11, el sistema recibira una o mas imagenes de profundidad desde una o mas camaras de profundidad como se ha descrito anteriormente. Alternativamente, el sistema puede acceder a una o mas imagenes de profundidad que ya ha recibido. En la etapa 682, el sistema recibira una o mas imagenes visuales procedentes de las camaras descritas anteriormente. Alternativamente, el sistema puede acceder a una o mas imagenes visuales ya recibidas. En la etapa 684, el sistema de ordenador concentrador detectara una o mas personas en base a las imagenes de profundidad y/o a las imagenes visuales. Por ejemplo, el sistema reconocera uno o mas esqueletos. En la etapa 686, el dispositivo de ordenador concentrador detectara bordes dentro del modelo en base a las imagenes de profundidad y/o a las imagenes visuales. En la etapa 688, el dispositivo de ordenador concentrador utilizara los bordes detectados para distinguir unos objetos de otros. Por ejemplo, se supone que los bordes son lfmites entre objetos. En la etapa 690, el modelo creado utilizando el proceso de la Fig. 10 sera actualizado para mostrar que partes del modelo estan asociadas con los diferentes objetos.
La Fig. 12 es un diagrama de flujo que describe una realizacion de un proceso para identificar objetos. Por ejemplo el proceso de la Fig. 12 es una implementacion a modo de ejemplo de la etapa 608 de la Fig. 9. En la etapa 710, el dispositivo de ordenador concentrador 12 hara coincidir personas identificadas con identidades de usuario. Por ejemplo, el sistema puede tener perfiles de usuario que tengan imagenes visuales que puedan ser hechas coincidir con las imagenes detectadas de los objetos. Alternativamente, un perfil de usuario puede describir caractensticas de la persona que pueden corresponder en base a las imagenes de profundidad o imagenes visuales. En otra realizacion, los usuarios pueden registrarse en el sistema y un dispositivo de ordenador concentrador 12 puede utilizar el proceso de acceso para identificar un usuario particular y rastrear ese usuario a traves de la interaccion descrita la presente memoria. En la etapa 712, el dispositivo de ordenador concentrador 12 accedera a la base de datos de las formas. En la etapa 714, el dispositivo de ordenador concentrador hara coincidir tantos objetos en el modelo con las formas en la base de datos. En la etapa 716, aquellas formas que no coincidan seran destacadas y presentadas al usuario (por ejemplo, utilizando el monitor 16). En la etapa 718, el dispositivo de ordenador concentrador 12 recibira la entrada del usuario que identifica cada (o un subconjunto) de las formas destacadas. Por ejemplo, el usuario puede utilizar un teclado, un raton, una entrada de voz, u otro tipo de entrada para indicar que forma no identificada es cada una. En la etapa 720, la base de datos de las formas es actualizada en base a la entrada del usuario en la etapa 718. En la etapa 722, el modelo de entorno creado en la etapa 604, y actualizado en la etapa 606, es actualizado adicionalmente anadiendo metadatos para cada uno de los objetos. Los metadatos identifican el objeto. Por ejemplo, los metadatos pueden indicar que el objeto particular es una mesa brillante redonda, John Doe, un sofa de cuero verde, etc.
La Fig. 13 es un diagrama de flujo que describe una realizacion de un proceso para presentar un objeto virtual que va a estar en foco cuando es visto por un usuario que ve una presentacion trasparente. Por ejemplo, el proceso de la Fig. 13 es una implementacion a modo de ejemplo de la etapa 610 de la Fig. 9. En la etapa 950 de la Fig. 13, el sistema determina el campo de vision del usuario. Esto es, el sistema determina a que parte del entorno por espacio esta mirando el usuario. En una realizacion, es un esfuerzo colaborativo utilizando el dispositivo de ordenador concentrador 12, la unidad de procesamiento 4 y el dispositivo de presentacion montado en la cabeza 2. En una implementacion a modo de ejemplo, el dispositivo de ordenador concentrador 12 rastreara el usuario y el dispositivo de presentacion montado en la cabeza 2 con el fin de proporcionar una determinacion preliminar de la localizacion y orientacion del dispositivo de presentacion montado en la cabeza 2. Los sensores sobre el dispositivo de presentacion montado en la cabeza 2 seran utilizados para perfeccionar la orientacion determinada. Por ejemplo, los sensores de inercia 34, descritos anteriormente, se pueden usar para perfeccionar la orientacion del dispositivo de presentacion montado en la cabeza 2. Adicionalmente, el proceso de rastreo de ojos descrito anteriormente puede ser utilizado para identificar un subconjunto del campo de vision inicialmente determinado que corresponde a donde en particular un usuario esta mirando conocido de otro modo como la region focal del usuario o foco de profundidad en el campo de vision. Mas detalles seran descritos mas adelante respecto a las Figuras 14. 15 y 16.
Los tipos de objetos virtuales y su ubicacion en un campo de vision del usuario se determinan mediante la aplicacion 452 basada en parametros por defecto, de entrada de usuario, o una combinacion de ambos. Por ejemplo, el usuario puede haber seleccionado un objeto del mundo real de una mesa de cafe en la habitacion en donde se esta ejecutando la aplicacion 452 para que aparezca como una roca. La ubicacion objetivo de la roca virtual sera relacionada con la ubicacion de la mesa de cafe en el modelo tridimensional. En otro ejemplo, un delfm virtual puede ser seleccionado por un usuario para nadar alrededor de la habitacion. El movimiento del delfm virtualmente alrededor de la habitacion puede ser implementado por recorrido de trayectoria del objeto del delfm en que el que una ubicacion objetivo para el delfm es actualizada en cada fotograma de presentacion. Incluso si el usuario mira fijamente a la roca, el delfm probablemente entrara y saldra de la region focal del usuario y del campo de vision generalmente. A medida que el usuario mueve sus ojos o cabeza, el campo de vision del usuario y la region focal actual son actualizadas con estos movimientos tambien. Uno o mas objetos virtuales pueden estar situados en la region focal del usuario y en el campo de vision del usuario en cualquier momento dado.
Despues de determinar el campo de vision en la etapa 950 anterior, el sistema determina si hay alguna ubicacion objetivo de objetos virtuales en el campo de vision actual del usuario en la etapa 952. El software que se ejecuta en uno o mas sistemas de ordenador tal como el dispositivo de ordenador concentrador 12 o en la unidad de procesamiento 4 identificaran la ubicacion del objetivo en el campo de vision. En una realizacion, el dispositivo de ordenador concentrador 12 proporcionara el modelo a la unidad de procesamiento 4. Como parte de la etapa 952, la unidad de procesamiento 4 utilizara el modelo del entorno y el conocimiento de la posicion y orientacion del usuario para determinar si la ubicacion objetivo de cualquier objeto virtual esta dentro del campo de vision del usuario.
Si no hay objetos virtuales en el campo de vision del usuario actual, el procesamiento en la etapa 966 vuelve para determinar y actualizar el campo de vision del usuario en la etapa 950.
Si hay al menos un objeto virtual que tenga una ubicacion objetivo en el campo de vision del usuario, entonces en la etapa 954, el sistema tal como el software que se ejecuta en la unidad de procesamiento 4, determina la region focal actual del usuario dentro del campo de vision del usuario. Como se describe con mas detalle mas adelante en las Figuras 15 y 16, el procesamiento de rastreo de ojos basado en los datos capturados por la camara de rastreo de ojos 134 para cada ojo, puede proporcionar la region focal actual del usuario. Por ejemplo, la convergencia entre las pupilas con los datos que indican la posicion de la cara del usuario pueden ser utilizados para triangular a un punto focal en una curva focal, el Horoptero, desde el que la region focal, el area fusional de Panum se pueden calcular. El
area fusional de Panum es el area de vision sencilla para estereopsis binocular utilizada por los ojos humanos. En la etapa 956, el software que se ejecuta en el sistema de ordenador concentrador 12, la unidad de procesamiento 4 o ambos identifican cual de los objetos virtuales en el campo de vision del usuario esta en la region focal del usuario actual en base a la ubicacion objetivo del objeto virtual en el modelo.
En la etapa 958, la unidad de procesamiento 4 escalara y orientara los objetos virtuales para una imagen que va ser insertada en la vision del usuario. El escalado y la orientacion de la imagen virtual estaran basados en la ubicacion del objetivo en el campo de vision y la forma conocida del objeto virtual en base al modelo.
En la etapa 960, la unidad de procesamiento 4, los circuitos de control 136 o ambos que comparten procesamiento para colocar cada objeto virtual identificado en la region focal del usuario actual cambiando la region focal del conjunto de micropresentacion. En la etapa 962, una profundidad artificial de la tecnica de campo se aplica a objetos virtuales cuyas ubicaciones objetivo estan dentro del campo de vision del usuario pero fuera de la region focal actual del usuario como una funcion de la distancia desde la region focal actual. Un ejemplo de una profundidad artificial de la tecnica de campo es una tecnica de borrosidad artificial.
La borrosidad artificial se puede conseguir aplicando una profundidad de oscurecedor de campo u otro filtro de borrosidad Gaussiano para simular que el objeto esta fuera del foco como funcion de la distancia desde la region focal. La tecnica se puede realizar total o parcialmente mediante un software que se ejecuta en un ordenador concentrador 12, en la unidad de procesamiento 4 o en ambos. Para facilitar la restriccion, se hara referencia a la unidad de procesamiento 4. A partir de un valor de profundidad como parte de la ubicacion objetivo de un objeto virtual, la distancia focal del objeto en la imagen se determina mediante la unidad de procesamiento 4 que tambien determina que pfxeles en un elemento de presentacion 112 como ese que encierra el elemento optico de guiado de luz 112 mapearan los objetos virtuales en una imagen. En base a la distancia focal, uno o mas filtros del borrosidad Gaussianos ponderados son aplicados para cubrir al menos dos dimensiones convolucionando la imagen con una funcion Gaussiana tal como las transformaciones aplicadas a los pixeles desde el punto focal o punto de fijacion de la imagen recibira mas efectos de borrosidad. En un ejemplo, el filtro de borrosidad Gaussiano actua como un filtro del paso bajo que elimina la informacion de elevada frecuencia.
En la etapa 964, se presenta una imagen virtual que incluye los objetos virtuales en el campo de vision del usuario. En un ejemplo, la unidad de procesamiento 4 envfa instrucciones al accionador de presentacion 220 de los circuitos de control 136 para la presentacion sobre la micropresentacion 120 de la imagen virtual que incluye los objetos virtuales en el campo de vision del usuario. El sistema de lentes 122 entonces proyecta la imagen virtual recibida de la micropresentacion 120 sobre la superficie reflectante 124 y hacia los ojos del usuario o dentro del elemento optico de guiado de luz 112 para el visionado por el usuario. En una implementacion, la presentacion en la que el usuario esta mirando a traves del dispositivo de presentacion montado en la cabeza (por ejemplo, el elemento optico de guiado de luz 112) es dividida en pfxeles. La etapa 964 puede incluir determinar que pfxeles corresponden a la ubicacion objetivo, y esos pfxeles presentaran las imagenes virtuales en la etapa 964. El filtro de opacidad 114 puede ser utilizado para evitar efectos visuales no reales. Por ejemplo, el filtro de opacidad 114 puede modificar la luz a los pfxeles en el elemento optico de guiado de luz 112, de manera que un objeto virtual de fondo no se ve a traves de un objeto virtual en primer plano. El procesamiento vuelve a la etapa 950 y determina el campo de vision del usuario en este sistema de presentacion en tiempo real. Las etapas de procesamiento de la Fig. 13 pueden ser realizadas de forma continua durante el funcionamiento del sistema, de manera que el campo de vision del usuario y la region focal del usuario son actualizados cuando el usuario mueve su cabeza, y los objetos virtuales pueden ser presentados, por consiguiente, con un movimiento natural que entra y sale del foco para el usuario.
La Fig. 16 es un diagrama de flujo que describe una realizacion de un proceso para determinar el campo de vision del usuario, que es una implementacion a modo de ejemplo de la etapa 950 de la Fig. 13. El proceso de la Fig. 16 se basa en la informacion procedente del dispositivo de ordenador concentrador 12 y la tecnologfa de rastreo de ojos descrita anteriormente. La Fig. 14 es un diagrama de flujo que describe una realizacion de un proceso realizado por el sistema de ordenador concentrador para proporcionar informacion de rastreo utilizada en el proceso de la Fig. 16. La Fig. 15 es un diagrama de flujo que describe una realizacion de un proceso para rastrear un ojo, cuyos resultados son utilizados por el proceso de la Fig. 16.
En la etapa 810 de la Fig. 14, el dispositivo de ordenador concentrador 12 rastreara la posicion del usuario. Por ejemplo, el dispositivo de ordenador concentrador 12 utilizara una o mas imagenes de profundidad y una o mas imagenes visuales para rastrear a un usuario (por ejemplo, utilizando rastreo de esqueleto). Una o mas imagenes de profundidad y una o mas imagenes visuales pueden ser utilizadas para determinar la posicion del dispositivo de presentacion montado en la cabeza 2 y la orientacion del dispositivo de presentacion montado en la cabeza 2 en la etapa 812. En la etapa 814, la posicion y orientacion del usuario y del dispositivo de presentacion montado en la cabeza 2 son transmitidas desde el dispositivo de ordenador concentrador 12 a la unidad de procesamiento 4. En la etapa 816, la informacion de posicion y orientacion es recibida en la unidad de procesamiento 4. Las etapas de procesamiento de la Fig. 14 pueden ser realizadas de forma continua durante el funcionamiento del sistema de manera que el usuario es rastreado de forma continua.
La Fig. 15 es un diagrama de flujo que describe una realizacion para rastrear un ojo utilizando la tecnologfa descrita
anteriormente. En la etapa 860, el ojo es iluminado. Por ejemplo, el ojo puede ser iluminado utilizando luz infrarroja procedente de la iluminacion de rastreo de ojos 144A. En la etapa 862, la reflexion desde el ojo es detectada utilizando una o mas camaras de rastreo de ojos 134B. En la etapa 864, los datos de reflexion son enviados desde el dispositivo de presentacion montado en la cabeza 2 a la unidad de procesamiento 4. En la etapa 866, la unidad de procesamiento 4 determinara la posicion del ojo en base a los datos de reflexion, como se ha descrito anteriormente. En la etapa 868, la unidad de procesamiento 4 tambien determinara la ubicacion de profundidad focal o region focal que los ojos del usuario estan viendo en base a los datos de reflexion. Las etapas de procesamiento de la Fig. 15 pueden ser realizadas de forma continua durante el funcionamiento del sistema, de manera que los ojos del usuario son rastreados de forma continua proporcionando datos para rastrear la region focal actual del usuario.
La Fig. 16 es un diagrama de flujo que describe una realizacion de un proceso para determinar el campo de vision (por ejemplo, la etapa 950 de la Fig. 13). En la etapa 902, la unidad de procesamiento 4 accedera a la informacion de ultima posicion y orientacion recibida desde el concentrador. El proceso de la Figura 14 puede ser realizado de forma continua como se muestra mediante la flecha desde la etapa 814 a la etapa 810, por lo tanto, la unidad de procesamiento 4 recibira de forma periodica la informacion de posicion y orientacion actualizada procedente del dispositivo de ordenador concentrador 12. Sin embargo, la unidad de procesamiento 4 necesitara extraer la imagen virtual de forma mas frecuente de la que recibe la informacion actualizada desde el dispositivo de ordenador concentrador 12. Por lo tanto, la unidad de procesamiento 4 necesitara basarse en la informacion detectada localmente (por ejemplo, desde el dispositivo montado en la cabeza 2) para proporcionar actualizaciones de la orientacion entre muestras procedentes del dispositivo de ordenador concentrador 12. En la etapa 904, la unidad de procesamiento 4 accedera a datos procedentes del giroscopio de tres ejes 132B. En la etapa 906, la unidad de procesamiento 4 accedera a datos procedentes del acelerometro de tres ejes 132C. En la etapa 908, la unidad de procesamiento 4 accedera a datos procedentes del magnetometro de tres ejes 132A. En la etapa 910, la unidad de procesamiento 4 perfeccionara (o actualizara de otro modo), los datos de posicion y orientacion procedentes del dispositivo de ordenador concentrador 12 con los datos procedentes del giroscopio, acelerometro y magnetometro. En la etapa 912, la unidad de procesamiento 4 determinara el campo de vision potencial en base a la localizacion y orientacion del dispositivo de presentacion montado en la cabeza.
En la etapa 914, la unidad de procesamiento 4 accedera a la ultima informacion de posicion de ojos. En la etapa 916, la unidad de procesamiento 4 determinara una parte del modelo que esta siendo visto por el usuario, como un subconjunto del campo de vision potencial en base a la posicion del ojo. Por ejemplo, el usuario puede estar vuelto hacia una pared, y por tanto, el campo de vision de la presentacion montada en la cabeza podna incluir cualquier lugar a lo largo de la pared. Si embargo, si los ojos del usuario estan apuntando la derecha, entonces la etapa 916 concluira en que el campo de vision del usuario es solo la parte derecha de la pared. Al final de la etapa 916, la unidad de procesamiento 4 ha determinado el campo de vision del usuario a traves de la presentacion montada en la cabeza 2. La unidad de procesamiento 4 puede identificar una ubicacion objetivo de un objeto virtual dentro de ese campo de vision. En la etapa 918, la unidad de procesamiento 4 determina la region focal del usuario actual con la parte del modelo basada en la posicion del ojo. La unidad de procesamiento 4 puede identificar una ubicacion objetivo en el modelo de un objeto virtual que esta dentro de la region focal del usuario actual. Las etapas de procesamiento de la Fig. 16 se pueden realizar de forma continua durante el funcionamiento del sistema de manera que el campo de vision del usuario y la region focal son actualizadas de forma continua cuando el usuario mueve la cabeza, y por consiguiente, los objetos virtuales pueden ser presentados el movimiento natural entrando y saliendo del foco para el usuario.
La Fig. 17A es un diagrama de flujo que describe una realizacion de un proceso para cambiar una region focal de un conjunto de micropresentacion desplazando al menos una lente del conjunto. Esta realizacion puede ser utilizada para implementar la etapa 960 en la Fig. 13. Para un contexto ilustrativo, esta referenciado un conjunto de micropresentacion como se ha descrito anteriormente con respecto a las Figuras 2A y 2B. El conjunto de micropresentacion comprende la unidad de micropresentacion 120 alineada en una trayectoria optica 133 con un sistema de lentes 122 que colima la luz de la imagen procedente de la unidad de micropresentacion 120 hasta el elemento de reflexion 124 o los elementos de reflexion 124a, 124b y o bien en los ojos del usuario o bien en otro elemento optico 112. El conjunto de micropresentacion tambien incluye el ajustador de foco virtual variable 135 para mover ffsicamente uno de los elementos de procesamiento de luz para obtener una region focal seleccionada o determinada.
Antes de las exposiciones de las Figuras 3A-3D, los desplazamientos del conjunto de micropresentacion y las longitudes focales estan referidas por la siguiente ecuacion 1/S1 1/S2 = 1/f. En la etapa 980, la unidad de procesamiento 4 determina un valor de desplazamiento S1, entre un punto nodal delantero del sistema de lentes 122 y la ubicacion objetivo del objeto virtual. Adicionalmente, en la etapa 982, la unidad de procesamiento 4 determina un valor de desplazamiento, S2, entre el elemento reflectante 124, 124a y el punto nodal trasero del sistema de lentes para una longitud focal del sistema de lentes, f, en base a la ecuacion. La unidad de procesamiento 4 hace, en la etapa 984, que el procesador de los circuitos de control 136 haga que el accionador ajustador variable 237 aplique al menos una senal de accionamiento al ajustador de foco virtual variable 135 para mover ffsicamente al menos una lente del sistema de lentes para generar los valores del desplazamiento determinados S1 y S2. Ademas del conjunto de micropresentacion mostrado en las Figuras 2A y 2B, otra implementacion es un conjunto de micropresentacion que utiliza el ejemplo de sistema de lentes insertable de la Fig. 3D. El movimiento es el de liberar un brazo 123 para una lente si colocando en su sitio y moviendo un brazo 123 para la lente cuando el
desplazamiento determinado bloquea la lente en la trayectoria optica 133.
La Fig. 17B es un diagrama de flujo que describe una realizacion de un proceso para cambiar una region focal de un conjunto de micropresentacion cambiando la polarizacion de al menos una lente del conjunto. La realizacion puede ser utilizada para implementar la etapa 960 en la Fig. 13 y es adecuada para utilizar con la realizacion de un conjunto de micropresentacion tal como el mostrado en la Fig. 3C. En esta realizacion, el sistema de lente incluye al menos una lente birrefringente en la trayectoria optica entre la micropresentacion 120 y el elemento reflectante 124 (Fig. 2A), 124a (Fig. 2B). En la etapa 986, la unidad de procesamiento 4 selecciona un valor de desplazamiento para S1 en base a una ubicacion objetivo de un objeto virtual y la ecuacion 1/S1 1/S2 = 1/f. En la etapa 988, el accionador ajustador variable 237 aplica al menos una senal de accionamiento para hacer que el ajustador de foco variable 135 cambie la polarizacion de al menos una lente birrefringente para cambiar la longitud focal, f, de la lente birrefringente para generar el valor seleccionado S1. Dado que cada lente birrefringente tiene dos longitudes focales discretas correspondientes a dos ejes de polarizacion, una combinacion de los letales lentes proporciona una seleccion de cuatro longitudes focales discretas. De este modo, bajo el control del software, la unidad de procesamiento 4 o el procesador 210 de los circuitos de control 136 seleccionan la longitud focal disponible mas proxima para aproximar el valor de f. Para cada lente birrefringente anadida, el numero de longitudes focales discretas se duplica.
La Fig. 17C es un diagrama de flujo que describe una realizacion de un proceso para cambiar una region focal de un conjunto de micropresentacion cambiando un radio de curvatura de al menos una lente de fluido del conjunto. Esta realizacion puede ser utilizada para implementar la etapa 960 de la Fig. 13 y es adecuada para utilizar con la realizacion de un conjunto de micropresentacion que emplea al menos una lente lfquida en su sistema de lentes 122 tal como el mostrado en las Figuras 3B1 y 3B2. En la etapa 990, la unidad de procesamiento 4 selecciona un valor de desplazamiento S1 en base a una ubicacion objetivo de un objeto virtual y la ecuacion 1/S1 1/S2 = 1/f. En la etapa 992, el accionador ajustador variable 237 aplica al menos una senal de accionamiento para hacer que el ajustador de foco variable 135 produzca un cambio de volumen en el fluido de la lente de fluido produciendo un cambio en su radio de curvatura para cambiar su longitud focal, f, para generar un valor seleccionado S1.
Como se ha mencionado anteriormente la reivindicacion de la Fig. 13, para los objetor virtuales en el campo de vision del usuario pero no en la region focal del usuario, pueden ser aplicadas tecnicas de borrosidad artificial. En otras realizaciones, puede ser generada una serie de imagenes en diferentes regiones focales. Moviendose a traves de un rango de focos o de regiones focales y presentando una imagen en cada region focal, se puede hacer que el usuario vea una imagen compuesta por capas de diferentes imagenes de region focal. Cuando el usuario reajusta su foco, el usuario se establecera en una de estas regiones, y los objetos virtuales en el resto a las regiones se volveran borrosos de forma natural. El barrido a traves de un rango de regiones focales se puede hacer a una velocidad o frecuencia predeterminadas. Esto se hace lo suficientemente rapido, para que la fusion de imagen temporal humana haga que parezcan estar presentes a la vez. La necesidad de profundidad artificial de las tecnicas de campo tal como la borrosidad artificial sera reducida, aunque la carga de realizacion puede aumentar significativamente.
El movimiento a traves de un rango de regiones focal se puede implementar en una realizacion cambiando el desplazamiento entre los elementos de procesamiento de luz del conjunto de micropresentacion o la potencia optica de un elemento de procesamiento de luz en el conjunto a un regimen velocidad. El regimen de velocidad puede ser al menos tanto como un regimen de fotogramas de 30 fotogramas por segundo (fps), pero puede ser en algunas realizaciones a un regimen de velocidad tal como 60, 120 o 180 Hz. Una lente que es desplazada a lo largo de un eje optico a un regimen de velocidad elevado proporcionando imagenes en diferentes regiones focales esta a veces referida como una lente vibrante o una lente oscilante. En algunos casos, la region de imagen, por ejemplo la superficie reflectante 124, 124a, se mueve en lugar de un sistema de lentes 122 o la fuente de imagenes 120, pero lo principal es lo mismo.
La Fig. 18A es un diagrama de flujo que describe una realizacion de un proceso para generar imagenes de objetos virtuales en diferentes regiones focales de una presentacion de realidad aumentada que puede ser utilizada para implementar la etapa 610 en la Fig. 9. En la etapa 1002 de la Fig.18A, el dispositivo de ordenador concentrador 12 o la unidad de procesamiento 4, o ambos, bajo el control del software determinan el campo de vision del usuario como en la etapa 950 de la Fig. 13, y determinan en la etapa 1004 si hay ubicaciones objetivo de objetos virtuales en el campo de vision actual del usuario como en la etapa 952. Similar a la etapa 966, si no hay objetos virtuales en el campo de vision actual del usuario, el procesamiento en la etapa 1006 vuelve para determinar y actualizar el campo de vision del usuario de la etapa 1002.
Como en la etapa 958, la unidad de procesamiento 4 escalara y orientara los objetos virtuales para una imagen que va ser insertada en la vision del usuario en la etapa 1012. El escalado y la orientacion de la imagen virtual estaran basados en la ubicacion del objetivo en el campo de vision y la en forma conocida del objeto virtual en base al modelo.
En la etapa 1016, el periodo de regimen de barrido se establece mediante el generador de sincronizacion 226 o el generador de reloj 244 de los circuitos de control. En la etapa 1018, se inicia un contador para ir a traves de un numero de regiones focales en el rango durante el periodo de barrido. En algunos casos, las regiones focales son
predeterminadas. En cada etapa de tiempo del periodo de barrido, la region focal de los elementos del conjunto de micropresentacion es ajustada, y una imagen es presentada para cada region focal en su tiempo de barrido o etapa de tiempo al usuario en la etapa 1022. La siguiente region focal es seleccionada en la etapa 1024 incrementando el contador, y el procesamiento de las etapas 1020 a 1024 es repetido hasta que el contador indica que se ha completado el barrido de rango. El periodo de barrido finaliza en la etapa 1028. En otros ejemplos, un extremo del fotograma para la presentacion puede interrumpir un barrido a traves del rango de barrido, y otro barrido puede empezar con el siguiente fotograma.
En una realizacion, la carga de realizacion puede ser reducida realizando un subconjunto de regiones focales y utilizando rastreo de la region focal del usuario para optimizar aquellas regiones focales que son seleccionadas para la realizacion. En otros ejemplos, los datos de rastreo de ojos no proporcionan suficiente precision para determinar la profundidad de la ubicacion del foco que el usuario esta viendo. La logica de deduccion puede deducir un objeto en el que el usuario esta enfocado. Una vez que un objeto seleccionado como el objeto del foco, se pueden utilizar los tres modelos tridimensionales o el mapeo de la escena actual se puede utilizar para determinar la distancia al objeto del foco.
La Fig. 18B ilustra otra realizacion de un proceso para presentar un objeto virtual que va a estar en foco cuando sea visto por un usuario que ve una presentacion de realidad aumentada que puede ser utilizada para implementar la etapa 610 en la Fig. 9. La Fig. 18B es un diagrama de flujo que describe una realizacion de un proceso para generar imagenes de objeto virtual en diferentes regiones focales en una presentacion de realidad aumentada. En la etapa 1002 de la Fig.18B, el dispositivo de ordenador concentrador 12 o la unidad de procesamiento 4, o ambos, bajo el control del software determinan el campo de vision del usuario igual que en la etapa 950 de la Fig. 13 y determinan en 1004 si hay alguna ubicacion objetivo de objetos virtuales en el campo de vision actual del usuario como en la etapa 952. Similar a la etapa 966, si no hay objetos virtuales en el campo de vision actual del usuario, el procesamiento en la etapa 1006 vuelve a determinar y actualizar el campo de vision del usuario en la etapa 1002.
Si hay al menos un objeto virtual que tiene una ubicacion objetivo en el campo de vision del usuario, entonces en la etapa 1008 como en la etapa 954, el sistema tal como un software que se ejecuta en la unidad de procesamiento 4, determina la region focal actual del usuario dentro del campo de vision del usuario, y como en la etapa 956, el software que se ejecuta en el sistema de ordenador concentrador 12, la unidad de procesamiento 4 ambos identifica en la etapa 1010 cual de los objetos virtuales en el campo de vision del usuario estan en la region focal del usuario actual en base a la ubicacion objetivo del objeto virtual en el modelo. Como en la etapa 958, la unidad de procesamiento 4 escalara y orientara los objetos virtuales para una imagen que va ser insertada en la vision del usuario en la etapa 1012. El escalado y la orientacion de la imagen virtual estaran basados en la ubicacion del objetivo en el campo de vision y de la forma conocida del objeto virtual basada en el modelo.
En la etapa 1014, la unidad de procesamiento 4 selecciona un rango de regiones focales que incluye la region focal actual del usuario. La unidad de procesamiento 4 puede seleccionar el rango de regiones focales en base a criterios tales como el contexto de la aplicacion que se ejecuta, por ejemplo 452. Una aplicacion puede utilizar una seleccion de objetos virtuales con trayectorias de movimiento y eventos predeterminados que desencadenan su aparicion. Dado que el modelo de los objetos es actualizado con el movimiento de los objetos, la unidad de procesamiento 4 recibe estas actualizaciones como por la exposicion de la Fig. 10. Entre las actualizaciones, la unidad de procesamiento 4 puede utilizar los datos del sensor sobre la posicion y orientacion de la cabeza del usuario para determinar que objetos virtuales es mas probable que enfoque en ese momento. La unidad de procesamiento 4 puede seleccionar un numero de regiones focales en las que la trayectoria del objeto virtual se desplazara en base al modelo tridimensional de la escena. Por lo tanto, un criterio a modo de ejemplo es incluir cada region focal en la que un objeto virtual esta localizado. Ademas, las regiones focales tambien pueden ser seleccionadas en las que la regiones la trayectoria del objeto virtual el movimiento estara en un fotograma de tiempo predeterminado. El fotograma de tiempo predeterminado puede ser hasta la siguiente actualizacion de los datos de modelo indicando las ubicaciones exactas de los objetos virtuales en un ejemplo.
El punto de region focal de inicio para el barrido a traves del rango de regiones focales puede ser el mas cercano al infinito en el campo de vision del usuario desde los ojos del usuario. Otras ubicaciones de inicio pueden ser utilizadas, sin embargo, empezar en el infinito puede simplificar la aplicacion del filtro de opacidad 114. En la etapa 1016, el periodo de velocidad de barrido es iniciado por el generador de sincronizacion 226 o por el generador de reloj 244 de los circuitos de control. En la etapa 1018 se inicia un contador para ir a traves de un numero de regiones focales en el rango durante el periodo de barrido. En algunos casos, las regiones focales son predeterminadas. En cada etapa de tiempo del periodo de barrido, la region focal de los elementos del conjunto de micropresentacion son ajustados, y la imagen es presentada para cada region focal en su tiempo de barrido o etapa de tiempo al usuario en la etapa 1022. La siguiente region focal en seleccionada en la etapa 1024 incrementando el contador, y el procesamiento de las etapas 1020 a 1024 es repetido hasta que el contador indica que esta completo del barrido del rango. El periodo de barrido termina en la etapa 1028. En otros ejemplos, un extremo del fotograma para una presentacion puede interrumpir un barrido a traves del rango de barrido, y empezar otro barrido con el siguiente fotograma.
Las Figuras 19A y 19B ilustran esquematicamente ejemplos de las diferentes formas de presentar objetos virtuales de multiples focos en una presentacion de realidad aumentada. En la Fig. 19A, un ejemplo de 4 imagenes 1050a a
1050d son generadas en diferentes regiones focales generadas en diferentes desplazamientos en la trayectoria optica 133 del conjunto de micropresentacion, y todas las imagenes son enviadas para la presentacion en el elemento optico de guiado de luz 112. En la Fig. 19B, la unidad de procesamiento 4 hace que una seccion o parte de cada imagen que esta en foco en esa region focal o de imagen sea incluida en una imagen compuesta 1055 para la ser presentada en la presentacion 112. La seccion y parte de cada imagen que esta en el foco en un ejemplo puede ser la parte en donde el objeto virtual esta situado en la imagen en el momento en el que fue generada.
Claims (9)
1. Un metodo para presentar objetos virtuales con foco variable mediante un sistema de realidad aumentada (10), comprendiendo el metodo:
determinar mediante uno o mas procesadores (210, 320, 322) un campo de vision del usuario tridimensional de un dispositivo de presentacion proximo a los ojos (2) de un sistema de realidad aumentada;
identificar mediante uno o mas procesadores una ubicacion objetivo tridimensional de uno o mas objetos virtuales dentro del campo de vision del usuario;
determinar mediante uno o mas procesadores una region focal actual tridimensional del usuario que lleva el dispositivo de presentacion proximo a los ojos dentro del campo de vision del usuario;
identificar cual de los uno o mas objetos virtuales esta en la region focal actual del usuario en base a las ubicaciones objetivo o tridimensionales del uno o mas objetos virtuales dentro del campo de vision del usuario; y
presentar mediante el dispositivo de presentacion proximo a los ojos el uno o mas objetos virtuales identificados como que estan en la region focal actual del usuario ajustando una region focal de un conjunto de micropresentacion (173) que incluye elementos de procesamiento de luz alineados en una trayectoria optica (133) dirigida sobre una presentacion (112) del dispositivo de presentacion proximo a los ojos moviendo los elementos de procesamiento de luz en la trayectoria optica bajo el control de uno o mas procesadores; en donde:
los elementos de procesamiento de luz del conjunto del micropresentacion comprenden al menos un elemento optico (122) y una unidad de micropresentacion (120) alineada en la trayectoria optica con un elemento reflectante (124); y
mover los elementos de procesamiento de luz en la trayectoria optica del conjunto de micropresentacion bajo el control de los uno o mas procesadores comprende ademas:
determinar mediante uno o mas procesadores un valor de desplazamiento, S1, entre un punto nodal delantero del al menos un elemento optico y la ubicacion objetivo de al menos un objeto virtual, estando el al menos un elemento optico situado en una trayectoria optica entre la unidad de micropresentacion y el elemento reflectante,
determinar mediante uno o mas procesadores un valor de desplazamiento, S2, entre el elemento reflectante y un punto nodal trasero del al menos un elemento optico para una longitud focal de al menos un elemento optico, f, en base a la ecuacion 1/S1 1/S2 = 1/f; y
mover el al menos un elemento optico bajo el control de uno o mas procesadores para generar los valores del desplazamiento determinados S1 y S2.
2. El metodo de la reivindicacion 1, que comprende ademas:
aplicar al menos una profundidad artificial de la tecnica de campo a un objeto virtual que esta dentro del campo de vision del usuario pero fuera de la region focal actual del usuario como una funcion de la distancia desde la region focal actual.
3. Un medio lefble con ordenador que comprende instrucciones ejecutables por un ordenador almacenadas en el mismo que, cuando se ejecutan mediante una unidad de procesamiento, hacen que la unidad de procesamiento realice el metodo de una cualquiera de las reivindicaciones precedentes.
4. Un sistema de realidad aumentada que proporciona foco variable de objetos virtuales que comprende: una unidad de presentacion transparente (2) que comprende:
un conjunto del micropresentacion (173) para generar imagenes para una presentacion de una unidad de presentacion transparente, incluyendo el conjunto de micropresentacion un ajustador de foco virtual variable (135) y elementos de procesamiento de luz que incluyen al menos un elemento optico (122) y una unidad de micropresentacion (120), estando el al menos un elemento optico y la unidad de micropresentacion alineados en una trayectoria optica (133) con un elemento reflectante (124) de una unidad de presentacion transparente, cambiando el ajustador de foco virtual variable la region focal del conjunto de la micropresentacion para colocar uno o mas objetos virtuales en una ubicacion objetivo en una region focal actual del usuario que lleva la unidad de presentacion transparente (2) moviendo el uno o mas elementos de procesamiento de luz en la trayectoria optica bajo el control del uno o mas procesadores (210, 320, 322), en donde
el uno o mas procesadores que controlan el ajustador de foco virtual variable mueven los elementos de procesamiento de luz en la trayectoria optica del conjunto de micropresentacion comprenden ademas:
determinar mediante el uno o mas procesadores un valor de desplazamiento, S1, entre un punto nodal delantero del al menos un elemento optico y la ubicacion objetivo del al menos un objeto virtual, estando el al menos un elemento optico situado en una trayectoria optica entre la unidad de micropresentacion y el elemento reflectante, determinar mediante el uno o mas procesadores un valor de desplazamiento, S2, entre el elemento reflectante y el punto nodal trasero del al menos un elemento optico para una longitud focal del al menos un elemento optico, f, basado en la ecuacion 1/S1 1/S2 = 1/f; y
mover el al menos un elemento optico bajo el control del uno o mas procesadores para generar los valores del desplazamiento determinados S1 y S2;
incluyendo los circuitos de control (136) un dicho procesador (210) del uno o mas procesadores conectados en comunicacion con el conjunto del micropresentacion, incluyendo los circuitos de control un accionador (237) para controlar el ajustador de foco virtual variable (135), el procesador bajo el control del software que dirige la unidad de micropresentacion para incluir al menos un objeto virtual en una region focal de usuario actual, y
una presentacion (112) conectada opticamente al conjunto del micropresentacion para proyectar imagenes virtuales tridimensionales dirigidas a al menos una ubicacion del ojo.
5. El sistema de realidad aumentada de la reivindicacion 4, que comprende ademas:
una armadura (137) para soportar los elementos de procesamiento de luz del conjunto de micropresentacion (173) y estando la armadura bajo el control del ajustador de foco virtual variable (135).
6. El sistema de realidad aumentada de la reivindicacion 4 o 5, en el que:
los circuitos de control (136) comprenden ademas un generador de sincronizacion (226) para proporcionar senales de sincronizacion al accionador (237) que controla el ajustador de foco virtual variable (135) para operar a un regimen programado;
moviendo el ajustador de foco virtual variable los elementos de procesamiento de luz al regimen programado a traves de un rango de desplazamientos en la trayectoria optica (133) del conjunto de micropresentacion (173), correspondiendo el rango de desplazamientos a un rango de regiones focales;
incluyendo el rango de regiones focales la region focal actual del usuario; y
dirigiendo el uno o mas procesadores (210, 320, 322) la unidad de micropresentacion (120) para generar una imagen que incluye cualquier objeto virtual identificado que esta situado en una respectiva region focal del rango cuando se alcanza el desplazamiento respectivo en el rango.
7. El sistema de realidad aumentada para reivindicacion 6, en el que
la unidad de micropresentacion (120) genera una imagen compuesta que incluye partes en foco de las diferentes imagenes generadas por el rango de desplazamientos, y
la presentacion (112) proyecta la imagen compuesta en al menos una ubicacion del ojo.
8. El sistema de realidad aumentada de la reivindicacion 4, en el que el conjunto de micropresentacion (173) comprende ademas un sistema de lentes giratorio, que comprende una pluralidad de lentes (122a-d) teniendo cada una, una longitud focal diferente y estando soportadas dentro de un soporte de disco (160) giratorio mediante el ajustador de foco virtual variable (135), estando el ajustador de foco virtual variable (135) configurado para girar el soporte de disco (160), de manera que una lente seleccionada (122a-d) es alineada en la trayectoria optica (133) del conjunto de micropresentacion.
9. El sistema de realidad aumentada de la reivindicacion 4, en el que el conjunto del micropresentacion (173) comprende ademas un sistema de lentes insertable, en el que cada uno de un numero de elementos opticos (122) esta unido a un respectivo brazo (123) unido a la armadura (137), estando cada brazo (123) configurado para mover su uno o mas elementos opticos (122) en posicion en un desplazamiento de la trayectoria optica (133) del conjunto de micropresentacion bajo el control del ajustador de foco virtual variable (135).
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/941,825 US9292973B2 (en) | 2010-11-08 | 2010-11-08 | Automatic variable virtual focus for augmented reality displays |
PCT/US2011/058604 WO2012064546A1 (en) | 2010-11-08 | 2011-10-31 | Automatic variable virtual focus for augmented reality displays |
Publications (1)
Publication Number | Publication Date |
---|---|
ES2713521T3 true ES2713521T3 (es) | 2019-05-22 |
Family
ID=46019190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES11840164T Active ES2713521T3 (es) | 2010-11-08 | 2011-10-31 | Foco virtual variable automático para presentaciones de realidad aumentada |
Country Status (12)
Country | Link |
---|---|
US (2) | US9292973B2 (es) |
EP (1) | EP2638693B1 (es) |
JP (1) | JP5913346B2 (es) |
KR (1) | KR101912958B1 (es) |
CN (1) | CN102566049B (es) |
AR (1) | AR083807A1 (es) |
CA (1) | CA2815372C (es) |
ES (1) | ES2713521T3 (es) |
HK (1) | HK1172098A1 (es) |
IL (1) | IL225995A (es) |
TW (1) | TWI539185B (es) |
WO (1) | WO2012064546A1 (es) |
Families Citing this family (448)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL166799A (en) | 2005-02-10 | 2014-09-30 | Lumus Ltd | Aluminum shale surfaces for use in a conductive substrate |
US10073264B2 (en) | 2007-08-03 | 2018-09-11 | Lumus Ltd. | Substrate-guide optical device |
US9658473B2 (en) * | 2005-10-07 | 2017-05-23 | Percept Technologies Inc | Enhanced optical and perceptual digital eyewear |
US9158116B1 (en) | 2014-04-25 | 2015-10-13 | Osterhout Group, Inc. | Temple and ear horn assembly for headworn computer |
CA2712059A1 (en) | 2008-01-22 | 2009-07-30 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Head-mounted projection display using reflective microdisplays |
US20150205111A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Optical configurations for head worn computing |
US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
US9366867B2 (en) | 2014-07-08 | 2016-06-14 | Osterhout Group, Inc. | Optical systems for see-through displays |
US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US20150277120A1 (en) | 2014-01-21 | 2015-10-01 | Osterhout Group, Inc. | Optical configurations for head worn computing |
WO2010123934A1 (en) | 2009-04-20 | 2010-10-28 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Optical see-through free-form head-mounted display |
US20110075257A1 (en) | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
US9244277B2 (en) | 2010-04-30 | 2016-01-26 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Wide angle and high resolution tiled head-mounted display device |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US9183199B2 (en) * | 2011-03-25 | 2015-11-10 | Ming-Yuan Wu | Communication device for multiple language translation system |
CA3164530C (en) | 2011-10-28 | 2023-09-19 | Magic Leap, Inc. | System and method for augmented and virtual reality |
EP2774022B1 (en) * | 2011-10-31 | 2018-07-18 | Sony Mobile Communications Inc. | Amplifying audio-visual data based on user's head orientation |
US9223138B2 (en) * | 2011-12-23 | 2015-12-29 | Microsoft Technology Licensing, Llc | Pixel opacity for augmented reality |
US8917453B2 (en) | 2011-12-23 | 2014-12-23 | Microsoft Corporation | Reflective array waveguide |
US8638498B2 (en) | 2012-01-04 | 2014-01-28 | David D. Bohn | Eyebox adjustment for interpupillary distance |
US9606586B2 (en) | 2012-01-23 | 2017-03-28 | Microsoft Technology Licensing, Llc | Heat transfer device |
EP3761072A1 (en) | 2012-01-24 | 2021-01-06 | Augmented Vision Inc. | Compact eye-tracked head-mounted display |
US9147111B2 (en) * | 2012-02-10 | 2015-09-29 | Microsoft Technology Licensing, Llc | Display with blocking image generation |
US9779643B2 (en) | 2012-02-15 | 2017-10-03 | Microsoft Technology Licensing, Llc | Imaging structure emitter configurations |
US9368546B2 (en) | 2012-02-15 | 2016-06-14 | Microsoft Technology Licensing, Llc | Imaging structure with embedded light sources |
US9726887B2 (en) | 2012-02-15 | 2017-08-08 | Microsoft Technology Licensing, Llc | Imaging structure color conversion |
US9297996B2 (en) | 2012-02-15 | 2016-03-29 | Microsoft Technology Licensing, Llc | Laser illumination scanning |
US9578318B2 (en) | 2012-03-14 | 2017-02-21 | Microsoft Technology Licensing, Llc | Imaging structure emitter calibration |
US20130241805A1 (en) * | 2012-03-15 | 2013-09-19 | Google Inc. | Using Convergence Angle to Select Among Different UI Elements |
US11068049B2 (en) | 2012-03-23 | 2021-07-20 | Microsoft Technology Licensing, Llc | Light guide display and field of view |
US10191515B2 (en) | 2012-03-28 | 2019-01-29 | Microsoft Technology Licensing, Llc | Mobile device light guide display |
US9558590B2 (en) | 2012-03-28 | 2017-01-31 | Microsoft Technology Licensing, Llc | Augmented reality light guide display |
US9717981B2 (en) | 2012-04-05 | 2017-08-01 | Microsoft Technology Licensing, Llc | Augmented reality and physical games |
US20130300634A1 (en) * | 2012-05-09 | 2013-11-14 | Nokia Corporation | Method and apparatus for determining representations of displayed information based on focus distance |
WO2013173728A1 (en) * | 2012-05-17 | 2013-11-21 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display |
IL219907A (en) | 2012-05-21 | 2017-08-31 | Lumus Ltd | Integrated head display system with eye tracking |
US10502876B2 (en) * | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
US20130317901A1 (en) * | 2012-05-23 | 2013-11-28 | Xiao Yong Wang | Methods and Apparatuses for Displaying the 3D Image of a Product |
US9934614B2 (en) | 2012-05-31 | 2018-04-03 | Microsoft Technology Licensing, Llc | Fixed size augmented reality objects |
US8989535B2 (en) | 2012-06-04 | 2015-03-24 | Microsoft Technology Licensing, Llc | Multiple waveguide imaging structure |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US20140007148A1 (en) * | 2012-06-28 | 2014-01-02 | Joshua J. Ratliff | System and method for adaptive data processing |
US9466121B2 (en) | 2012-09-11 | 2016-10-11 | Qualcomm Incorporated | Devices and methods for augmented reality applications |
CN102866506A (zh) * | 2012-09-21 | 2013-01-09 | 苏州云都网络技术有限公司 | 增强现实眼镜及其实现方法 |
US10180715B2 (en) | 2012-10-05 | 2019-01-15 | Elwha Llc | Correlating user reaction with at least an aspect associated with an augmentation of an augmented view |
US10269179B2 (en) | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
US9077647B2 (en) | 2012-10-05 | 2015-07-07 | Elwha Llc | Correlating user reactions with augmentations displayed through augmented views |
US9141188B2 (en) | 2012-10-05 | 2015-09-22 | Elwha Llc | Presenting an augmented view in response to acquisition of data inferring user activity |
US10713846B2 (en) | 2012-10-05 | 2020-07-14 | Elwha Llc | Systems and methods for sharing augmentation data |
US9111383B2 (en) | 2012-10-05 | 2015-08-18 | Elwha Llc | Systems and methods for obtaining and using augmentation data and for sharing usage data |
IN2015DN02476A (es) * | 2012-10-18 | 2015-09-11 | Univ Arizona State | |
GB2507111A (en) * | 2012-10-19 | 2014-04-23 | My View Ltd | User-based sensing with biometric data-based processing to assess an individual's experience |
CN102981616B (zh) * | 2012-11-06 | 2017-09-22 | 中兴通讯股份有限公司 | 增强现实中对象的识别方法及***和计算机 |
US9189021B2 (en) | 2012-11-29 | 2015-11-17 | Microsoft Technology Licensing, Llc | Wearable food nutrition feedback system |
EP2926224B1 (en) * | 2012-11-29 | 2021-09-01 | Haddish, Imran | Virtual and augmented reality instruction system |
US9613461B2 (en) * | 2012-12-10 | 2017-04-04 | Sony Corporation | Display control apparatus, display control method, and program |
US10192358B2 (en) | 2012-12-20 | 2019-01-29 | Microsoft Technology Licensing, Llc | Auto-stereoscopic augmented reality display |
WO2014106219A1 (en) * | 2012-12-31 | 2014-07-03 | Burachas Giedrius Tomas | User centric interface for interaction with visual display that recognizes user intentions |
US10127724B2 (en) * | 2013-01-04 | 2018-11-13 | Vuezr, Inc. | System and method for providing augmented reality on mobile devices |
US20140192164A1 (en) * | 2013-01-07 | 2014-07-10 | Industrial Technology Research Institute | System and method for determining depth information in augmented reality scene |
US9699433B2 (en) * | 2013-01-24 | 2017-07-04 | Yuchen Zhou | Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye |
US10133342B2 (en) | 2013-02-14 | 2018-11-20 | Qualcomm Incorporated | Human-body-gesture-based region and volume selection for HMD |
JP6123365B2 (ja) * | 2013-03-11 | 2017-05-10 | セイコーエプソン株式会社 | 画像表示システム及び頭部装着型表示装置 |
IL308285B1 (en) * | 2013-03-11 | 2024-07-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
CN104052981A (zh) * | 2013-03-13 | 2014-09-17 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US10109075B2 (en) | 2013-03-15 | 2018-10-23 | Elwha Llc | Temporal element restoration in augmented reality systems |
US20140280503A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | System and methods for effective virtual reality visitor interface |
US9838506B1 (en) | 2013-03-15 | 2017-12-05 | Sony Interactive Entertainment America Llc | Virtual reality universe representation changes viewing based upon client side parameters |
US20140280502A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Crowd and cloud enabled virtual reality distributed location network |
US20140267581A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks |
US20140280644A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time unified communications interaction of a predefined location in a virtual reality location |
US9639964B2 (en) | 2013-03-15 | 2017-05-02 | Elwha Llc | Dynamically preserving scene elements in augmented reality systems |
US10025486B2 (en) | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
US20140280506A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality enhanced through browser connections |
CA3160567A1 (en) * | 2013-03-15 | 2014-09-18 | Magic Leap, Inc. | Display system and method |
TWI547142B (zh) | 2013-04-02 | 2016-08-21 | 杜比實驗室特許公司 | 引導的3d顯示器適配 |
KR102079097B1 (ko) * | 2013-04-09 | 2020-04-07 | 삼성전자주식회사 | 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법 |
WO2014178476A1 (ko) * | 2013-04-30 | 2014-11-06 | 인텔렉추얼디스커버리 주식회사 | 디지털 디바이스 및 이를 이용한 콘텐츠 제공 방법 |
JP6020923B2 (ja) * | 2013-05-21 | 2016-11-02 | パナソニックIpマネジメント株式会社 | 焦点可変レンズを有するビューア、および映像表示システム |
JP2016524868A (ja) | 2013-06-05 | 2016-08-18 | トムソン ライセンシングThomson Licensing | マルチスクリーンビューイングのためのコンテンツ配信用の方法および装置 |
US9706255B2 (en) | 2013-06-05 | 2017-07-11 | Thomson Licensing | Method and apparatus for content distribution for multiscreen viewing wherein video program and information related to the video program are transmitted to a second device but not to a first device when the distance between the two devices is greater than a predetermined threshold |
KR102170069B1 (ko) | 2013-06-05 | 2020-10-26 | 인터디지털 씨이 페턴트 홀딩스 | 멀티스크린 시청을 위한 컨텐츠 분배를 위한 방법 및 장치 |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US10139623B2 (en) * | 2013-06-18 | 2018-11-27 | Microsoft Technology Licensing, Llc | Virtual object orientation and visualization |
US9235051B2 (en) | 2013-06-18 | 2016-01-12 | Microsoft Technology Licensing, Llc | Multi-space connected virtual data objects |
EP3013042A4 (en) * | 2013-06-19 | 2016-08-17 | Panasonic Ip Man Co Ltd | IMAGE DISPLAY DEVICE AND METHOD |
US9639985B2 (en) | 2013-06-24 | 2017-05-02 | Microsoft Technology Licensing, Llc | Active binocular alignment for near eye displays |
CN103336579A (zh) * | 2013-07-05 | 2013-10-02 | 百度在线网络技术(北京)有限公司 | 穿戴式设备的输入方法和穿戴式设备 |
JP6225546B2 (ja) * | 2013-08-02 | 2017-11-08 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法 |
CN103797761B (zh) * | 2013-08-22 | 2017-02-22 | 华为技术有限公司 | 通信方法、客户端和终端 |
CN103487939B (zh) * | 2013-08-28 | 2016-04-20 | 成都理想境界科技有限公司 | 可调头戴显示光学***及其调节方法 |
TWI537767B (zh) * | 2013-10-04 | 2016-06-11 | 財團法人工業技術研究院 | 可調體感範圍之多人指引系統與其方法 |
CN103559742B (zh) * | 2013-10-23 | 2017-05-10 | Tcl集团股份有限公司 | 一种用于3d场景的焦点切换方法及*** |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
IL305162A (en) * | 2013-11-27 | 2023-10-01 | Magic Leap Inc | Virtual and augmented reality systems and methods |
EP2887124A1 (en) * | 2013-12-20 | 2015-06-24 | Thomson Licensing | Optical see-through glass type display device and corresponding optical unit |
CA2935434C (en) * | 2014-01-10 | 2020-10-27 | Nokia Technologies Oy | Display of a visual representation of a view |
US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US20150277118A1 (en) | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
US9448409B2 (en) | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
US9366868B2 (en) | 2014-09-26 | 2016-06-14 | Osterhout Group, Inc. | See-through computer display systems |
US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
US20150228119A1 (en) | 2014-02-11 | 2015-08-13 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
US9532715B2 (en) | 2014-01-21 | 2017-01-03 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
US9740280B2 (en) | 2014-01-21 | 2017-08-22 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US20160018645A1 (en) | 2014-01-24 | 2016-01-21 | Osterhout Group, Inc. | See-through computer display systems |
US9811152B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9523856B2 (en) | 2014-01-21 | 2016-12-20 | Osterhout Group, Inc. | See-through computer display systems |
US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US9310610B2 (en) | 2014-01-21 | 2016-04-12 | Osterhout Group, Inc. | See-through computer display systems |
US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
US9588343B2 (en) | 2014-01-25 | 2017-03-07 | Sony Interactive Entertainment America Llc | Menu navigation in a head-mounted display |
WO2015117043A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
KR102207799B1 (ko) * | 2014-01-31 | 2021-01-26 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US9773349B2 (en) * | 2014-02-19 | 2017-09-26 | Daqri, Llc | Active parallax correction |
TWI489140B (zh) | 2014-02-24 | 2015-06-21 | Quanta Comp Inc | 頭戴式顯示裝置 |
BR112016020346A2 (pt) * | 2014-03-05 | 2017-10-31 | Univ Arizona | ?visor de realidade aumentada? |
CN103869484B (zh) * | 2014-03-07 | 2016-01-13 | 南开大学 | 光学4f***的大成像深度三维显示***中成像深度的确定方法 |
CN104918036B (zh) * | 2014-03-12 | 2019-03-29 | 联想(北京)有限公司 | 增强现实显示装置及方法 |
JP2015184560A (ja) * | 2014-03-25 | 2015-10-22 | ソニー株式会社 | 導光装置、画像表示装置及び表示装置 |
JP2015184561A (ja) | 2014-03-25 | 2015-10-22 | ソニー株式会社 | 導光装置、画像表示装置及び表示装置 |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
US9423842B2 (en) | 2014-09-18 | 2016-08-23 | Osterhout Group, Inc. | Thermal management for head-worn computer |
US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
US20160137312A1 (en) | 2014-05-06 | 2016-05-19 | Osterhout Group, Inc. | Unmanned aerial vehicle launch system |
JP6648041B2 (ja) * | 2014-05-30 | 2020-02-14 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 仮想および拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示する方法およびシステム |
EP4235252A1 (en) | 2014-05-30 | 2023-08-30 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual augmented reality |
US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
KR101994403B1 (ko) | 2014-07-10 | 2019-06-28 | 루소스페이스 프로젝토스 엔제냐리아 엘디에이 | 디스플레이 디바이스 |
US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
US10451875B2 (en) | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
US9904055B2 (en) | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
CN104134235B (zh) * | 2014-07-25 | 2017-10-10 | 深圳超多维光电子有限公司 | 真实空间和虚拟空间的融合方法和融合*** |
US9865089B2 (en) | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
US10311638B2 (en) | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
US9304235B2 (en) | 2014-07-30 | 2016-04-05 | Microsoft Technology Licensing, Llc | Microfabrication |
US10678412B2 (en) | 2014-07-31 | 2020-06-09 | Microsoft Technology Licensing, Llc | Dynamic joint dividers for application windows |
US10254942B2 (en) | 2014-07-31 | 2019-04-09 | Microsoft Technology Licensing, Llc | Adaptive sizing and positioning of application windows |
US10592080B2 (en) | 2014-07-31 | 2020-03-17 | Microsoft Technology Licensing, Llc | Assisted presentation of application windows |
DE102014110961B4 (de) * | 2014-08-01 | 2016-02-11 | Carl Zeiss Ag | Datenbrille |
US9811095B2 (en) * | 2014-08-06 | 2017-11-07 | Lenovo (Singapore) Pte. Ltd. | Glasses with fluid-fillable membrane for adjusting focal length of one or more lenses of the glasses |
US20220068154A1 (en) * | 2014-08-22 | 2022-03-03 | Intelligent Technologies International, Inc. | Secure Testing Device with Combiner |
US9977495B2 (en) * | 2014-09-19 | 2018-05-22 | Utherverse Digital Inc. | Immersive displays |
US10067561B2 (en) * | 2014-09-22 | 2018-09-04 | Facebook, Inc. | Display visibility based on eye convergence |
CN104298350B (zh) * | 2014-09-28 | 2020-01-31 | 联想(北京)有限公司 | 一种信息处理方法及穿戴式电子设备 |
WO2016073557A1 (en) | 2014-11-04 | 2016-05-12 | The University Of North Carolina At Chapel Hill | Minimal-latency tracking and display for matching real and virtual worlds |
FR3028326B1 (fr) * | 2014-11-07 | 2018-08-17 | Thales | Systeme de visualisation de tete comportant un systeme oculometrique et des moyens d'adaptation des images emises |
KR20160059406A (ko) | 2014-11-18 | 2016-05-26 | 삼성전자주식회사 | 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법 |
US9864205B2 (en) * | 2014-11-25 | 2018-01-09 | Ricoh Company, Ltd. | Multifocal display |
CN104469343B (zh) * | 2014-11-26 | 2017-02-01 | 北京智谷技术服务有限公司 | 光场显示控制方法和装置、光场显示设备 |
US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
CN104360751B (zh) * | 2014-12-05 | 2017-05-10 | 三星电子(中国)研发中心 | 一种实现智能控制的方法和设备 |
JP6378781B2 (ja) * | 2014-12-19 | 2018-08-22 | 株式会社ソニー・インタラクティブエンタテインメント | 頭部装着型表示装置、及び映像表示システム |
USD743963S1 (en) | 2014-12-22 | 2015-11-24 | Osterhout Group, Inc. | Air mouse |
EP3234920A4 (en) | 2014-12-23 | 2017-10-25 | Meta Company | Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest |
US10073516B2 (en) * | 2014-12-29 | 2018-09-11 | Sony Interactive Entertainment Inc. | Methods and systems for user interaction within virtual reality scene using head mounted display |
USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
KR102311741B1 (ko) * | 2015-01-14 | 2021-10-12 | 삼성디스플레이 주식회사 | 머리 장착형 디스플레이 장치 |
US10740971B2 (en) | 2015-01-20 | 2020-08-11 | Microsoft Technology Licensing, Llc | Augmented reality field of view object follower |
CA2974201C (en) * | 2015-01-22 | 2021-11-30 | Magic Leap, Inc. | Methods and system for creating focal planes using an alvarez lens |
US20160214200A1 (en) * | 2015-01-23 | 2016-07-28 | Illinois Tool Works Inc. | User Configuration of Image Capture and Display in a Welding Vision System |
EP4365665A3 (en) | 2015-01-26 | 2024-07-24 | Magic Leap, Inc. | Virtual and augmented reality systems and methods having improved diffractive grating structures |
KR101728775B1 (ko) | 2015-01-28 | 2017-04-21 | 경북대학교 산학협력단 | 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 |
GB2534921B (en) * | 2015-02-06 | 2021-11-17 | Sony Interactive Entertainment Inc | Head-mountable display system |
US9535253B2 (en) | 2015-02-09 | 2017-01-03 | Microsoft Technology Licensing, Llc | Display system |
US10176961B2 (en) | 2015-02-09 | 2019-01-08 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Small portable night vision system |
US9429692B1 (en) | 2015-02-09 | 2016-08-30 | Microsoft Technology Licensing, Llc | Optical components |
US10317677B2 (en) | 2015-02-09 | 2019-06-11 | Microsoft Technology Licensing, Llc | Display system |
US9423360B1 (en) | 2015-02-09 | 2016-08-23 | Microsoft Technology Licensing, Llc | Optical components |
US11086216B2 (en) | 2015-02-09 | 2021-08-10 | Microsoft Technology Licensing, Llc | Generating electronic components |
US9827209B2 (en) | 2015-02-09 | 2017-11-28 | Microsoft Technology Licensing, Llc | Display system |
US9513480B2 (en) | 2015-02-09 | 2016-12-06 | Microsoft Technology Licensing, Llc | Waveguide |
US10018844B2 (en) | 2015-02-09 | 2018-07-10 | Microsoft Technology Licensing, Llc | Wearable image display system |
US9372347B1 (en) | 2015-02-09 | 2016-06-21 | Microsoft Technology Licensing, Llc | Display system |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
WO2016138178A1 (en) * | 2015-02-25 | 2016-09-01 | Brian Mullins | Visual gestures for a head mounted device |
US10156721B2 (en) * | 2015-03-09 | 2018-12-18 | Microsoft Technology Licensing, Llc | User-based context sensitive hologram reaction |
US10061129B2 (en) | 2015-03-15 | 2018-08-28 | Kessler Optics and Photonics Solutions Ltd. | Birefringent ocular for augmented reality imaging |
CN107645921B (zh) | 2015-03-16 | 2021-06-22 | 奇跃公司 | 用于诊断和治疗健康疾病的方法和*** |
CA2986146A1 (en) | 2015-05-19 | 2016-11-24 | Magic Leap, Inc. | Dual composite light field device |
DE102015006528A1 (de) * | 2015-05-27 | 2016-12-01 | Roland Harras | Verfahren zur Bild- und Filmwiedergabe mit automatischer Fokusierung der Blickbereiche der Betrachter |
US11003246B2 (en) | 2015-07-22 | 2021-05-11 | Mentor Acquisition One, Llc | External user interface for head worn computing |
US10139966B2 (en) | 2015-07-22 | 2018-11-27 | Osterhout Group, Inc. | External user interface for head worn computing |
EP3671317B1 (en) | 2015-07-20 | 2021-11-10 | Magic Leap, Inc. | Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system |
US20170045728A1 (en) * | 2015-08-13 | 2017-02-16 | Novartis Ag | Systems and methods for an optical system with an adjustable projected focal plane |
WO2017062483A1 (en) | 2015-10-05 | 2017-04-13 | Magic Leap, Inc. | Microlens collimator for scanning optical fiber in virtual/augmented reality system |
CN108139518B (zh) | 2015-10-06 | 2024-03-29 | 奇跃公司 | 具有反向角衍射光栅的虚拟/增强现实*** |
WO2017061677A1 (en) * | 2015-10-08 | 2017-04-13 | Lg Electronics Inc. | Head mount display device |
CN105158903B (zh) * | 2015-10-27 | 2018-06-26 | 北京国承万通信息科技有限公司 | 显示器 |
US9709807B2 (en) | 2015-11-03 | 2017-07-18 | Motorola Solutions, Inc. | Out of focus notifications |
CN106680997A (zh) * | 2015-11-05 | 2017-05-17 | 丰唐物联技术(深圳)有限公司 | 显示控制方法及装置 |
CN105571791A (zh) * | 2015-12-19 | 2016-05-11 | 成都尼奥尔电子科技有限公司 | 一种基于显示驱动电路的高灵敏度天燃气检测仪 |
KR102078491B1 (ko) * | 2015-12-30 | 2020-02-17 | 선전 로욜 테크놀로지스 컴퍼니 리미티드 | 머리 장착형 디스플레이 장치 |
WO2017120475A1 (en) | 2016-01-06 | 2017-07-13 | University Of Utah Research Foundation | Low-power large aperture adaptive lenses for smart eyeglasses |
KR20170083690A (ko) * | 2016-01-08 | 2017-07-19 | 삼성디스플레이 주식회사 | 헤드 마운트 장치 및 표시 장치 |
CN105701863B (zh) * | 2016-01-11 | 2018-08-21 | 华为技术有限公司 | 图像处理的方法和装置 |
CN108474904B (zh) | 2016-01-20 | 2021-07-06 | 奇跃公司 | 虚拟/增强现实***中的偏振保持光纤 |
CN108605120A (zh) * | 2016-01-29 | 2018-09-28 | 惠普发展公司,有限责任合伙企业 | 基于关于显示器的眼调节的观看设备调整 |
US10591728B2 (en) | 2016-03-02 | 2020-03-17 | Mentor Acquisition One, Llc | Optical systems for head-worn computers |
US10850116B2 (en) | 2016-12-30 | 2020-12-01 | Mentor Acquisition One, Llc | Head-worn therapy device |
US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
US9826299B1 (en) | 2016-08-22 | 2017-11-21 | Osterhout Group, Inc. | Speaker systems for head-worn computer systems |
US9880441B1 (en) | 2016-09-08 | 2018-01-30 | Osterhout Group, Inc. | Electrochromic systems for head-worn computer systems |
WO2017161019A1 (en) * | 2016-03-15 | 2017-09-21 | Magic Leap, Inc. | Wide baseline stereo for low-latency rendering |
US10176641B2 (en) * | 2016-03-21 | 2019-01-08 | Microsoft Technology Licensing, Llc | Displaying three-dimensional virtual objects based on field of view |
US10013613B2 (en) | 2016-03-23 | 2018-07-03 | International Business Machines Corporation | Identifying objects in an image |
CN109154723B (zh) * | 2016-03-25 | 2021-08-17 | 奇跃公司 | 虚拟和增强现实***和方法 |
EP3436863B1 (en) | 2016-03-31 | 2024-07-10 | Magic Leap, Inc. | Interactions with 3d virtual objects using poses and multiple-dof controllers |
KR20180125600A (ko) | 2016-04-07 | 2018-11-23 | 매직 립, 인코포레이티드 | 증강 현실을 위한 시스템들 및 방법들 |
AU2017246901B2 (en) | 2016-04-08 | 2022-06-02 | Magic Leap, Inc. | Augmented reality systems and methods with variable focus lens elements |
US9910284B1 (en) | 2016-09-08 | 2018-03-06 | Osterhout Group, Inc. | Optical systems for head-worn computers |
US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
US10056057B2 (en) * | 2016-04-13 | 2018-08-21 | Google Llc | Resonant modulation of varifocal liquid membrane lens to provide multiple concurrent focal planes in VR display for realistic focus cues |
US10387719B2 (en) * | 2016-05-20 | 2019-08-20 | Daqri, Llc | Biometric based false input detection for a wearable computing device |
ITUA20163946A1 (it) * | 2016-05-30 | 2017-11-30 | Univ Pisa | Visore indossabile per la realtà aumentata |
US10395428B2 (en) * | 2016-06-13 | 2019-08-27 | Sony Interactive Entertainment Inc. | HMD transitions for focusing on specific content in virtual-reality environments |
KR101915843B1 (ko) * | 2016-06-29 | 2018-11-08 | 한국과학기술원 | 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치 |
US20180003991A1 (en) * | 2016-07-01 | 2018-01-04 | Intel Corporation | Image alignment in head worn display |
US11341776B2 (en) | 2016-07-15 | 2022-05-24 | Htc Corporation | Method, electronic apparatus and recording medium for automatically configuring sensors |
AU2017301435B2 (en) * | 2016-07-25 | 2022-07-14 | Magic Leap, Inc. | Imaging modification, display and visualization using augmented and virtual reality eyewear |
KR101690646B1 (ko) | 2016-08-02 | 2016-12-28 | 아이피랩 주식회사 | 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법 |
CN109644261B (zh) * | 2016-08-04 | 2021-06-01 | 杜比实验室特许公司 | 单一深度追踪调节-聚散解决方案 |
TWI635316B (zh) * | 2016-08-09 | 2018-09-11 | 陳台國 | External near-eye display device |
US10185153B2 (en) | 2016-08-12 | 2019-01-22 | Avegant Corp. | Orthogonal optical path length extender |
CA3033651C (en) | 2016-08-12 | 2023-09-05 | Arizona Board Of Regents On Behalf Of The University Of Arizona | High-resolution freeform eyepiece design with a large exit pupil |
US10057488B2 (en) | 2016-08-12 | 2018-08-21 | Avegant Corp. | Image capture with digital light path length modulation |
US10809546B2 (en) | 2016-08-12 | 2020-10-20 | Avegant Corp. | Digital light path length modulation |
US10516879B2 (en) | 2016-08-12 | 2019-12-24 | Avegant Corp. | Binocular display with digital light path length modulation |
US10401639B2 (en) | 2016-08-12 | 2019-09-03 | Avegant Corp. | Method and apparatus for an optical path length extender |
US10379388B2 (en) | 2016-08-12 | 2019-08-13 | Avegant Corp. | Digital light path length modulation systems |
US10187634B2 (en) | 2016-08-12 | 2019-01-22 | Avegant Corp. | Near-eye display system including a modulation stack |
US10930219B2 (en) | 2016-08-15 | 2021-02-23 | Apple Inc. | Foveated display |
US10559095B2 (en) * | 2016-08-31 | 2020-02-11 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and medium |
WO2018044314A1 (en) | 2016-09-01 | 2018-03-08 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
US10690991B1 (en) | 2016-09-02 | 2020-06-23 | Apple Inc. | Adjustable lens systems |
US10503252B2 (en) | 2016-09-26 | 2019-12-10 | Ihab Ayoub | System and method for eye-reactive display |
US10281980B2 (en) | 2016-09-26 | 2019-05-07 | Ihab Ayoub | System and method for eye-reactive display |
US10068379B2 (en) * | 2016-09-30 | 2018-09-04 | Intel Corporation | Automatic placement of augmented reality models |
CN106412563A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种图像显示方法以及装置 |
US10928638B2 (en) | 2016-10-31 | 2021-02-23 | Dolby Laboratories Licensing Corporation | Eyewear devices with focus tunable lenses |
CN110140077B (zh) | 2016-11-03 | 2022-06-03 | 布里利医疗国际公司 | 视觉辅助设备 |
US11768376B1 (en) | 2016-11-21 | 2023-09-26 | Apple Inc. | Head-mounted display system with display and adjustable optical components |
US9711072B1 (en) * | 2016-12-01 | 2017-07-18 | Varjo Technologies Oy | Display apparatus and method of displaying using focus and context displays |
US9711114B1 (en) * | 2016-12-01 | 2017-07-18 | Varjo Technologies Oy | Display apparatus and method of displaying using projectors |
US11042039B1 (en) * | 2016-12-20 | 2021-06-22 | Facebook Technologies, Llc | Varifocal display with actuated reflectors |
US10885676B2 (en) | 2016-12-27 | 2021-01-05 | Samsung Electronics Co., Ltd. | Method and apparatus for modifying display settings in virtual/augmented reality |
US10448824B2 (en) * | 2016-12-29 | 2019-10-22 | Intel Corporation | Focus adjustment method and apparatus |
CN114594603A (zh) * | 2017-01-19 | 2022-06-07 | 脸谱科技有限责任公司 | 焦面显示 |
US10330936B2 (en) * | 2017-01-19 | 2019-06-25 | Facebook Technologies, Llc | Focal surface display |
US11500143B2 (en) | 2017-01-28 | 2022-11-15 | Lumus Ltd. | Augmented reality imaging system |
CN110235047A (zh) * | 2017-01-30 | 2019-09-13 | 诺华股份有限公司 | 用于增强现实眼科手术显微镜投影的***和方法 |
KR101866683B1 (ko) * | 2017-02-17 | 2018-06-11 | 세종대학교산학협력단 | 편광 의존 렌즈와 편광 조절 장치를 이용한 증강 현실 디스플레이의 영상 투영 거리 조절 장치 및 방법 |
CN110325895B (zh) * | 2017-02-21 | 2022-02-15 | 脸谱科技有限责任公司 | 聚焦调整多平面头戴式显示器 |
CN106980983A (zh) | 2017-02-23 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的业务认证方法及装置 |
IL307602A (en) | 2017-02-23 | 2023-12-01 | Magic Leap Inc | Variable focus virtual imagers based on polarization conversion |
US10545347B2 (en) * | 2017-02-23 | 2020-01-28 | Google Llc | Compact eye tracking using folded display optics |
US20180255285A1 (en) | 2017-03-06 | 2018-09-06 | Universal City Studios Llc | Systems and methods for layered virtual features in an amusement park environment |
JP7182796B2 (ja) | 2017-03-09 | 2022-12-05 | アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ | インテグラルイメージングおよび導波路プリズムを用いたヘッドマウント・ライトフィールド・ディスプレイ |
KR102551780B1 (ko) | 2017-03-30 | 2023-07-04 | 매직 립, 인코포레이티드 | 비차단 이중 드라이버 이어폰들 |
US10977858B2 (en) | 2017-03-30 | 2021-04-13 | Magic Leap, Inc. | Centralized rendering |
JP7211966B2 (ja) | 2017-04-14 | 2023-01-24 | マジック リープ, インコーポレイテッド | マルチモーダル眼追跡 |
US10623634B2 (en) * | 2017-04-17 | 2020-04-14 | Intel Corporation | Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching |
US10768693B2 (en) | 2017-04-19 | 2020-09-08 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
US10979685B1 (en) | 2017-04-28 | 2021-04-13 | Apple Inc. | Focusing for virtual and augmented reality systems |
CN110574375B (zh) | 2017-04-28 | 2023-06-02 | 苹果公司 | 视频流水线 |
CN114019683A (zh) | 2017-05-17 | 2022-02-08 | 苹果公司 | 具有视力矫正的头戴式显示设备 |
CN106950701A (zh) * | 2017-05-19 | 2017-07-14 | 深圳市帝泰光电有限公司 | 一种环境无缝增强多模式mr*** |
CN107315470B (zh) * | 2017-05-25 | 2018-08-17 | 腾讯科技(深圳)有限公司 | 图形处理方法、处理器和虚拟现实*** |
US10855977B2 (en) * | 2017-05-26 | 2020-12-01 | Google Llc | Near-eye display with extended accommodation range adjustment |
US11022803B2 (en) * | 2017-05-27 | 2021-06-01 | Moon Key Lee | Eye glasses-type transparent display using mirror |
IL252585A0 (en) * | 2017-05-29 | 2017-08-31 | Eyeway Vision Ltd | System and method for projection to the eye with focus control |
US11079522B1 (en) | 2017-05-31 | 2021-08-03 | Magic Leap, Inc. | Fiducial design |
DE112018002775T5 (de) * | 2017-06-02 | 2020-02-20 | Apple Inc. | Verfahren und vorrichtung zum erfassen von ebenen und/oder quadtrees zur verwendung als ein virtuelles substrat |
US10304251B2 (en) * | 2017-06-15 | 2019-05-28 | Microsoft Technology Licensing, Llc | Virtually representing spaces and objects while maintaining physical properties |
CN107229340B (zh) * | 2017-06-29 | 2020-04-24 | 联想(北京)有限公司 | 一种信息处理方法以及电子设备 |
US10460527B2 (en) * | 2017-06-30 | 2019-10-29 | Tobii Ab | Systems and methods for displaying images in a virtual world environment |
US10338400B2 (en) | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
US12013538B2 (en) | 2017-07-03 | 2024-06-18 | Holovisions LLC | Augmented reality (AR) eyewear with a section of a fresnel reflector comprising individually-adjustable transmissive-reflective optical elements |
US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
US20190019448A1 (en) * | 2017-07-12 | 2019-01-17 | Oculus Vr, Llc | Redundant microleds of multiple rows for compensation of defective microled |
JP7174929B2 (ja) | 2017-07-19 | 2022-11-18 | ルムス エルティーディー. | Loeを介するlcos照明 |
US10861142B2 (en) | 2017-07-21 | 2020-12-08 | Apple Inc. | Gaze direction-based adaptive pre-filtering of video data |
US11409105B2 (en) | 2017-07-24 | 2022-08-09 | Mentor Acquisition One, Llc | See-through computer display systems |
US10578869B2 (en) | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
US10422995B2 (en) | 2017-07-24 | 2019-09-24 | Mentor Acquisition One, Llc | See-through computer display systems with stray light management |
DE102017213005A1 (de) * | 2017-07-27 | 2019-01-31 | Audi Ag | Verfahren zum Darstellen eines Anzeigeinhalts |
US10969584B2 (en) | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
US11009949B1 (en) | 2017-08-08 | 2021-05-18 | Apple Inc. | Segmented force sensors for wearable devices |
RU176382U1 (ru) * | 2017-08-28 | 2018-01-17 | Общество с ограниченной ответственностью "ТрансИнжКом" | Блок сбора информации для устройства совмещенной реальности |
KR102481884B1 (ko) | 2017-09-22 | 2022-12-28 | 삼성전자주식회사 | 가상 영상을 표시하는 방법 및 장치 |
US10366522B2 (en) | 2017-09-27 | 2019-07-30 | Microsoft Technology Licensing, Llc | Augmented and virtual reality bot infrastructure |
EP3685212B1 (en) | 2017-10-09 | 2023-05-31 | Huawei Technologies Co., Ltd. | Focus tunable optical system and multi-focal display device |
KR101991401B1 (ko) * | 2017-10-12 | 2019-06-20 | 에스케이텔레콤 주식회사 | 증강 현실 표시 방법 및 장치 |
WO2019079523A1 (en) | 2017-10-17 | 2019-04-25 | Magic Leap, Inc. | SPACE AUDIO WITH MIXED REALITY |
KR102022912B1 (ko) * | 2017-10-30 | 2019-09-19 | 주식회사 아이티원 | 혼합현실을 이용한 정보 공유 시스템 |
EP3729802A4 (en) * | 2017-12-22 | 2021-09-08 | Mirage 3.4D Pty Ltd | SYSTEM AND PROCEDURE FOR CAMERA PROJECTION TECHNOLOGY |
US10506220B2 (en) | 2018-01-02 | 2019-12-10 | Lumus Ltd. | Augmented reality displays with active alignment and corresponding methods |
GB201800933D0 (en) * | 2018-01-19 | 2018-03-07 | Adlens Ipr Ltd | Improvements in or relating to variable focal power optical elements,a variable focal power optical device, a display module for augmented reality headset |
US10908325B1 (en) * | 2018-01-19 | 2021-02-02 | Facebook Technologies, Llc | Liquid lens for varifocal display |
US10634913B2 (en) * | 2018-01-22 | 2020-04-28 | Symbol Technologies, Llc | Systems and methods for task-based adjustable focal distance for heads-up displays |
US11181801B2 (en) | 2018-02-06 | 2021-11-23 | Google Llc | Beam steering optics for virtual reality systems |
US11314083B2 (en) | 2018-02-06 | 2022-04-26 | Google Llc | Beam steering optics for near-eye and head mounted displays |
US10719124B2 (en) * | 2018-02-07 | 2020-07-21 | Htc Corporation | Tracking system, tracking method for real-time rendering an image and non-transitory computer-readable medium |
IL307545A (en) | 2018-02-15 | 2023-12-01 | Magic Leap Inc | Dual listening positions for mixed reality |
IL311731A (en) | 2018-02-15 | 2024-05-01 | Magic Leap Inc | Musical instruments in mixed reality |
US20190250407A1 (en) * | 2018-02-15 | 2019-08-15 | Microsoft Technology Licensing, Llc | See-through relay for a virtual reality and a mixed environment display device |
JP2021514081A (ja) | 2018-02-15 | 2021-06-03 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 複合現実仮想反響音 |
CN111869204B (zh) | 2018-03-22 | 2023-10-03 | 亚利桑那大学评议会 | 为基于积分成像的光场显示来渲染光场图像的方法 |
TWI651545B (zh) * | 2018-03-26 | 2019-02-21 | 國立中興大學 | 可變化成像距離的成像裝置 |
US11442591B2 (en) * | 2018-04-09 | 2022-09-13 | Lockheed Martin Corporation | System, method, computer readable medium, and viewer-interface for prioritized selection of mutually occluding objects in a virtual environment |
EP3782010A1 (en) | 2018-04-20 | 2021-02-24 | PCMS Holdings, Inc. | Method and system for gaze-based control of mixed reality content |
US10916066B2 (en) * | 2018-04-20 | 2021-02-09 | Edx Technologies, Inc. | Methods of virtual model modification |
US10871653B1 (en) | 2018-04-24 | 2020-12-22 | Lc-Tec Displays Ab | Viewing direction independent single-layer, pixelated light dimming filter |
WO2019226269A2 (en) | 2018-04-24 | 2019-11-28 | Mentor Acquisition One, Llc | See-through computer display systems with vision correction and increased content density |
EP3788431A1 (en) * | 2018-05-04 | 2021-03-10 | Harman International Industries, Incorporated | Mirrorless heads up display |
US10747309B2 (en) * | 2018-05-10 | 2020-08-18 | Microsoft Technology Licensing, Llc | Reconfigurable optics for switching between near-to-eye display modes |
KR102086779B1 (ko) * | 2018-05-14 | 2020-03-09 | 단국대학교 산학협력단 | 포커스 설정 모듈 및 방법, 그것을 포함하는 버추얼 영상 재생 시스템 |
CN112424727A (zh) | 2018-05-22 | 2021-02-26 | 奇跃公司 | 用于可穿戴***的跨模态输入融合 |
IL259518B2 (en) | 2018-05-22 | 2023-04-01 | Lumus Ltd | Optical system and method for improving light field uniformity |
US10667072B2 (en) | 2018-06-12 | 2020-05-26 | Magic Leap, Inc. | Efficient rendering of virtual soundfields |
US10602292B2 (en) | 2018-06-14 | 2020-03-24 | Magic Leap, Inc. | Methods and systems for audio signal filtering |
US10810992B2 (en) | 2018-06-14 | 2020-10-20 | Magic Leap, Inc. | Reverberation gain normalization |
US10410372B1 (en) | 2018-06-14 | 2019-09-10 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration |
JP2021528000A (ja) | 2018-06-18 | 2021-10-14 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 双方向オーディオ環境のための空間オーディオ |
US11854566B2 (en) | 2018-06-21 | 2023-12-26 | Magic Leap, Inc. | Wearable system speech processing |
KR102664392B1 (ko) | 2018-06-28 | 2024-05-08 | 삼성전자주식회사 | 디스플레이 장치 |
CN110673718B (zh) | 2018-07-02 | 2021-10-29 | 苹果公司 | 用于显示***的基于聚焦的调试和检查 |
US10969586B2 (en) * | 2018-07-10 | 2021-04-06 | Darwin Hu | Ultra light-weight see-through display glasses |
WO2020018938A1 (en) | 2018-07-19 | 2020-01-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
JP7499749B2 (ja) | 2018-07-24 | 2024-06-14 | マジック リープ, インコーポレイテッド | アプリケーション共有 |
WO2020026226A1 (en) * | 2018-07-30 | 2020-02-06 | Reality Plus Ltd. | Mixed reality glasses which display virtual objects that move naturally throughout a user's complete field of view |
KR102546321B1 (ko) | 2018-07-30 | 2023-06-21 | 삼성전자주식회사 | 3차원 영상 표시 장치 및 방법 |
KR102673817B1 (ko) | 2018-07-30 | 2024-06-10 | 삼성전자주식회사 | 3차원 영상 표시 장치 및 영상 처리 방법 |
KR20200021670A (ko) * | 2018-08-21 | 2020-03-02 | 삼성전자주식회사 | 웨어러블 장치 및 그 제어 방법 |
US11002971B1 (en) | 2018-08-24 | 2021-05-11 | Apple Inc. | Display device with mechanically adjustable optical combiner |
EP3844559B1 (en) | 2018-08-31 | 2023-09-27 | Magic Leap, Inc. | Spatially-resolved dynamic dimming for augmented reality device |
CN117572954A (zh) | 2018-09-25 | 2024-02-20 | 奇跃公司 | 用于增强现实的***和方法 |
US11197118B2 (en) | 2018-10-05 | 2021-12-07 | Magic Leap, Inc. | Interaural time difference crossfader for binaural audio rendering |
CN113170272B (zh) | 2018-10-05 | 2023-04-04 | 奇跃公司 | 近场音频渲染 |
CN113168526A (zh) | 2018-10-09 | 2021-07-23 | 奇跃公司 | 用于虚拟和增强现实的***和方法 |
WO2020086760A2 (en) | 2018-10-24 | 2020-04-30 | Magic Leap, Inc. | Asynchronous asic |
US11150480B1 (en) * | 2018-11-06 | 2021-10-19 | Facebook Technologies, Llc | Systems and methods for translation of optical components |
WO2020095556A1 (ja) * | 2018-11-09 | 2020-05-14 | ソニー株式会社 | 虚像表示装置、および虚像表示方法 |
KR102191096B1 (ko) * | 2018-12-07 | 2020-12-15 | 한국전자기술연구원 | 시야창이 확장된 증강현실 근안 디스플레이 |
JP2022516074A (ja) | 2018-12-27 | 2022-02-24 | マジック リープ, インコーポレイテッド | 仮想および拡張現実のためのシステムおよび方法 |
US11200655B2 (en) | 2019-01-11 | 2021-12-14 | Universal City Studios Llc | Wearable visualization system and method |
JP2022517207A (ja) | 2019-01-11 | 2022-03-07 | マジック リープ, インコーポレイテッド | 種々の深度における仮想コンテンツの時間多重化された表示 |
US11099406B2 (en) | 2019-01-24 | 2021-08-24 | International Business Machines Corporation | Delivering augmented reality via embedded contact lens |
US11061254B2 (en) | 2019-01-24 | 2021-07-13 | International Business Machines Corporation | Adjusting contact lens prescription while wearing lens |
KR102185519B1 (ko) * | 2019-02-13 | 2020-12-02 | 주식회사 싸이큐어 | 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이 |
JP2022522748A (ja) | 2019-03-01 | 2022-04-20 | マジック リープ, インコーポレイテッド | 発話処理エンジンのための入力の決定 |
TWI800657B (zh) | 2019-03-12 | 2023-05-01 | 以色列商魯姆斯有限公司 | 圖像投影儀 |
CN111856749A (zh) * | 2019-04-28 | 2020-10-30 | 云谷(固安)科技有限公司 | 显示装置及方法 |
US11467535B2 (en) | 2019-05-08 | 2022-10-11 | Samsung Electronics Co., Ltd. | Multi-image display apparatus providing holographic image |
CN110082846A (zh) * | 2019-05-27 | 2019-08-02 | 维沃移动通信有限公司 | 一种增强现实眼镜 |
EP3980880A4 (en) | 2019-06-06 | 2022-11-23 | Magic Leap, Inc. | PHOTOREAL CHARACTER CONFIGURATIONS FOR SPACE COMPUTING |
CN110180167B (zh) * | 2019-06-13 | 2022-08-09 | 张洋 | 增强现实中智能玩具追踪移动终端的方法 |
US11030459B2 (en) * | 2019-06-27 | 2021-06-08 | Intel Corporation | Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment |
EP3990967A4 (en) | 2019-06-27 | 2022-08-03 | Lumus Ltd. | APPARATUS AND METHODS FOR TRACKING THE EYE BASED ON IMAGING THE EYE THROUGH A LIGHT GUIDE OPTICAL ELEMENT |
US11704874B2 (en) | 2019-08-07 | 2023-07-18 | Magic Leap, Inc. | Spatial instructions and guides in mixed reality |
US11328740B2 (en) | 2019-08-07 | 2022-05-10 | Magic Leap, Inc. | Voice onset detection |
US11467405B2 (en) | 2019-08-30 | 2022-10-11 | Lg Electronics Inc. | Wearable electronic device on head |
JP2022553202A (ja) | 2019-10-18 | 2022-12-22 | マジック リープ, インコーポレイテッド | 視覚的慣性オドメトリのための重力推定およびバンドル調整 |
US11488365B2 (en) | 2019-10-25 | 2022-11-01 | Magic Leap, Inc. | Non-uniform stereo rendering |
US11304017B2 (en) | 2019-10-25 | 2022-04-12 | Magic Leap, Inc. | Reverberation fingerprint estimation |
US11959997B2 (en) | 2019-11-22 | 2024-04-16 | Magic Leap, Inc. | System and method for tracking a wearable device |
WO2021113782A1 (en) | 2019-12-04 | 2021-06-10 | Magic Leap, Inc. | Variable-pitch color emitting display |
JP2023505230A (ja) * | 2019-12-06 | 2023-02-08 | マジック リープ, インコーポレイテッド | 仮想、拡張、および複合現実システムおよび方法 |
US11627430B2 (en) | 2019-12-06 | 2023-04-11 | Magic Leap, Inc. | Environment acoustics persistence |
US11269181B2 (en) | 2019-12-09 | 2022-03-08 | Magic Leap, Inc. | Systems and methods for operating a head-mounted display system based on user identity |
US11337023B2 (en) | 2019-12-20 | 2022-05-17 | Magic Leap, Inc. | Physics-based audio and haptic synthesis |
IT202000001246A1 (it) * | 2020-01-22 | 2021-07-22 | Univ Pisa | Sistema perfezionato per la fruizione di realtà aumentata |
CN115398936A (zh) | 2020-02-14 | 2022-11-25 | 奇跃公司 | 多应用音频渲染 |
EP4104002A4 (en) | 2020-02-14 | 2023-08-09 | Magic Leap, Inc. | 3D OBJECT ANNOTATION |
US11778410B2 (en) | 2020-02-14 | 2023-10-03 | Magic Leap, Inc. | Delayed audio following |
JP2023514572A (ja) | 2020-02-14 | 2023-04-06 | マジック リープ, インコーポレイテッド | セッションマネージャ |
EP4104000A4 (en) | 2020-02-14 | 2023-07-12 | Magic Leap, Inc. | TOOL BRIDGE |
WO2021173862A1 (en) * | 2020-02-26 | 2021-09-02 | Magic Leap, Inc. | Cross reality system with buffering for localization accuracy |
CN117714967A (zh) | 2020-03-02 | 2024-03-15 | 奇跃公司 | 沉浸式音频平台 |
US11823343B1 (en) * | 2020-03-26 | 2023-11-21 | Apple Inc. | Method and device for modifying content according to various simulation characteristics |
US11917384B2 (en) | 2020-03-27 | 2024-02-27 | Magic Leap, Inc. | Method of waking a device using spoken voice commands |
US11846782B1 (en) | 2020-04-13 | 2023-12-19 | Apple Inc. | Electronic devices with deformation sensors |
US20210325678A1 (en) * | 2020-04-20 | 2021-10-21 | Apple Inc. | Electronic Devices with Optical Modules |
JP2023527561A (ja) | 2020-05-29 | 2023-06-29 | マジック リープ, インコーポレイテッド | 表面の適切な衝突 |
JP2023527357A (ja) | 2020-05-29 | 2023-06-28 | マジック リープ, インコーポレイテッド | 角加速の決定 |
WO2022005970A1 (en) * | 2020-06-29 | 2022-01-06 | Snap Inc. | Eyewear with shared gaze-responsive viewing |
CN111982468B (zh) * | 2020-07-29 | 2022-12-09 | 深圳惠牛科技有限公司 | 一种视场角的测量方法、设备、***及计算机存储介质 |
US11354575B1 (en) * | 2020-08-14 | 2022-06-07 | Facebook Technologies, Llc. | Calibrated sensitivity model approximating the eye |
TWI759840B (zh) * | 2020-08-31 | 2022-04-01 | 創新未來國際有限公司 | 迷你功能型顯示裝置 |
US11694380B2 (en) | 2020-11-13 | 2023-07-04 | Zoltan GELENCSER | System and method for immersive telecommunications |
DE102020214478A1 (de) | 2020-11-18 | 2022-05-19 | Robert Bosch Gesellschaft mit beschränkter Haftung | Ophthalmische Linse für eine Brille und Verfahren zum Herstellen einer ophthalmischen Linse |
US12020359B2 (en) | 2020-12-07 | 2024-06-25 | Zoltan GELENCSER | System and method for immersive telecommunications supported by AI analysis |
EP4264942A1 (en) | 2020-12-20 | 2023-10-25 | Lumus Ltd. | Image projector with laser scanning over spatial light modulator |
KR20220107753A (ko) * | 2021-01-26 | 2022-08-02 | 삼성전자주식회사 | 시력 보정 렌즈를 포함하는 디스플레이 장치 |
JP2024507749A (ja) | 2021-02-08 | 2024-02-21 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるコンテンツ共有 |
JP2024509722A (ja) | 2021-02-08 | 2024-03-05 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるユーザ相互作用 |
KR20230144042A (ko) | 2021-02-08 | 2023-10-13 | 사이트풀 컴퓨터스 리미티드 | 생산성을 위한 확장 현실 |
KR102332169B1 (ko) | 2021-02-24 | 2021-12-01 | 주식회사 셀리코 | 증강현실 기반의 인공망막 시스템 |
TW202244552A (zh) | 2021-03-01 | 2022-11-16 | 以色列商魯姆斯有限公司 | 具有從投影儀到波導中的緊湊耦合的光學系統 |
TWI799828B (zh) | 2021-03-31 | 2023-04-21 | 中強光電股份有限公司 | 影像處理裝置、影像處理方法以及3d影像產生系統 |
KR20240097972A (ko) | 2021-05-19 | 2024-06-27 | 루머스 리미티드 | 액티브 광학 엔진 |
FR3124281A1 (fr) * | 2021-06-18 | 2022-12-23 | Trivisio | Dispositif optique pour afficher un contenu à proximité de l’œil d’un utilisateur |
WO2023009580A2 (en) | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
WO2023023398A1 (en) * | 2021-08-20 | 2023-02-23 | Meta Platforms Technologies, Llc | Eyeglass devices and related methods |
EP4374204A1 (en) | 2021-08-23 | 2024-05-29 | Lumus Ltd. | Methods of fabrication of compound light-guide optical elements having embedded coupling-in reflectors |
CN113724309B (zh) * | 2021-08-27 | 2024-06-14 | 杭州海康威视数字技术股份有限公司 | 图像生成方法、装置、设备及存储介质 |
WO2023107272A2 (en) * | 2021-12-10 | 2023-06-15 | Google Llc | Lens tinting for integrated lens display |
US20230334795A1 (en) | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
WO2023154996A1 (en) * | 2022-02-15 | 2023-08-24 | Vuereal Inc. | Nonintrusive head-mounted device |
US11803238B1 (en) * | 2022-06-03 | 2023-10-31 | Microsoft Technology Licensing, Llc | Eye and hand tracking utilizing lensless camera and machine learning |
WO2024064909A2 (en) * | 2022-09-23 | 2024-03-28 | Magic Leap, Inc. | Methods, systems, and computer program products for alignment of a wearable device |
CN117572647B (zh) * | 2024-01-15 | 2024-04-26 | 北京晟启光芯科技有限公司 | 一种微显示器、智能显示装置及其画面防抖方法 |
Family Cites Families (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4041505A (en) | 1975-12-31 | 1977-08-09 | Bell & Howell Company | Automatic electronic rangefinder |
JPS5547006U (es) | 1978-09-18 | 1980-03-27 | ||
US4934773A (en) | 1987-07-27 | 1990-06-19 | Reflection Technology, Inc. | Miniature video display system |
JPH02262112A (ja) | 1989-03-31 | 1990-10-24 | Fuji Photo Film Co Ltd | 電動ズーミング装置 |
CA2054344C (en) | 1990-10-29 | 1997-04-15 | Kazuhiro Itsumi | Video camera having focusing and image-processing function |
US20060033992A1 (en) * | 2002-12-02 | 2006-02-16 | Solomon Dennis J | Advanced integrated scanning focal immersive visual display |
US20040130783A1 (en) * | 2002-12-02 | 2004-07-08 | Solomon Dennis J | Visual display with full accommodation |
JP2901116B2 (ja) | 1992-11-30 | 1999-06-07 | 株式会社日立製作所 | オートフォーカス装置の制御方法 |
US5977935A (en) | 1993-08-12 | 1999-11-02 | Seiko Epson Corporation | Head-mounted image display device and data processing apparatus including the same |
US5416876A (en) | 1994-01-28 | 1995-05-16 | Hughes Training, Inc. | Fiber optic ribbon subminiature display for head/helmet mounted display |
US5583795A (en) * | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
US8330812B2 (en) | 1995-05-30 | 2012-12-11 | Simulated Percepts, Llc | Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame |
GB9511091D0 (en) | 1995-06-01 | 1995-07-26 | Silver Joshua D | Variable power spectacles |
US6317127B1 (en) * | 1996-10-16 | 2001-11-13 | Hughes Electronics Corporation | Multi-user real-time augmented reality system and method |
GB9805977D0 (en) | 1998-03-19 | 1998-05-20 | Silver Joshua D | Improvements in variable focus optical devices |
US7098871B1 (en) * | 1998-08-05 | 2006-08-29 | Microvision, Inc. | Optical scanning system with correction |
US6396461B1 (en) * | 1998-08-05 | 2002-05-28 | Microvision, Inc. | Personal display with vision tracking |
US6191761B1 (en) * | 1998-11-09 | 2001-02-20 | University Of Washington | Method and apparatus for determining optical distance |
JP2002542505A (ja) * | 1999-04-08 | 2002-12-10 | ニューヨーク ユニバーシティ | 超解像力を有する中心窩画像表示装置 |
US6053610A (en) | 1999-07-15 | 2000-04-25 | Lane Research | Actuation mechanism for variable focal length spectacles |
JP2001032759A (ja) | 1999-07-23 | 2001-02-06 | Hitachi Zosen Corp | 風力発電装置 |
US6408257B1 (en) * | 1999-08-31 | 2002-06-18 | Xerox Corporation | Augmented-reality display method and system |
EP1083755A3 (en) | 1999-09-07 | 2003-11-12 | Canon Kabushiki Kaisha | Image input apparatus and image display apparatus |
JP2001215441A (ja) | 2000-02-07 | 2001-08-10 | Mixed Reality Systems Laboratory Inc | 画像観察装置 |
JP3492251B2 (ja) | 1999-09-07 | 2004-02-03 | キヤノン株式会社 | 画像入力装置及び画像表示装置 |
JP2001197522A (ja) | 2000-01-12 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 画像表示装置 |
US6898307B1 (en) * | 1999-09-22 | 2005-05-24 | Xerox Corporation | Object identification method and system for an augmented-reality display |
JP2001242370A (ja) | 2000-02-25 | 2001-09-07 | Fuji Photo Optical Co Ltd | レンズ装置 |
JP2001264614A (ja) | 2000-03-15 | 2001-09-26 | Fuji Photo Optical Co Ltd | ズームレンズ |
JP4064656B2 (ja) | 2000-09-28 | 2008-03-19 | 株式会社東芝 | 静電アクチュエータ及びその駆動方法 |
JP3477441B2 (ja) | 2000-12-08 | 2003-12-10 | 川崎重工業株式会社 | 画像表示装置 |
US6886137B2 (en) | 2001-05-29 | 2005-04-26 | International Business Machines Corporation | Eye gaze control of dynamic information presentation |
US7133077B2 (en) | 2001-07-02 | 2006-11-07 | Canon Kabushiki Kaisha | Auto focus camera, lens apparatus and camera system with a vibration motor drive |
JP4072330B2 (ja) | 2001-10-31 | 2008-04-09 | キヤノン株式会社 | 表示装置および情報処理方法 |
AU2002222543A1 (en) * | 2001-11-27 | 2003-06-10 | Freni Brembo S.P.A. | Duo-servo drum brake inside shoes adjusting device |
KR100427649B1 (ko) | 2001-12-26 | 2004-04-28 | 한국전자통신연구원 | 증강현실 기술을 이용한 별자리 관측시스템 |
WO2004061519A1 (ja) * | 2002-12-24 | 2004-07-22 | Nikon Corporation | ヘッドマウントディスプレイ |
US7401920B1 (en) | 2003-05-20 | 2008-07-22 | Elbit Systems Ltd. | Head mounted eye tracking and display system |
IL157837A (en) | 2003-09-10 | 2012-12-31 | Yaakov Amitai | Substrate-guided optical device particularly for three-dimensional displays |
JP2005208255A (ja) | 2004-01-21 | 2005-08-04 | Fujinon Corp | 撮影レンズ装置 |
JP4498019B2 (ja) | 2004-06-08 | 2010-07-07 | キヤノン株式会社 | 光学装置及び撮像システム |
CN1993688B (zh) | 2004-08-03 | 2012-01-18 | 西尔弗布鲁克研究有限公司 | 走近启动的打印 |
WO2006017771A1 (en) | 2004-08-06 | 2006-02-16 | University Of Washington | Variable fixation viewing distance scanned light displays |
US20060146012A1 (en) | 2005-01-04 | 2006-07-06 | Arneson Theodore R | System and method for automatic display switching |
US8140197B2 (en) | 2005-02-17 | 2012-03-20 | Lumus Ltd. | Personal navigation system |
US7457434B2 (en) | 2005-04-04 | 2008-11-25 | Massachusetts Eye & Ear Infirmary | Adaptively focusing extra-ocular vision prostheses |
WO2006108017A2 (en) | 2005-04-04 | 2006-10-12 | Lc Technologies, Inc. | Explicit raytracing for gimbal-based gazepoint trackers |
US20060250322A1 (en) | 2005-05-09 | 2006-11-09 | Optics 1, Inc. | Dynamic vergence and focus control for head-mounted displays |
JP2006330053A (ja) | 2005-05-23 | 2006-12-07 | Konica Minolta Opto Inc | レンズ鏡胴 |
JP2006330054A (ja) | 2005-05-23 | 2006-12-07 | Konica Minolta Opto Inc | レンズ鏡胴 |
US7265911B2 (en) | 2005-08-22 | 2007-09-04 | Eastman Kodak Company | Zoom lens system having variable power element |
WO2007063306A2 (en) | 2005-12-02 | 2007-06-07 | Spiral Scratch Limited | Virtual computer interface |
US9323055B2 (en) * | 2006-05-26 | 2016-04-26 | Exelis, Inc. | System and method to display maintenance and operational instructions of an apparatus using augmented reality |
KR100820639B1 (ko) | 2006-07-25 | 2008-04-10 | 한국과학기술연구원 | 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법 |
CN101506690A (zh) | 2006-08-24 | 2009-08-12 | 新加坡科技研究局 | 可变焦点的变焦透镜 |
US7866816B2 (en) | 2006-10-10 | 2011-01-11 | Lane Research, Llc | Variable focus spectacles |
WO2008050904A1 (fr) | 2006-10-25 | 2008-05-02 | Tokyo Institute Of Technology | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution |
CN102289073B (zh) | 2007-11-21 | 2014-01-15 | 松下电器产业株式会社 | 显示装置 |
JP5169253B2 (ja) | 2008-01-29 | 2013-03-27 | ブラザー工業株式会社 | 画像表示装置 |
US20090295683A1 (en) * | 2008-05-27 | 2009-12-03 | Randall Pugh | Head mounted display with variable focal length lens |
JP5152580B2 (ja) | 2008-07-29 | 2013-02-27 | カシオ計算機株式会社 | 撮影装置、及び光学装置 |
JP2010139575A (ja) | 2008-12-09 | 2010-06-24 | Brother Ind Ltd | シースルー型ヘッドマウント表示装置 |
JP2010139901A (ja) | 2008-12-15 | 2010-06-24 | Brother Ind Ltd | ヘッドマウントディスプレイ |
BRPI1007918A2 (pt) | 2009-02-05 | 2016-02-23 | Hoya Corp | métodos de projeto de lente de óculos, de avaliação de lente de óculos, e de fabricação de lente de óculos, sistema de fabricação de lente de óculos, e, lentes de óculos |
US20100238161A1 (en) * | 2009-03-19 | 2010-09-23 | Kenneth Varga | Computer-aided system for 360º heads up display of safety/mission critical data |
KR20090053838A (ko) | 2009-03-24 | 2009-05-27 | 에이전시 포 사이언스, 테크놀로지 앤드 리서치 | 가변 포커스 줌 렌즈 |
WO2010118292A1 (en) | 2009-04-09 | 2010-10-14 | Dynavox Systems, Llc | Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods |
US20110075257A1 (en) * | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
JP5791131B2 (ja) | 2010-07-20 | 2015-10-07 | アップル インコーポレイテッド | 自然な相互作用のための相互作用的現実拡張 |
US8941559B2 (en) * | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
-
2010
- 2010-11-08 US US12/941,825 patent/US9292973B2/en active Active
-
2011
- 2011-09-23 TW TW100134409A patent/TWI539185B/zh not_active IP Right Cessation
- 2011-10-31 WO PCT/US2011/058604 patent/WO2012064546A1/en active Application Filing
- 2011-10-31 ES ES11840164T patent/ES2713521T3/es active Active
- 2011-10-31 EP EP11840164.5A patent/EP2638693B1/en active Active
- 2011-10-31 CA CA2815372A patent/CA2815372C/en not_active Expired - Fee Related
- 2011-10-31 KR KR1020137011956A patent/KR101912958B1/ko active IP Right Grant
- 2011-10-31 JP JP2013538778A patent/JP5913346B2/ja active Active
- 2011-11-07 CN CN201110364954.7A patent/CN102566049B/zh active Active
- 2011-11-08 AR ARP110104179A patent/AR083807A1/es not_active Application Discontinuation
-
2012
- 2012-12-17 HK HK12113018.7A patent/HK1172098A1/xx unknown
-
2013
- 2013-04-28 IL IL225995A patent/IL225995A/en active IP Right Grant
-
2016
- 2016-02-12 US US15/043,144 patent/US9588341B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
TW201224516A (en) | 2012-06-16 |
JP5913346B2 (ja) | 2016-04-27 |
TWI539185B (zh) | 2016-06-21 |
US20160161740A1 (en) | 2016-06-09 |
CN102566049B (zh) | 2015-05-13 |
EP2638693B1 (en) | 2018-11-28 |
CN102566049A (zh) | 2012-07-11 |
US9292973B2 (en) | 2016-03-22 |
US20120113092A1 (en) | 2012-05-10 |
KR20130139280A (ko) | 2013-12-20 |
EP2638693A4 (en) | 2014-03-26 |
IL225995A0 (en) | 2013-06-27 |
IL225995A (en) | 2017-03-30 |
AR083807A1 (es) | 2013-03-20 |
EP2638693A1 (en) | 2013-09-18 |
CA2815372C (en) | 2018-04-10 |
CA2815372A1 (en) | 2012-05-18 |
JP2014505381A (ja) | 2014-02-27 |
KR101912958B1 (ko) | 2018-10-29 |
WO2012064546A1 (en) | 2012-05-18 |
US9588341B2 (en) | 2017-03-07 |
HK1172098A1 (en) | 2013-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
ES2713521T3 (es) | Foco virtual variable automático para presentaciones de realidad aumentada | |
US10055889B2 (en) | Automatic focus improvement for augmented reality displays | |
CN105359076B (zh) | 多步骤虚拟对象选择方法和装置 | |
EP3000020B1 (en) | Hologram anchoring and dynamic positioning | |
JP5965410B2 (ja) | 拡張現実ディスプレイ用最適焦点エリア | |
CN107005653B (zh) | 进行虚拟聚焦反馈的装置、方法以及头戴式显示器 | |
CA2750287C (en) | Gaze detection in a see-through, near-eye, mixed reality display | |
TW201435654A (zh) | 可穿戴基於行爲的視覺系統 |