ES2391112A1 - Space projection system of increased reality fixed to the head (Machine-translation by Google Translate, not legally binding) - Google Patents

Abstract

The system object of the invention is an augmented reality projection device fixed to the head, in such a way that the movements performed by it are followed in solidarity. In addition to the fixing system consists of a video camera that records information about the environment, and a projector through which information generated by a computer overlays on it. Being solidary with the movement of the head, the relative position between system and user is known, which allows the projected elements to maintain spatial coherence with the environment from their point of view, in such a way that the projection can simulate 3d objects located in said environment, by varying the projection according to the registered movements; in this way, if the observer moves in the surroundings, the projection will vary in correspondence to simulate the presence of static objects. (Machine-translation by Google Translate, not legally binding)

Description

Sistema de proyección espacial de realidad aumentada fijado a la cabeza Augmented reality spatial projection system fixed to the head

SECTOR TÉCNICO La invención se encuadra dentro de los dispositivos de proyección de realidad aumentada, compaginando características de los dispositivos montados sobre la cabeza y los dispositivos de proyección espacial. TECHNICAL SECTOR The invention fits into augmented reality projection devices, combining features of head mounted devices and spatial projection devices.

ANTECEDENTES DE LA INVENCIÓN La realidad aumentada es una disciplina cuyo objetivo es la integración de información generada mediante un computador en el entorno real que nos rodea, mediante la apropiada generación de gráficos que se superponen sobre dicho entorno atendiendo a criterios fijados por cada aplicación. Esta integración se puede realizar haciendo uso de diferentes estrategias, dependiendo de si se orientan a un observador o al enriquecimiento de un entorno, y dependienta también de las tecnologías implicadas en su desarrollo. Los factores comunes a la mayoría de todas las soluciones de integración son: presencia de uno o varios dispositivos sensores, que capturan información del entorno, un computador, que se encarga de la generación de los gráficos que luego serán superpuestos con el entorno, y un dispositivo de visualización, que realiza la integración final de los elementos generados por computador con el entorno. De las distintas combinaciones de estos factores han surgido propuestas para diferentes dispositivos de visualización de elementos de realidad aumentada. Una posible clasificación de estos es: BACKGROUND OF THE INVENTION Augmented reality is a discipline whose objective is the integration of information generated by a computer in the real environment that surrounds us, through the appropriate generation of graphics that overlap on that environment according to criteria set by each application. This integration can be done using different strategies, depending on whether they are oriented to an observer or the enrichment of an environment, and also dependent on the technologies involved in their development. The factors common to most of all integration solutions are: presence of one or more sensor devices, which capture information from the environment, a computer, which is responsible for generating the graphics that will then be superimposed with the environment, and a display device, which performs the final integration of the computer generated elements with the environment. Proposals for different visualization devices of augmented reality elements have emerged from the different combinations of these factors. A possible classification of these is:

• •

De visualización indirecta, en los que se utiliza un display para la visualización del resultado de la integración, como pueda ser un monitor de un computador o la pantalla de un dispositivo de mano (PDA, teléfono móvil, ... ) Indirect display, in which a display is used to display the result of the integration, such as a computer monitor or the screen of a handheld device (PDA, mobile phone, ...)

• •

De visualización directa, en los que se utiliza algún tipo de solución que realiza la integración y genera dos vistas diferentes, una para cada ojo del observador, de forma que se muestra una imagen diferenciada para Direct visualization, in which some type of solution is used that performs the integration and generates two different views, one for each eye of the observer, so that a differentiated image is shown for

cada uno de ellos con lo que se consigue un efecto estereoscópico. Este tipo de soluciones implica la utilización de algún dispositivo fijado a la cabeza, de forma que el resultado de la integración es sólo visible para su usuario. Dentro de estos dispositivos se pueden encontrar diferentes soluciones: each of them with which a stereoscopic effect is achieved. This type of solution involves the use of some device attached to the head, so that the result of the integration is only visible to its user. Within these devices you can find different solutions:

o Head Mounted Displays (HMD's), para los que la solución adoptada consiste en incorporar dos pequeños displays, montados a modo de cristales de unas gafas, en los que se reproduce la imagen que cada ojo debería ver. Estos displays pueden ser opacos (en los que se reproduce la imagen de los elementos reales y los generados por computador simultáneamente), o transparentes, en los que sólo se reproducen los elementos generados por computador al permitir el paso de la luz procedente del entorno. or Head Mounted Displays (HMD's), for which the solution adopted consists of incorporating two small displays, mounted as glasses glasses, in which the image that each eye should see is reproduced. These displays can be opaque (in which the image of the real elements and those generated by the computer are reproduced simultaneously), or transparent, in which only the elements generated by the computer are reproduced by allowing the passage of light from the environment.

o Virtual Retinal Displays (VRD's), para los que la solución consiste en proyectar directamente sobre la retina las imágenes generadas por el computador, de forma que se superponen directamente sobre el sistema visual del observador. or Virtual Retinal Displays (VRD's), for which the solution consists of projecting directly on the retina the images generated by the computer, so that they are superimposed directly on the visual system of the observer.

o Head Mounted Projective Displays (HMPD's), en los que se incorpora una pantalla transparente sobre la que se proyectan los elementos generados por el computador. or Head Mounted Projective Displays (HMPD's), which incorporates a transparent screen on which the elements generated by the computer are projected.

• De proyección espacial, en los que se proyectan los elementos generados por el computador sobre el propio entorno (como lo haría un proyector tradicional sobre una pantalla), cuidando de que ésta sea coherente con dicho entorno pero sin que esto implique coherencia con el punto de vista de ningún observador en concreto (el aspecto de la proyección no cambia cuando el observador modifica su posición). • Of spatial projection, in which the elements generated by the computer are projected on the environment itself (as a traditional projector would do on a screen), taking care that it is consistent with said environment but without this implying coherence with the point of view of any particular observer (the aspect of the projection does not change when the observer changes its position).

Sería, por tanto, deseable contar con un dispositivo capaz de aunar las ventajas de cada una de las soluciones presentadas, conjugando la posición fija a la cabeza que permite simular una integración de objetos 3D generados por computador en el entorno, con la proyección espacial, que permite el enriquecimiento real del entorno mediante la integración directa sobre éste de los elementos generados por el computador. El resultado sería la posibilidad de contar con un dispositivo que proyectaría elementos generados por computador sobre el entorno guardando la coherencia espacial con él a los ojos del observador. Con este objetivo, la presente invención combina elementos de fijación solidaria del dispositivo a la cabeza del observador, la presencia de una cámara montada sobre dicho elemento de fijación, y de un picoproyector tambíen montado sobre éste, de manera que todos ellos mantengan su posición relativa y garanticen la posibilidad de cumplir con el objetivo de mantener la coherencia espacial entre los elementos proyectados sobre el entorno y éste a los ojos del observador. It would therefore be desirable to have a device capable of combining the advantages of each of the solutions presented, combining the fixed position at the head that allows simulating an integration of 3D objects generated by computer in the environment, with spatial projection, which allows the real enrichment of the environment through the direct integration on it of the elements generated by the computer. The result would be the possibility of having a device that would project computer generated elements on the environment, keeping spatial coherence with it in the eyes of the observer. With this aim, the present invention combines solidarity fixing elements of the device at the head of the observer, the presence of a camera mounted on said fixing element, and of a projector also mounted on it, so that they all maintain their relative position and guarantee the possibility of fulfilling the objective of maintaining spatial coherence between the elements projected on the environment and this in the eyes of the observer.

DESCRIPCIÓN DE LA INVENCIÓN La presente invención consiste en un dispositivo de proyección espacial de realidad aumentada fijado a la cabeza y al procedimiento para su correcto funcionamiento tal y como describen las reivindicaciones. En particular, la invención cuenta con una cámara configurada para registrar información del entorno y acoplada a unos medios de procesamiento que están configurados para procesar la señal y extraer la información tridimensional del entorno. Además comprende un proyector configurado para recibir la información tridimensional y generar una proyección de acuerdo con dicha información tridimensional. También posee unos medios de fijación diseñados para fijar a la cabeza de un usuario la cámara y el proyector referido de manera que se muevan solidariamente y de manera conjunta sin variar sustancialmente la distancia relativa con los ojos del usuario. DESCRIPTION OF THE INVENTION The present invention consists of an augmented reality spatial projection device fixed to the head and to the procedure for its correct operation as described in the claims. In particular, the invention has a camera configured to record information from the environment and coupled to processing means that are configured to process the signal and extract the three-dimensional information from the environment. It also comprises a projector configured to receive three-dimensional information and generate a projection according to said three-dimensional information. It also has fixing means designed to fix the camera and the referred projector to a user's head so that they move in solidarity and together without substantially varying the relative distance with the user's eyes.

BREVE DESCRIPCIÓN DE LOS DIBUJOS La figura 1 describe una posible realización del sistema, en la que se utiliza un casco (1) como elemento de soporte de cámara (2) y picoproyector (3) y de fijación solidaria del conjunto a la cabeza del usuario. En la figura 2 se aprecia cómo la configuración de la proyección que realiza el picoproyector puede verse modificada cuando el sistema se desplaza respecto al entorno: para conseguir que el elemento proyectado (5) aparezca inmóvil en el entorno, un desplazamiento del sistema puede ocasionar que la proyección cambie de una configuración como (4) a una configuración como (6), de tal forma que el mencionado elemento (5) permanezca aparentemente inmóvil. En las figuras 3 y 4 pueden verse detalles de sendas configuraciones de proyección. En la figura 6 puede verse en detalle cómo para simular la presencia de un objeto tridimensional (8) en el entorno para el observador (7) es necesario realizar una proyección adaptada a la superficie sobre la que se realiza. En este caso, la sensación de estar observando un objeto tridimensional cuando se proyecta sobre una superficie plana y horizontal requiere que el picoproyector genere una imagen como (9), que vista desde la perspectiva del observador (7) dará la sensación de estar contemplando el objeto tridimensional (8) sobre dicha superficie de proyección. BRIEF DESCRIPTION OF THE DRAWINGS Figure 1 describes a possible embodiment of the system, in which a helmet (1) is used as a camera support element (2) and a projector peak (3) and a joint fixing of the assembly to the user's head . Figure 2 shows how the configuration of the projection made by the picoprojector can be modified when the system moves with respect to the environment: to ensure that the projected element (5) appears motionless in the environment, a system displacement can cause the projection changes from a configuration like (4) to a configuration like (6), so that the mentioned element (5) remains apparently motionless. Details of both projection configurations can be seen in Figures 3 and 4. In figure 6 it can be seen in detail how to simulate the presence of a three-dimensional object (8) in the environment for the observer (7) it is necessary to make a projection adapted to the surface on which it is made. In this case, the sensation of observing a three-dimensional object when it is projected on a flat and horizontal surface requires that the picoprojector generates an image such as (9), which seen from the perspective of the observer (7) will give the sensation of being contemplating the three-dimensional object (8) on said projection surface.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN Un elemento de fijación del conjunto a la cabeza (1 ); a tal fin puede utilizarse un casco o gorro rígido firmemente sujeto, o unas gafas sujetas con patillas o con banda elástica, en el caso de que el peso y volumen de los demás componentes lo permitan. Su cometido fundamental no es sólo de sujección del conjunto, sino que debe garantizar que las posiciones relativas entre todos los elementos de la invención (cámara -picoproyector) y los ojos del observador permanecen sin variaciones. Esta última característica es imprescindible para permitir realizar los cálculos necesarios para el correcto funcionamiento del sistema de forma precisa. Si fuera necesario, la medición de dichas posiciones relativas debería realizarse mediante el adecuado proceso de calibración de todo el sistema. DETAILED DESCRIPTION OF THE INVENTION An element for fixing the assembly to the head (1); For this purpose, a tightly fastened hard hat or hat, or glasses fastened with pins or with an elastic band, may be used, in the event that the weight and volume of the other components allow it. Its fundamental task is not only to fasten the assembly, but it must ensure that the relative positions between all the elements of the invention (camera-projector) and the eyes of the observer remain unchanged. This last feature is essential to allow the calculations necessary for the correct operation of the system accurately. If necessary, the measurement of these relative positions should be carried out through the proper calibration process of the entire system.

• Una cámara de vídeo (2), fijada de forma solidaria al elemento de fijación descrito anteriormente. Su cometido es capturar imágenes del entorno de forma continua (de ahí que necesariamente sea una cámara de vídeo), imágenes que inmediatamente serán enviadas a un computador para su procesamiento. El resultado de este procesamiento debe ser la posición y orientación tridimensional del observador dentro del entorno circundante, o respecto a los elementos más representativos o necesarios para la aplicación que en cada caso se considere. En muchas aplicaciones, estos elementos representativos son las llamadas 'marcas fiduciarias' (5), cuya forma y tamaño son conocidos, de tal forma que mediante la perspectiva apreciada en la imagen la posición y orientación tridimensional del observador, necesaria para completar la aplicación, puede extraerse de forma sencilla. No obstante, no es necesario que la referencia para la extracción de esta información sean estas marcas, pudiendo ser cualquier otro objeto integrado en el entorno. • A video camera (2), fixed in solidarity with the fixing element described above. Its task is to capture images of the environment continuously (hence it is necessarily a video camera), images that will immediately be sent to a computer for processing. The result of this processing must be the position and three-dimensional orientation of the observer within the surrounding environment, or with respect to the most representative or necessary elements for the application considered in each case. In many applications, these representative elements are the so-called 'fiduciary marks' (5), whose shape and size are known, so that through the perspective seen in the image the position and three-dimensional orientation of the observer, necessary to complete the application, It can be removed easily. However, it is not necessary that the reference for the extraction of this information be these marks, being able to be any other object integrated in the environment.

• Un picoproyector (3), fijada asimismos sobre el elemento de fijación descrito en primer lugar de forma solidaria, y garantizando una posición relativa fija respecto a la cámara, y de ambos respecto al usuario del sistema (7). Su cometido es proyectar sobre el entorno los gráficos generados por el computador (9) sobre la base de la información tridimensional extraída del análisis de las imágenes suministradas por la cámara. De esta forma, los gráficos proyectados sobre el entorno mantienen la coherencia espacial con éste (8), dando al observador la sensación de que los elementos representados por dichos gráficos realmente 'están ahí', integrados perfectamente. • A picoprojector (3), fixed asymmetries on the fixation element described first in solidarity, and guaranteeing a fixed relative position with respect to the camera, and both with respect to the user of the system (7). Its task is to project the graphics generated by the computer (9) on the environment based on the three-dimensional information extracted from the analysis of the images supplied by the camera. In this way, the projected graphics on the environment maintain spatial coherence with it (8), giving the observer the feeling that the elements represented by these graphics are really 'there', perfectly integrated.

El sistema tiene un funcionamiento continuo, de tal forma que los cambios de posición y/u orientación del usuario respecto al entorno, son inmediatamente capturados por la cámara montada en el sistema, analizados por el computador y utilizados para modificar la proyección. The system has a continuous operation, in such a way that the changes of position and / or orientation of the user with respect to the environment, are immediately captured by the camera mounted in the system, analyzed by the computer and used to modify the projection.

Sirva como ejemplo la idea de que el sistema está integrando en el entorno una supuesta estatua, generada en este caso por el computador; si el usuario del sistema comenzase a rodear la posición donde dicha estatua está siendo proyectada, como haría con una real para apreciarla desde todos los ángulos, el sistema reaccionaría modificando la proyección, de tal forma que aparentemente se mantendría estática mientras el observador la rodea, como sucedería con una estatua real. Lógicamente dicha proyección no puede realizarse sobre el aire, luego se debe contar con una superficie que permita esta proyección desde todas las perspectivas (pantalla cilíndrica o giratoria). An example is the idea that the system is integrating a supposed statue into the environment, generated in this case by the computer; if the user of the system began to surround the position where said statue is being projected, as he would do with a real one to appreciate it from all angles, the system would react by modifying the projection, so that apparently it would remain static while the observer surrounds it, As would happen with a royal statue. Logically, this projection cannot be carried out on air, then you must have a surface that allows this projection from all perspectives (cylindrical or rotating screen).

La coherencia espacial se consigue mediante la detección y seguimiento de objetos conocidos en el entorno. Dado el conocimiento dimensional a priori de estos objetos, la imagen captada por la cámara presentará una cierta deformación respecto al patrón conocido, debido a la perspectiva con la que se observa la escena por el dispositivo; a partir de esta deformación, y haciendo uso de las herramientas matemáticas apropiadas (estimación de la transformación inversa de perspectiva a partir de la imagen) es posible determinar con precisión la posición relativa entre la cámara y el objeto de referencia, ubicando ambos en el espacio tridimensional. Con esta información, el computador recibe la información necesaria para generar los gráficos que luego serán proyectados sobre el entorno de tal forma que el usuario del sistema perciba que la posición aparente de los elementos proyectados es coherente con el entorno tridimensional, de forma que la sensación es que están perfectamente integrados en él, en posiciones espaciales fijas. Spatial coherence is achieved by detecting and tracking known objects in the environment. Given the a priori dimensional knowledge of these objects, the image captured by the camera will present a certain deformation with respect to the known pattern, due to the perspective with which the scene is observed by the device; from this deformation, and using the appropriate mathematical tools (estimation of the inverse transformation of perspective from the image) it is possible to accurately determine the relative position between the camera and the reference object, placing both in the space three-dimensional With this information, the computer receives the necessary information to generate the graphics that will then be projected on the environment so that the user of the system perceives that the apparent position of the projected elements is consistent with the three-dimensional environment, so that the sensation is that they are perfectly integrated in it, in fixed spatial positions.

De la descripción de los componentes se deduce que los costes del dispositivo objeto de la invención respecto a otros dispositivos descritos en el estado de la técnica es claramente inferior, cumpliendo virtualmente con las mismas funciones, siempre que se disponga de una superficie adecuada para realizar la proyección. Dados los componentes descritos anteriormente y la forma en la que se ha descrito el cometido de cada uno, el funcionamiento lógico del sistema implica los siguientes pasos: From the description of the components it follows that the costs of the device object of the invention with respect to other devices described in the prior art are clearly lower, fulfilling virtually the same functions, provided that a suitable surface is available to perform the projection. Given the components described above and the way in which the task of each one has been described, the logical operation of the system involves the following steps:

1. Captura de información del entorno: mediante la cámara (2) incorporada en el sistema, se recogen imágenes del entorno de forma continua. 1. Capture information of the environment: using the camera (2) built into the system, images of the environment are collected continuously.

Dado que está fijada solidariamente a la cabeza del usuario, se conoce la posición relativa respecto a éste, y respecto al sistema de proyección. Since it is fixed in solidarity with the head of the user, the relative position is known with respect to it, and with respect to the projection system.

2. 2.

Análisis de las imágenes capturadas: las imágenes capturadas por la cámara son enviadas a un computador donde se procede a su análisis mediante los algoritmos apropiados de procesamiento de imágenes y visión por computador. Como resultado de este análisis, se deduce la posición y orientación 3D de algún o algunos objetos clave (5) que se hayan reconocido en las imágenes suministradas por la cámara. Analysis of the captured images: the images captured by the camera are sent to a computer where they are analyzed using the appropriate algorithms for image processing and computer vision. As a result of this analysis, the position and 3D orientation of some or some key objects (5) that have been recognized in the images supplied by the camera is deduced.

3. 3.

Generación de los gráficos que se proyectarán sobre el entorno: de esta tarea también se encarga un computador, para lo cual ha de tener en cuenta dos factores: Generation of the graphics that will be projected on the environment: a computer is also responsible for this task, for which two factors must be taken into account:

• •

En primer lugar, la información de posición y orientación tridimensional de los objetos clave obtenidas en la fase anterior, ya que servirán como base para conseguir la necesaria coherencia espacial entre los gráficos generados y la posición del observador respecto al entorno; se ha de conseguir el efecto de que los elementos proyectados se integren 'espacialmente' en él (8). First, the three-dimensional position and orientation information of the key objects obtained in the previous phase, since they will serve as the basis for achieving the necessary spatial coherence between the generated graphics and the position of the observer with respect to the environment; the effect of the projected elements being integrated 'spatially' into it (8) must be achieved.

• •

En segundo lugar, la posición y orientación del área sobre la que se debe realizar la proyección (5); dado que el usuario puede estar moviéndose o desplazándose respecto a su entorno, (4,6) se debe calcular dónde se debe realizar la proyección y con qué tamaño relativo, haciendo uso de algoritmos de control visual aplicados a su posición y escala, para así compensar cualquier movimiento del usuario en el espacio tridimensional. De esta forma, los gráficos generados deberán modificar dinámicamente su posición y tamaño dentro de la zona cubierta por el proyector (i.e. los gráficos proyectados no siempre han de cubrir el área completa de proyección ni permanecer estáticos en ésta). Secondly, the position and orientation of the area on which the projection should be performed (5); given that the user may be moving or moving with respect to his surroundings, (4,6) it must be calculated where the projection should be made and with what relative size, using visual control algorithms applied to its position and scale, in order to compensate for any movement of the user in three-dimensional space. In this way, the generated graphics should dynamically modify their position and size within the area covered by the projector (i.e. the projected graphics should not always cover the entire projection area or remain static in it).

4. Four.

Finalmente, los gráficos generados por el computador, atendiendo a los criterios anteriormente expuestos, son enviados al proyector para ser enviados sobre el entorno. Finally, the graphics generated by the computer, according to the above criteria, are sent to the projector to be sent over the environment.

El sistema consta de las siguientes partes fundamentales: un elemento de fijación a la cabeza, como pueda ser un casco o unas gafas (1 ), que garanticen que la posición relativa entre los distintos componentes del sistema y el observador se mantiene constante en todo momento; una cámara (2), que recoge las imágenes del entorno para ser analizadas; un picoproyector (3), que realiza la proyección de las imágenes generadas por el computador sobre el entorno. La posición concreta en la que estos dispositivos se fijan sobre el elemento de fijación no es relevante, siempre que se garantice la estacionareidad de sus posiciones relativas, como se ha mencionado. Dada la movilidad del usuario, la posición del área sobre la que se ha de proyectar la imagen generada por el computador (5) dentro del área cubierta por el proyector (4,6) puede variar, por lo que se ha de modificar la posición de la imagen generada por el computador dentro de ésta, para garantizar su correcta superposición sobre el área objetivo (5). Dado que el sistema está previsto para proyectar la ilusión en el observador (7) de que existen objetos tridimensionales (8) integrados en el entorno, se ha de realizar una proyección acorde con la superficie sobre la que se proyecta (9), de modo que a los ojos del observador el objeto aparente tener realmente volumen. The system consists of the following fundamental parts: an element of head fixation, such as a helmet or glasses (1), that guarantee that the relative position between the different system components and the observer remains constant at all times; a camera (2), which collect the images of the environment to be analyzed; a picoprojector (3), which performs the projection of the images generated by the computer on the environment. The specific position in which these devices are fixed on the fixing element is not relevant, as long as the stationarity of their relative positions, as mentioned. Given the user's mobility, the position of the area over which project the image generated by the computer (5) into the covered area by the projector (4,6) it can vary, so the position of the image generated by the computer within it, to guarantee its correct overlap on the target area (5). Since the system is planned to project the illusion in the observer (7) that there are three-dimensional objects (8) integrated in the environment, it must be make a projection according to the surface on which it is projected (9), so that in the eyes of the observer the apparent object actually have volume.

Ejemplo: Una posible realización del sistema (aunque no se limite a ella) constaría de los siguientes elementos físicos: Example: A possible realization of the system (although not limited to it) would consist of the following physical elements:

• •

Un casco o gafas (1) como elemento de soporte y fijación a la cabeza, A helmet or glasses (1) as an element of support and fixation to the head,

• •

Una cámara lápiz o sportcam (2) fijada al elemento anterior, como dispositivo de captura de imagen. Esta cámara se conecta al computador mediante los apropiados elementos de interfaz (usualmente un conector USB para la transmisión de las imágenes al computador) para suministrar a éste la información necesaria para que éste realice los cálculos asignados, es decir, estimación de la posición relativa del observador en el entorno y respecto de los objetos presentes en él, y la A pencil or sportcam camera (2) fixed to the previous element, as an image capture device. This camera is connected to the computer by means of the appropriate interface elements (usually a USB connector for the transmission of the images to the computer) to provide the computer with the necessary information for the latter to perform the assigned calculations, that is, estimate the relative position of the computer. observer in the environment and with respect to the objects present in it, and the

posterior generación de los gráficos que serán proyectados, como se subsequent generation of the graphics that will be projected, as

describe en los siguientes puntos. described in the following points.

• Un computador para el análisis de las imágenes suministradas por la • A computer for the analysis of the images supplied by the

cámara, cuyo resultado es la estimación de la posición tridimensional del camera, whose result is the estimation of the three-dimensional position of the

5 5

usuario del sistema dentro del entorno, así como su posición relativa system user within the environment, as well as their relative position

respecto a los elementos reales integrados de dicho entorno. Este with respect to the real integrated elements of said environment. This

computador, a partir de esta estimación de la posición tridimensional del computer, from this estimate of the three-dimensional position of the

observador, está también encargado de generar los gráficos que observer, is also responsible for generating the graphics that

posteriormente serán proyectados sobre el entorno, y que simularán la subsequently they will be projected on the environment, and that will simulate the

1 O 1 o

presencia de objetos estáticos en él. presence of static objects in it.

• Un picoproyector láser (3) fijado a los elementos de fijación y soporte, • A laser peak projector (3) fixed to the fixing and support elements,

que recibe las imágenes generadas por el computador mediante los which receives the images generated by the computer through the

adecuados elementos de interfaz (normalmente un conector de señal de suitable interface elements (usually a signal connector of

vídeo, como pueda ser un conector VGA, DVI o similares) y las proyecta video, such as a VGA, DVI or similar connector) and projects them

15 fifteen

sobre el entorno. About the environment

APLICACIÓN INDUSTRIAL INDUSTRIAL APPLICATION

El dispositivo descrito en la presente invención puede ser utilizado en multitud The device described in the present invention can be used in a multitude

de entornos y aplicaciones dada su movilidad, versatilidad y bajo coste. Entre of environments and applications given its mobility, versatility and low cost. Between

20 twenty

(aunque no limitado a) ellas, se encuentran: (although not limited to) they are:

• Asistencia a personas con discapacidad: supóngase el caso de personas • Assistance to people with disabilities: suppose the case of people

con minusvalía intelectual a las que se quiere dotar de autonomía para with intellectual disability who want to provide autonomy to

desarrollar una vida independiente en su propio hogar. El sistema Develop an independent life in your own home. The system

descrito se puede utilizar para proporcionar instrucciones al usuario described can be used to provide instructions to the user

25 25

sobre labores domésticas, manejo de aparatos, agenda, etc, mediante la about housework, device handling, agenda, etc., through the

proyección de las instrucciones pertinentes sobre cualquier superficie Projection of relevant instructions on any surface

cercana. Además, mediante la identificación de los aparatos de la casa nearby. In addition, by identifying household appliances

(lavadora, horno, lavavajillas, ... ) se puede instruirle sobre su manejo (washing machine, oven, dishwasher, ...) you can be instructed on its handling

proyectando sobre estos aparatos las instrucciones (pulsar un botón projecting on these devices the instructions (press a button

30 30

resaltado mediante la proyección, proyección de flechas para indicar highlighted by projection, arrow projection to indicate

movimientos o acciones, etc) movements or actions, etc.)

• •

Enriquecimiento de publicaciones: mediante la disposición de áreas Enrichment of publications: through the provision from areas

marcadas en una publicación, ya sea física (libro, revista, cuento infantil, marked in a publication, whether physical (book, magazine, children's story,

etc) o electrónica (lector de e-books, iPad, notebook, etc), el sistema etc) or electronic (e-book reader, iPad, notebook, etc), the system

puede proceder a su identificación y a la proyección sobre dichas áreas You can proceed to your identification and projection on these areas

5 5

de objetos virtuales 30, de tal forma que al mover el soporte (papel o of virtual objects 30, so that at move the support (paper or

aparato), la proyección se modifica para dar la sensación de que dicho apparatus), the projection is modified to give the feeling that said

objeto 30 permanece estático sobre el soporte. La aplicación podría Object 30 remains static on the support. The application could

servir tanto serve so much

en el ámbito del entretenimiento como en publicaciones in he scope of entertainment how in publications

científicas, material docente, etc. scientific, teaching material, etc.

10 10

• Aplicaciones domóticas: el sistema puede utilizarse para realizar el • Applications Home automation: he system may be used for perform the

control control

de múltiples aparatos, a modo de mando a distancia y from multiple appliances, to mode from I send to distance Y

programador universal, universal programmer,

mediante su adecuada comunicación con la through its adequate communication with the

central central

computerizada. Puede servir también como teclado para el computerized May serve also how keyboard for he

teléfono, phone,

de la alarma, añadiendo a las características descritas la from the alarm, adding to the features described the

15 fifteen

detección de movimientos del usuario (manos, dedos, etc) User movement detection (hands, fingers, etc.)

• •

Entretenimiento: el sistema se puede utilizar para proyectar juegos sobre Entertainment: the system can be used to project games on

los que pueden interactuar varias personas, al realizarse esta proyección which can interact several people, when this projection is made

sobre el entorno (un tablero, personajes de un juego, etc). También se about the environment (a board, game characters, etc). I also know

puede utilizar para la visualización de futuras emisiones tridimensionales can use for the visualization of future three-dimensional emissions

20 twenty

de TV. of TV.

Claims (5)

REIVINDICACIONES 1.-Sistema de proyección espacial de realidad aumentada caracterizado por que comprende -una cámara (2) configurada para captar imágenes del entorno, dicha cámara 1.-Augmented reality spatial projection system characterized by comprising -a camera (2) configured to capture images of the environment, said camera (2) acoplada a unos medios de procesamiento (10) configurados para procesar las imágenes y extraer información tridimensional, -un picoproyector (3) configurado para recibir la información tridimensional y generar una proyección de acuerdo con dicha información tridimensional, -unos medios de fijación (1) configurados para fijar a la cabeza de un usuario la cámara (2), el picoproyector (3) de manera que se muevan solidariamente de manera conjunta sin variar sustancialmente la distancia relativa con los ojos del usuario. (2) coupled to processing means (10) configured to process the images and extract three-dimensional information, -a picoprojector (3) configured to receive the three-dimensional information and generate a projection according to said three-dimensional information, -a fixing means (1) configured to fix the camera (2), the picoprojector (3) to the head of a user so that they move jointly together without substantially varying the relative distance with the user's eyes. 2.-Sistema según reivindicación 1, caracterizado por que los medios de procesamiento (10) están configurados para estimar la posición tridimensional del usuario en el entorno observado mediante la identificación de marcas fiduciarias y de objetos conocidos en las imágenes capturadas. 2. System according to claim 1, characterized in that the processing means (10) are configured to estimate the three-dimensional position of the user in the observed environment by identifying fiduciary marks and known objects in the captured images. 3.-Sistema según reivindicación 2, caracterizado por que los medios de procesamiento (10) están configurados además para estimar la posición tridimensional entre la cámara (2) y el picoproyector (3) y para mantener en las imágenes virtuales generadas (7) por el picoproyector la coherencia espacial de acuerdo con el punto de vista observado por el usuario. 3. System according to claim 2, characterized in that the processing means (10) are further configured to estimate the three-dimensional position between the camera (2) and the projector (3) and to maintain the generated virtual images (7) by The peak projector spatial coherence according to the point of view observed by the user. 4.-Sistema según la reivindicación 3, donde las imágenes virtuales generadas 4. System according to claim 3, wherein the virtual images generated

(7) (7)

son objetos cuyas dimensiones están basadas en la información del entorno they are objects whose dimensions are based on the environment information

(8) (8)

capturada por la cámara (2) para simular su integración con él. captured by the camera (2) to simulate its integration with it.

5.-Sistema según una cualquiera de las reivindicaciones 3 ó 4, donde los medios de procesamiento (10) están configurados para detectar los 5. System according to any one of claims 3 or 4, wherein the processing means (10) are configured to detect the movimientos del usuario mediante el análisis y la comparación de las imágenes User movements by analyzing and comparing images (8) captadas por la cámara en diferentes momentos. (8) captured by the camera at different times.