ES2300204B1 - Sistema y metodo para la visualizacion de una imagen aumentada aplicando tecnicas de realidad aumentada. - Google Patents

Sistema y metodo para la visualizacion de una imagen aumentada aplicando tecnicas de realidad aumentada. Download PDF

Info

Publication number
ES2300204B1
ES2300204B1 ES200602922A ES200602922A ES2300204B1 ES 2300204 B1 ES2300204 B1 ES 2300204B1 ES 200602922 A ES200602922 A ES 200602922A ES 200602922 A ES200602922 A ES 200602922A ES 2300204 B1 ES2300204 B1 ES 2300204B1
Authority
ES
Spain
Prior art keywords
dimensional
real
image
zoom
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
ES200602922A
Other languages
English (en)
Other versions
ES2300204A1 (es
Inventor
Jose Ignacio Torres Sancho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movie Virtual S L
MOVIE VIRTUAL SL
Original Assignee
Movie Virtual S L
MOVIE VIRTUAL SL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Movie Virtual S L, MOVIE VIRTUAL SL filed Critical Movie Virtual S L
Priority to ES200602922A priority Critical patent/ES2300204B1/es
Priority to PCT/ES2007/000645 priority patent/WO2008059086A1/es
Publication of ES2300204A1 publication Critical patent/ES2300204A1/es
Application granted granted Critical
Publication of ES2300204B1 publication Critical patent/ES2300204B1/es
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Sistema y método para la visualización de una imagen aumentada aplicando técnicas de realidad aumentada.
Sistema (1) de visualización interactivo basado en tecnologías de Realidad Aumentada para aplicaciones de turismo y ocio, que permite que un usuario (13) contemple una imagen real (6) aumentada con cierta información interesante. El sistema (1) incluye una cámara real (2), una unidad de procesamiento (3), una base de datos (4), un dispositivo de visualización (8) y un sistema de seguimiento (9). La unidad de procesamiento (3) convierte objetos gráficos tridimensionales (5) almacenados en la base de datos (4) en representaciones virtuales bidimensionales (5') en función de la posición de la cámara real (2) calculada por el sistema de seguimiento (9); posteriormente, alinea las representaciones virtuales bidimensionales (5') y la imagen real (6), generando la imagen aumentada (6'). El sistema (1) permite hacer zoom sobre la imagen aumentada (6'), realizándose un zoom simultáneo y ajustado sobre la imagen real (6) y las representaciones virtuales bidimensionales (5').

Description

Sistema y método para la visualización de una imagen aumentada aplicando técnicas de realidad aumentada.
Sector de la técnica
Esta invención se refiere a un método y un sistema para la visualización de una escena aumentada, que permita aumentar con contenidos interesantes una escena o imagen real que se encuentra dentro del punto de vista de un usuario. La invención está principalmente orientada a aparatos para el sector del turismo y del ocio del tipo de unos prismáticos para la observación de una vista, aunque también está concebido para otros entornos como las instituciones culturales, ferias o turismo de naturaleza.
Estado de la técnica
Desde los anales de la ciencia moderna, la observación visual ha precedido al conocimiento. La observación visual, la contemplación y el conocimiento se encuentran íntimamente ligados en la sociedad occidental. Incluso puede afirmarse que la sociedad moderna es una sociedad basada en lo visual. El sentido de la vista ha sido siempre el sentido dominante y el que ha jugado un papel preponderante en la comunicación entre las personas.
El concepto de unos prismáticos colocados sobre una colina para que los turistas observen la zona circundante durante unos minutos al introducir una moneda está muy generalizado. Dichos prismáticos ofrecen una vista panorámica de los edificios y calles de un área urbana, sus recursos naturales y culturales. Adicionalmente, en algunos casos, permiten hacer zoom sobre determinadas atracciones turísticas para verlas de forma más cercana. Esta vista puede despertar en los turistas el interés de visitar dichas atracciones posteriormente, ayudándoles en la identificación de nuevos puntos de interés para su posterior visita.
Sin embargo, muchas veces resulta complejo encontrar algo en el campo de visión de los prismáticos que no sean los bosques cercanos o el propio cielo. Incluso cuando se ha encontrado una atracción turística que puede resultar interesante, muchas veces se pierde ese interés por la falta de imágenes e información sobre dicha atracción. Las personas están acostumbradas a recibir información de una forma sencilla y entretenida a través de diferentes canales como Internet o la televisión, utilizando hipervínculos ("hyperlinks") para obtener contenidos multimedia que respondan a su petición.
La mayoría de los turistas aprenden sobre el mundo a través de diferentes procesos, que incluyen características como la representación, la imaginación y la observación. Cada vez más, las tecnologías visuales (fotografías, cine, vídeo, televisión, imágenes digitales, etc.) forman parte de la experiencia cotidiana de muchas personas y tienen además una influencia directa en la forma en la que las personas experimentan los nuevos entornos. Estas "visiones" o "interpretaciones" socialmente generadas que plasman el mundo y su patrimonio en términos visuales no sólo traen consigo nuevos retos de investigación, sino que generan numerosas oportunidades de examinar de forma crítica el papel y la función del turismo como un vehículo en la comunicación de la observación, el ser y el conocimiento.
De forma adicional, se puede afirmar que existe una gran cantidad de información en formato digital, como contenido audiovisual, textos electrónicos, aplicaciones multimedia o sistemas de información geográfica. Hasta la actualidad, esta información se ha usado de forma puntual en guías electrónicas, permaneciendo inaccesible para el visitante. Además, las presentaciones multimedia existentes se encuentran físicamente alejadas de los entornos reales, lo que implica que el turista debe dejar la atracción turística para disponer de información adicional.
Si las organizaciones turísticas quieren acceder a un público más extenso, deberán diseñar contenidos multimedia suficientemente interesantes como para atraer a los turistas. Por ello, son necesarios nuevos sistemas que permitan estas aplicaciones innovadoras y proporcionen contenidos de valor añadido.
Descripción breve de la invención
La presente invención satisface las necesidades previamente mencionadas mediante un sistema y un método para la visualización de una imagen aumentada con contenido multimedia adicional. Para ello, la invención detecta la posición de un dispositivo de visualización comprendido en el sistema, aumenta la vista del usuario con representaciones gráficas de objetos gráficos recuperados de una base de datos y permite la interacción del usuario con la información multimedia proporcionada.
Otro aspecto de la invención proporciona un sistema y un método para hacer zoom sobre la imagen aumentada, detectando la posición del dispositivo de visualización y fijando la posición relativa de los objetos gráficos cuando se hace zoom sobre la vista.
Descripción breve de las figuras
Los detalles de la invención se aprecian en las figuras que se acompañan, no pretendiendo éstas ser limitativas del alcance de la invención:
- La Figura 1 muestra un sistema de acuerdo con un modo de realización de la invención.
- La Figura 2 muestra el esquema funcional de la invención.
- La Figura 3 muestra el funcionamiento del sistema mediante un ejemplo de uso de la invención.
- La Figura 4 muestra el método preferente de acuerdo con la invención.
- La Figura 5 muestra un ejemplo del método de la invención para hacer zoom.
Descripción detallada de la invención
En el presente documento, se definen las tecnologías de Realidad Aumentada (RA) como aquellas tecnologías que aumentan un escenario real mediante la adición de información virtual, mientras que un entorno que consta principalmente de información virtual aumentada con algunos objetos reales se conoce como Virtualidad Aumentada (VA). En otras palabras, las tecnologías RA pueden generar un entorno aumentado mediante la adición de cierta información virtual sobre un entorno inicial totalmente real.
La invención se basa en la aplicación de las tecnologías de Realidad Aumentada (RA) al concepto tradicional de unos prismáticos en entornos turísticos, es decir, la invención se refiere a un sistema que permite que los usuarios vean una escena (por ejemplo, la vista desde una colina cercana) aumentada mediante la superposición de información virtual relativa a la escena que está observando el usuario utilizando las tecnologías de RA. El aumento de la escena incrementa la experiencia lúdica del usuario, dado que la información virtual proporciona contenido adicional a la escena (por ejemplo, las flechas que señalan edificios y muestran su nombre). El sistema también permite que el usuario interaccione con la información virtual y obtenga contenidos adicionales (por ejemplo, acceso a ficheros de textos, imágenes o vídeos relacionados con un recurso turístico en concreto). El sistema permite personalizar los contenidos en función de diferentes perfiles de usuario.
La Figura 1 muestra un sistema (1) típico de acuerdo con un modo de realización de la invención. El sistema (1) comprende básicamente una cámara real (2) que registra una imagen real (6) o imagen en tiempo real desde el punto de vista del usuario (13), y que envía esta imagen real (6) a una unidad de procesamiento (3). La unidad de procesamiento (3) incluye una base de datos (4) que almacena objetos gráficos tridimensionales (5) -no representados- que se superpondrán a la imagen real (6) utilizando métodos RA. Los métodos RA convierten los objetos gráficos tridimensionales (5) en representaciones virtuales bidimensionales (5'), y a continuación, se superponen las representaciones virtuales bidimensionales (5') de dichos objetos gráficos tridimensionales (5) a la imagen real (6), conformando la imagen aumentada (6'). Los objetos gráficos tridimensionales (5) pueden incluir información multimedia adicional (7) -no representada- capaz de proporcionar información adicional y más compleja sobre los objetos gráficos tridimensionales (5).
El sistema (1) también incluye un dispositivo de visualización (8) mediante el cual el usuario (13) puede observar la imagen aumentada (6'), es decir, la imagen real (6) a la que se le han añadido las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5). El sistema (1) incluye un sistema de seguimiento (9) para detectar la posición actual del dispositivo de visualización (8) como un elemento fundamental dentro del proceso de aumento. Tal y como se muestra en la Figura 1, el dispositivo de visualización (8) y la cámara real (2) se encuentran preferiblemente montados sobre el mismo eje mecánico de modo que se mueven de manera solidaria. De este modo, el sistema de seguimiento (9) calcula la posición del dispositivo de visualización (8) y por lo tanto, la posición de la cámara real (2).
Adicionalmente, se incluyen unos altavoces (10) para que el usuario (13) pueda escuchar las presentaciones u otro contenido en forma de audio incluido dentro del contenido multimedia adicional (7). El sistema (1) también incluye medios de interacción (11) que cumplen la función de interfaz de usuario para el sistema (1). Finalmente, el sistema (1) puede incluir un sistema de pago (12) basado en la inserción de monedas u otros medios de pago.
La cámara real (2) puede ser cualquier tipo de cámara que incluya lentes "autofocus" para el zoom óptico, de modo que el usuario (13) pueda aumentar o disminuir el zoom para observar objetos pequeños o lejanos de forma más nítida. La cámara real (2) debe poder ser controlada desde un dispositivo de control externo capaz de acceder y modificar el zoom y otros ajustes o parámetros de control de la cámara, por ejemplo, mediante una conexión por cable de tipo serie RS-232C. Existen gran cantidad de cámaras de este tipo disponibles comercialmente.
El sistema de seguimiento (9) se basa preferentemente en sensores inerciales. Sin embargo, existe un gran número de sistemas de posicionamiento alternativos que pueden usarse de manera eficaz en otros modos de realización. Dado que se supone que el sistema (1) se va a utilizar principalmente en dos direcciones (derecha/izquierda, arriba/abajo), las técnicas de seguimiento más sencillas proporcionan precisión suficiente. Sin embargo, la invención puede utilizar cualquier sistema de seguimiento que sea capaz de determinar la posición del dispositivo de visualización (8) de forma robusta y de enviar las coordenadas a la unidad de procesamiento (3).
El dispositivo de visualización (8) mediante el que el usuario (13) percibe la imagen aumentada (6') que incluye la imagen real (6) y las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5) junto con el contenido multimedia adicional (7), es preferentemente una metáfora de los prismáticos convencionales. El dispositivo de visualización (8) comprende preferentemente un visualizador que es básicamente un sistema de visualización de vídeo no transparente, que puede ser de tipo no-estereoscópico, estereoscópico y autoestereoscópico. El dispositivo de visualización (8) puede ser uno de los prismáticos o telescopios virtuales disponibles en el mercado con capacidad estereoscópica. En futuros modos de realización de la invención, se podrán utilizar dispositivos semi-transparentes y autoestereoscópicos para visualizar la imagen aumentada (6').
En lo referente a los medios de interacción (11), el modo de realización preferente de la invención incluye siete botones para interaccionar con el sistema (1) de una forma sencilla y ergonómica. Tal y como muestra la Figura 1, los botones (11) se han distribuido entre el lado izquierdo (19) y el lado derecho (20) del sistema (1). En el lado izquierdo (19) del sistema (1) hay dos botones que permiten interactuar con la imagen aumentada (6'). El usuario (13) puede hacer zoom para aumentar la imagen con uno de los botones y hacer zoom para reducirla con el otro. En el lado derecho (20) del sistema (1) hay cinco botones: un botón central (preferentemente de un color) y cuatro botones a su alrededor (preferentemente de un color diferente al botón central). El botón central es el botón de "intro", que se utiliza para hacer clic en las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5) y también para elegir entre los menús del contenido multimedia adicional (7). Los botones que lo rodean sirven para moverse por los menús que permiten la selección del contenido multimedia adicional (7).
El sistema (1) incluye preferentemente dos bases de datos (4) diferentes: una base de datos para el aumento y una base de datos de contenidos autoadministrables. La base de datos para el aumento incluye los objetos gráficos tridimensionales (5) asociados a los puntos de interés para el usuario (13), incluyendo el nombre de las principales atracciones turísticas y otros objetos gráficos. La base de datos de contenidos autoadministrables almacena el contenido multimedia adicional (7), incluyendo vídeos, clips de películas, panoramas 3D interactivos o incluso modelos tridimensionales de atracciones turísticas existentes y no existentes.
El modo de realización preferente de la invención también incluye una herramienta de autor para simplificar la manipulación de los objetos gráficos tridimensionales (5), su posición en la imagen aumentada (6') y el contenido multimedia adicional (7) que pueden mostrar. El programa puede trabajar con archivos XML para cambiarlos o crear otros nuevos adecuados para el programa principal. El modo de realización preferente de la invención incluye hasta diez puntos de interés con un máximo de cinco subobjetos para elegir dentro del menú. Estos objetos gráficos tridimensionales (5) incluyen los puntos de interés turístico y sus marcadores correspondientes en la imagen aumentada (6'), mientras que los subobjetos representan diferentes tipos de contenido multimedia adicional (7) que se muestran al elegir las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5).
La Figura 2 muestra un esquema funcional del sistema (1) de la Figura 1. Tal y como se ha explicado, la cámara real (2) captura el punto de vista del usuario (13), es decir, graba una imagen de vídeo en tiempo real que se denomina imagen real (6). El sistema de seguimiento (9) calcula y envía una información de posición (14) a la unidad de procesamiento (3), informando sobre la localización y orientación actual del dispositivo de visualización (8). La unidad de procesamiento (3) realiza entonces un proceso de adaptación de gráficos (15), que convierte los objetos gráficos tridimensionales (5) almacenados en las representaciones virtuales bidimensionales (5') en función de un vector de orientación que se obtiene a partir de la información de posición (14). Es decir, la unidad de procesamiento (3) adapta una vista de los objetos gráficos tridimensionales (5) para obtener una escena virtual, controlando una "cámara virtual" que utiliza el mismo vector de orientación que la cámara real (2), es decir, orientando la cámara virtual exactamente igual que la cámara real (2). Por ello, la escena real (6) y las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5) se sincronizan de acuerdo con el mundo real. Esta sincronización permite componer las escenas real y virtual de la imagen aumentada (6').
A continuación, la unidad de procesamiento (3) realiza un proceso de aumento (16) en el que la escena real (6) se aumenta con las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5) para obtener la imagen aumentada (6'), que se envía de nuevo al dispositivo de visualización (8). Cuando el usuario (13) mira a través del dispositivo de visualización (8), puede ver la imagen aumentada (6'). Si el usuario (13) gira el sistema (1) o realiza algún movimiento que cambia la posición del dispositivo de visualización (8), el sistema de seguimiento (9) informa del cambio a la unidad de procesamiento (3). El proceso de adaptación de gráficos (15) actualiza entonces las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5), de modo que coincidan con la nueva imagen real (6). Por ello, cuando el usuario (13) gira el sistema (1) o cambia su posición, la imagen aumentada (6') cambia en su totalidad, es decir, la imagen real (6) y las representaciones virtuales bidimensionales (5') se adecuan a ese cambio.
La Figura 3 muestra el funcionamiento de la invención utilizando un ejemplo de uso del sistema (1). El gráfico de la parte superior muestra un ejemplo de una imagen aumentada (6') visualizada por el usuario (13). Esta imagen aumentada (6') está compuesta por la imagen real (6) de un pueblo (17) y algunos montes (18), en la que aparecen señalados uno de los edificios y uno de los montes mediante las correspondientes representaciones virtuales bidimensionales (5'). Cuando el usuario (13) descubre un objeto interesante sobre el que desea recabar más información -por ejemplo, el edificio de gran altura en el centro de la pantalla señalado con el texto "obj1"-, actúa con los medios de interacción (11) hasta seleccionar la representación virtual bidimensional (5') de dicho objeto interesante. A continuación, el sistema (1) visualiza el contenido multimedia adicional (7) relacionado con dicha representación virtual bidimensional (5'). Por ejemplo, tal y como se muestra en la Figura 3, el sistema (1) puede mostrar una pantalla en la que se visualice algún texto interesante y un vídeo de una persona que explica ciertas características del edificio, y/o ofrece nuevas opciones de navegación. El sistema (1) puede ofertar también información personalizada, de modo que los diferentes contenidos pueden mostrarse a diferentes perfiles de usuario, incluyendo aspectos como el multilingüismo. Por ejemplo, un turista angloparlante que tiene un perfil cultural puede ser un tipo de perfil de usuario. Este usuario recibirá información adicional más completa en inglés sobre la historia del edificio seleccionado que la información recibida por otros perfiles.
La Figura 4 muestra el método de acuerdo con la invención por el que los objetos gráficos tridimensionales (5) se colocan en el mundo virtual utilizando un entorno esférico. La información de registro (24) que determina la colocación de los objetos gráficos tridimensionales (5) en la imagen aumentada (6') se define utilizando la herramienta de autor. La unidad de procesamiento (3) recibe la información de registro (24) de los diferentes objetos gráficos tridimensionales (5) y la información de posición (14) del dispositivo de visualización (8), para poder realizar el proceso de adaptación de los gráficos (15). Se construye un mundo virtual (21), es decir, un modelo tridimensional en el que los objetos gráficos tridimensionales (5) se colocan en su posición espacial previamente definida. En este mundo virtual (21), se coloca una cámara virtual (22) con respecto a los objetos gráficos tridimensionales (5) en función de la información de posición (14) de la cámara real (2). En otras palabras, los objetos gráficos tridimensionales (5) se colocan en los puntos virtuales que simulan la distancia de los objetos reales desde el punto de vista del usuario (13).
El proceso de adaptación de gráficos (15) de los objetos virtuales tridimensionales (5) en representaciones virtuales bidimensionales (5') se basa en la información sobre el ángulo que los objetos gráficos tridimensionales (5) difieren respecto a un valor de referencia Zero-View-Vector, que representa el punto central de un sistema coordenado. A continuación, el proceso de adaptación de gráficos (15) convierte los objetos gráficos tridimensionales (5) en sus respectivas representaciones virtuales bidimensionales (5'). El resultado es la colocación y adecuación de las representaciones virtuales bidimensionales (5') de modo que proporcionen una sensación de profundidad al usuario (13).
Seguidamente, el proceso de aumento (16) combina las representaciones virtuales bidimensionales (5') con la imagen real (6) grabada por la cámara real (2) para obtener la imagen aumentada (6'). Al mirar esta imagen aumentada (6'), el usuario (13) puede disfrutar del paisaje y de la información proporcionada por las representaciones virtuales bidimensionales (5'). Esta información es útil (ya que contiene los nombres de las atracciones turísticas y cualquier otra información interesante) y clara (ya que se presenta en perspectiva, simulando los objetos en el entorno).
El proceso de transformación de las coordinadas espaciales definidas por los objetos gráficos tridimensionales (5) en un entorno real en coordenadas bidimensionales que definen los pixels que se visualizan en un dispositivo de visualización (8) es un elemento clave en la presente invención. Tal y como se ha explicado previamente, este proceso se realiza aplicando una aproximación innovadora, construyendo un "mundo virtual" y capturando una imagen de dicho "mundo virtual" de la misma forma en la que la cámara real (2) graba la imagen real (6). A continuación, la imagen aumentada (6') superpone el mundo real y el mundo virtual para conseguir el efecto de aumento, haciendo confluir ambos mundos en un nuevo "mundo aumentado".
Adicionalmente, y tal y como muestra la Figura 4, la invención permite hacer zoom sobre la imagen aumentada (6'). Al hacer zoom, las representaciones virtuales bidimensionales (5') no sólo se reescalan, sino que también se recolocan, de modo que continúan situadas sobre los objetos que aumentan. Esto quiere decir que, al hacer zoom, la invención garantiza que los puntos de vista de la cámara real (2) y de la cámara virtual (22) están ajustados en todos los instantes.
El usuario (13) activa el proceso de zoom interactuando con los dos botones que se encuentran en el lado izquierdo (19) del sistema (1). Los botones están conectados a la unidad de procesamiento (3), de modo que cuando el usuario (13) actúa sobre ellos, la unidad de procesamiento (3) modifica el zoom de la cámara virtual (22) y envía un comando a la cámara real (2) para que cambie sus parámetros de control del zoom de forma sincronizada.
El ajuste de los parámetros de control de la cámara real (2) y la cámara virtual (22) debe hacerse de forma dinámica en tiempo real, mientras funciona el sistema (1), para conseguir alinear correctamente la imagen real (6) y las representaciones virtuales bidimensionales (5'). Debido al sistema mecánico de zoom de la cámara real (2), existe un retardo entre el ajuste del valor del zoom de la cámara virtual (22) y la actualización mecánica del zoom de la cámara real (2). Este retardo en el cambio entre dos posiciones del zoom es percibido por el usuario (13). Otra limitación mecánica del sistema de la cámara real (2) es que la velocidad del zoom de dicha cámara real (2) no es lineal, debido a los procesos de aceleración y deceleración al inicio y al final.
Teóricamente, sería necesario disponer de una conexión y un intercambio de datos continuos entre la cámara virtual (22) y la cámara real (2) para que existiera una correspondencia entre los parámetros de ambas cámaras en cualquier instante de tiempo. Sin embargo, en la práctica, no es posible conseguir un intercambio de datos continuos debido a las limitaciones mecánicas de la cámara real (2). Además, existe un retardo de tiempo desde que la unidad de procesamiento (3) envía un comando para conocer el estado de la cámara real (2) y hasta que la cámara real (2) devuelve su estado a la unidad de procesamiento (3). Este retardo se incrementa debido a la baja velocidad de actualización de los valores de los parámetros del zoom de la cámara real (2).
La invención propone un método para actualizar y ajustar los valores del zoom de las cámaras real (2) y virtual (22), un ejemplo del cual se muestra en la Figura 5, de modo que ambos valores sean coincidentes en todos los instantes de tiempo a pesar de las limitaciones mecánicas y los retrasos de la cámara real (2). En la Figura 5, el ángulo de vista inicial de ambas cámaras real (2) y virtual (22) se fija en un valor de 48º. De acuerdo con el modo de realización preferente de la invención, cuando el usuario (13) interactúa con uno de los botones del lado izquierdo (19) del sistema (1) para hacer zoom aumentando la imagen, la cámara virtual (22) y la cámara real (2) comienzan a hacer zoom. Como se ha mencionado previamente, existen algunos retrasos en la cámara real (2) para seguir el proceso de zoom, es decir, la cámara real (2) hace zoom de forma más lenta que la cámara virtual (22). Para sincronizar el valor del zoom de la cámara real (2) con el valor instantáneo del zoom de la cámara virtual (22), la unidad de procesamiento (3) recibe un comando de ajuste (25) de la cámara virtual (22) indicando su valor instantáneo de zoom. La unidad de procesamiento (3) fija entonces el zoom de la cámara real (2) con el valor del zoom de la cámara virtual (22). Sin embargo, si el usuario (13) continúa haciendo zoom, el valor del zoom de la cámara virtual (22) sigue cambiando. Por ello, este proceso se repite hasta que el usuario (13) detiene el zoom (hasta que transcurre un tiempo t de acuerdo con la Figura 5). En otras palabras, el ajuste entre los zooms de la cámara real (2) y de la cámara virtual (22) se realiza de una manera discreta iterativa, de modo que la cámara real (2) relativamente más lenta sigue al zoom instantáneo de la cámara virtual (22).
Hay que mencionar que el zoom de la cámara real (2) sólo suele poder adoptar un conjunto de valores discretos debido a su configuración mecánica. Tal y como se muestra en la Figura 5, cuando la unidad de procesamiento (3) recibe información del valor específico del zoom de la cámara virtual (22), por ejemplo, 45º, la unidad de procesamiento (3) trata de fijar el zoom de la cámara real (2) en el valor de 45º. Sin embargo, el zoom de la cámara real (2) alcanza este valor específico con un error "e" (positivo o negativo). Debido a este error, al final del proceso, la unidad de procesamiento (3) debe leer el valor final del zoom de la cámara real (2), que será ligeramente diferente al valor final del zoom de la cámara virtual (22) debido al error "en". A continuación, la unidad de procesamiento (3) envía un comando de afinamiento (26) a la cámara virtual (22), de modo que el valor final de la cámara virtual (22) se actualiza con el valor final del zoom de la cámara real (2).
El parámetro de control de zoom de algunas cámaras reales (2) utilizadas en la práctica está codificado en formato hexadecimal. Por ello, cuando la unidad de procesamiento (3) recibe un comando de ajuste (25) de la cámara virtual (22) indicando el valor actual del zoom de la cámara virtual (22), la unidad de procesamiento (3) transforma este valor en un código hexadecimal antes de enviarlo a la cámara real (2) y viceversa.
Las especificaciones de las cámaras reales (2) existentes en el mercado suelen incluir una tabla que relaciona un conjunto de ángulos de vista con los correspondientes valores hexadecimales de los parámetros de control. Por ejemplo, en el modo de realización preferente, los valores hexadecimales de los parámetros de control del zoom oscilan entre 0 y 4000, representando ángulos de vista entre 4.8º (zoom máximo) y 48º (sin ningún tipo de zoom). Esto significa que se conocen los valores de los ángulos de vista para estos valores hexadecimales específicos. Sin embargo, la mayor parte de los valores hexadecimales y sus ángulos correspondientes no se incluyen en la tabla. Para poder calcular cualquier código hexadecimal para cualquier ángulo de vista y viceversa, la invención propone la utilización de algoritmos de interpolación basados en la tabla de especificaciones de la cámara real (2). Por ejemplo, para la cámara real (2) del modo de realización preferente de la invención, se proponen las siguientes ecuaciones de interpolación:
y = -0.2274x^{3} + 22.593x^{2} - 949.94x + 18690,
donde y es el valor del parámetro de control del zoom en hexadecimal y x es el ángulo de vista actual de la cámara real (2). Cuando recibe un comando de ajuste (25) que incluye el ángulo de vista de la cámara virtual (22), la unidad de procesamiento (3) utiliza esta ecuación para calcular el código hexadecimal correspondiente que se envía a la cámara real (2).
x = -2.87*10^{12} y^{3} + 1.99*10^{7} y^{2} * -0.00525077y + 48,
donde x es el ángulo de vista de la cámara real (2) e y es el valor hexadecimal del parámetro de control del zoom. Una vez leído el valor del parámetro de control del zoom de la cámara real (2) en formato hexadecimal, la unidad de procesamiento (3) utiliza esta ecuación para calcular el ángulo de vista correspondiente que se enviará a la cámara virtual (22) como comando de afinamiento (26).
Tal y como se ha explicado previamente, la invención se aplica al sector del turismo cultural, que es una de las áreas futuras clave para la creación y el afianzamiento de las industrias culturales. Las técnicas de Realidad Aumentada propuestas para acceder y entender los contenidos turísticos y culturales son formas de presentación altamente visuales e interactivas. Por lo tanto, estas aproximaciones tecnológicas son un valor añadido, que permite que los visitantes experimenten la historia asociada a un entorno real de una forma personalizada.
Como un primer ejemplo de aplicación de la invención, el lector puede imaginar la vista de una ciudad desde una colina cercana. La invención está colocada en lo alto de la colina para permitir una "visita" a algunas de las atracciones turísticas y elementos del entorno, y para recibir información sobre cada una de estas atracciones. Por ejemplo, se puede elegir una catedral o una isla en medio de la bahía para recibir información multimedia
adicional.
Sin embargo, los modos de realización de la invención no están limitados a los entornos turísticos, sino que se pueden extender a una gran variedad de experiencias lúdicas y culturales. Escenarios similares pueden describirse en situaciones como las instituciones culturales, salas de exposición, turismo de naturaleza, ferias o cualquier otro escenario en el que aparezcan objetos y recursos que pueden aumentarse mediante Gráficos por Ordenador o contenidos multimedia adicionales.
Como un segundo ejemplo, se puede mencionar la aplicación de la invención para piezas de arte culturales y artísticas, monumentos y piezas únicas. El uso de técnicas de restauración actuales como los rayos infrarrojos se está generalizando entre las instituciones culturales. Así, se ha encontrado información oculta detrás de la primera capa de los cuadros. El visitante de un museo puede utilizar la invención delante de un cuadro para obtener información adicional invisible e interactuar con las diferentes partes del lienzo. Los museos y las instituciones culturales pueden definir un precio por el contenido que se muestra utilizando la invención.
Un tercer ejemplo puede ser el aumento de objetos que se muestran en ferias comerciales. La máquina herramienta se suele mostrar en grandes ferias. Uno de los principales problemas de los fabricantes es que no pueden mostrar todas las funcionalidades de las máquinas en la feria. La invención puede proporcionar más información sobre los componentes y el funcionamiento real de las máquinas.
En un ejemplo final de la invención, el lector puede considerar el caso de los excursionistas que quieren conocer más datos sobre los paisajes, la flora y la fauna mientras que caminan por el medio rural. La invención puede proporcionar información adicional en la cima de las montañas, como el nombre de los diferentes picos del entorno, la forma de acceso o la diversidad en fauna y flora.
Aunque esta invención se ha presentado y descrito en relación a sus modos de realización preferentes, resulta evidente que se realizarán algunos cambios y modificaciones adicionales a los previamente mencionados sobre las características básicas de la invención. Adicionalmente, existe una gran diversidad de tipos de software y hardware que se pueden utilizar a la hora de materializar la invención, y la invención no se limita a los ejemplos previamente descritos. Por ello, los solicitantes protegen todas las variaciones y modificaciones dentro del ámbito de aplicación de la presente invención. La invención se define mediante las siguientes reivindicaciones, incluyendo todas las equivalentes.

Claims (14)

1. Sistema (1) para la visualización de una imagen aumentada (6') que comprende una imagen real (6) o imagen en el campo de vista de un usuario (13) aumentada con ciertos contenidos interesantes, que se caracteriza porque comprende:
-
una cámara real (2) para grabar la imagen real (6) desde el punto de vista del usuario (13),
-
una base de datos (4) con un conjunto de objetos gráficos tridimensionales (5) que proporcionan información gráfica capaz de aumentar la imagen real (6),
-
un sistema de seguimiento (9) que calcula y registra la posición del dispositivo de visualización (8),
-
una unidad de procesamiento (3), que convierte los objetos gráficos tridimensionales (5) en representaciones virtuales bidimensionales (5') en función de la posición del dispositivo de visualización (8) calculada por el sistema de seguimiento (9), y que construye la imagen aumentada (6') mediante la composición de las representaciones virtuales bidimensionales (5') de los objetos gráficos (5) y la imagen real (6),
-
un dispositivo de visualización (8) para la visualización de la imagen aumentada (6'),
-
medios de interacción (11) que proporcionan una interfaz de usuario.
2. Sistema (1), según la reivindicación 1, que se caracteriza porque la cámara real (2) comprende lentes de zoom, los medios de interacción (11) proporcionan una interfaz de usuario para variar el zoom de la imagen aumentada (6'), y porque cuando el usuario (13) actúa sobre los medios de interacción (11), la unidad de procesamiento (3) ajusta el zoom de la cámara real (2) y adecuadamente reconvierte los objetos gráficos tridimensionales (5) en representaciones virtuales bidimensionales (5').
3. Sistema (1), según la reivindicación 1, que se caracteriza porque el sistema (1) incluye al menos un altavoz (10) y porque la base de datos (4) incluye una base de datos para el aumento de los objetos gráficos tridimensionales (5) y una base de datos de contenidos autoadministrables para la información multimedia adicional (7) que puede ser visualizada en el dispositivo de visualización (8) y escuchada gracias al altavoz (10).
4. Sistema (1), según la reivindicación 1, que se caracteriza porque el sistema de seguimiento (9) comprende un sensor inercial.
5. Sistema (1), según la reivindicación 1, que se caracteriza porque el dispositivo de visualización (8) es un dispositivo que permite la visualización de imágenes cerca de los ojos del usuario (13) de una forma similar a un prismático convencional.
6. Sistema (1), según la reivindicación 1, que se caracteriza porque comprende un sistema de pago (12).
7. Sistema (1), según la reivindicación 1, que se caracteriza porque el sistema (1) es un aparato orientado hacia los sectores del turismo y del ocio.
8. Método para la generación de una imagen aumentada (6') que comprende una imagen real (6) o imagen desde el punto de vista de un usuario (13) aumentada con algunos contenidos interesantes, que se caracteriza porque comprende los siguientes pasos:
-
proveer a una unidad de procesamiento (3) con una base de datos (4) que incluye una serie de objetos gráficos tridimensionales (5) que proporcionan contenidos interesantes capaces de aumentar la imagen real (6),
-
grabar la imagen real (6) desde el punto de vista del usuario (13) utilizando una cámara real (2),
-
seguir la posición de un dispositivo de visualización (8) mediante un sistema de seguimiento (9),
-
transformar los objetos gráficos tridimensionales (5) en representaciones virtuales bidimensionales (5') en función de la posición del dispositivo de visualización (8) calculada por el sistema de seguimiento (9), y generar la imagen aumentada (6') alineando las representaciones virtuales bidimensionales (5') y la imagen real (6),
-
visualizar la imagen aumentada (6') mediante un dispositivo de visualización (8),
-
adaptar la imagen aumentada (6') en función de los cambios en la posición del dispositivo de visualización (8) o en función de los comandos del usuario a través de los medios de interacción (11), permitiendo que el usuario (13) interaccione con áreas de interés de la imagen real (6).
9. Método, según la reivindicación 8, que se caracteriza porque incluye el paso adicional de visualizar, en el dispositivo de visualización (8), información multimedia adicional (7) almacenada en la base de datos (4).
10. Método, según la reivindicación 8, que se caracteriza porque comprende además los siguientes pasos:
-
el usuario (13) interactúa con los medios de interacción (11) para cambiar el grado de zoom de la imagen aumentada (6'),
-
la unidad de procesamiento (3) cambia el valor del zoom de la cámara real (2) y cambia adecuadamente las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5),
-
la unidad de procesamiento (3) recompone la imagen aumentada (6') en función de la nueva posición del zoom.
11. Método, según la reivindicación 10, que se caracteriza porque cuando el usuario (13) actúa sobre los medios de interacción (11) durante un tiempo t, el proceso de variar el zoom de la cámara real (2) y readaptar los objetos gráficos tridimensionales (5) en sus correspondientes representaciones virtuales bidimensionales (5') se realiza un cierto número de veces, en intervalos discretos, durante el tiempo t.
12. Método, según la reivindicación 10, que se caracteriza porque comprende el paso de leer el valor final del zoom de la cámara real (2) y fijar el valor del zoom de la cámara virtual (22) a dicho valor final del zoom de la cámara real (2).
13. Método, según la reivindicación 10, que se caracteriza porque la unidad de procesamiento (3) lee el valor del zoom de la cámara real (2) en forma de un valor hexadecimal y, y reconvierte los objetos gráficos tridimensionales (5) en sus correspondientes representaciones virtuales bidimensionales (5') en función de un ángulo de vista x dado por
x = -2.87*10^{12}y^{3} + 1.99*10^{7}y^{2} * -0.00525077y + 48.
14. Método, según la reivindicación 10, que se caracteriza porque la unidad de procesamiento (3) reconvierte los objetos gráficos tridimensionales (5) en sus correspondientes representaciones virtuales bidimensionales (5') en función de un ángulo de vista x, y a continuación, cambia la cámara real (2) en función de un valor del zoom codificado como un valor hexadecimal y dado por y = -0.2274x^{3} + 22.593x^{2} - 949.94x + 18690.
ES200602922A 2006-11-16 2006-11-16 Sistema y metodo para la visualizacion de una imagen aumentada aplicando tecnicas de realidad aumentada. Expired - Fee Related ES2300204B1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ES200602922A ES2300204B1 (es) 2006-11-16 2006-11-16 Sistema y metodo para la visualizacion de una imagen aumentada aplicando tecnicas de realidad aumentada.
PCT/ES2007/000645 WO2008059086A1 (es) 2006-11-16 2007-11-13 Sistema y metodo para la visualizacion de una imagen aumentada aplicando tecnicas de realidad aumentada

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES200602922A ES2300204B1 (es) 2006-11-16 2006-11-16 Sistema y metodo para la visualizacion de una imagen aumentada aplicando tecnicas de realidad aumentada.

Publications (2)

Publication Number Publication Date
ES2300204A1 ES2300204A1 (es) 2008-06-01
ES2300204B1 true ES2300204B1 (es) 2009-05-01

Family

ID=39015743

Family Applications (1)

Application Number Title Priority Date Filing Date
ES200602922A Expired - Fee Related ES2300204B1 (es) 2006-11-16 2006-11-16 Sistema y metodo para la visualizacion de una imagen aumentada aplicando tecnicas de realidad aumentada.

Country Status (2)

Country Link
ES (1) ES2300204B1 (es)
WO (1) WO2008059086A1 (es)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2998680B1 (fr) * 2012-11-26 2015-01-16 Laurent Desombre Procede de navigation dans un environnement associe a un periscope interactif a realite virtuelle
AU2014331951A1 (en) * 2013-10-10 2016-06-02 Owlized, Inc. Outdoor, interactive 3D viewing apparatus
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
FR3104290B1 (fr) * 2019-12-05 2022-01-07 Airbus Defence & Space Sas Jumelles de visee de simulation, et systeme et procedes de simulation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064398A (en) * 1993-09-10 2000-05-16 Geovector Corporation Electro-optic vision systems
US7301536B2 (en) * 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
JP2004538538A (ja) * 2000-10-05 2004-12-24 シーメンス コーポレイト リサーチ インコーポレイテツド 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置
US7050078B2 (en) * 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
EP1784787A4 (en) * 2004-08-23 2007-10-17 Gamecaster Inc APPARATUS, METHODS AND SYSTEMS FOR VISUALIZING AND HANDLING A VIRTUAL ENVIRONMENT
DE102004044718A1 (de) * 2004-09-10 2006-03-16 Volkswagen Ag Augmented Reality Autoren System
DE102004046144A1 (de) * 2004-09-23 2006-03-30 Volkswagen Ag Verfahren und System zum Planen einer Produktionsumgebung

Also Published As

Publication number Publication date
WO2008059086A1 (es) 2008-05-22
ES2300204A1 (es) 2008-06-01

Similar Documents

Publication Publication Date Title
Schmalstieg et al. Augmented reality: principles and practice
US10572000B2 (en) Mixed reality viewer system and method
US9268406B2 (en) Virtual spectator experience with a personal audio/visual apparatus
ES2688643T3 (es) Aparato y método de realidad aumentada
CN107710108B (zh) 内容浏览
CN109584295A (zh) 对图像内目标物体进行自动标注的方法、装置及***
JP2008520052A5 (es)
CN107209565B (zh) 用于显示固定大小的增强现实对象的方法和***
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
US20130249792A1 (en) System and method for presenting images
JP2003264740A (ja) 展望鏡
Hoberman et al. Immersive training games for smartphone-based head mounted displays
Sandnes et al. Head-mounted augmented reality displays on the cheap: a DIY approach to sketching and prototyping low-vision assistive technologies
US20230073750A1 (en) Augmented reality (ar) imprinting methods and systems
ES2300204B1 (es) Sistema y metodo para la visualizacion de una imagen aumentada aplicando tecnicas de realidad aumentada.
EP2022010A1 (en) Virtual display method and apparatus
Woletz Interfaces of immersive media
Luchev et al. Presenting Bulgarian Cultural and Historical Sites with Panorama Pictures
CN112639889A (zh) 内容事件映射
Cohen et al. A multiuser multiperspective stereographic QTVR browser complemented by java3D visualizer and emulator
DeHart Directing audience attention: cinematic composition in 360 natural history films
Cardoso Accessible tangible user interfaces in extended reality experiences for cultural heritage
Beckwith et al. Parallax: Dancing the Digital Space
Hamadouche Augmented reality X-ray vision on optical see-through head mounted displays
Shikhri A 360-Degree Look at Virtual Tours: Investigating Behavior, Pain Points and User Experience in Online Museum Virtual Tours

Legal Events

Date Code Title Description
EC2A Search report published

Date of ref document: 20080601

Kind code of ref document: A1

FG2A Definitive protection

Ref document number: 2300204B1

Country of ref document: ES

FD2A Announcement of lapse in spain

Effective date: 20180912