ES2927281T3 - Calibración de dispositivos electrónicos móviles conectados a cascos que se llevan puestos por los usuarios - Google Patents

Calibración de dispositivos electrónicos móviles conectados a cascos que se llevan puestos por los usuarios Download PDF

Info

Publication number
ES2927281T3
ES2927281T3 ES18810954T ES18810954T ES2927281T3 ES 2927281 T3 ES2927281 T3 ES 2927281T3 ES 18810954 T ES18810954 T ES 18810954T ES 18810954 T ES18810954 T ES 18810954T ES 2927281 T3 ES2927281 T3 ES 2927281T3
Authority
ES
Spain
Prior art keywords
camera
mobile electronic
electronic device
pose
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18810954T
Other languages
English (en)
Inventor
José Araujo
Leonard Bruns
Ioannis Karagiannis
Morin Diego Gonzalez
Kouhestani Amirhossein Taher
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Application granted granted Critical
Publication of ES2927281T3 publication Critical patent/ES2927281T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

Se proporciona un dispositivo electronico movil (120) para usar con un auricular (100). una cámara (122) emite imágenes digitales de una parte de los auriculares. Un dispositivo de visualización muestra información para que la vea un usuario que lleva puesto el auricular (100). Un procesador recupera parámetros de calibración que caracterizan al menos una pose de la cámara en relación con el dispositivo de visualización y procesa una imagen digital de la cámara para identificar una pose de una característica identificable ópticamente dentro de la imagen digital. Se identifica una pose del dispositivo electrónico móvil (120) en relación con el soporte en función de la pose identificada de la característica identificable ópticamente dentro de la imagen digital y en base al menos a la pose de la cámara en relación con el dispositivo de visualización caracterizado por la calibración parámetros El procesador controla dónde se representan los objetos gráficos en el dispositivo de visualización en función de la posición identificada del dispositivo electrónico móvil (120) en relación con el titular. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Calibración de dispositivos electrónicos móviles conectados a cascos que se llevan puestos por los usuarios Campo técnico
La presente descripción se refiere a pantallas montadas en la cabeza que usan dispositivos electrónicos móviles para mostrar información para que se vea por los que los llevan puestos.
Antecedentes
Las pantallas montadas en la cabeza (HMD) serán una parte cada vez mayor del futuro ecosistema de dispositivos utilizados por la sociedad para la comunicación interpersonal, los juegos y otras aplicaciones. Los cascos de Realidad Mixta (MR) son un tipo de HMD que aumenta lo que un usuario ve en el mundo real con información generada por ordenador (por ejemplo, objetos gráficos, texto, indicios, etc.) de una manera que puede hacer que la información le parezca al usuario como si existiera en el mundo real. Los cascos de MR pueden permitir que un usuario interactúe de una manera aparentemente real o física utilizando un equipo electrónico especial, tal como un dispositivo háptico que rastrea el movimiento del usuario y que puede proporcionar realimentación háptica al usuario.
Los cascos de MR basados en teléfonos inteligentes u otros dispositivos electrónicos móviles se están volviendo cada vez más populares, con varias empresas emergentes que lanzaron nuevos dispositivos en 2017 y 2018 llamados Mira Prism, Holokit, Ghost AR, Lenovo Mirage AR. Estos cascos son relativamente económicos y se pueden usar con teléfonos inteligentes de Apple, Samsung, Google y otros. Por ejemplo, los desarrolladores de los dispositivos Ghost y Holokit pueden utilizar las herramientas del kit de desarrollo de software (SDK) de MR de Google y Apple, llamados ARCore y ARKit, respectivamente, para realizar el reconocimiento de objetos y la localización de 6 grados de libertad (DOF). El dispositivo Ghost también se puede usar en realidad virtual (VR) cambiando la lente frontal de transparente a no transparente. En el espectro completo de VR, Google Cardboard, Google Daydream y Samsung Gear VR son cascos de VR basados en teléfonos inteligentes que también son de bajo coste y tienen una elevada popularidad.
Los cascos de MR generalmente se pueden caracterizar en dos categorías, un casco sin espejo (por ejemplo, un casco de tipo Mira Prism representado en las Figuras 1 y 2 y los cascos Holokit y Ghost) y un casco basado en espejo. Para un casco sin espejo, la luz emitida por un dispositivo de visualización de un dispositivo electrónico móvil 120 (por ejemplo, un teléfono inteligente) se proyecta hacia una lente 110 (por ejemplo, a lo largo de la ruta 200a). La lente 110 es al menos parcialmente transparente (es decir, se puede ver a través) para permitir que la luz ambiental la atraviese para ver por un usuario que está llevando puesto el casco de MR, mientras que también está configurada para reflejar al menos parte de la luz que se emite por el dispositivo de visualización hacia atrás para ver por el usuario. La lente 110 puede tener o no efectos de concentración de luz o de dispersión de luz (por ejemplo, aumento de la luz de las características del mundo real). En las Figuras 1 y 2, la lente 110 refleja la luz hacia los ojos del usuario (por ejemplo, a lo largo del camino 200b, predominantemente en virtud de la reflexión especular) y hacia una cámara 122 del dispositivo 120 (por ejemplo, a lo largo del camino 200c, en virtud de la reflexión difusiva). Por el contrario, para un casco basado en espejo, la luz emitida por el dispositivo de visualización del dispositivo electrónico móvil 120 se proyecta hacia un espejo que refleja la luz hacia una lente transparente reflectante para la reflexión que puede ser directa o indirecta hacia los ojos del usuario.
Algunos cascos basados en espejo configuran una cámara trasera del dispositivo electrónico móvil 120 para tener un campo de visión del mundo, lo cual es beneficioso porque la cámara trasera se puede configurar para proporcionar video de mejor calidad que una cámara frontal. Por ejemplo, las versiones actuales de los SDK de ARCore o ARKit solo pueden funcionar de manera efectiva usando la cámara trasera debido a su formación de imágenes de mayor calidad con relación a la cámara frontal. Algunos cascos basados en espejo permiten un posicionamiento más flexible del dispositivo electrónico móvil que el que se puede permitir para los cascos sin espejo debido a las limitaciones del posicionamiento relativo entre la lente transparente del casco y el dispositivo de visualización del dispositivo electrónico móvil.
Un sistema de MR puede funcionar al tener un dispositivo de visualización de la información de proyección del dispositivo electrónico móvil y otro contenido virtual hacia la lente del casco (diseño sin espejo) o el espejo del casco (diseño basado en espejo). Las imágenes digitales (por ejemplo, cuadros de video) de la cámara se procesan para identificar características del mundo real, tales como marcadores de seguimiento u otros objetos del mundo real, que se pueden usar para el posicionamiento (por ejemplo, para interrelacionar sistemas de coordenadas del mundo real y del mundo virtual (por ejemplo, referencia de casco de MR)), reconocimiento de características y/o para difusión en forma continua de video a un visor remoto (por ejemplo, para aprender/enseñar aplicaciones de MR que permiten a un experto remoto ver el video capturado por el casco de MR del técnico y proporcionar una guía receptiva).
Uno de los principales inconvenientes de estos cascos de bajo coste es una calidad notablemente inferior del contenido virtual tridimensional (3D) (por ejemplo, distorsión, borrosidad, contraste, ubicación en el mundo real) generado por el casco cuando el dispositivo electrónico móvil no está puesto de manera óptima (por ejemplo, posición y orientación angular) con relación al casco. Haciendo referencia a la Fig. 1, se pueden mostrar dos imágenes por el dispositivo electrónico móvil que permiten al usuario percibir una imagen en 3D en la lente del casco. Si las dos imágenes mostradas no están correctamente alineadas con la lente, el usuario verá una imagen distorsionada. Además, si la ubicación del contenido virtual a ser mostrada se define según una ubicación del mundo real inferida por la cámara del dispositivo electrónico móvil (por ejemplo, el dispositivo rastrea un marcador y un contenido virtual a ser aumentado sobre el marcador que es una de las aplicaciones de AR más comunes), o si el dispositivo electrónico móvil no está puesto correctamente en el casco, la transformación entre la cámara y la lente del casco (donde aparece el contenido virtual) cambiará. Esto impactará negativamente en la experiencia del usuario, ya que el contenido virtual ya no estará alineado con el contenido del mundo real.
Además, si los algoritmos de calibración se realizan mientras que el dispositivo electrónico móvil tiene una pose particular, la calibración ya no será válida si el usuario reemplaza posteriormente el dispositivo electrónico móvil con una pose que es diferente de cuando se realizó la calibración anteriormente. Además, la pose relativa entre el dispositivo electrónico móvil y el casco cambiará si el dispositivo electrónico móvil se desliza con relación al casco durante el uso.
La razón por la que el dispositivo electrónico móvil se puede poner de manera subóptima en el casco es que los dispositivos electrónicos móviles tienen muchos tamaños diferentes (largo, ancho y grosor), lo que complica cómo se deberían configurar los cascos para retener de manera liberable los dispositivos electrónicos móviles variados. Por lo tanto, una variabilidad sustancial puede dar como resultado cómo un mismo usuario pone un dispositivo electrónico móvil y cómo diferentes usuarios ponen sus dispositivos electrónicos móviles con relación al casco. Para evitar la degradación del rendimiento debido a tal variabilidad, el casco Samsung Gear VR solo funciona con dispositivos de la marca Samsung para los que Samsung ha creado accesorios de soporte específicos de dispositivos que limitan cómo se ponen los dispositivos de Samsung con relación al casco.
El documento US 2017/0221270 A1 describe la calibración de un casco de realidad aumentada mediante la visualización de una interfaz que representa una pluralidad de líneas de referencia virtuales. El casco de realidad aumentada incluye una pluralidad de líneas de referencia físicas, en donde cada una de la pluralidad de líneas de referencia virtuales corresponde a una respectiva de la pluralidad de líneas de referencia físicas. Se recibe una indicación de usuario que especifica un ajuste para una primera de la pluralidad de líneas de referencia virtuales, y la interfaz se actualiza para ajustar una posición de la primera línea de referencia virtual. Tras recibir la confirmación del usuario, se genera un perfil de calibración para el casco de realidad aumentada en base a la posición ajustada de la primera línea de referencia virtual. Las realizaciones representan uno o más cuadros, en los que se genera dinámicamente una representación de al menos un objeto virtual en base, al menos en parte, al perfil de calibración. El documento CN 105929543 A da a conocer un dispositivo de realidad virtual, una caja de gafas de realidad virtual del mismo y una placa de realidad virtual. La caja de cristal de realidad virtual comprende una carcasa y un elemento de detección en posición. La placa de realidad virtual está dispuesta de forma desmontable en la carcasa de la caja de cristal de realidad virtual. El elemento de detección en posición está dispuesto en la caja de cristal de realidad virtual según la placa de realidad virtual y emite una señal de detección en posición. La placa de realidad virtual recibe la señal de detección en posición y controla la visualización de la placa de realidad virtual para llevar a cabo la división de pantalla según la señal de detección en posición. El dispositivo de realidad virtual proporcionado por la invención puede detectar automáticamente la instalación en posición de la placa de realidad virtual y controla la división automática de pantalla de la misma, lo que reduce las operaciones de un usuario y mejora la experiencia del usuario.
Compendio
Algunas realizaciones descritas en la presente memoria están dirigidas a un dispositivo electrónico móvil para un casco que incluye un soporte configurado para retener de manera liberable el dispositivo electrónico móvil en una pose definida con relación al casco. El dispositivo electrónico móvil incluye una cámara, un dispositivo de visualización, un procesador y una memoria. La cámara está configurada para emitir imágenes digitales y dispuesta por el soporte para ver una parte del casco. El dispositivo de visualización está dispuesto por el soporte para mostrar información para ver por un usuario que lleva puesto el casco. El procesador está conectado operativamente a la cámara y al dispositivo de visualización. La memoria almacena el código del programa que se ejecuta por el procesador para realizar operaciones. Las operaciones incluyen recuperar parámetros de calibración de la memoria que caracterizan al menos una pose de la cámara con relación al dispositivo de visualización. Las operaciones procesan una imagen digital de la cámara para identificar una pose de una característica identificable ópticamente del casco dentro de la imagen digital que fue captada por la cámara mientras que el dispositivo electrónico móvil se retiene por el soporte. Las operaciones identifican una pose del dispositivo electrónico móvil con relación al soporte en base a la pose identificada de la característica identificable ópticamente dentro de la imagen digital y en base al menos a la pose de la cámara con relación al dispositivo de visualización según se caracteriza por los parámetros de calibración. El control de operaciones en el que los objetos gráficos se representan en el dispositivo de visualización en base a la pose identificada del dispositivo electrónico móvil con relación al soporte.
Una ventaja potencial que se puede proporcionar por estas y otras realizaciones es que el dispositivo electrónico móvil puede optimizar su funcionamiento para compensar cómo se determina que el dispositivo sea puesto con relación al casco. Así, por ejemplo, cuando el dispositivo electrónico móvil se coloca en el casco con el dispositivo de visualización desplazado lateralmente de una ubicación preferida, el dispositivo electrónico móvil puede determinar tal desplazamiento y ajustar su funcionamiento para mostrar información de manera óptima para ver por un usuario que está llevando puesto el casco. Alternativamente o además, el dispositivo electrónico móvil puede proporcionar guiado a un usuario en cuanto a cómo se debería ajustar la pose del dispositivo electrónico móvil.
Algunas otras realizaciones descritas en la presente memoria están dirigidas a métodos correspondientes de realización de operaciones mediante un procesador de un dispositivo electrónico móvil. Como se explicó anteriormente, el dispositivo electrónico móvil incluye una cámara y un dispositivo de visualización para usar con un casco que tienen un soporte configurado para retener de forma liberable el dispositivo electrónico móvil en una pose definida con relación al casco. El método incluye recuperar parámetros de calibración que caracterizan al menos una pose de la cámara con relación al dispositivo de visualización. El método procesa una imagen digital de la cámara para identificar una pose de una característica identificable ópticamente del casco dentro de la imagen digital que fue captada por la cámara mientras que el dispositivo electrónico móvil está retenido por el soporte. El método identifica una pose del dispositivo electrónico móvil con relación al soporte en base a la pose identificada de la característica identificable ópticamente dentro de la imagen digital y en base al menos a la pose de la cámara con relación al dispositivo de visualización según se caracteriza por los parámetros de calibración. El método controla dónde se representan los objetos gráficos en el dispositivo de visualización en base a la pose identificada del dispositivo electrónico móvil con relación al soporte.
Otros dispositivos electrónicos móviles y métodos correspondientes según las realizaciones serán o llegarán a ser evidentes para los expertos en la técnica tras la revisión de los siguientes dibujos y la descripción detallada. Se pretende que todos de tales dispositivos electrónicos móviles y métodos adicionales se incluyan dentro de esta descripción. La invención se define por las reivindicaciones adjuntas.
Breve descripción de los dibujos
Los aspectos de la presente descripción se ilustran a modo de ejemplo y no están limitados por los dibujos adjuntos. En los dibujos:
La Figura 1 ilustra un sistema de MR que incluye un casco de MR que contiene un dispositivo electrónico móvil que está configurado para funcionar de acuerdo con algunas realizaciones de la presente descripción;
La Figura 2 ilustra una vista lateral del sistema de MR de la Figura 1;
La Figura 3 ilustra otra realización de un sistema de VR con un dispositivo electrónico móvil que tiene un dispositivo de visualización que proyecta imágenes hacia un usuario y que se reflejan parcialmente hacia una cámara de acuerdo con algunas realizaciones de la presente descripción;
Las Figuras 4-9 son diagramas de flujo de operaciones que se pueden realizar por un dispositivo electrónico móvil de acuerdo con algunas realizaciones de la presente descripción;
La Figura 10 es un diagrama de bloques de componentes de un dispositivo electrónico móvil que están configurados para funcionar de acuerdo con algunas otras realizaciones de la presente descripción;
La Figura 11a ilustra una vista posterior de un casco y una vista lateral en sección transversal del casco que retiene un dispositivo electrónico móvil que tiene una cámara frontal (FCam) y una cámara trasera (BCam); La Figura 11 b ilustra una vista en sección transversal superior y una vista en sección transversal frontal del casco que retiene el dispositivo de visualización del dispositivo electrónico móvil en una posición óptima con relación al casco;
La Figura 11c ilustra una vista en sección transversal superior y una vista en sección transversal frontal del casco que retiene el dispositivo electrónico móvil en una posición de desplazamiento cambiada lateralmente (delta) subóptima con relación al casco; y
La Figura 12 ilustra varias vistas de un plano de imagen virtual donde un usuario percibe que el dispositivo de visualización del dispositivo electrónico móvil está situado mientras que el usuario está llevando puesto el casco.
Descripción detallada
Los conceptos de la presente solicitud se describirán ahora con más detalle en lo sucesivo con referencia a los dibujos adjuntos, en los que se muestran ejemplos de realizaciones de conceptos. Sin embargo, los conceptos se pueden incorporar en muchas formas diferentes y no se deberían interpretar como limitados a las realizaciones expuestas en la presente memoria. Más bien, estas realizaciones se proporcionan de modo que esta descripción sea minuciosa y completa, y transmita completamente el alcance de varios conceptos presentes a los expertos en la técnica. También se debería señalar que estas realizaciones no son mutuamente excluyentes. Se puede suponer tácitamente que los componentes de una realización están presentes/se usan en otra realización.
La Figura 1 ilustra un sistema de MR que incluye un casco de MR 100 que contiene un dispositivo electrónico móvil 120 que está configurado para funcionar de acuerdo con algunas realizaciones de la presente descripción. Haciendo referencia a la Figura 1, el casco de MR 100 incluye una lente 110 a través de la cual un usuario que está llevando puesto el casco de MR puede ver características del mundo real y además incluye un soporte 121 que está configurado para retener de manera liberable el dispositivo electrónico móvil 120 en una orientación definida con relación a la lente 110.
El dispositivo electrónico móvil 120 incluye una cámara 122, un dispositivo de visualización (1040 en la Fig. 10) y un procesador (1006 en la Fig. 10). La cámara 122 está configurada para emitir imágenes digitales (por ejemplo, imágenes fijas y/o video) y dispuesta por el soporte 121 para ver al menos una parte de la lente 110 del casco de MR 100. El dispositivo de visualización 1040 está dispuesto para mostrar información que se proyecta en la lente 110 para reflexión directa o indirectamente hacia los ojos del usuario, es decir, mientras que se lleva puesto el casco de MR 100 y la cámara 122 del dispositivo electrónico móvil 120. Aunque no se muestra, el casco puede incluir espejos intermedios que se colocan entre la lente 110 y los ojos del usuario y/o la cámara 122 y, por lo tanto, la luz se puede reflejar directa o indirectamente hacia los ojos del usuario y/o la cámara 122.
El dispositivo electrónico móvil 120 puede incluir, pero no se limita a, un teléfono inteligente, un ordenador de bolsillo, una tableta, un dispositivo de juegos u otro dispositivo informático. También se hace referencia en la presente memoria a un "dispositivo electrónico móvil" como "dispositivo móvil" y "dispositivo" por brevedad. Como se explicará con más detalle a continuación, varias operaciones que se describen a continuación como que se realizan por el dispositivo electrónico móvil 120 además o alternativamente se pueden realizar por otro dispositivo electrónico que está conectado de manera comunicativa al dispositivo electrónico móvil 120.
La Figura 2 ilustra una vista lateral del sistema de MR de la Figura 1. Haciendo referencia a la Figura 2, el dispositivo de visualización 1040 (Fig. 10) del dispositivo electrónico móvil 120 muestra información que se proyecta a lo largo del camino 200a sobre la lente 110 para reflejarla hacia atrás a lo largo del camino 200b hacia los ojos del usuario y a lo largo del camino 200c hacia la cámara 122.
La Figura 3 ilustra otra configuración de un casco de VR 300 que se puede usar según algunas realizaciones. Haciendo referencia a la Figura 3, el dispositivo de visualización 1040 (Fig. 10) del dispositivo electrónico móvil 120 muestra información que se proyecta hacia las lentes a través de las cuales un usuario ve el dispositivo de visualización 1040. Las imágenes del dispositivo de visualización 1040 también se pueden reflejar por las lentes y/o los ojos del usuario de vuelta a la cámara 122 (Fig. 10).
Un enfoque para intentar determinar la pose de un dispositivo electrónico móvil 120 con relación a un casco de MR, que ha sido implementado por Google Daydream VR, es usar dos almohadillas conductoras 310 (Fig. 3) que están configuradas para contactar con el dispositivo de visualización 1040 (Fig. 10). El dispositivo electrónico móvil 120 puede medir entonces la ubicación de las almohadillas 310 en base a dónde contactan con el dispositivo de visualización sensible al tacto y determinar a partir de la misma la posición del dispositivo electrónico móvil 120 con relación al casco 300. Además, el dispositivo electrónico móvil 120 puede medir la orientación en rollo con respecto al casco 300. Sin embargo, el dispositivo electrónico móvil 120 no sería capaz de medir el desplazamiento en otras orientaciones. Este enfoque también requiere que las almohadillas se construyan en el casco 300, lo que lo hace más complejo y costoso de ser fabricado, al tiempo que se requiere que el teléfono inteligente esté detectando contactos en el dispositivo de visualización mientras que se ejecuta la aplicación de MR. Además, el requisito de que las almohadillas 310 toquen el dispositivo de visualización reduce el área de visualización en la que se puede mostrar el contenido para ver por el usuario.
Las realizaciones de la presente descripción están dirigidas a calibrar la pose de un dispositivo electrónico móvil con relación a un casco de modo que el contenido virtual se pueda reproducir para permitir una visualización óptima por el usuario que lleva puesto el casco. Los resultados de una o más operaciones de calibración anteriores se pueden usar para facilitar y mejorar una presente operación de calibración.
Como se usa en la presente memoria, el término "pose" se refiere a la posición y/o el ángulo de rotación de un dispositivo (por ejemplo, un dispositivo electrónico móvil) con relación a otro dispositivo (por ejemplo, un casco) o a un sistema de coordenadas definido. Por lo tanto, una pose se puede definir únicamente en base a la posición multidimensional de un dispositivo con relación a otro dispositivo o en un sistema de coordenadas definido, solo en los ángulos de rotación multidimensionales del dispositivo con relación a otro dispositivo o en un sistema de coordenadas definido, o en una combinación de la posición multidimensional y de los ángulos de rotación multidimensionales. Por lo tanto, el término "pose" se usa para hacer referencia a la posición, el ángulo de rotación o una combinación de los mismos.
La Figura 4 es un diagrama de flujo de operaciones y métodos que se pueden realizar por un dispositivo electrónico móvil para determinar su pose con respecto a un casco. El casco incluye un soporte que está configurado para retener de manera liberable el dispositivo electrónico móvil en una pose definida con relación al casco. El dispositivo electrónico móvil incluye una cámara (por ejemplo, 122 en la Fig. 10), un dispositivo de visualización (por ejemplo, 1040 en la Fig. 10), un procesador (por ejemplo, 1006 en la Fig. 10) conectado operativamente a la cámara y al dispositivo de visualización, y una memoria (por ejemplo, 1010 en la Fig. 10) que almacena el código del programa (por ejemplo, 1012 en la Fig. 10) que se ejecuta por el procesador para realizar operaciones.
Haciendo referencia a la Figura 4, las operaciones recuperan 400 parámetros de calibración de una memoria que caracterizan al menos una pose de la cámara con relación al dispositivo de visualización. Una imagen digital de la cámara se procesa 402 para identificar una pose de una característica identificable ópticamente dentro de la imagen digital que fue captada mientras que el dispositivo electrónico móvil está retenido por el soporte. Una pose del dispositivo electrónico móvil se identifica 404 con relación al soporte en base a la pose identificada de la característica identificable ópticamente dentro de la imagen digital y en base a al menos la pose de la cámara con relación al dispositivo de visualización según se caracteriza por los parámetros de calibración. El control de operaciones 406 donde los objetos gráficos se representan en el dispositivo de visualización en base a la pose identificada del dispositivo electrónico móvil con relación al soporte.
En consecuencia, el dispositivo electrónico móvil usa la cámara para determinar la pose del dispositivo con relación al casco, y luego usa la pose relativa para mejorar cómo se representan los objetos gráficos en el dispositivo de visualización para ver por un usuario que lleva puesto el casco.
Condiciones para desencadenar la calibración de la pose del dispositivo electrónico móvil en el casco
Las operaciones para calibrar la pose relativa de un dispositivo electrónico móvil con relación al casco se pueden desencadenar recibiendo una notificación de que el dispositivo electrónico móvil se ha insertado en el soporte del casco. Las operaciones pueden capturar una imagen en respuesta usando una cámara frontal del dispositivo electrónico móvil, recuperar parámetros de calibración almacenados para el dispositivo electrónico móvil y el casco, y determinar nuevos parámetros de calibración en base a la imagen captada y los parámetros de calibración recuperados. En algunas realizaciones, las operaciones de calibración se realizan en respuesta a una notificación de calibración que se desencadena.
En una realización, se desencadena una notificación de calibración cuando una nueva aplicación MR o VR comienza a ejecutarse en el dispositivo electrónico móvil, donde la aplicación está configurada para usar con un casco. En otra realización, se desencadena una notificación de calibración cuando el usuario inicia la operación de recalibración, por ejemplo, seleccionando una indicación seleccionable por el usuario proporcionada por la aplicación.
En otra realización más, iniciar una aplicación de MR o VR muestra una imagen o un texto que sugiere al usuario que inserte el dispositivo electrónico móvil en el casco de MR o VR. La inserción posterior exitosa se detecta activando la cámara frontal y comprobando repetidamente para determinar cuándo se captura el interior del casco. Por ejemplo, la imagen digital de la cámara frontal se puede procesar para identificar una pose de una característica identificable ópticamente del casco, tal como las almohadillas 310, las lentes, las aberturas para los ojos y/u otras características estructurales o marcas en el casco. 300 en la Figura 3 o el casco 100 en las Figuras 1 y 2.
En otra realización, se utilizan técnicas de formación de imágenes de la córnea para detectar el reflejo del contenido virtual visualizado en la córnea del ojo del usuario. Se desencadena una notificación de calibración cuando la calidad de la imagen (distorsión, ubicación en el mundo real, etc.) ya no satisface una regla de calidad definida, que se puede especificar al menos parcialmente por el usuario.
En otra realización, las imágenes digitales de la cámara se pueden procesar para rastrear hacia dónde se dirige el ojo del usuario. Se puede desencadenar una notificación de calibración en base a la determinación de que el ojo del usuario se dirige fuera del centro desde una ubicación deseada o se dirige de otra manera que satisfaga una regla definida para desencadenar la calibración.
Uso de una cámara frontal para identificar la pose de una característica identificable ópticamente
La característica identificable ópticamente pertenece a una característica del casco. Una imagen digital de una cámara frontal del dispositivo electrónico móvil 120 se puede procesar 402 como parte de las operaciones de la Figura 4 para identificar una pose de una característica identificable ópticamente dentro de la imagen digital que fue captada mientras que el dispositivo electrónico móvil está retenido por el soporte. La imagen digital captada por la cámara frontal se puede procesar para identificar una pose del ojo del usuario con relación a la cámara.
Por ejemplo, la operación para procesar (402 en la Fig. 4) la imagen digital de la cámara para identificar la pose de la característica identificable ópticamente dentro de la imagen digital que se captó mientras que el dispositivo electrónico móvil está retenido por el soporte, puede incluir el procesamiento de la imagen digital para identificar la pose de una característica identificable ópticamente del casco que se capta por la cámara.
Las operaciones pueden incluir además determinar a partir de los parámetros de calibración recuperados (400 en la Fig. 4) de la memoria, una pose de la característica identificable ópticamente del casco dentro de una imagen digital anterior que fue captada por la cámara durante un proceso de calibración anterior. La operación para procesar (402 en la Fig. 4) la imagen digital de la cámara para identificar la pose de la característica identificable ópticamente del casco dentro de la imagen digital se realiza durante un proceso de calibración presente. La operación para identificar (404 en la Fig. 4) la pose del dispositivo electrónico móvil con relación al soporte se puede basar en la comparación de la pose identificada de la característica identificable ópticamente del casco dentro de la imagen digital que se captó durante el proceso de calibración presente a la pose de la característica identificable ópticamente del casco dentro de la imagen digital anterior que se captó durante el proceso de calibración anterior.
En algunas otras realizaciones, la característica identificable ópticamente que se identifica por el dispositivo electrónico móvil es una característica de un patrón de calibración que se proyecta, por ejemplo, destella, por el dispositivo de visualización en el casco y se refleja desde el mismo para ser captado por la cámara. La característica identificable ópticamente del patrón de calibración se procesa como parte de las operaciones para determinar la posición del dispositivo electrónico móvil con relación al casco.
Por ejemplo, las operaciones pueden incluir además la visualización de un patrón de calibración en el dispositivo de visualización para que la cámara capte una parte del patrón de calibración dentro de la imagen digital mediante reflexión de la parte del patrón de calibración desde una superficie del casco y/o desde un ojo del usuario. La operación para procesar (402 de la Fig. 4) la imagen digital de la cámara para identificar la pose de la característica identificable ópticamente dentro de la imagen digital, incluye procesar la imagen digital para identificar la pose de una característica definida dentro de la parte del patrón de calibración.
Recuperar los parámetros de calibración almacenados para el teléfono inteligente y el casco
Como se explicó anteriormente, los parámetros de calibración que se recuperan de la memoria del dispositivo electrónico móvil caracterizan al menos una pose de la cámara con relación al dispositivo de visualización. Los parámetros de calibración pueden caracterizar otras relaciones previamente determinadas o definidas (posiciones relacionales, poses, etc.) entre el dispositivo electrónico móvil, la cámara frontal, la cámara trasera, el dispositivo de visualización, el casco, el soporte del casco, una lente del casco y/o los puertos de visualización del casco. Alternativamente o además, los parámetros de calibración pueden caracterizar el funcionamiento de la cámara o cámaras, el dispositivo de visualización u otros componentes del dispositivo electrónico móvil y/o el casco. Por ejemplo, los parámetros de calibración pueden incluir uno o más de los siguientes:
1) una característica identificable ópticamente y su ubicación y/o un conjunto de características identificables ópticamente y sus poses relativas, en base a una imagen digital captada desde la cámara frontal cuando se utilizó el dispositivo electrónico móvil durante un procedimiento de calibración anterior;
2) una imagen de imagen digital captada desde la cámara frontal durante un procedimiento de calibración anterior; 3) un parámetro o parámetros de distorsión correspondientes a la lente del casco y/o la cámara (por ejemplo, distorsión de barril), que se pueden determinar durante un procedimiento de calibración anterior y/o definir; 4) parámetros del casco que caracterizan una relación entre el casco y las coordenadas del ojo determinadas durante un procedimiento de calibración anterior; y
5) parámetros de proyección fuera del eje que caracterizan una proyección entre las coordenadas del ojo y las coordenadas de visualización de uno o ambos ojos del usuario determinados durante un procedimiento de calibración anterior.
En una realización, el procedimiento de calibración anterior se puede realizar como un procedimiento de calibración fuera de línea o de fábrica. En otra realización, el procedimiento de calibración anterior se puede realizar como un procedimiento de calibración de una sola vez realizado sobre una base por usuario, y que puede corresponder a operaciones para un método de alineación activa de un solo punto (SPAAM), tal como se describe por M Tuceryan y N. Navab, Single Point Active Alignment Method (SPAAM) for Optical See-Through HMD Calibration for AR, páginas 149-158 en IEEE 2000.
En algunas realizaciones ilustrativas adicionales, las operaciones del dispositivo electrónico móvil pueden incluir determinar, a partir de los parámetros de calibración recuperados de la memoria, los parámetros de distorsión de la cámara que afectan a la pose de la característica definida dentro de la imagen digital. La operación para procesar la imagen digital de la cámara para identificar la pose de la característica identificable ópticamente dentro de la imagen digital puede compensar los parámetros de distorsión de la cámara.
El dispositivo electrónico móvil puede realizar operaciones para determinar, a partir de los parámetros de calibración recuperados de la memoria, los parámetros del casco al ojo que identifiquen en al menos un espacio bidimensional las distancias entre al menos una ubicación en el casco y al menos un ojo del usuario determinadas durante un proceso de calibración anterior. La operación para controlar dónde se representan los objetos gráficos en el dispositivo de visualización se puede realizar además en base a los parámetros de casco a ojo.
El dispositivo electrónico móvil puede realizar operaciones para determinar, a partir de los parámetros de calibración recuperados de la memoria, los parámetros de proyección fuera del eje que identifiquen en al menos un espacio bidimensional las distancias entre al menos una ubicación en el dispositivo de visualización y al menos un ojo del usuario determinadas durante una operación de proceso de calibración anterior para controlar dónde se representan los objetos gráficos en el dispositivo de visualización se puede realizar además en base a los parámetros de proyección fuera del eje.
Determinación de nuevos parámetros de calibración en base a imágenes digitales captadas y parámetros de calibración almacenados anteriormente
Ahora se describen operaciones adicionales que se pueden realizar por un dispositivo electrónico móvil en el contexto de las realizaciones de las Figuras 11a, 11b y 11c. La figura 11a ilustra una vista posterior de un casco y una vista lateral en sección transversal del casco que retiene un dispositivo electrónico móvil que tiene una cámara frontal (FCam) y una cámara trasera (BCam). La Figura 11b ilustra una vista en sección transversal superior y una vista en sección transversal frontal del casco que retiene el dispositivo de visualización del dispositivo electrónico móvil en una posición óptima con relación al casco. La Figura 11c ilustra una vista en sección transversal superior y una vista en sección transversal frontal del casco que retiene el dispositivo electrónico móvil en una posición de desplazamiento cambiada lateralmente (delta) subóptima con relación al casco. Como se explicará con más detalle a continuación con respecto a la Figura 11c, el campo de visión (FOV) de las imágenes de la cámara frontal generado por la visualización en el dispositivo de visualización se puede ajustar (por ejemplo, cambiar lateralmente) de modo que el puerto de visualización del ojo izquierdo se vuelva más pequeño mientras que el puerto de visualización del ojo derecho se vuelva más grande.
En el contexto de las Figuras 11a - c, el casco se refiere a una parte fija del casco. Los términos Eizqda y Edcha se refieren a la posición y orientación (por ejemplo, pose) del ojo virtual izquierdo y derecho respectivamente, que se alinean de manera óptima con los ojos del usuario real. BCam es la pose de la cámara trasera, que puede ser solo relevante para pantallas montadas en la cabeza ópticas transparentes (OST-HMD). FCam es la pose de la cámara frontal y "Visualizador" se refiere a la posición física del centro del dispositivo de visualización del dispositivo electrónico móvil. Las Figuras 11 a-11 c muestran un FOV de ejemplo de la cámara frontal, donde se ve que, para muchos cascos y dispositivos electrónicos móviles, una de las aberturas para los ojos estará dentro del FOV de la cámara frontal. La cámara frontal puede observar imágenes que se emiten por el dispositivo de visualización y se reflejan por una superficie reflectante del casco y/o el ojo del usuario hacia la cámara frontal. En consecuencia, la imagen digital de la cámara frontal incluye una imagen de una característica identificable ópticamente del casco.
Son posibles dos opciones de ajuste del puerto de visualización y las matrices de proyección en base a si el posicionamiento del ojo es posible o no. Ambas opciones se pueden aplicar por separado, dado que apuntan a diferentes fuentes de error, o juntas para eliminar ambos errores.
Opción 1 para identificar la pose del dispositivo electrónico móvil con respecto al soporte:
A continuación, se describen varias operaciones de ejemplo para la Opción 1 para determinar la pose del dispositivo electrónico móvil con relación al soporte del casco en base a una característica identificada ópticamente del casco. Utilizando una imagen digital de la cámara frontal, el dispositivo electrónico móvil puede identificar (extraer) una o más características identificables ópticamente del casco y determinar a partir de ellas la pose del dispositivo electrónico móvil con relación al casco. Los ejemplos de tal característica identificable ópticamente en el casco pueden incluir, sin limitación, la abertura de la nariz del casco, la abertura de los ojos, las esquinas de la superficie interior y/o una marca impresa en una superficie. Usando parámetros de cámara intrínsecos definidos/determinados de la cámara frontal y las dimensiones del casco (que se pueden recuperar como parámetros de calibración de la memoria), el dispositivo electrónico móvil puede operar para derivar una transformación de cámara a casco TFCAM que relaciona una pose de la cámara con una característica identificable ópticamente del casco dentro de la imagen digital. Los parámetros de calibración se pueden recuperar de la memoria que caracterizan una transformación de cámara a pantalla TFCAMUa que relaciona la pose de la cámara con una pose del dispositivo de visualización, que puede suponer que la pose fija del Casco está fijada a mitad de camino entre las dos aberturas de los ojos. Una transformación de pantalla a casco TpANAiia se genera en base a la transformación de cámara a casco
y la transformación de cámara a pantalla, tal como en base a í PantaUa = í FCam TFCam _1 que puede relacionar el desplazamiento entre el centro de la pantalla y el centro del casco. Dado que se pueden conocer las dimensiones del dispositivo de visualización (definidas por los parámetros de calibración en una memoria), esta transformación se puede usar para ajustar el cambio entre los puertos de visualización del ojo izquierdo y derecho para tener en cuenta las posiciones cambiadas delta del dispositivo electrónico móvil mostrado en las Figuras 11b y 11c.
Además de este ajuste, el dispositivo electrónico móvil puede tener en cuenta la distorsión no lineal causada por los sistemas ópticos entre la pantalla y los ojos del usuario, tal como la situación representada en la Figura 12. La Figura 12 ilustra varias vistas de un plano de imagen virtual donde un usuario percibe que el dispositivo de visualización del dispositivo electrónico móvil está ubicado mientras que el usuario está llevando puesto el casco. Haciendo referencia a la Figura 12, un plano de visualización virtual se coloca con relación al ojo a una distancia d. La proyección de tal configuración se describe mediante una matriz de proyección fuera del eje tal como la siguiente:
Figure imgf000008_0001
En la matriz de proyección fuera del eje, los términos r, l, t, b referido a las esquinas de los bordes del plano de visualización virtual con relación al centro de proyección a la distancia d. Así, los parámetros r, l, t, b, d describen el tamaño y la posición del plano de la imagen con relación al ojo. La parametrización alternativa y mínima de esta matriz de proyección se da por fu, fv, r0, c0. Dada tal parametrización mínima de un procedimiento de calibración, se puede ajustar a las dimensiones y la posición de puerto de visualización cambiado debido al cambio del teléfono inteligente. La distancia d se puede establecer en un valor arbitrario y dado el cambio relativo en r, l, t, b se puede calcular la matriz de proyección ajustada. Tenga en cuenta que para la matriz de proyección del ojo izquierdo r permanece fijo, mientras que para el ojo derecho I permanece fijo.
Varias operaciones correspondientes que se pueden realizar por el dispositivo electrónico móvil se ilustran en el diagrama de flujo de la Figura 5. Haciendo referencia a la Figura 5, la operación para identificar la pose del dispositivo electrónico móvil con relación al soporte en base a la pose identificada de la característica identificable ópticamente dentro de la imagen digital y en base a al menos la pose de la cámara con relación al dispositivo de visualización según se caracteriza por los parámetros de calibración, puede incluir generar 500 una transformación de cámara a casco que relacione una pose de la cámara con una característica identificable ópticamente del casco dentro de la imagen digital. Se obtiene una transformación de cámara a pantalla 502 que relaciona la pose de la cámara con una pose del dispositivo de visualización. Se genera una transformación de pantalla a casco 504 en base a la transformación de cámara a casco y la transformación de cámara a pantalla. La operación para controlar 506 en la que los objetos gráficos se representan en el dispositivo de visualización en base a la pose identificada del dispositivo electrónico móvil con relación al soporte, se puede realizar en base a la transformación de pantalla a casco.
Una operación adicional que se puede realizar por el dispositivo electrónico móvil incluye determinar a partir de los parámetros de calibración recuperados de la memoria, los parámetros de distorsión de la cámara que afectan a la pose de la característica identificable ópticamente del casco dentro de la imagen digital. La operación para generar la transformación de cámara a casco se puede realizar para compensar los parámetros de distorsión de la cámara.
La operación para obtener la transformación de cámara a pantalla que relaciona la pose de la cámara con la pose del dispositivo de visualización puede incluir el procesamiento de la imagen digital u otra imagen digital de la cámara para identificar, a partir de una imagen reflejada que se genera por una imagen del dispositivo de visualización que se refleja por una superficie reflectante del casco a la cámara, distancias entre la cámara y el dispositivo de visualización con relación a al menos un sistema de coordenadas bidimensional. El dispositivo electrónico móvil puede generar entonces la transformación de cámara a pantalla en base a las distancias entre la cámara y el dispositivo de visualización.
La operación para generar la transformación de cámara a pantalla en base a las distancias entre la cámara y el dispositivo de visualización puede incluir la obtención de datos que caractericen las distancias entre el soporte y la superficie reflectante del casco que produjo la imagen reflejada. El dispositivo electrónico móvil puede generar entonces la transformación de cámara a pantalla en base a escalar las distancias entre la cámara y el dispositivo de visualización identificado en la imagen reflejada en base a los datos que caracterizan las distancias entre el soporte y la superficie reflectante del casco.
Opción 2 para identificar la pose del dispositivo electrónico móvil con respecto al soporte:
A continuación se describen varias operaciones de ejemplo para la Opción 2 para determinar la pose del dispositivo electrónico móvil con relación al soporte del casco en base a una pose identificada del ojo del usuario.
El dispositivo electrónico móvil puede realizar operaciones adicionales para ajustarse a un cambio en la pose de los ojos del usuario con relación al casco, tal como se muestra en la Figura 12, que se puede deber a una colocación del casco cambiada y/o a un usuario diferente que está llevando puesto el casco. El plano de imagen virtual se caracteriza porque su proyección puede ser correcta independientemente de la posición real del ojo (es decir, dado un ojo en movimiento, el mundo real exhibirá el mismo movimiento que el plano de imagen virtual). Todo el contenido delante o detrás de este plano exhibirá un error debido a la diferencia entre la posición del ojo virtual E y la posición del ojo real É. Cuando la cámara frontal del casco puede captar la posición de los ojos, el dispositivo
electrónico móvil puede procesar la imagen digital para calcular ambas matrices de posición PFCamy PFCam |_a E
matriz PFCam caracteriza cómo se coloca la cámara virtual con relación a la cámara frontal, y normalmente esto se
E
establecerá durante la fase de calibración inicial. La matriz PFCam caracteriza la posición del ojo real del usuario, con relación a la cámara frontal, que ahora podría ser diferente que durante la calibración inicial, debido a que otro usa el casco o una posición diferente del casco. La posición se puede determinar encontrando una posición fija del ojo, es decir, la esquina del ojo y ajustando la profundidad a un valor fijo. También podrían usarse técnicas alternativas que pueden incluir formación de imágenes de la córnea para inferir la posición del ojo (incluyendo la profundidad) usando la cámara frontal. Para ajustar la posición del ojo virtual y ajustar la matriz de proyección, se puede usar la siguiente ecuación que caracteriza el cambio en la posición del ojo en el sistema de coordenadas del casco:
Este cambio se debería aplicar tanto a la posición de la cámara virtual como a la matriz de proyección, de modo que la proyección del plano de la imagen virtual permanezca sin cambios similar a las relaciones mostradas en la Figura 12. Por ejemplo, cuando DECasco indica que la posición del ojo se ha movido 5 mm hacia abajo, la posición del ojo virtual también se desplazará hacia abajo 5 mm. Además, la matriz de proyección Poff se ajusta aumentando t en 5 mm y disminuyendo b en 5 mm. Los demás parámetros permanecerán sin cambios.
Varias operaciones correspondientes que se pueden realizar por el dispositivo electrónico móvil se ilustran en el diagrama de flujo de la Figura 6. Haciendo referencia a la Figura 6, las operaciones pueden incluir el procesamiento 600 de la imagen digital u otra imagen digital de la cámara para identificar una pose de un ojo del usuario, y generar 602 una transformación de cámara a ojo que relaciona la pose de la cámara con la pose identificada del ojo del usuario. La operación para controlar 406 (Fig. 4) en la que los objetos gráficos se presentan en el dispositivo de visualización se puede realizar además luego en base a la transformación de cámara a ojo.
En una realización, cuando el dispositivo electrónico móvil detecta que está puesto en el casco con una ubicación y orientación que no puede lograr la calidad de imagen deseada, se puede mostrar el mensaje al usuario que indica que el dispositivo electrónico móvil se debería reposicionado por el usuario. El desplazamiento/rotación a ser aplicado al dispositivo electrónico móvil se puede calcular en base a las realizaciones anteriores en este paso e indicar mediante una notificación al usuario (por ejemplo, se logra un mensaje que indica el movimiento recomendado hacia la izquierda/derecha/arriba/abajo/rotación izquierda, derecha, etc. hasta conseguir un posicionamiento óptimo del dispositivo).
En una realización adicional, el dispositivo electrónico móvil puede notificar al usuario cómo se debería mover el dispositivo electrónico móvil para obtener un funcionamiento mejorado con el casco. La Figura 7 es un diagrama de flujo de operaciones que se puede realizar por el dispositivo electrónico móvil según una realización. Haciendo referencia a la Figura 7, las operaciones pueden incluir responder a la pose identificada del dispositivo electrónico móvil con relación al soporte que excede un valor de umbral de desplazamiento, determinando 700 una dirección y una distancia en la que el dispositivo electrónico móvil se ha de mover con relación al soporte, por lo que el dispositivo de visualización está dentro de una distancia umbral de una ubicación definida en el soporte y luego mostrando 702 un mensaje en el dispositivo de visualización que indica la dirección y la distancia a la que se ha de mover el dispositivo electrónico móvil.
En otra realización, el dispositivo electrónico móvil puede proporcionar actualizaciones de notificaciones dinámicas a medida que el usuario mueve el dispositivo electrónico móvil buscando obtener una pose óptima que proporcione un funcionamiento mejorado. Por ejemplo, el dispositivo electrónico móvil puede responder a la pose identificada del dispositivo electrónico móvil con relación al soporte que excede un valor umbral de desplazamiento, determinando una dirección y/u orientación angular en la que el dispositivo electrónico móvil se ha de mover con relación al soporte, por lo que el dispositivo de visualización está dentro de una distancia umbral de una ubicación definida en el soporte. El dispositivo electrónico móvil puede mostrar un mensaje en el dispositivo de visualización que indica la dirección y/o la orientación angular en la que se debería mover el dispositivo electrónico móvil. El dispositivo electrónico móvil puede repetir las operaciones para determinar la dirección/orientación angular y mostrar mensajes adicionales que indican la dirección en la que se debería mover el dispositivo electrónico móvil hasta que el dispositivo electrónico móvil esté dentro de la distancia umbral de la ubicación/orientación definida en el soporte. La inferencia de cuáles son las ubicaciones y orientaciones del dispositivo electrónico móvil que dan como resultado una calidad de imagen menor que la deseada se puede calcular a priori en base a pruebas de fábrica o de usuario, o en base a parámetros de calibración que caracterizan el sistema óptico y la estructura de un casco dado.
En otra realización, las características más destacadas se comprueban primero y solo se realiza un análisis adicional si se supera un umbral de desplazamiento de detección predefinido en estas características. En ese caso, la posición y el tamaño de los puertos de visualización de los dos ojos se pueden ajustar inicialmente según un proceso que busca optimizar en base a la pose actual del dispositivo electrónico móvil. Las matrices de proyección fuera del eje se pueden ajustar para tener en cuenta los tamaños del puerto de visualización cambiados y los parámetros de distorsión se ajustan para tener en cuenta los nuevos centros de distorsión.
En otra realización, además de los ajustes mencionados en la realización anterior, la imagen de la cámara frontal se puede usar para estimar la posición del ojo del usuario. Las matrices de proyección y los parámetros de distorsión se pueden ajustar en consecuencia en base a esta posición estimada y la calculada durante la fase de calibración (a priori o de fábrica). Si se puede observar la posición de un solo ojo por la cámara frontal, el desplazamiento entre la posición observada y la calibrada del ojo se puede considerar como el desplazamiento de la cabeza. Por lo tanto, este desplazamiento también se puede aplicar al segundo ojo. Alternativamente, se puede aplicar un esquema de calibración manual para compensar la información que falta.
Tipos adicionales de parámetros de calibración que se pueden recuperar de la memoria:
Además de la descripción anterior, se pueden recuperar otros tipos de parámetros de calibración por el dispositivo electrónico móvil de la memoria que caracterizan varias características diferentes de la cámara, el dispositivo de visualización, las diversas transformaciones de pose, etc. Por ejemplo, los parámetros de calibración pueden caracterizar parámetros operativos y/o parámetros intrínsecos de la cámara frontal y/o cámara trasera. Los parámetros de calibración pueden caracterizar la pose relativa de la cámara trasera a la cámara frontal, la Ij ’BCam BCam FC am > y / 0 |a p0 s e re|at¡va de la pantalla a la cámara trasera, la transformación T Cas™ , que puede ser útil para aplicaciones de AR.
Los parámetros de calibración pueden caracterizar la posición relativa de la cámara frontal con respecto al dispositivo de visualización, la transformación 1-FCam .
Los parámetros de calibración pueden caracterizar las características del dispositivo de visualización, tal como una muesca en la cámara frontal y/o la densidad de píxeles, por ejemplo, la relación píxel-centímetro.
En una realización, todos o algunos de estos parámetros se proporcionan por el kit de desarrollo de software (SDK) del dispositivo electrónico móvil o desde una base de datos construida previamente.
En otra realización, los parámetros intrínsecos se obtienen por el usuario del casco realizando un método de calibración clásico para las cámaras frontal y trasera (por ejemplo, grabando un vídeo de un tablero de ajedrez). En otra realización, la posición relativa de la cámara trasera se estima mediante un paso de calibración manual del usuario, tal como el método SPAAM. El paso de calibración puede incluir que el usuario tenga que alinear un objeto virtual con su correspondencia del mundo real (por ejemplo, un marcador) en diferentes posiciones. El usuario se comunica con el dispositivo electrónico móvil cuando se ha producido una alineación (por ejemplo, a través de una indicación seleccionable por el usuario, un mando a distancia o un gesto de la mano detectado). Estos puntos se utilizan posteriormente para recuperar la transformación entre la cámara trasera y el dispositivo electrónico móvil (cámara frontal o dispositivo de visualización). En una realización, el número de puntos está predefinido por el fabricante del casco. En otra realización, los puntos se pueden recopilar hasta que se logre la convergencia de la proyección. En otra realización, después de recopilar un punto, se actualiza la proyección que se puede usar para mostrar la representación del objeto del mundo real en el mundo virtual. Cuando el usuario determina o el dispositivo electrónico móvil determina que la alineación satisface una regla definida, se finaliza la calibración.
En otra realización, se usa una imagen digital de la cámara para recuperar la transformación T C m ^ . Dada la transformación estimada durante una calibración anterior, y las características de los espejos/elementos ópticos del casco, que se pueden definir por el fabricante, el reflejo de la pantalla se utiliza para determinar la transformada T C m ^ . Con el fin de usar correctamente la pose del reflejo de la pantalla, se puede mostrar alguna forma arbitraria cuando se capta la imagen (por ejemplo, una esquina resaltada).
En otra realización, utilizando la información de una realización descrita anteriormente y utilizando una imagen de fondo mostrada junto con la forma de la realización anterior, se pueden estimar el tamaño de la pantalla y/o la densidad de píxeles, por ejemplo, relación de píxel a centímetro. La misma imagen digital también se puede usar para detectar características de visualización, tales como la forma de la pantalla (por ejemplo, una pantalla que tiene una parte con muescas para acomodar un auricular, una cámara, un micrófono, etc.).
Las operaciones correspondientes que se pueden realizar por el dispositivo electrónico móvil se ilustran en el diagrama de flujo de la Figura 8 según una realización. Haciendo referencia a la Figura 8, las operaciones muestran 800 un patrón de calibración en el dispositivo de visualización para que la cámara capte una parte del patrón de calibración dentro de la imagen digital u otra imagen digital mediante el reflejo de la parte del patrón de calibración desde una superficie del casco y/o de un ojo del usuario. Las operaciones determinan 802 el tamaño del dispositivo de visualización y/o la densidad de píxeles del dispositivo de visualización en base a una determinación del tamaño de una característica dentro de la parte del patrón de calibración. Las operaciones entonces pueden almacenar 804 una indicación del tamaño del dispositivo de visualización y/o la densidad de píxeles del dispositivo de visualización en una estructura de datos de los parámetros de calibración en la memoria.
La Figura 9 es un diagrama de flujo de las operaciones que se pueden realizar por el dispositivo electrónico móvil según una realización. Haciendo referencia a la Figura 9, las operaciones pueden incluir mostrar 900 una imagen en el dispositivo de visualización. La cámara se puede operar para captar un reflejo de la imagen mostrada por el dispositivo de visualización y reflejada por una superficie del casco y/o por un ojo del usuario. Las operaciones pueden determinar 902 la forma del dispositivo de visualización en base a una determinación de la forma de la imagen reflejada y almacenar 904 una indicación de la forma del dispositivo de visualización en una estructura de datos de los parámetros de calibración en la memoria.
Implementación en la nube
Algunas o todas las operaciones descritas anteriormente como que se realizan por un dispositivo electrónico móvil se pueden realizar alternativamente por otro nodo que sea parte de un recurso informático en la nube de la red. Por ejemplo, estas operaciones se pueden realizar como una función de red por un servidor en la nube o un recurso en la nube de un operador de red, tal como un servidor de juegos u otro entretenimiento, un servidor de mapas de enrutamiento de viajes, un servidor de comercio electrónico, etc.
Configuraciones de dispositivos electrónicos móviles de ejemplo
La Figura 10 es un diagrama de bloques de los componentes de un dispositivo electrónico móvil 120 que están configurados para operar de acuerdo con algunas otras realizaciones de la presente descripción. El dispositivo electrónico móvil 120 puede incluir una cámara (por ejemplo, una cámara frontal 122, una cámara trasera 1050 y/o una pluralidad de cámaras frontales/traseras), un dispositivo de visualización 1040, al menos un circuito procesador 1006 (procesador), y al menos una memoria 1010 (memoria). El dispositivo electrónico móvil 120 puede incluir además una circuitería de interfaz de red inalámbrica 1030, un sensor de movimiento y/o un sensor de orientación 1060 y/o un altavoz 1070. El sensor 1060 puede incluir una unidad de medición inercial que emite señales que se procesan por el procesador 1006 para determinar la pose y/o el movimiento del dispositivo electrónico móvil 120. El circuito de interfaz de red inalámbrica 1030 se puede configurar para comunicarse con otro dispositivo electrónico a través de una interfaz de red inalámbrica (por ejemplo, Wi-Fi, Bluetooth, celular, etc.).
El procesador 1006 está conectado operativamente a estos diversos componentes. La memoria 1010 almacena el código de programa 1012 que se ejecuta por el procesador 1006 para realizar operaciones. El procesador 1006 puede incluir uno o más circuitos de procesamiento de datos, tales como un procesador de propósito general y/o de propósito especial (por ejemplo, un microprocesador y/o un procesador de señales digitales), que pueden estar colocados conjuntamente o distribuidos a través de una o más redes de datos. El procesador 1006 está configurado para ejecutar instrucciones de programa informático entre el código de programa 1012 en la memoria 1010, descrita a continuación como un medio legible por ordenador, para realizar algunas o todas las operaciones y métodos para una o más de las realizaciones descritas en la presente memoria para un dispositivo electrónico móvil.
Definiciones y realizaciones adicionales:
En la descripción anterior de varias realizaciones de los presentes conceptos, se ha de entender que la terminología utilizada en la presente memoria es con el propósito de describir realizaciones particulares únicamente y no se pretende que sea limitante de los presentes conceptos. A menos que se defina de otro modo, todos los términos (incluyendo los términos técnicos y científicos) utilizados en la presente memoria tienen el mismo significado que comúnmente se entiende por un experto en la técnica a la que pertenecen los presentes conceptos. Se entenderá además que términos, tales como los definidos en diccionarios de uso común, se deberían interpretar como que tienen un significado que sea consistente con su significado en el contexto de esta especificación y la técnica relevante y no se interpretarán en un sentido idealizado o demasiado sentido formal expresamente así definido en la presente memoria.
Cuando se hace referencia a un elemento como que está "conectado", "acoplado", "sensible" o variantes de los mismos a otro elemento, puede estar directamente conectado, acoplado o sensible al otro elemento o pueden estar presentes elementos intermedios. Por el contrario, cuando se hace referencia a un elemento como que está "directamente conectado", "directamente acoplado", "directamente sensible" o variantes de los mismos a otro elemento, no hay presentes elementos intermedios. Números similares se refieren a elementos similares en todas partes. Además, "acoplado", "conectado", "sensible" o variantes de los mismos, como se usa en la presente memoria, puede incluir acoplado, conectado o sensible de forma inalámbrica. Como se usa en la presente memoria, las formas singulares "un", "una", "el" y “la” se pretende que también incluyan las formas plurales, a menos que el contexto indique claramente lo contrario. Funciones o construcciones bien conocidas pueden no ser descritas en detalle por razones de brevedad y/o claridad. El término "y/o" incluye cualquiera y todas las combinaciones de uno o más de los elementos enumerados asociados.
Se entenderá que, aunque los términos primero, segundo, tercero, etc. se pueden usar en la presente memoria para describir varios elementos/operaciones, estos elementos/operaciones no se deberían limitar por estos términos. Estos términos solo se utilizan para distinguir un elemento/operación de otro elemento/operación. Así, un primer elemento/operación en algunas realizaciones se podría denominar segundo elemento/operación en otras realizaciones sin apartarse de las enseñanzas de los presentes conceptos. Los mismos números de referencia o los mismos designadores de referencia denotan elementos iguales o similares en toda la especificación.
Como se usa en la presente memoria, los términos "comprenden", "que comprende", "comprende", "incluyen", "que incluye", "incluye", "tienen", "tiene", "que tiene", o variantes de los mismos son abiertos, e incluye una o más características, números enteros, elementos, pasos, componentes o funciones establecidos, pero no excluye la presencia o adición de una o más características, números enteros, elementos, pasos, componentes, funciones o grupos de los mismos. Además, como se usa en la presente memoria, la abreviatura común "por ejemplo", que se deriva de la frase latina "exempli gratia", se puede usar para introducir o especificar un ejemplo general o ejemplos de un elemento mencionado anteriormente, y no pretende ser limitante de tal elemento. La abreviatura común "por ejemplo", que deriva de la frase latina "id est", puede usarse para especificar un elemento particular de una recitación más general.
Las realizaciones de ejemplo se describen en la presente memoria con referencia a diagramas de bloques y/o ilustraciones de diagramas de flujo de métodos implementados por ordenador, aparatos (sistemas y/o dispositivos) y/o productos de programas informáticos. Se entiende que un bloque de los diagramas de bloques y/o las ilustraciones de los diagramas de flujo, y las combinaciones de bloques en los diagramas de bloques y/o las ilustraciones de los diagramas de flujo, se pueden implementar mediante instrucciones de programas informáticos que se realizan por uno o más circuitos informáticos. Estas instrucciones de programas informáticos se pueden proporcionar a un circuito procesador de un circuito informático de propósito general, un circuito informático de propósito especial y/u otro circuito de procesamiento de datos programable para producir una máquina, de modo que las instrucciones, que se ejecutan a través del procesador del ordenador y/u otros aparatos de procesamiento de datos programables, transistores de transformación y control, valores almacenados en ubicaciones de memoria y otros componentes de hardware dentro de tal circuitería para implementar las funciones/actos especificadas en los diagramas de bloques y/o el bloque o bloques del diagrama de flujo y, por lo tanto, crear medios ( funcionalidad) y/o estructura para implementar las funciones/actos especificados en los diagramas de bloques y/o bloque o bloques del diagrama de flujo.
Estas instrucciones de programas informáticos también se pueden almacenar en un medio tangible legible por ordenador que puede dirigir un ordenador u otro aparato de procesamiento de datos programable para que funcione de una manera particular, de modo que las instrucciones almacenadas en el medio legible por ordenador produzcan un artículo de fabricación que incluye instrucciones que implementan las funciones/actos especificados en los diagramas de bloques y/o el bloque o bloques del diagrama de flujo. En consecuencia, las realizaciones de los presentes conceptos se pueden incorporar en hardware y/o software (incluyendo el microprograma, el software residente, el microcódigo, etc.) que se ejecuta en un procesador, tal como un procesador de señales digitales, a los que se puede hacer referencia en conjunto como " circuitería", "un módulo" o variantes de los mismos.
También se debería tener en cuenta que, en algunas implementaciones alternativas, las funciones/actos señalados en los bloques pueden ocurrir fuera del orden señalado en los diagramas de flujo. Por ejemplo, dos bloques mostrados en sucesión, de hecho, se pueden ejecutar sustancialmente al mismo tiempo o, algunas veces, los bloques se pueden ejecutar en el orden inverso, dependiendo de la funcionalidad/actos involucrados. Además, la funcionalidad de un bloque dado de diagramas de flujo y/o diagramas de bloques se puede separar en múltiples bloques y/o la funcionalidad de dos o más bloques de diagramas de flujo y/o diagramas de bloques se puede integrar al menos parcialmente. Finalmente, se pueden añadir/insertar otros bloques entre los bloques que se ilustran y/o se pueden omitir bloques/operaciones sin apartarse del alcance de los conceptos. Además, aunque algunos de los diagramas incluyen flechas en las rutas de comunicación para mostrar una dirección principal de comunicación, se ha de entender que la comunicación puede ocurrir en la dirección opuesta a las flechas representadas.
Se pueden hacer muchas variaciones y modificaciones a las realizaciones sin apartarse sustancialmente de los principios de los presentes conceptos. Todas de tales variaciones y modificaciones se pretende que estén incluidas en la presente memoria dentro del alcance de los presentes conceptos. En consecuencia, el tema descrito anteriormente se ha de considerar ilustrativo y no restrictivo, y los ejemplos adjuntos de realizaciones se pretende que cubran todas las modificaciones, mejoras y otras realizaciones que caen dentro de los presentes conceptos. Así, en la máxima medida permitida por la ley, el alcance de los presentes conceptos se ha de determinar mediante la interpretación más amplia permitida de la presente descripción, incluyendo los siguientes ejemplos de realizaciones y sus equivalentes, y no estará restringido ni limitado por la descripción detallada anterior.
La invención está definida por las reivindicaciones adjuntas.

Claims (16)

REIVINDICACIONES
1. Un dispositivo electrónico móvil (120) para un casco (100) que incluye un soporte (121) configurado para retener de forma liberable el dispositivo electrónico móvil en una posición definida con relación al casco, el dispositivo electrónico móvil (120) que comprende:
una cámara (122) configurada para emitir imágenes digitales y dispuesta por el soporte para ver una parte del casco;
un dispositivo de visualización (1040) dispuesto por el soporte para mostrar información para ver por un usuario que lleva puesto el casco;
un procesador (1006) conectado operativamente a la cámara y al dispositivo de visualización; y
una memoria (1010) que almacena código de programa (1012) que se ejecuta por el procesador para realizar operaciones que comprenden:
recuperar parámetros de calibración de la memoria que caracterizan al menos una pose de la cámara con relación al dispositivo de visualización;
procesar una imagen digital de la cámara para identificar una pose de una característica identificable ópticamente del casco dentro de la imagen digital que fue captada por la cámara mientras que el dispositivo electrónico móvil está retenido por el soporte;
identificar una pose del dispositivo electrónico móvil con relación al soporte en base a la pose identificada de la característica identificable ópticamente del casco dentro de la imagen digital y en base al menos a la pose de la cámara con relación al dispositivo de visualización como se caracteriza por los parámetros de calibración; y
controlar dónde se representan los objetos gráficos en el dispositivo de visualización en base a la pose identificada del dispositivo electrónico móvil con relación al soporte.
2. El dispositivo electrónico móvil (120) de la reivindicación 1, en donde las operaciones comprenden, además: determinar a partir de los parámetros de calibración recuperados de la memoria, una pose de la característica identificable ópticamente del casco dentro de una imagen digital anterior que fue captada por la cámara durante un proceso de calibración anterior,
en donde la operación para procesar la imagen digital de la cámara para identificar la pose de la característica identificable ópticamente del casco dentro de la imagen digital se realiza durante un proceso de calibración presente, y
en donde la operación para identificar la pose del dispositivo electrónico móvil con relación al soporte se basa en la comparación de la pose identificada de la característica identificable ópticamente del casco dentro de la imagen digital que se captó durante el presente proceso de calibración con la pose de la característica identificable ópticamente del casco dentro de la imagen digital anterior que se captó durante el proceso de calibración anterior.
3. El dispositivo electrónico móvil (120) de las reivindicaciones 1 o 2, en donde las operaciones comprenden, además: mostrar un patrón de calibración en el dispositivo de visualización para que la cámara capte una parte del patrón de calibración dentro de la imagen digital mediante el reflejo de la parte del patrón de calibración desde una superficie del casco, y
la operación para procesar la imagen digital de la cámara para identificar la pose de la característica identificable ópticamente del casco dentro de la imagen digital comprende procesar la imagen digital para identificar una pose de una característica definida dentro de la parte del patrón de calibración reflejada desde la superficie del casco.
4. El dispositivo electrónico móvil (120) de cualquiera de las reivindicaciones 1 a 3, en donde las operaciones comprenden, además:
determinar a partir de los parámetros de calibración recuperados de la memoria, los parámetros de distorsión de la cámara que afectan a la pose de la característica identificable ópticamente del casco dentro de la imagen digital, en donde la operación para procesar la imagen digital de la cámara para identificar la pose de la característica identificable ópticamente del casco dentro de la imagen digital compensa los parámetros de distorsión de la cámara.
5. El dispositivo electrónico móvil (120) de cualquiera de las reivindicaciones 1 a 4, en donde las operaciones comprenden, además:
determinar a partir de los parámetros de calibración recuperados de la memoria, los parámetros de casco a ojo que identifiquen en al menos un espacio bidimensional las distancias entre al menos una ubicación en el casco y al menos un ojo del usuario determinadas durante un proceso de calibración anterior,
en donde la operación para controlar dónde se representan los objetos gráficos en el dispositivo de visualización se realiza además en base a los parámetros de casco a ojo.
6. El dispositivo electrónico móvil (120) de cualquiera de las reivindicaciones 1 a 5, en donde las operaciones comprenden, además:
determinar a partir de los parámetros de calibración recuperados de la memoria, parámetros de proyección fuera del eje que identifican en al menos un espacio bidimensional las distancias entre al menos una ubicación en el dispositivo de visualización y al menos un ojo del usuario determinadas durante un proceso de calibración anterior, en donde la operación para controlar dónde se representan los objetos gráficos en el dispositivo de visualización se realiza además en base a los parámetros de proyección fuera del eje.
7. El dispositivo electrónico móvil (120) de cualquiera de las reivindicaciones 1 a 6, en donde:
la operación para identificar la pose del dispositivo electrónico móvil con relación al soporte en base a la pose identificada de la característica identificable ópticamente del casco dentro de la imagen digital y en base al menos a la pose de la cámara con relación al dispositivo de visualización como se caracteriza por los parámetros de calibración, comprende:
generar (500) una transformación de cámara a casco que relacione una pose de la cámara con la característica identificable ópticamente del casco dentro de la imagen digital;
obtener (502) una transformación de cámara a pantalla que relacione la pose de la cámara con una pose del dispositivo de visualización; y
generar (504) una transformación de pantalla a casco en base a la transformación de cámara a casco y la transformación de cámara a pantalla; y
la operación de control (506) en la que los objetos gráficos se representan en el dispositivo de visualización en base a la pose identificada del dispositivo electrónico móvil con relación al soporte, se realiza en base a la transformación de pantalla a casco.
8. El dispositivo electrónico móvil (120) de cualquier reivindicación 7, en donde la operación para obtener la transformación de cámara a pantalla que relaciona la pose de la cámara con la pose del dispositivo de visualización comprende:
procesar la imagen digital u otra imagen digital de la cámara para identificarla a partir de una imagen reflejada, que se genera mediante una imagen del dispositivo de visualización que se refleja en una superficie reflectante del casco a la cámara, las distancias entre la cámara y el dispositivo de visualización relativas a al menos un sistema de coordenadas bidimensional; y
generar la transformación de cámara a pantalla en base a las distancias entre la cámara y el dispositivo de visualización.
9. El dispositivo electrónico móvil (120) de la reivindicación 8, en donde la operación para generar la transformación de cámara a pantalla en base a las distancias entre la cámara y el dispositivo de pantalla comprende:
obtener datos que caractericen las distancias entre el soporte y la superficie reflectante del casco que produjo la imagen reflejada; y
generar la transformación de cámara a pantalla en base a escalar las distancias entre la cámara y el dispositivo de visualización identificado en la imagen reflejada en base a los datos que caracterizan las distancias entre el soporte y la superficie reflectante del casco.
10. El dispositivo electrónico móvil (120) de cualquiera de las reivindicaciones 7 a 9, en donde las operaciones comprenden, además:
procesar (600) la imagen digital u otra imagen digital de la cámara para identificar una pose de un ojo del usuario; y
generar (602) una transformación de cámara a ojo que relaciona la pose de la cámara con la pose identificada del ojo del usuario,
en donde la operación para controlar dónde se representan los objetos gráficos en el dispositivo de visualización se realiza además en base a la transformación de cámara a ojo.
11. El dispositivo electrónico móvil (120) de cualquiera de las reivindicaciones 1 a 10, en donde las operaciones comprenden, además:
en respuesta a la identificada del dispositivo electrónico móvil con relación al soporte que supera un valor de umbral desplazado,
determinar una dirección y una distancia en la que el dispositivo electrónico móvil se ha de mover con relación al soporte para que el dispositivo de visualización esté dentro de una distancia umbral de una ubicación definida en el soporte, y
mostrar un mensaje en el dispositivo de visualización que indica la dirección y la distancia a la que se ha de mover el dispositivo electrónico móvil.
12. El dispositivo electrónico móvil (120) de cualquiera de las reivindicaciones 1 a 10, en donde las operaciones comprenden, además:
en respuesta a la pose identificada del dispositivo electrónico móvil con relación al soporte que supera un valor de umbral desplazado,
determinar una dirección en la que el dispositivo electrónico móvil se mueva con relación al soporte para que el dispositivo de visualización esté dentro de una distancia umbral de una ubicación definida en el soporte, mostrar un mensaje en el dispositivo de visualización que indique la dirección en la que se debería mover el dispositivo electrónico móvil, y
repetir la determinación de la dirección y la visualización de otro mensaje que indica la dirección en la que se debería mover el dispositivo electrónico móvil hasta que el dispositivo electrónico móvil esté dentro de la distancia umbral de la ubicación definida en el soporte.
13. El dispositivo electrónico móvil (120) de cualquiera de las reivindicaciones 1 a 12, en donde las operaciones comprenden, además:
mostrar un patrón de calibración en el dispositivo de visualización para que la cámara capte una parte del patrón de calibración dentro de la imagen digital u otra imagen digital mediante el reflejo de la parte del patrón de calibración desde una superficie del casco y/o desde un ojo del usuario;
determinar el tamaño del dispositivo de visualización y/o la densidad de píxeles del dispositivo de visualización en base a la determinación del tamaño de una característica dentro de la parte del patrón de calibración; y almacenar una indicación del tamaño del dispositivo de visualización y/o la densidad de píxeles del dispositivo de visualización en una estructura de datos de los parámetros de calibración en la memoria.
14. El dispositivo electrónico móvil (120) de cualquiera de las reivindicaciones 1 a 13, en donde las operaciones comprenden, además:
operar la cámara para captar un reflejo de una imagen que se muestra por el dispositivo de visualización y se refleja en una superficie del casco y/o en un ojo del usuario;
determinar la forma del dispositivo de visualización en base a una determinación de la forma de la imagen reflejada; y
almacenar una indicación de la forma del dispositivo de visualización en una estructura de datos de los parámetros de calibración en la memoria.
15. Un método de realización de operaciones mediante un procesador de un dispositivo electrónico móvil que incluye una cámara y un dispositivo de visualización para usar con un casco que incluye un soporte configurado para retener de manera liberable el dispositivo electrónico móvil en una pose definida con relación al casco, el método que comprende:
recuperar (400) parámetros de calibración que caracterizan al menos una pose de la cámara con relación al dispositivo de visualización;
procesar (402) una imagen digital de la cámara para identificar una pose de una característica identificable ópticamente del casco dentro de la imagen digital que fue captada por la cámara mientras que el dispositivo electrónico móvil está retenido por el soporte;
identificar (404) una pose del dispositivo electrónico móvil con relación al soporte en base a la pose identificada de la característica identificable ópticamente del casco dentro de la imagen digital y en base al menos a la pose de la cámara con relación al dispositivo de visualización como se caracteriza por los parámetros de calibración; y controlar (406) dónde se representan los objetos gráficos en el dispositivo de visualización en base a la pose identificada del dispositivo electrónico móvil con relación al soporte.
16. Un producto de programa informático para un procesador de un dispositivo electrónico móvil que incluye una cámara y un dispositivo de visualización para usar con un casco que incluye un soporte configurado para retener de manera liberable el dispositivo electrónico móvil en una pose definida con relación al casco, el producto de programa informático que comprende:
un medio no transitorio legible por ordenador que almacena código de programa ejecutable por el procesador del dispositivo electrónico móvil para realizar operaciones que comprenden:
recuperar (400) parámetros de calibración que caracterizan al menos una pose de la cámara con relación al dispositivo de visualización;
procesar (402) una imagen digital de la cámara para identificar una pose de una característica identificable ópticamente del casco dentro de la imagen digital que fue captada por la cámara mientras que el dispositivo electrónico móvil está retenido por el soporte;
identificar (404) una pose del dispositivo electrónico móvil con relación al soporte en base a la pose identificada de la característica identificable ópticamente del casco dentro de la imagen digital y en base al menos a la pose de la cámara con relación al dispositivo de visualización como se caracteriza por los parámetros de calibración; y
controlar (406) dónde se representan los objetos gráficos en el dispositivo de visualización en base a la pose identificada del dispositivo electrónico móvil con relación al soporte.
ES18810954T 2018-11-21 2018-11-21 Calibración de dispositivos electrónicos móviles conectados a cascos que se llevan puestos por los usuarios Active ES2927281T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2018/082087 WO2020104027A1 (en) 2018-11-21 2018-11-21 Calibration of mobile electronic devices connected to headsets wearable by users

Publications (1)

Publication Number Publication Date
ES2927281T3 true ES2927281T3 (es) 2022-11-03

Family

ID=64500362

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18810954T Active ES2927281T3 (es) 2018-11-21 2018-11-21 Calibración de dispositivos electrónicos móviles conectados a cascos que se llevan puestos por los usuarios

Country Status (7)

Country Link
US (3) US11321874B2 (es)
EP (1) EP3884333B1 (es)
CN (1) CN113168004B (es)
AR (1) AR117131A1 (es)
ES (1) ES2927281T3 (es)
MX (1) MX2021005937A (es)
WO (1) WO2020104027A1 (es)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
KR102331164B1 (ko) * 2015-03-05 2021-11-24 매직 립, 인코포레이티드 증강 현실을 위한 시스템들 및 방법들
CN104902190A (zh) * 2015-06-24 2015-09-09 联想(北京)有限公司 控制方法、摄像装置及电子设备
US10424295B2 (en) * 2016-02-03 2019-09-24 Disney Enterprises, Inc. Calibration of virtual image displays
CN206990924U (zh) * 2016-03-06 2018-02-09 赵山山 一种吸入手机式vr眼镜
JP6576574B2 (ja) * 2016-03-11 2019-09-18 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ 眼球モデルを生成するための角膜球追跡
CN105929543A (zh) * 2016-06-18 2016-09-07 深圳晨芯时代科技有限公司 一种虚拟现实装置及其虚拟现实眼镜盒子和虚拟现实平板
US10714121B2 (en) * 2016-07-27 2020-07-14 Vocollect, Inc. Distinguishing user speech from background speech in speech-dense environments
KR20180073327A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 영상 표시 방법, 저장 매체 및 전자 장치
US10719125B2 (en) 2017-05-09 2020-07-21 Microsoft Technology Licensing, Llc Object and environment tracking via shared sensor
US10732226B2 (en) * 2017-05-26 2020-08-04 Hand Held Products, Inc. Methods for estimating a number of workflow cycles able to be completed from a remaining battery capacity

Also Published As

Publication number Publication date
US20210335011A1 (en) 2021-10-28
BR112021009393A2 (pt) 2021-08-10
MX2021005937A (es) 2021-07-02
US20240062424A1 (en) 2024-02-22
CN113168004B (zh) 2023-01-06
CN113168004A (zh) 2021-07-23
AR117131A1 (es) 2021-07-14
EP3884333B1 (en) 2022-08-10
EP3884333A1 (en) 2021-09-29
US11854234B2 (en) 2023-12-26
WO2020104027A1 (en) 2020-05-28
US20220215586A1 (en) 2022-07-07
US11321874B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
ES2932079T3 (es) Entrenamiento de redes neuronales para la predicción de mirada tridimensional (3D) con parámetros de calibración
KR102448284B1 (ko) 헤드 마운트 디스플레이 추적 시스템
US11042034B2 (en) Head mounted display calibration using portable docking station with calibration target
US10409368B2 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
CN109557669B (zh) 头戴显示设备的图像漂移量的确定方法及头戴显示设备
ES2927183T3 (es) Coordinación de la alineación de sistemas de coordenadas utilizados para un dispositivo de realidad generada por ordenador y un dispositivo háptico
US10504243B2 (en) Calibration system for a head-mounted display tracking system
US10088868B1 (en) Portable electronic device for acustic imaging and operating method for the same
KR101690646B1 (ko) 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법
ES2916408T3 (es) Método y sistema de seguimiento ocular para proporcionar una distancia de convergencia de mirada aproximada de un usuario
TW201816547A (zh) 視線檢測系統、偏移檢測方法、偏移檢測程序
ES2927281T3 (es) Calibración de dispositivos electrónicos móviles conectados a cascos que se llevan puestos por los usuarios
JP5448739B2 (ja) 画像再生装置、撮像装置、画像再生方法
JP2019066618A (ja) 画像表示システム、画像表示方法及び画像表示プログラム
CN110488489B (zh) 用于头戴式壳体的眼睛登记
JP2018107695A (ja) 推定システム、推定方法及び推定プログラム
CN115509017A (zh) 增强现实眼镜和利用增强现实眼镜来实现显示增强的方法
JP2020154430A (ja) 複数のマーカを備えたデバイス
JP2016057634A (ja) ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
BR112021009393B1 (pt) Dispositivo eletrônico móvel, método para realizar operações através de um processador de um dispositivo eletrônico móvel, e, meio legível por computador não transitório
JP2022536657A (ja) ３ｄマッピングにより眼科パラメータを決定する方法
CN112368668B (zh) 用于混合现实头戴式耳机的便携式电子设备
US20240210678A1 (en) Head-mounted display apparatus and operating method thereof
ES2915835T3 (es) Mapeo de mirada a objeto de traza de múltiples líneas para determinar objetivos de enfoque de mirada
JP2022177067A (ja) 眼の角膜中心の位置を特定する装置、方法、及びプログラム