ES2912192T3 - Procedimiento y dispositivo para superponer una imagen de un escenario real con una imagen virtual y equipo móvil - Google Patents

Procedimiento y dispositivo para superponer una imagen de un escenario real con una imagen virtual y equipo móvil Download PDF

Info

Publication number
ES2912192T3
ES2912192T3 ES16767194T ES16767194T ES2912192T3 ES 2912192 T3 ES2912192 T3 ES 2912192T3 ES 16767194 T ES16767194 T ES 16767194T ES 16767194 T ES16767194 T ES 16767194T ES 2912192 T3 ES2912192 T3 ES 2912192T3
Authority
ES
Spain
Prior art keywords
image
marker
data
positioning
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES16767194T
Other languages
English (en)
Inventor
Daniel Anderson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3dqr GmbH
Original Assignee
3dqr GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3dqr GmbH filed Critical 3dqr GmbH
Application granted granted Critical
Publication of ES2912192T3 publication Critical patent/ES2912192T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Procedimiento para superponer una imagen de un escenario real a una imagen virtual, donde el procedimiento comprende las siguientes etapas: lectura (480) de los datos de imagen (364), donde los datos de imagen (364) representan una imagen (108) del escenario real (106) capturada por un dispositivo de captura de entorno (102) de un equipo móvil (100); determinación (484) de los datos de marcador (132) a partir de los datos de imagen (364), donde los datos de marcador (132) representan una imagen (116) y un posicionamiento de un marcador (112) dispuesto en el escenario real (106); lectura (488) de los datos de imagen virtual (140), donde los datos de imagen virtual (140) representan los datos de imagen seleccionados a partir de una pluralidad (252) de datos de imagen virtual utilizando los datos de marcador (132), donde los datos de imagen virtual (140) comprenden una instrucción de representación para representar la imagen virtual (124) y una instrucción de posicionamiento para posicionar la imagen virtual (124); determinación (486) de los datos de objeto (134) a partir de los datos de imagen (364), donde los datos de objeto (134) representan una imagen (118) y un posicionamiento de una sección de objeto (114) de un objeto (110) dispuesto en el entorno del marcador (112) en el escenario real (106), donde la imagen (118) de la sección de objeto (114) se puede utilizar como punto de anclaje para la imagen virtual (124), y donde los datos de objeto (134) representan una segunda imagen (146) y un segundo posicionamiento de una segunda sección de objeto (144) de otro objeto dispuesto en el entorno del marcador (112) en el escenario real (106), donde la segunda imagen (146) de la segunda sección de objeto (144) se puede utilizar como un segundo punto de anclaje para la imagen virtual (124); determinación (492) de una prescripción de posicionamiento (142) que se refiere a la sección de objeto (114) y a la segunda sección de objeto (144) para el posicionamiento de la imagen virtual (124) con respecto a la imagen (118) de la sección de objeto (114) y la segunda imagen (146) de la segunda sección de objeto (144) utilizando los datos de objeto (134) y los datos de imagen virtual (140); y uso (494) de la prescripción de posicionamiento (142) para representar una superposición de otra imagen (120) del escenario real (106) con la imagen virtual, donde la etapa del uso (494) comprende una - lectura (496) de otros datos de imagen (376), donde los otros datos de imagen (376) representan otra imagen (120) del escenario real (106) capturada por el dispositivo de captura de entorno (102) del equipo móvil (100), donde los otros datos de imagen (376) no comprenden ninguna imagen (116) del marcador (112); - determinación (498) de un posicionamiento de otra imagen (122) de la sección de objeto (114) y/o de un posicionamiento de otra segunda imagen de la segunda sección de objeto (144) a partir de los otros datos de imagen (376); y - creación (499) de datos de imagen superpuestos (374) utilizando los otros datos de imagen (376), el posicionamiento de la otra imagen (122) de la sección de objeto (114) y/o el posicionamiento de la otra segunda imagen de la segunda sección de objeto (144) y la prescripción de posicionamiento (142), donde la otra imagen (122) de la sección de objeto (114) se usa como punto de anclaje y/o la otra segunda imagen (146) de la segunda sección de objeto (144) se usa como segundo punto de anclaje para la imagen virtual (124), y donde los datos de imagen superpuestos (374) representan una superposición de la otra imagen (120) del escenario real (106) con la imagen virtual (124); donde se lleva a cabo una iteración continua de la etapa del uso (494) varias veces por segundo, donde la prescripción de posicionamiento (142) se utiliza respectivamente para superponer continuamente otras imágenes (122) del escenario real (106) con la imagen virtual (124) durante un cambio de la posición relativa entre el equipo móvil (100) y el marcador (112) después de una primera detección del marcador (112), donde el cambio de la posición relativa conduce a una distancia entre el equipo móvil (100) y el marcador (112) de hasta cinco mil veces la longitud lateral del marcador, en la que el equipo móvil (100) no reconoce el marcador (112), donde se 0 utiliza al menos un equipo de medición situado en el equipo móvil (100), adicionalmente a la captura de imágenes, para medir el cambio de la posición relativa.

Description

DESCRIPCIÓN
Procedimiento y dispositivo para superponer una imagen de un escenario real con una imagen virtual y equipo móvil La invención se refiere a un procedimiento y a un dispositivo para superponer una imagen de un escenario real con una imagen virtual, donde el procedimiento se puede realizar, por ejemplo, utilizando un equipo móvil, así como a un equipo móvil tal como, por ejemplo, un teléfono inteligente.
El concepto básico de la realidad aumentada (RA) existe ya desde hace algunas décadas y designa la superposición de imágenes de la realidad en tiempo real (por ejemplo, como una imagen de cámara) con información virtual.
Nohyoung Park et al.: "Barcode-Assisted Planar Object Tracking Method for Mobile Augmented Reality", 2011 International Symposium on Ubiquitous Virtual Reality, julio de 2011 (2011-07), páginas 40-43; DOI: 10.11 09/ISUVR.2011.20; ISBN: 978-1-45-770356-0 da a conocer un procedimiento para el seguimiento de un objeto plano en imágenes de un escenario real. A este respecto, en primer lugar se utilizan varios marcadores de posición para determinar una posición de un código QR colocado en el objeto plano. Con ayuda del flujo óptico se garantiza un seguimiento robusto de puntos destacados de una "región de interés" del objeto plano definida por el código QR en imágenes consecutivas.
Hyoseok Yoon et al.: "QR Code Data Representation for Mobile Augmented Reality", International AR Standards Meeting, 17 de febrero de 2011 (2011-02-17) se ocupa de un código QR utilizable en el campo de la realidad aumentada.
La invención se plantea el objetivo de crear un procedimiento mejorado y un dispositivo mejorado para superponer una imagen de un escenario real con una imagen virtual, así como un equipo móvil mejorado, donde se permite una "realidad aumentada" tanto cerca como también a larga distancia de un marcador (tal como, por ejemplo, un código QR).
Este objetivo se consigue mediante un procedimiento y un dispositivo para superponer una imagen de un escenario real con una imagen virtual, así como un equipo móvil según las reivindicaciones principales, donde la invención comprende, entre otras cosas, las características de que un cambio de la posición relativa entre el equipo móvil y el marcador de la invención conduce a una distancia de hasta cinco mil veces la longitud lateral del marcador, en la que el equipo móvil no reconoce el marcador, donde se utiliza al menos un equipo de medición situado en el equipo móvil, adicionalmente a la captura de imágenes de la invención, para medir el cambio de la posición relativa.
Configuraciones y perfeccionamientos ventajosas de la invención resultan de las reivindicaciones dependientes. El enfoque descrito se refiere específicamente al campo de la realidad aumentada que se superpone de forma congruente ópticamente, en el que los objetos virtuales en posición y ubicación se vinculan con puntos de anclaje en el escenario real y siempre se intercalan correctamente en perspectiva en la escena tridimensional como si fueran parte del entorno real. Para ello, según una forma de realización, se puede analizar cada imagen individual de una secuencia de cámara con un procedimiento de procesamiento de imágenes y calcularse la posición y ubicación tridimensional correspondientemente necesaria del objeto virtual para lograr este efecto.
Una selección de un objeto virtual a superponer, en lo sucesivo también denominada imagen virtual, se puede llevar a cabo ventajosamente utilizando un marcador presente en el escenario real, por ejemplo, un código QR. Un posicionamiento de la imagen virtual dentro de una imagen del escenario real se lleva a cabo ventajosamente utilizando al menos una primera sección de objeto y una segunda sección de objeto, por ejemplo, un borde o una superficie, de un objeto dispuesto en el entorno del marcador en el escenario real. Las imágenes de las secciones de objeto se utilizan como puntos de anclaje para el objeto virtual. Mediante el uso del marcador se puede asegurar con poco esfuerzo que se seleccione la imagen virtual adecuada para el escenario real. Mediante el uso de las secciones de objeto se puede asegurar que la imagen virtual se pueda posicionar muy exactamente incluso en condiciones adversas, por ejemplo, malas relaciones de luz. Este posicionamiento también es posible si en imágenes posteriores del escenario real ya no se reproduce o solo parcialmente el marcador.
El procedimiento para superponer una imagen de un escenario real a una imagen virtual incluye las siguientes etapas: lectura de los datos de imagen, donde los datos de imagen representan una imagen del escenario real capturada por un dispositivo de captura de entorno de un equipo móvil;
determinación de los datos de marcador a partir de los datos de imagen, donde los datos de marcador representan una imagen y un posicionamiento de un marcador dispuesto en el escenario real;
lectura de los datos de imagen virtual, donde los datos de imagen virtual representan los datos de imagen seleccionados a partir de una pluralidad de datos de imagen virtual utilizando los datos de marcador, donde los datos de imagen virtual comprenden una instrucción de representación para representar la imagen virtual y una instrucción de posicionamiento para posicionar la imagen virtual;
determinación de los datos de objeto a partir de los datos de imagen, donde los datos de objeto representan una imagen y un posicionamiento de una sección de objeto de un objeto dispuesto en el entorno del marcador en el escenario real, y donde los datos de objeto representan una segunda imagen y un segundo posicionamiento de una segunda sección de objeto de otro objeto dispuesto en el entorno del marcador en el escenario real; determinación de una prescripción de posicionamiento para posicionar la imagen virtual con respecto a la imagen de la sección de objeto y la segunda imagen de la segunda sección de objeto utilizando los datos de marcador, los datos del objeto y los datos de imagen virtual.
El escenario real puede ser, por ejemplo, una zona de un entorno del equipo móvil, que se sitúa en la zona de detección del dispositivo de captura de entorno.
El dispositivo de captura de entorno puede ser un dispositivo de captura de imágenes óptico, por ejemplo, una cámara. La imagen puede representar una imagen del escenario real capturada utilizando el dispositivo de captura de entorno, que se puede mostrar, por ejemplo, utilizando un dispositivo de visualización del equipo móvil. Bajo la imagen virtual se puede entender cualquier representación, por ejemplo, un gráfico, un símbolo o un carácter, que se puede añadir en la imagen del escenario real. La imagen virtual puede representar una imagen o un punto tridimensional o también bidimensional. Una superposición de la imagen del escenario real con la imagen virtual puede comprender la imagen del escenario real, en la que al menos una zona está ocultada completamente o, por ejemplo, de forma semitransparente por la imagen virtual. Bajo un marcador se puede entender un marcador colocado artificialmente en el escenario, por ejemplo, un marcador geométrico, en forma de código o pictograma. El marcador se puede realizar como un marcador artificial en forma de un código unidimensional o bidimensional. Por ejemplo, el marcador puede estar realizado como una matriz con superficies claras y oscuras. El marcador puede representar una fuente legible optoelectrónicamente. En el marcador se puede reproducir datos en forma de un símbolo. Los datos de marcador pueden comprender información sobre la imagen del marcador y el posicionamiento de la imagen del marcador dentro de la imagen del escenario real. En la etapa siguiente del procedimiento, los datos de marcador se pueden utilizar respectivamente total o parcialmente y, dado el caso, también en una forma procesada posteriormente. La instrucción de posicionamiento para posicionar la imagen virtual puede ser adecuada para posicionar la imagen virtual con respecto a la imagen del marcador en la imagen del escenario real. La sección de objeto puede ser una parte, sección o zona, por ejemplo, un borde o superficie, de un objeto real. Un objeto puede ser cualquier objeto, por ejemplo, un edificio, un mueble, un vehículo o un trozo de papel. La sección de objeto puede ser, por ejemplo, un borde exterior o un borde entre superficies en ángulo entre sí de un objeto semejante. Los datos de objeto comprenden información sobre la imagen de la sección de objeto y de un posicionamiento de la imagen dentro de la imagen del escenario real. En la etapa siguiente del procedimiento, los datos de objeto se pueden utilizar respectivamente total o parcialmente y, dado el caso, también en una forma procesada posteriormente. La prescripción de posicionamiento es adecuada para posicionar la imagen virtual con respecto a la imagen de la sección de objeto y la segunda imagen de la segunda sección de objeto en la imagen del escenario real o en otra imagen del escenario real. La prescripción de posicionamiento se determina utilizando los datos del objeto y los datos de imagen virtual. Por lo tanto, la prescripción de posicionamiento se puede determinar utilizando el posicionamiento de la imagen del marcador, el posicionamiento de la imagen de la sección de objeto y la instrucción de posicionamiento.
Según una forma de realización, en la etapa de determinación se puede determinar la prescripción de posicionamiento utilizando los datos de marcador o al menos una parte de los datos de marcador.
Una iteración continua de las etapas de la lectura, determinación se lleva a cabo a cortos intervalos de tiempo, varias veces por segundo. Por ejemplo, las etapas se pueden realizar entre diez y doscientas veces por segundo (es decir, cada décima de segundo o cada 5/1000 segundos).
El enfoque descrito permite el posicionamiento del objeto virtual en una representación en perspectiva correcta desde una larga distancia y una posición relativamente ilimitada del equipo móvil. Ventajosamente, para ello no se requiere que el equipo móvil reconozca el marcador y posicione el objeto virtual correspondiente en una posición fija con respecto a este marcador. Bajo una larga distancia se entiende una distancia hasta cinco mil veces la longitud lateral del marcador, por ejemplo, una distancia entre diez veces y cinco mil veces la longitud lateral del marcador, por ejemplo, del código QR. Con una longitud de borde de 2 cm del marcador, esto se corresponde a una distancia de hasta 100 m (5000x longitud de borde). Bajo la posición relativamente ilimitada se pueden entender desviaciones entre 0,1° y 180° en los tres ejes. Por lo tanto, se deben cubrir 360° en redondo. Tampoco se requiere que el marcador se sitúe constantemente en el campo de visión (dispositivo de captura de entorno) del equipo móvil.
El enfoque descrito utiliza al menos uno de los equipos de medición situados en el equipo móvil - adicionalmente a la captura de imágenes - para medir el cambio de la posición relativa - después de la captura del marcador -a la posición fijada en la primera captura del marcador. Adicionalmente, los datos de un objeto real a partir de los datos de imagen reales se utilizan como sección de objeto, también designada como "marcador secundario", de modo que el marcador real ya no se debe situar en la zona de detección del dispositivo de captura de entorno.
Como equipos de medición correspondientes, también designados dispositivos de reconocimiento o sensores de medición, se pueden utilizar en el equipo móvil, por ejemplo, en el teléfono inteligente o la tableta, los dispositivos mencionados a continuación - después de la captura única del marcador - para determinar una desviación de la posición inicial. A este respecto, se pueden seleccionar sensores de medición individuales o incluso combinaciones cualesquiera.
Sensor de aceleración: por un lado, para medir los movimientos de traslación del equipo móvil, por otro, para determinar la dirección de la gravedad terrestre en relación con el dispositivo y, por lo tanto, la orientación/giro del equipo.
Sensor de rotación: para medir los movimientos rotatorios del equipo móvil.
Magnetómetro: para medir el campo magnético de la tierra y, por lo tanto, el giro horizontal del equipo móvil.
Receptor GPS: opcional a distancias muy largas y para posicionamiento somero con una precisión de ± 2 metros. A este respecto, se prefiere el uso del sensor de aceleración y sensor de rotación como complemento del dispositivo de captura de imágenes.
El dispositivo de captura de imágenes puede estar limitado a luz visible (400 - 800 nm), pero también puede detectar otros rangos espectrales adicional o exclusivamente (por ejemplo, adicional o exclusivamente luz IR o UV).
Los valores de medición de un equipo de medición correspondiente se utilizan para determinar un desplazamiento de la sección de objeto o de la imagen de la sección de objeto causado por un movimiento del equipo móvil. Según una forma de realización se utiliza un valor que representa el desplazamiento para determinar en la etapa de la determinación la prescripción de posicionamiento para posicionar la imagen virtual con respecto a la imagen de la sección de objeto.
Por lo tanto, la prescripción de posicionamiento se puede determinar, por ejemplo, utilizando un valor de medición de un equipo de medición o varios equipos de medición, por ejemplo, un sensor de aceleración, un sensor de rotación, un magnetómetro o un receptor GPS, del equipo móvil.
Por lo tanto, se resuelve un problema técnico que existe luego cuando el objeto virtual se debe mover en la realidad. Cuando el marcador desaparece del campo de visión del dispositivo de captura de entorno al seguir este movimiento, la representación virtual no se colapsa. Por consiguiente, ahora también se pueden representar secuencias de imágenes en una amplia zona circundante.
Según una forma de realización, el procedimiento comprende una etapa de la facilitación de al menos una parte de los datos de marcador a una interfaz hacia un dispositivo externo. En este caso, en la etapa de la lectura de los datos de imagen virtual, los datos de imagen virtual se pueden leer a través de la interfaz hacia el dispositivo externo, por ejemplo, un servidor. La interfaz mencionada puede ser, por ejemplo, una interfaz de radio. Ventajosamente, la selección de los datos de imagen virtual se puede llevar a cabo utilizando el dispositivo externo. De este modo se puede ahorrar espacio de almacenamiento en el equipo móvil y se puede asegurar que siempre estén a disposición los datos de imagen virtual actuales.
El procedimiento puede comprender una etapa de la selección de los datos de imagen virtual a partir de la pluralidad de datos de imagen virtual utilizando los datos de marcador. La etapa de selección se puede realizar utilizando un dispositivo externo o un dispositivo del equipo móvil. Este último ofrece la ventaja de que el procedimiento se puede realizar de forma autónoma en el equipo móvil. Los datos de imagen virtual se pueden seleccionar, por ejemplo, comparando la imagen del marcador o una identificación del marcador con la pluralidad de las imágenes asociadas a imágenes virtuales o identificaciones de marcadores potenciales, y seleccionando aquella de las imágenes virtuales en la que se produce una coincidencia. De esta manera, se puede seleccionar la imagen virtual adecuada con alta seguridad.
Para ello, el procedimiento puede comprender una etapa de determinar una identificación del marcador utilizando los datos de marcador. En la etapa de la selección, los datos de imagen virtual se pueden seleccionar luego utilizando la identificación. Bajo una identificación se puede entender, por ejemplo, un código o una secuencia de caracteres.
Por ejemplo, el marcador puede representar un código legible por máquina que comprende una identificación correspondiente del marcador. En este caso, la identificación del marcador se puede determinar en la etapa de la determinación de los datos de marcador como parte de los datos de marcador. Utilizando un código legible por máquina, la imagen del marcador se puede evaluar muy fácilmente.
El procedimiento comprende una etapa del uso de la prescripción de posicionamiento para superponer otra imagen del escenario real con la imagen virtual. Ventajosamente, la prescripción de posicionamiento determinada una vez se puede utilizar para superponer la imagen virtual a imágenes sucesivas en el tiempo del escenario real.
Para ello, la etapa del uso comprende una etapa de la lectura de otros datos de imagen, donde los otros datos de imagen representan la otra imagen del escenario real capturada por el dispositivo de captura de entorno del equipo móvil, una etapa de la determinación de un posicionamiento de otra imagen de la sección de objeto a partir de los otros datos de imagen, y una etapa de la creación de datos de imagen superpuestos utilizando los otros datos de imagen, la otra imagen de la sección de objeto y la prescripción de posicionamiento, donde los datos de imagen superpuestos representan una superposición de la otra imagen del escenario real con la imagen virtual. En la etapa de la determinación del posicionamiento se puede determinar el posicionamiento de la otra imagen de la sección de objeto dentro de la otra imagen del escenario real. Por lo tanto, las imágenes de la sección de objeto se pueden utilizar en imágenes sucesivas en el tiempo del escenario real como puntos de anclaje para la imagen virtual. En la etapa de la creación de los datos de imagen superpuestos, la imagen virtual se puede representar utilizando la instrucción de representación.
El procedimiento puede comprender una etapa de la visualización de una superposición de la otra imagen del escenario real con la imagen virtual utilizando un dispositivo de visualización del equipo móvil. Por ejemplo, para ello se pueden proporcionar los datos de imagen superpuestos ya mencionados al dispositivo de visualización. El dispositivo de visualización puede ser, por ejemplo, un monitor o una pantalla.
El procedimiento puede comprender una etapa de la captura de los datos de imagen utilizando el dispositivo de captura de entorno del equipo móvil. Por ejemplo, se pueden registrar datos de imagen de forma continua en el tiempo, de modo que se pueden proporcionar imágenes de forma continua en el tiempo del escenario real. En las imágenes individuales del escenario real se puede intercalar respectivamente la imagen virtual.
Según diferentes ejemplos de realización también se pueden utilizar varias imágenes virtuales para la superposición. En este caso se pueden leer varios datos de imagen virtual en la etapa de lectura o los datos de imagen virtual pueden comprender instrucciones de representación e instrucciones de posicionamiento para representar y posicionar la pluralidad de las imágenes virtuales.
Asimismo se pueden utilizar más de dos secciones de uno o de diferentes objetos. En este caso, en la etapa de la determinación de los datos del objeto se pueden determinar varios datos del objeto o los datos del objeto pueden representar imágenes y posicionamientos de la pluralidad de las secciones de objeto. En la etapa de la determinación de la prescripción de posicionamiento se pueden determinar correspondientemente varias prescripciones de posicionamiento para el posicionamiento de la imagen virtual con respecto a secciones de objeto individuales. Alternativamente se puede determinar una prescripción de posicionamiento que sea adecuada para posicionar la imagen virtual con respecto a las imágenes de la pluralidad de las secciones de objeto. El uso de una pluralidad de secciones de objeto ofrece la ventaja de que la imagen virtual se puede posicionar de forma muy exacta y se puede posicionar incluso cuando en una imagen del escenario real no están reproducidas todas las secciones de objeto utilizadas.
El enfoque presentado aquí crea además un dispositivo que está configurado para llevar a cabo, excitar o implementar las etapas de una variante de un procedimiento presentado aquí en dispositivos correspondientes. También mediante esta variante de realización de la invención en forma de un dispositivo se puede conseguir de forma rápida y eficiente el objetivo subyacente a la invención.
El dispositivo puede estar configurado para leer señales de entrada y determinar y proporcionar señales de salida utilizando las señales de entrada. Una señal de entrada puede representar, por ejemplo, una señal de sensor legible a través de una interfaz de entrada del dispositivo. Una señal de salida puede representar una señal de control o una señal de datos que se puede proporcionar en una interfaz de salida del dispositivo. El dispositivo puede estar configurado para determinar las señales de salida utilizando una prescripción de procesamiento implementada en hardware o software. Por ejemplo, el dispositivo puede comprender para ello un circuito lógico, un circuito integrado o un módulo de software y estar realizado, por ejemplo, como un elemento constructivo discreto o estar rodeado por un elemento constructivo discreto.
También es ventajoso un producto de programa de ordenador con código de programa, que puede estar almacenado en un soporte legible por máquina como una memoria de semiconductores, una memoria de disco duro o una memoria óptica y que se utiliza para llevar a cabo el procedimiento según cualquiera de las formas de realización descritas anteriormente, cuando el producto de programa se ejecuta en un ordenador o un dispositivo. Ejemplos de realización de la invención están representados en los dibujos y se explican con más detalle en la siguiente descripción. Muestra: Fig. 1 una representación general de un procedimiento para superponer una imagen de un escenario real con una imagen virtual según un ejemplo de realización;
Fig. 2 una representación general de un procedimiento para crear una prescripción de asignación según un ejemplo de realización;
Fig. 3 una representación esquemática de un equipo móvil según un ejemplo de realización; y
Fig. 4 un diagrama de flujo de un procedimiento para superponer una imagen de un escenario real con una imagen virtual según un ejemplo de realización.
La fig. 1 muestra una representación general de un procedimiento para superponer una imagen de un escenario real con una imagen virtual según un ejemplo de realización, que no contiene todas las características de la invención. En la mitad izquierda de la fig. 1 se muestra un equipo móvil 100, por ejemplo, un teléfono inteligente, que presenta un dispositivo de captura de entorno 102 y un dispositivo de visualización 104. Según este ejemplo de realización, el dispositivo de captura de entorno 102 está realizado como una cámara que está configurada para detectar un escenario real 106 situado en una zona de detección del dispositivo de captura de entorno 102, también llamado entorno real. Según este ejemplo de realización, el dispositivo de visualización 104 está realizado como una pantalla que está configurada para mostrar a un operador del equipo móvil 104 una imagen 108 del escenario real 106 captada por el dispositivo de captura de entorno 102.
Según este ejemplo de realización, en el escenario real 106 está dispuesto un objeto 110 sobre cuya superficie exterior está dispuesto un marcador 112. Por ejemplo, el objeto 110 puede ser cualquier imagen o un objeto. El objeto 110 se sitúa parcialmente y el marcador 112 completamente en la zona de detección del dispositivo de captura de entorno 102. En particular, al menos una sección de objeto 114 del objeto 110 se sitúa en la zona de detección del dispositivo de captura de entorno 102. Por lo tanto, la imagen 108 comprende una imagen 116 del marcador 112 y al menos una imagen 118 de la sección de objeto 114.
En la mitad derecha de la fig. 1, el equipo móvil 100 se muestra en un momento siguiente en el tiempo en comparación con la representación en la mitad izquierda. Debido a un movimiento intermedio del equipo móvil 100, el escenario real 106 ha cambiado ligeramente desde el punto de vista del dispositivo de captura de entorno 102, de modo que desde el dispositivo de visualización 104 se muestra otra imagen 120 ligeramente modificada con respecto a la imagen 116. Por ejemplo, la otra imagen 120 puede reproducir el escenario real 106 en comparación con la imagen 108 en una perspectiva diferente u otro fragmento del escenario real 106. A modo de ejemplo, el otro fragmento es de tal manera que la otra imagen 120 comprende otra imagen 122 de la sección de objeto 114, pero no otra imagen del marcador 112. Sin embargo, utilizando el procedimiento descrito se puede superponer una imagen virtual 124 a la otra imagen 120. Según un ejemplo de realización, la imagen virtual 124 se debe superponer a la otra imagen 120 en una posición predeterminada y/o posición predeterminada. Una superposición predeterminada de este tipo es posible según un ejemplo de realización, siempre y cuando la otra imagen 120 comprenda otra imagen 122 adecuada de la sección de objeto 106, que se puede utilizar como punto de anclaje para la imagen virtual 124.
Las etapas del procedimiento se pueden realizar exclusivamente utilizando dispositivos del equipo móvil 100 o adicionalmente utilizando al menos un dispositivo externo, que aquí se representa a modo de ejemplo como la nube. Por ejemplo, el dispositivo externo 130 puede estar acoplado en línea al equipo móvil 100.
El procedimiento se puede realizar de forma continua o iniciarse con una llamada de contenido o con una contemplación del escenario real 106 solicitada por el operario utilizando el dispositivo de visualización 104.
La imagen 108 se basa en datos de imagen proporcionados por el dispositivo de registro de entorno 102 o por un dispositivo de evaluación conectado aguas abajo del dispositivo de captura de entorno 102. Por ejemplo, utilizando un procedimiento de reconocimiento de objetos u otro procedimiento de procesamiento de imágenes adecuado se determinan, aquí representado esquemáticamente, los datos de marcador 132 y los datos de objeto 134 a partir de los datos de imagen. Los datos de marcador 132 se determinan mediante una extracción adecuada de los datos de imagen y comprenden datos de identificación 136 asignados al marcador 112, por ejemplo, una identificación ID asignada al marcador 112 y/o una dirección o un puntero asignado al marcador 112, por ejemplo, en forma de una URL. Los datos de marcador 132 o partes de los datos de marcador 132 o datos determinados a partir de ellos, tales como, por ejemplo, la identificación asociada al marcador, se pueden utilizar para seleccionar datos de imagen virtual 140 asignados al marcador 112 a partir de una pluralidad de datos de imagen virtual utilizando una prescripción de asignación 138, por ejemplo, una tabla de asignación que está almacenada según este ejemplo de realización en un dispositivo de almacenamiento del dispositivo externo 130. La pluralidad de los datos de imagen virtual pueden estar almacenados en la tabla de asignación 138 en forma de contenido AR. Los datos de imagen virtual 140 se transmiten al equipo móvil 100 y se utilizan para mostrar la imagen virtual 124. La selección de los datos de imagen virtual 140 se realiza según un ejemplo de realización solo cuando se encuentra un nuevo marcador 112, es decir, por ejemplo, la imagen 116 del marcador 112 o los datos de identificación 136 del marcador 112 se han extraído por primera vez de los datos de imagen que representan la imagen 108.
Los datos de objeto 134 se determinan mediante una extracción adecuada de características de imagen más adecuadas a partir de los datos de imagen. Las características de imagen adecuadas se utilizan para la creación de una prescripción de posicionamiento 142, también llamado nuevo marcador AR, por ejemplo, para uso temporal y local. La prescripción de posicionamiento 142 se utiliza por el equipo móvil 100, para poder representar la imagen virtual 124 también como superposición de la imagen 106 o de la otra imagen 120, cuando no está a disposición ninguna imagen 116 del marcador 112. Para el uso de la prescripción de posicionamiento 142 no es necesaria una comparación en línea. Según este ejemplo de realización, la prescripción de posicionamiento 142 se refiere a la sección de objeto 114, que representa un marcador natural.
Según un ejemplo de realización, de esta manera se posibilita una asignación segura del contenido AR mediante una URL y un seguimiento 3D estable mediante un marcador nuevo y, por lo tanto, actual, natural.
Según la invención se utilizan al menos dos marcadores naturales, es decir, por ejemplo, la sección de objeto 114 y otra sección de objeto 144 del objeto 110, para poder posicionar la imagen virtual 124 en la otra imagen 120. En este caso, la prescripción de posicionamiento 142 se refiere a las dos secciones de objeto 114, 144 o a sus imágenes 118, 122, 146. En el ejemplo de realización mostrado en la fig. 1, en la otra imagen 120 del escenario real 106 no se reproduce la otra sección de objeto 144. Sin embargo, la imagen virtual 124 se puede posicionar con la ayuda de la otra imagen 122 de la sección de objeto 114.
Según un ejemplo de realización, el enfoque descrito se basa en una combinación de dos procedimientos con los que se pueden extraer posiciones tridimensionales de objetos de imágenes de cámara.
En el primero de estos procedimientos se utilizan para ello formas geométricas predefinidas como marcadores 112, que se colocan en la zona de la imagen de la cámara, por ejemplo, códigos QR. Mediante la forma conocida de un marcador 112 de este tipo y su imagen 116 en la imagen de cámara 108 se puede determinar mediante procesamiento de imágenes su ubicación tridimensional en el espacio. Las ventajas del primer procedimiento son que, mediante reglas de diseño predefinidas del marcador 112, éste se puede identificar sin duda en la imagen de cámara 108 y que, por lo tanto, también se puede codificar información adicional directamente en la apariencia del marcador 112, tal como, por ejemplo, la ID de un marcador 112 o un enlace web mediante código QR. Por lo tanto, mediante un esquema de codificación definido de una sola vez, por ejemplo, bits en blanco y negro del código QR, un número muy grande de distintos marcadores se pueden distinguir ópticamente entre sí. La desventaja es, por el contrario, que estos marcadores 112 apenas son robustos frente a pequeñas perturbaciones en la imagen de cámara 108 debido a la forma definida exactamente necesaria. Tales pequeñas perturbaciones pueden representar, por ejemplo, un ligero desenfoque de foco, un desenfoque de movimiento o un ángulo de observación pronunciado. Esto conduce a que la ubicación tridimensional de uno de estos marcadores 112 solo se puede extraer correctamente cuando está completamente enfocado, se puede ver en paralelo al plano de la imagen y descubierto en la imagen de la cámara 108 y la cámara 102 está casi en reposo con respecto al marcador 112. Por consiguiente se vuelve casi imposible, por ejemplo, el intercalado AR continuamente en ubicación de un objeto 3D virtual 124 sobre la base de un marcador 112 en forma de un código QR. Con un diseño correspondientemente grande de un marcador geométrico 112, este problema se mejora ligeramente, pero acompañado con la desventaja adicional de que este se debe colocar de forma muy prominente y grande en la escena 106, lo que no es adecuado para la mayoría de las aplicaciones.
En el segundo de estos procedimientos, que también se puede designar como Natural Feature Tracking o NFT, las imágenes de objetos 110 situados en el entorno real 106, por ejemplo, la imagen de portada de un volante, se definen previamente como marcadores y sus características ópticas naturales 114, por ejemplo, puntos, trazados de bordes o colores marcados, se extraen en primer lugar del original mediante un algoritmo en forma adecuada, es decir, se aprenden, por así decirlo. Para la determinación de la posición AR, es decir, para la determinación de la posición de una imagen virtual 124 a superponer, se busca entonces en la imagen de cámara 108 estas características naturales 114 aprendidas anteriormente y por medio de un procedimiento de optimización se decide, por un lado, si el objeto buscado 110 se sitúa precisamente en la imagen de cámara 108 y, por otro lado, se estima su ubicación y posición en base a la disposición de sus características individuales 114. A este respecto, la ventaja es que existe una gran robustez frente a perturbaciones gracias al procedimiento basado en la optimización. Así las posiciones de los objetos marcadores 114 también se pueden reconocer en imágenes de cámara borrosas 108, 120, con ocultación parcial y ángulos muy pronunciados. Los procedimientos siguientes (por ejemplo, SLAM) incluso permiten ampliar continuamente su modelo con características del entorno actual sobre la base de un reconocimiento inicial de un objeto marcador 114 en la imagen de la cámara 108, 120, de modo que su ubicación en el espacio también se puede determinar parcialmente cuando ya no se ve en la imagen de cámara 120. Sin embargo, este procedimiento tiene desventajas significativas, en particular si se debe reconocer un gran número de marcadores diferentes. Así, en primer lugar, cada objeto marcador 114 debe cumplir determinados criterios ópticos con vistas a la apariencia óptica natural, para ser reconocible sobre todo en la imagen de cámara 108, 120. Además, todos los marcadores reconocibles 114 deben diferir significativamente en su apariencia óptica para una identificación inequívoca - cuanto mayor sea el número de marcadores reconocibles 114, tanto mayor será la probabilidad de una asociación errónea. Esto es problemático en particular cuando muchos objetos ópticamente similares 100, por ejemplo, tarjetas de visita, se deben distinguir dentro de una base de datos. Además, en el momento del reconocimiento ya debe existir una base de datos con las características naturales de todos los marcadores reconocibles y esta base de datos completa se debe comparar con la imagen de cámara 108, 120 para averiguar si uno de los marcadores 114 se sitúa en la imagen de cámara. En un sistema como una aplicación AR para teléfonos inteligentes con una base de datos de marcadores en constante crecimiento, esto requiere mantener la versión actual respectivamente de la base de datos en un lugar central (en línea), mientras que cada teléfono inteligente 100 debe enviar una orden de búsqueda de imagen computacionalmente compleja a esta base de datos para analizar cada imagen de cámara 108, 120.
Según un ejemplo de realización, el enfoque descrito aquí se basa en una combinación de los dos procedimientos arriba mencionados, en los que para el reconocimiento y la determinación de posición en 3D de objetos marcadores en la imagen de cámara 108 , 120, ambos procedimientos se llevan a cabo en escalones conectados uno tras otro, vinculados entre sí: En el primer escalón, para la identificación pura de datos de imagen virtual 140 de una imagen virtual 124, aquí denominada contenido Ar 124, se utiliza en la imagen de cámara 108 un diseño de marcador geométrico predefinido, por ejemplo, código QR o un código de barras, como marcador 116. Tan pronto como se ha encontrado uno de estos marcadores 116 en la imagen de cámara 108, de ella se extrae en primer lugar la identificación 142, es decir, por ejemplo, la ID o URL del contenido AR 124, así como su posición y ubicación inicial en la escena real 106. Al mismo tiempo, por ejemplo, precisamente en el momento del reconocimiento del marcador 112, por ejemplo, en forma de un código, se detecta el entorno actual directamente alrededor del marcador 112 en la imagen de cámara 108, se extraen de él características naturales 114 y, por lo tanto, en tiempo real se crea un nuevo marcador natural 118 conforme al segundo procedimiento. En todas las siguientes imágenes de cámara 120 y movimientos de la cámara 102 o marcador 114, la determinación de posición tridimensional del contenido AR 124 se puede realizar ahora mediante el nuevo y robusto marcador natural 114. Así, a diferencia del primer procedimiento original (véase el reconocimiento de código QR), también es posible una representación y movimiento estables de forma continua de objetos virtuales tridimensionales como imágenes virtuales 124, o bien, a diferencia de los marcadores geométricos, estos también se pueden seguir si se colocan de forma pequeña y discreta en la escena real 106. Además, a diferencia del segundo procedimiento original (reconocimiento de marcadores naturales), la capacidad de diferenciación óptica del marcador 114 recién creado es completamente irrelevante en comparación con otros marcadores, ya que su asignación a un contenido AR 124 ya ha sido determinada por el código vinculado, es decir, el marcador 112. Gracias a la extracción directa de una URL del código vinculado también se evita la búsqueda continua en una base de datos de características en línea y aumenta el número de marcadores distinguibles dentro de una aplicación a casi infinito. Además, mediante la creación del marcador AR natural 114 directamente en el momento del uso, a diferencia de los procedimientos AR anteriores, también se pueden utilizar objetos 100 como marcadores naturales 114, que a menudo cambian su aspecto óptico, por ejemplo, fachadas de casas en diferentes momentos del día o en diferentes épocas del año.
La fig. 2 muestra una representación general de un procedimiento para la creación de una prescripción de asignación 138 según un ejemplo de realización. La prescripción de asignación 138 se puede depositar, por ejemplo, en el equipo externo mostrado en la fig. 1.
Un operador 250 proporciona contenido AR 3D 252, por ejemplo, en forma de una pluralidad de datos de imagen virtual. Una interfaz web 254 se utiliza para crear o actualizar la prescripción de asignación 138 basada en el contenido AR 3D 252. La prescripción de asignación 138 comprende, según un ejemplo de realización, un enlace a una URL específica y única para cada contenido AR 3D de los contenidos AR 3D.
La fig. 3 muestra una representación esquemática de un equipo móvil 100 según un ejemplo de realización. El equipo móvil 100 puede ser, por ejemplo, el equipo móvil mostrado en la fig. 1. El equipo móvil 100 presenta un dispositivo de captura de entorno 102 y un dispositivo de visualización 104 para mostrar una imagen de un escenario real capturado por el dispositivo de captura de entorno 102. La imagen se puede superponer a una imagen virtual. Según este ejemplo de realización, el equipo móvil 100 comprende una interfaz 360, por ejemplo, una interfaz para la transmisión de datos inalámbrica, a un dispositivo externo 130. Según un ejemplo de realización, el dispositivo de captura de entorno 102 está dispuesto en un lado trasero y el dispositivo de visualización 104 en un lado delantero del equipo móvil 100.
El equipo móvil 100 presenta un dispositivo de lectura 362 acoplado con el dispositivo de captura de entorno 102, que está configurado para leer datos de imagen 364 del dispositivo de captura de entorno 102 como datos brutos o datos ya preparados. Por ejemplo, el dispositivo de lectura 362 es una interfaz con el dispositivo de captura de entorno 102. Los datos de imagen 364 representan una imagen del escenario real captada por el dispositivo de captura de entorno 102. Los datos de imagen 364 leídos por el dispositivo de lectura 362 se procesan ulteriormente en un dispositivo de determinación 366 del equipo móvil 100. En particular, a partir de los datos de imagen 364 se determinan, por ejemplo, se extraen datos de marcador 132 y datos de objeto 134. Los datos de marcador 132 representan una imagen y un posicionamiento de un marcador dispuesto en el escenario real, por ejemplo, del marcador geométrico 112 mostrado en la fig. 1. Los datos de objeto 134 representan una imagen y un posicionamiento de una sección de objeto de un objeto dispuesto en el entorno del marcador en el escenario real. Por ejemplo, la sección de objeto puede ser la sección de objeto 114 mostrada en la fig. 1, que se puede usar como un marcador natural. Para ello, el dispositivo de determinación 366 está configurado para reconocer en primer lugar la imagen del marcador en la imagen del escenario real y determinar a continuación los datos de marcador asignados a la imagen del marcador a partir de los datos de imagen 364. Correspondientemente, el dispositivo de determinación 366 está configurado para reconocer en primer lugar una o varias imágenes adecuadas de secciones de objeto en la imagen del escenario real y determinar a continuación los datos de objeto asignados a la o a las imágenes de las secciones de objeto adecuadas a partir de los datos de imagen 364.
Según este ejemplo de realización, los datos de marcador 132 se proporcionan a la interfaz externa 360 y se transmiten a través de la interfaz externa 360, por ejemplo, una interfaz de radio, al dispositivo externo 130, por ejemplo, en forma de un equipo externo. El dispositivo externo 130 presenta un dispositivo de selección 368 que está configurado para seleccionar datos de imagen virtual 140 asignados a los datos de marcador 132 utilizando una prescripción de asignación a partir de una pluralidad de datos de imagen virtual y proporcionarlos a la interfaz externa 360 del equipo móvil 100. Alternativamente, al equipo de lectura 360 y/o al dispositivo externo 130 solo se le pueden proporcionar partes de los datos de imagen 132 o los datos de imagen 132 en una forma procesada adicionalmente. La interfaz externa 360 está configurada para proporcionar los datos de imagen virtual 140 a un dispositivo de determinación 370. Los datos de imagen virtual 140 comprenden una instrucción de representación para representar una imagen virtual y una instrucción de posicionamiento para posicionar la imagen virtual. El dispositivo de determinación 370 está configurado además para recibir los datos de marcador 132 y los datos de objeto 134. El dispositivo de determinación 370 está configurado para determinar una prescripción de posicionamiento 142 para posicionar la imagen virtual con respecto a la imagen de la sección de objeto utilizando los datos de marcador 132, los datos de objeto 134 y los datos de imagen virtual 140.
Según este ejemplo de realización, el equipo móvil 100 comprende un dispositivo de control 372 para excitar el dispositivo de visualización 104. El dispositivo de control 372 está configurado para proporcionar datos de imagen superpuestos 376, por ejemplo en forma de una señal de control para controlar una indicación representada por el dispositivo de visualización 104 al dispositivo de visualización 104. Los datos de imagen superpuestos 376 representan a este respecto una superposición de otra imagen del escenario real con la imagen virtual. El dispositivo de control 372 está configurado para generar los datos de imagen superpuestos 376 utilizando la prescripción de posicionamiento 142 proporcionada por el dispositivo de determinación 370, otros datos de imagen 376 y otros datos de objeto 378. Los otros datos de imagen 376 representan otra imagen del escenario real captada por el dispositivo de captura de entorno 102. Los otros datos de objeto 378 comprenden al menos un posicionamiento de la sección de objeto dentro de la otra imagen del escenario real.
Según un ejemplo de realización, la prescripción de posicionamiento 142 comprende la instrucción de representación comprendida por los datos de imagen virtual 140 para representar la imagen virtual. Alternativamente, la instrucción de representación se puede transmitir por separado al dispositivo de control 372 con respecto a la prescripción de posicionamiento 142.
Según un ejemplo de realización, el dispositivo de selección 368 es parte del equipo móvil 100. En este caso, el dispositivo externo 130 no se requiere y la interfaz externa 360 puede estar realizada como una interfaz interna. Los dispositivos 360, 362, 366, 370, 372 mostrados en la fig. 1 son solo una disposición a modo de ejemplo de dispositivos de un dispositivo 378 para superponer una imagen de un escenario real con una imagen virtual. Para implementar las etapas de procedimiento de un procedimiento para superponer una imagen de un escenario real con una imagen virtual, por ejemplo, algunos o todos los dispositivos 360, 362, 366, 370, 372 se pueden combinar formando unidades más grandes.
La fig. 4 muestra un diagrama de flujo de un procedimiento para superponer una imagen de un escenario real con una imagen virtual según un ejemplo de realización, que no contiene todas las características de la invención.
El procedimiento se puede realizar utilizando dispositivos de un equipo móvil descrito mediante las figuras anteriores.
En una etapa 480 se leen datos de imagen que representan una imagen de un escenario real captada por un dispositivo de captura de entorno del equipo móvil. Los datos de imagen se pueden haber capturado en una etapa 482 anterior opcional por el dispositivo de captura de entorno. A partir de los datos de imagen se determinan en una etapa 484 datos de marcador, que representan una imagen y un posicionamiento de un marcador dispuesto en el escenario real. Correspondientemente, a partir de los datos de imagen se determinan en una etapa 486 datos de objeto, que representan una imagen y un posicionamiento de una sección de objeto de un objeto dispuesto en el entorno del marcador en el escenario real. En una etapa 488, se leen datos de imagen virtual que representan datos de imagen seleccionados a partir de una pluralidad de datos de imagen virtual utilizando los datos de marcador y comprenden una instrucción de representación para representar la imagen virtual y una instrucción de posicionamiento para posicionar la imagen virtual. En una etapa opcional 490 que se puede ejecutar en el equipo móvil o en un dispositivo externo, los datos de imagen virtual se seleccionan utilizando los datos de marcador. Utilizando los datos de marcador, los datos de objeto y los datos de imagen virtual, en una etapa 492 se determina una prescripción de posicionamiento que es adecuada para representar la imagen virtual con respecto a la imagen de la sección de objeto, por ejemplo, como superposición de otra imagen del escenario real.
En una etapa 494 opcional, la prescripción de posicionamiento se utiliza para representar la superposición de la otra imagen del escenario real con la imagen virtual, por ejemplo, en un dispositivo de visualización del equipo móvil.
La etapa 494 puede comprender, por ejemplo, una etapa 496 de la lectura de otros datos de imagen, que representan la otra imagen del escenario real, comprender una etapa 498 de la determinación de un posicionamiento de otra imagen de la sección de objeto a partir de los otros datos de imagen y una etapa de la creación 499 de datos de imagen superpuestos utilizando los otros datos de imagen, la otra imagen de la sección de objeto y la prescripción de posicionamiento, donde los datos de imagen superpuestos representan una superposición de la otra imagen del escenario real con la imagen virtual. En la etapa de la determinación del posicionamiento se puede determinar el posicionamiento de la otra imagen de la sección de objeto dentro de la otra imagen del escenario real. Por lo tanto, las imágenes de la sección de objeto se pueden utilizar en imágenes sucesivas en el tiempo del escenario real como puntos de anclaje para la imagen virtual. En la etapa de la creación de los datos de imagen superpuestos, la imagen virtual se puede representar utilizando la instrucción de representación.
La etapa 494 se puede repetir continuamente, donde la prescripción de posicionamiento se utiliza respectivamente para superponer continuamente otras imágenes del escenario real con la imagen virtual. A este respecto, no se necesita realizar de forma repetida las etapas anteriores, ya que es suficiente determinar una vez la prescripción de posicionamiento.
Según la invención, en la etapa 486 se determinan a partir de los datos de imagen los datos de objeto, que representan imágenes y posicionamientos de varias secciones de objeto, por ejemplo, dos, tres, cuatro o más secciones de objeto, de uno o varios objetos dispuestos en el entorno del marcador en el escenario real. De esta manera, se puede aumentar el número de los puntos de anclaje para anclar la imagen virtual en la otra imagen o en las otras imágenes del escenario real. En este caso, en la etapa 492, la prescripción de posicionamiento se puede determinar de modo que sea adecuada para representar la imagen virtual en las otras imágenes del escenario real con respecto a las imágenes de las secciones de objeto. Para implementar esta representación, en la etapa 498 de la determinación se determinan los posicionamientos de las imágenes individuales de las secciones de objeto a partir de los otros datos de imagen. Ventajosamente, en este caso, la imagen virtual también se puede posicionar luego conforme a la especificación depositada en los datos de imagen virtual, si no están comprendidas todas las imágenes de las secciones de objeto de los otros datos de imagen.
Según la invención, la prescripción de posicionamiento en la etapa 492 se determina utilizando un valor de medición de un equipo de medición, en particular un sensor de aceleración, un sensor de rotación, un magnetómetro o un receptor g Ps , del equipo móvil.

Claims (12)

REIVINDICACIONES
1. Procedimiento para superponer una imagen de un escenario real a una imagen virtual, donde el procedimiento comprende las siguientes etapas:
lectura (480) de los datos de imagen (364), donde los datos de imagen (364) representan una imagen (108) del escenario real (106) capturada por un dispositivo de captura de entorno (102) de un equipo móvil (100); determinación (484) de los datos de marcador (132) a partir de los datos de imagen (364), donde los datos de marcador (132) representan una imagen (116) y un posicionamiento de un marcador (112) dispuesto en el escenario real (106);
lectura (488) de los datos de imagen virtual (140), donde los datos de imagen virtual (140) representan los datos de imagen seleccionados a partir de una pluralidad (252) de datos de imagen virtual utilizando los datos de marcador (132), donde los datos de imagen virtual (140) comprenden una instrucción de representación para representar la imagen virtual (124) y una instrucción de posicionamiento para posicionar la imagen virtual (124); determinación (486) de los datos de objeto (134) a partir de los datos de imagen (364), donde los datos de objeto (134) representan una imagen (118) y un posicionamiento de una sección de objeto (114) de un objeto (110) dispuesto en el entorno del marcador (112) en el escenario real (106), donde la imagen (118) de la sección de objeto (114) se puede utilizar como punto de anclaje para la imagen virtual (124), y donde los datos de objeto (134) representan una segunda imagen (146) y un segundo posicionamiento de una segunda sección de objeto (144) de otro objeto dispuesto en el entorno del marcador (112) en el escenario real (106), donde la segunda imagen (146) de la segunda sección de objeto (144) se puede utilizar como un segundo punto de anclaje para la imagen virtual (124);
determinación (492) de una prescripción de posicionamiento (142) que se refiere a la sección de objeto (114) y a la segunda sección de objeto (144) para el posicionamiento de la imagen virtual (124) con respecto a la imagen (118) de la sección de objeto (114) y la segunda imagen (146) de la segunda sección de objeto (144) utilizando los datos de objeto (134) y los datos de imagen virtual (140); y
uso (494) de la prescripción de posicionamiento (142) para representar una superposición de otra imagen (120) del escenario real (106) con la imagen virtual, donde la etapa del uso (494) comprende una
- lectura (496) de otros datos de imagen (376), donde los otros datos de imagen (376) representan otra imagen (120) del escenario real (106) capturada por el dispositivo de captura de entorno (102) del equipo móvil (100), donde los otros datos de imagen (376) no comprenden ninguna imagen (116) del marcador (112); - determinación (498) de un posicionamiento de otra imagen (122) de la sección de objeto (114) y/o de un posicionamiento de otra segunda imagen de la segunda sección de objeto (144) a partir de los otros datos de imagen (376); y
- creación (499) de datos de imagen superpuestos (374) utilizando los otros datos de imagen (376), el posicionamiento de la otra imagen (122) de la sección de objeto (114) y/o el posicionamiento de la otra segunda imagen de la segunda sección de objeto (144) y la prescripción de posicionamiento (142), donde la otra imagen (122) de la sección de objeto (114) se usa como punto de anclaje y/o la otra segunda imagen (146) de la segunda sección de objeto (144) se usa como segundo punto de anclaje para la imagen virtual (124), y donde los datos de imagen superpuestos (374) representan una superposición de la otra imagen (120) del escenario real (106) con la imagen virtual (124);
donde se lleva a cabo una iteración continua de la etapa del uso (494) varias veces por segundo, donde la prescripción de posicionamiento (142) se utiliza respectivamente para superponer continuamente otras imágenes (122) del escenario real (106) con la imagen virtual (124) durante un cambio de la posición relativa entre el equipo móvil (100) y el marcador (112) después de una primera detección del marcador (112), donde el cambio de la posición relativa conduce a una distancia entre el equipo móvil (100) y el marcador (112) de hasta cinco mil veces la longitud lateral del marcador, en la que el equipo móvil (100) no reconoce el marcador (112), donde se utiliza al menos un equipo de medición situado en el equipo móvil (100), adicionalmente a la captura de imágenes, para medir el cambio de la posición relativa.
2. Procedimiento según la reivindicación 1, en el que los datos de imagen (364) representan datos de imagen reales, los datos de objeto (134) representan datos de objeto reales y la sección de objeto (114) representa una sección de objeto real.
3. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que en la etapa (492) de la determinación se determina la prescripción de posicionamiento (142) utilizando los datos de marcador (132) o al menos una parte de los datos de marcador (132).
4. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que en la etapa (492) de la determinación se determina la prescripción de posicionamiento (142) utilizando un valor de medición del equipo de medición, en particular un sensor de aceleración, un sensor de rotación, un magnetómetro o un receptor GPS, del equipo móvil.
5. Procedimiento según cualquiera de las reivindicaciones anteriores, con una etapa de facilitación de al menos una parte de los datos de marcador (132) a una interfaz (360) hacia un dispositivo externo (130), donde en la etapa de la lectura (488) de los datos de imagen virtual (140) se leen los datos de imagen virtual (140) a través de la interfaz (360) hacia el dispositivo externo (130).
6. Procedimiento según cualquiera de las reivindicaciones anteriores, con una etapa de selección (490) de los datos de imagen virtual (140) a partir de la pluralidad (252) de datos de imagen virtual utilizando los datos de marcador (132).
7. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que el marcador (112) representa un código legible por máquina que comprende una identificación (138) del marcador (112), donde en la etapa de la determinación (484) de los datos de marcador (132) se determina la identificación (138) del marcador (112) como parte de los datos de marcador (132).
8. Procedimiento según cualquiera de las reivindicaciones anteriores, con una etapa de la visualización (498) de una superposición de la otra imagen (120) del escenario real (106) con la imagen virtual (124) utilizando un dispositivo de visualización (104) del equipo móvil (100).
9. Procedimiento según cualquiera de las reivindicaciones anteriores, con una etapa de la captura (482) de los datos de imagen (364) utilizando el dispositivo de captura de entorno (102) del equipo móvil (100).
10. Dispositivo (378) para superponer una imagen de un escenario (106) real con una imagen virtual, donde el dispositivo (378) presenta dispositivos para implementar las etapas del procedimiento según cualquiera de las reivindicaciones anteriores.
11. Equipo móvil (100), en particular teléfono inteligente, con un dispositivo (378) según la reivindicación 10.
12. Producto de programa de ordenador con código de programa para llevar a cabo el procedimiento según cualquiera de las reivindicaciones 1 a 9, cuando el producto de programa de ordenador se ejecuta en un dispositivo.
ES16767194T 2015-09-11 2016-09-09 Procedimiento y dispositivo para superponer una imagen de un escenario real con una imagen virtual y equipo móvil Active ES2912192T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015115394.7A DE102015115394A1 (de) 2015-09-11 2015-09-11 Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit einem virtuellen Bild und mobiles Gerät
PCT/EP2016/071328 WO2017042348A2 (de) 2015-09-11 2016-09-09 Verfahren und vorrichtung zum überlagern eines abbilds einer realen szenerie mit einem virtuellen bild und mobiles gerät

Publications (1)

Publication Number Publication Date
ES2912192T3 true ES2912192T3 (es) 2022-05-24

Family

ID=56958896

Family Applications (1)

Application Number Title Priority Date Filing Date
ES16767194T Active ES2912192T3 (es) 2015-09-11 2016-09-09 Procedimiento y dispositivo para superponer una imagen de un escenario real con una imagen virtual y equipo móvil

Country Status (8)

Country Link
US (1) US10621787B2 (es)
EP (1) EP3347878B1 (es)
JP (1) JP6625734B2 (es)
KR (1) KR102042793B1 (es)
DE (1) DE102015115394A1 (es)
ES (1) ES2912192T3 (es)
PL (1) PL3347878T3 (es)
WO (1) WO2017042348A2 (es)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6688462B2 (ja) * 2016-09-28 2020-04-28 ブラザー工業株式会社 仮想ラベル表示処理プログラム
US10157504B1 (en) * 2018-06-05 2018-12-18 Capital One Services, Llc Visual display systems and method for manipulating images of a real scene using augmented reality
US10482675B1 (en) * 2018-09-28 2019-11-19 The Toronto-Dominion Bank System and method for presenting placards in augmented reality
US20210335566A1 (en) * 2020-04-28 2021-10-28 Elbit Systems Of America, Llc Electronically addressable display incorporated into a transmission mode secondary electron image intensifier
CN112862981B (zh) * 2021-02-05 2021-11-23 贝壳找房(北京)科技有限公司 用于呈现虚拟表示的方法和装置、计算机设备和存储介质
IT202100005894A1 (it) * 2021-03-25 2021-06-25 Giovanni Sapere Metodo per la fruizione di contenuti in Realtà Aumentata attraverso il download e la gestione dinamica di pacchetti dati associati ad un marker

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141049A (ja) * 2010-03-24 2013-07-18 Hitachi Ltd 世界座標系データベースを利用したサーバ及び端末
SG10201400952WA (en) * 2010-03-30 2014-05-29 Ns Solutions Corp Information Processing System, Information Processing Method And Program, Information Processing Apparatus, Vacant Space Guidance System, Vacant Space Guidance Method And Program, Image Display System, Image Display Method And Program
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
KR101267247B1 (ko) * 2011-01-13 2013-05-24 에스케이플래닛 주식회사 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
EP3734555A1 (en) 2012-12-10 2020-11-04 Sony Corporation Display control apparatus, display control method, and program
US9430877B2 (en) * 2013-01-25 2016-08-30 Wilus Institute Of Standards And Technology Inc. Electronic device and method for selecting augmented content using the same
EP3007137A4 (en) * 2013-05-27 2017-01-18 Sony Corporation Image processing device, image processing method, and program
JP6543924B2 (ja) * 2014-12-17 2019-07-17 富士通株式会社 情報処理方法、情報処理プログラム、及び情報処理装置
DE102016121281A1 (de) 2016-11-08 2018-05-09 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit virtuellen Bild- und Audiodaten und ein mobiles Gerät

Also Published As

Publication number Publication date
JP6625734B2 (ja) 2019-12-25
US10621787B2 (en) 2020-04-14
EP3347878A2 (de) 2018-07-18
KR102042793B1 (ko) 2019-11-27
EP3347878B1 (de) 2022-03-02
US20190371064A1 (en) 2019-12-05
DE102015115394A1 (de) 2017-03-16
KR20180050380A (ko) 2018-05-14
WO2017042348A2 (de) 2017-03-16
PL3347878T3 (pl) 2022-05-23
WO2017042348A3 (de) 2017-05-26
JP2018533121A (ja) 2018-11-08

Similar Documents

Publication Publication Date Title
ES2912192T3 (es) Procedimiento y dispositivo para superponer una imagen de un escenario real con una imagen virtual y equipo móvil
US10489930B2 (en) Digitally encoded marker-based augmented reality (AR)
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
ES2957257T3 (es) Realidad aumentada registrada en tiempo real basada en la red para dispositivos móviles
EP3149698B1 (en) Method and system for image georegistration
ES2359852T3 (es) Método y sistema para el mapeo de datos de sensores de alcance sobre datos de sensores de imagen.
US20170193679A1 (en) Information processing apparatus and information processing method
US9323055B2 (en) System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP5383930B2 (ja) 端末装置の視野に含まれている客体に関する情報を提供するための方法、端末装置及びコンピュータ読み取り可能な記録媒体
CN110794955B (zh) 定位跟踪方法、装置、终端设备及计算机可读取存储介质
ES2688643T3 (es) Aparato y método de realidad aumentada
ES2811800T3 (es) Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes y programa
US20120120070A1 (en) System and method to display maintenance and operational instructions of an apparatus using augmented reality
CN108022265B (zh) 红外相机位姿确定方法、设备及***
ES2626301T3 (es) Procedimiento y equipo de procesamiento de imágenes para determinar los parámetros de una cámara
US20190391644A1 (en) Perspective or gaze based visual identification and location system
JPWO2019193859A1 (ja) カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
US11600024B2 (en) System and method for recalibrating an augmented reality experience using physical markers
ES2941678T3 (es) Dispositivo de determinación de marcador, sistema de detección de determinación de marcador, dispositivo de detección de determinación de marcador, marcador, método de determinación de marcador y programa para el mismo
CN113031892A (zh) 信息显示方法及其处理装置与显示***
ES2649573T3 (es) Procedimiento de detección de un marcador colocado en la superficie de un objeto y sistema de aplicación
CN109032330B (zh) Ar***、ar装置以及建立和无缝桥接其参考状态的方法
Agrawal et al. A review: Augmented reality and its working
TR201603524A2 (es)
ES2890959T3 (es) Procedimiento para controlar una máquina mediante al menos una coordenada espacial como variable de control