ES2366490T3 - Disposición de interacción para la interacción entre una pantalla y un objeto de puntero. - Google Patents

Disposición de interacción para la interacción entre una pantalla y un objeto de puntero. Download PDF

Info

Publication number
ES2366490T3
ES2366490T3 ES07847835T ES07847835T ES2366490T3 ES 2366490 T3 ES2366490 T3 ES 2366490T3 ES 07847835 T ES07847835 T ES 07847835T ES 07847835 T ES07847835 T ES 07847835T ES 2366490 T3 ES2366490 T3 ES 2366490T3
Authority
ES
Spain
Prior art keywords
interaction
person
cameras
pointer object
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES07847835T
Other languages
English (en)
Inventor
Rudolf Hauke
Jens-Uwe Baeuerle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Almeva AG
Original Assignee
Almeva AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Almeva AG filed Critical Almeva AG
Application granted granted Critical
Publication of ES2366490T3 publication Critical patent/ES2366490T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Details Of Measuring And Other Instruments (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Details Of Measuring Devices (AREA)

Abstract

Disposición de interacción (1) para la interacción entre al menos una pantalla (3) dispuesta detrás de un cristal transparente (2) y al menos un objeto de puntero (4) que se encuentra delante del cristal (2), que comprende al menos dos cámaras (6, 7) dispuestas detrás del cristal (2), en la que a cada una de las cámaras (6, 7) está asociada una unidad de desviación (8, 9), por medio de la cual se puede desviar una trayectoria óptica (10.1) desde una zona de interacción (11) en la proximidad y delante del cristal (2) hacia la cámara (6, 7) y que comprende una unidad de cálculo (12) conectada con cada una de las cámaras (6, 7) para la determinación de una posición del objeto de puntero (4) que está guiado para ser visible por al menos dos de las cámaras (4), caracterizada porque al menos una trayectoria óptica (10.3) se puede desviar desde una zona de residencia (15) delante del cristal (2), que está más alejada que la zona de interacción (11) desde el cristal (2), a través de la unidad de desviación (8, 9) o por delante de la unidad de desviación (8, 9) hacia la cámara (6, 7), de manera que una persona (5) que se encuentra en la zona de residencia (15) se encuentra, al menos parcialmente, en una zona de visión de la cámara (6, 7).

Description

La invención se refiere a una disposición de interacción para la interacción entre al menos una pantalla dispuesta detrás de un cristal transparente y al menos un objeto de puntero que se encuentra delante del cristal, que comprende al menos dos cámaras dispuestas detrás del cristal, cuyos ejes ópticos están alineados esencialmente perpendiculares al cristal, en la que a cada una de las cámaras está asociada una unidad de desviación, por medio de la cual se puede desviar una trayectoria óptica desde una zona de interacción en la proximidad y delante del cristal hacia la cámara y que comprende una unidad de cálculo conectada con cada una de las cámaras para la determinación de una posición del objeto de puntero que está guiado para ser visible por al menos dos de las cámaras.
Las pantallas interactivas se conocen bajo la designación de pantallas de contacto, en las que un usuario mueve un objeto de puntero, por ejemplo su dedo sobre la pantalla. Un posición o bien un movimiento del objeto de puntero sobre la pantalla es detectado por medio de sensores mecánicos. Una acción predeterminada es activada por la posición u otras acciones del objeto de puntero, por ejemplo a través de pulsación sobre una zona determinada de la pantalla. Tales sistemas están sujetos a desgaste mecánico a través de vandalismo y arañazos y debido al gasto de mantenimiento elevado derivado de ello solamente son adecuados con condiciones para utilización duradera, en particular, en el sector público.
Por lo tanto, han sido desarrollados sistemas, que calculan la posición del objeto de puntero con respecto a una superficie pasiva por medio de detección óptica. En el documento US 7.034.807 se publica una disposición para la interacción de un usuario con una pantalla a través de una ventana de observación. La zona visible a través de la ventana de observación de la pantalla sirve como superficie de contacto pasiva. El sistema comprende una unidad de registro para el registro del objeto de puntero en la proximidad de la superficie de contacto con medios ópticos. Una unidad de cálculo conectada con la unidad de registro puede calcular una posición del objeto de puntero en la proximidad de la superficie de contacto a partir de las señales registradas por la unidad de registro. La pantalla está dispuesta detrás de la ventana de observación, es decir, separada del usuario a través de la ventana de observación. La unidad de registro comprende, por ejemplo, dos cámaras y está dispuesta de la misma manera detrás de a ventana de observación. Por medio de una unidad de desviación, por ejemplo espejos o prismas, que están dispuestos por encima o por debajo de la superficie de contacto, se desvía la trayectoria óptica desde la unidad de registro hacia una zona delante de la superficie de contacto. Para elevar el contraste, se ilumina la zona delante de la superficie de contacto con luz infrarroja, que presenta la misma trayectoria óptica, que la unidad de registro. Con respecto a la superficie de contacto, frente a la unidad de desviación están dispuestas unas superficies reflectantes. Reflejan la luz infrarroja y sirven como fondo, delante del cual se puede detectar el objeto de puntero con contraste elevado. La posición del objeto de puntero se puede calcular entonces, por ejemplo, por medio de triangulación.
Sistemas interactivos basados en cámara similares se publican, por ejemplo, en los documentos WO 02/03316 A1, EP 1420335 A1 y DE 10163648 A1. Estos documentos enseñan la utilización de una unidad de registro con al menos dos cámaras con campos de visión que se solapan entre sí, que comprenden una superficie de contacto delimitada por un marco. La presencia de un objeto de puntero sobre o en la proximidad de la superficie de contacto es detectada a través de análisis de las diferencias entre dos imágenes sucesivas de la superficie de contacto. Cuando está presente un objeto de puntero, se procesan los datos registrados de la imagen, de tal manera que solamente son evaluadas diferencias seleccionadas de la imagen.
Los sistemas interactivos basados en cámara conocidos implican el problema de que las imágenes registradas por la unidad de registro son frecuencia están falsificadas por luz de otros objetos, por ejemplo luz que incide directamente, luz dispersa o luz reflejada desde el entorno. La luz que procede de tales fuentes externas tiene con frecuencia una intensidad más elevada que la luz que procede del objeto de puntero. Puesto que el control de la cámara se ajusta, en general, a la intensidad máxima, con frecuencia se dificulta o se imposibilita la detección del objeto de puntero. Además, la imagen registrada es con frecuencia muy sensible con respecto a modificaciones o iluminación ambiental, por ejemplo entre el día y la noche. Estas circunstancias conducen a errores en la determinación de la posición del objeto de puntero.
Para reducir estos errores, se puede emplear una iluminación infrarroja adicional para la iluminación de la zona delante de la superficie de contacto junto con cámaras sensibles a luz infrarroja correspondientes. El contraste se puede mejorar todavía más a través de las superficies reflectantes mencionadas anteriormente. El objeto de puntero iluminado se puede detectar entonces con contraste elevado. Sin embargo, el sistema es de esta manera más complejo y costoso.
Otro problema se plantea con ventanas de observación de doble cristal entre el usuario y la pantalla. Se puede reflejar luz entre los cristales de la ventana, que puede llegar a la unidad de registro y falsificar la imagen registrada y de esta manera dificultar o imposibilitar la determinación de la posición del objeto de puntero.
imagen1
Por lo tanto, un cometido de la invención es indicar una disposición de interacción mejorada para la interacción entre una pantalla y un objeto de puntero.
El cometido se soluciona de acuerdo con la invención por medio de una disposición de interacción con las características de la reivindicación 1.
Los desarrollos ventajosos son objeto de las reivindicaciones dependientes.
Una disposición de interacción de acuerdo con la invención para la interacción entre al menos una pantalla dispuesta detrás de un cristal transparente y al menos un objeto de puntero que se encuentra delante del cristal, comprende al menos dos cámaras dispuestas detrás del cristal, cuyos ejes ópticos están alineados esencialmente perpendiculares al cristal. A cada una de las cámaras está asociada una unidad de desviación, por medio de la cual se puede desviar una trayectoria óptica desde una zona de interacción en la proximidad y delante del cristal hacia la cámara. Una unidad de cálculo conectada con cada una de las cámaras sirve para la determinación de una posición del objeto de puntero que está guiado para ser visible por al menos dos de las cámaras. La zona de interacción es iluminada estroboscópicamente con luz infrarroja. Las cámaras son sensibles a la luz infrarroja y son sincronizadas con la iluminación estroboscópica. La iluminación infrarroja no se perceptible para personas que se encuentran delante del cristal transparente, pero con una cámara de sensibilidad correspondiente mejora el contraste de los registros. Las cámaras digitales habituales son, en general, por sí, sensibles a la luz infrarroja. Pero su sensibilidad a la luz infrarroja se perjudica la mayoría de las veces por filtros de luz infrarroja correspondientes. Para la presente aplicación, se puede prescindir de este filtro, de manera que se producen para la cámara unos costes más bien reducidos. En la iluminación estroboscópica y en la sincronización de las cámaras a la iluminación estroboscópica es ventajoso que se excluye en gran medida una influencia de una iluminación ambiental variable sobre el registro, en particular en caso de radiación solar fuerte, que presenta porciones infrarrojas altas. Cono en el caso de una toma de un rayo con una cámara de fotos, en el momento de la iluminación se produce una especie de registro momentáneo del objeto de puntero, de manera que no aparecen faltas de nitidez de movimiento y, por consiguiente, el objeto de puntero se puede identificar claramente y se puede determinar con exactitud su posición durante el instante del impulso estroboscópico. Por sincronización debe entenderse que la iluminación estroboscópica está en una relación determinada con respecto a los tiempos de cierre de la cámara. No es forzosamente necesaria una simultaneidad. El impulso estroboscópico es especialmente más corto que un tiempo de iluminación de la cámara. La conexión de las cámaras con la unidad de cálculo puede estar configurada directa o indirecta. En el caso de una conexión indirecta, las cámaras pueden estar acopladas, por ejemplo, con una FPGA (Field Programmable Gate Array), a partir de la cual se pueden conducir las imágenes a la unidad de cálculo.
La iluminación estroboscópica se puede realizar por separado, por ejemplo, para cada una de las cámaras desde su visión, y los tiempos de cierre de las cámaras pueden estar escalonados de forma secuencial, de tal manera que un impulso estroboscópico de la iluminación para una de las cámaras no conduce a sombras de impacto en un registro de una de las otras cámaras y dificulta la identificación o la determinación del lugar del objeto de puntero.
La iluminación estroboscópica puede tener lugar también desde la visión de todas las cámaras en el mismo instante, de manera que una determinación de la posición, por ejemplo por medio de triangulación, presenta una exactitud máxima posible.
El disco transparente puede ser, por ejemplo, una ventaja de observación, detrás de la cual está dispuesta la pantalla. Las unidades de desviación pueden comprender espejos o prismas, que se encuentran delante del cristal transparente sobre el eje óptico de la cámara. Con zona de interacción se designa la zona delante del cristal, en la que debe detectarse una posición o movimiento del objeto de puntero, por ejemplo un dedo. Las cámaras y las unidades de desviación correspondientes están dispuestas en particular en las esquinas del cristal transparente. En este caso, para cada combinación de cámara y unidad de desviación es suficiente un campo de visión con un ángulo de apertura de 90º, para cubrir todo el cristal.
Para la iluminación estroboscópica se utiliza especialmente luz infrarroja en la zona infrarroja próxima. Con ello se entiende una zona de longitudes de onda entre 700 nm y 1,4 pm. Es especialmente ventajosa una longitud de onda de 800 nm, puesto que para ventanas de observación se utiliza con frecuencia cristal de aislamiento térmico, que absorbe radiación infrarroja más allá de 1 m.
Con preferencia, para cada una de las cámaras está previsto un filtro de transmisión infrarroja. A través de esta medida se filtra luz en la zona de longitudes de onda de la luz diurna, de manera que apenas o nasa se influye sobre la función de la disposición de interacción a través de diferentes relaciones ambientales.
Para la iluminación estroboscópica se disponen los medios de iluminación, en particular en la zona de la cámara, de tal manera que una trayectoria óptica de la iluminación puede ser desviada a través de la unidad de desviación al menos a la zona de interacción. De esta manera se posibilita una iluminación especialmente efectiva del objeto de puntero, puesto que la luz que sirve la iluminaciones reflejada en su mayor parte en la misma dirección, desde la que incide.
imagen2
La posición del objeto de puntero se calcula con preferencia por medio de triangulación. A tal fin, son necesarias imágenes con al objeto de puntero desde al menos dos de las cámaras. El objeto de puntero es identificado y localizado en cada imagen. Si la cámara no está calibrada de manera correspondiente con la unidad de desviación, a partir de una posición del objeto de puntero e puede deducir un ángulo en la imagen, en el que se encuentra con respecto al eje óptico desviado. Si se determinan estos ángulos para al menos dos de estas cámaras, con el conocimiento de una longitud de base entre las cámaras se puede determinar la posición del objeto de puntero con respecto a las posiciones de la cámara. Una calibración de la cámara en su posición de montaje permite la ut5ilización de ópticas de cámara de coste favorable, que no tienen que cumplir grandes requerimientos con respecto a errores de reproducción, como desdibujados. Una calibración se puede realizar, por ejemplo, manteniendo, con la cámara montada, un brazo de marco u otro cuerpo de calibración en la zona de visión de la cámara o bien de la trayectoria óptica desviada a través de la unidad de desviación en una posición definida y comunicando esta posición a la unidad de cálculo. El cuerpo de calibración presenta puntos o estructuras fáciles de identificar óptimamente, que son localizados por la unidad de cálculo en la imagen de la cámara y sirven de base con la posición conocida del brazo de marco para una corrección de la imagen. Las cámaras, con preferencia, no sólo están sincronizadas con la iluminación estroboscópica, sino que están sincronizadas también entre sí. Por ejemplo, todas las cámaras pueden estar acopladas con una FPGA (Field Programmable Gate Array), en la que se registran temporalmente imágenes de las cámaras en memorizas marco. La FPGA emite las imágenes correspondientes entre sí en el tiempo entonces hacia la unidad de cálculo, por ejemplo a través de una interfaz USB o IEEE 1394, o lleva a cabo una especie de procesamiento previo de las imágenes, por ejemplo la identificación del objeto de puntero o la determinación de la posición.
En otra forma de realización, al menos una trayectoria óptica puede ser desviada desde una zona de residencia delante del cristal, que está más alejada que la zona de interacción desde el cristal, a través de la unidad de desviación o por delante de la unidad de desviación hasta la cámara, de tal manera que una persona que se encuentra en la zona de residencia se encuentra, al menos parcialmente, en una zona de visión de la cámara. De esta manera, se pueden tener en cuenta propiedades y modos de comportamiento de la persona durante la interacción, por ejemplo contenidos representados en la pantalla se pueden modificar de acuerdo con estas propiedades o modos de comportamiento. No se producen costes para una cámara adicional. De manera alternativa, se pueden prever una o más cámaras adicionales para el registro de personas, que pueden estar dispuestas también delante del cristal.
La unidad de desviación puede estar configurada para esta finalidad como un divisor del haz. Los divisores del haz se realizan la mayoría de las veces por medio de espejos semi transparentes o parcialmente transparentes, en los que se refleja una parte de la luz incidente y otra parte atraviesa el espejo. Los divisores del haz se pueden realizar también con prismas. Otra posibilidad consiste en proveer la unidad de desviación con un espejo de dos o más partes, en el que una de las partes conduce las trayectorias ópticas desde la dirección de la zona de residencia y otra de las partes conduce las trayectorias ópticas desde la dirección de la zona de interacción hacia la cámara. La unidad de desviación puede contener otros componentes ópticos, por ejemplo lentes.
En otra forma de realización, está prevista una detección óptica de la cara de una persona en la unidad de cálculo. A partir de la cara reconocida se pueden extraer una serie de características, que pueden ser tenidas en cuenta n la representación interactiva de contenidos sobre la pantalla. Por ejemplo, con una cara reconocida en virtud de características biométricas y ya reconocida en la unidad de cálculo se puede aplicar y conservar un perfil de usuario, asociando los intereses y preferencias derivadas de las entradas de la persona a la persona reconocida y siento tenido en cuenta en el caso de un contacto posterior en la presentación de contenidos en la pantalla.
En una forma de realización preferida está previsto un reconocimiento óptico del objeto de puntero, en particular de un dedo en la unidad de cálculo, por ejemplo por medio de reconocimiento de patrones, A tal fin, se puede utilizar un algoritmo ya implementado en el reconocimiento de la persona o de su cara.
Si se registra la persona a través de varias cámaras, se puede cuantificar, por medio de triangulación, como propiedad una estatura de la persona. A partir de la estatura se puede deducir, por ejemplo, si en la persona se trata de un adulto o de un niño. La presentación de los contenidos se puede adaptar de esta manera a un grupo de destino correspondiente.
Una edad de la persona se puede estimar, además de a partir de la estatura, también con la ayuda de características de la cara.
Además, como propiedad se puede reconocer el sexo de la persona con la ayuda de la cara y/o de la estatura. De esta manera, se posibilita una presentación de contenidos que es especifica del sexo y específica de la edad, por ejemplo ropa, cosméticos, artículos técnicos, etc.
Además, por ejemplo, existe la posibilidad de distinguir usuarios de gafas de no usuarios de gafas y de reaccionar de manera selectiva a través de contenidos correspondientes de la pantalla.
En el caso de una detección suficientemente precisa de la cara de la persona, se puede registrar una dirección de la visión de los ojos de la persona con respecto a la pantalla. El seguimiento de los ojos (en inglés, Eye Tracking) se emplea ya desde hace tiempo en el enfoque de la cámara. En la presente disposición de interacción se puede calcular a qué contenidos de la pantalla dirige la persona su atención y se pueden adaptar de manera correspondiente los contenidos, aunque la persona todavía no se dedica a particular por medio de los dedos o el objeto de puntero en la interacción.
imagen3
En una forma de realización especialmente preferida, se representa una transformación de la persona en la pantalla, que se crea a partir de los registros de la persona. A tal fin, se utilizan especialmente registros de varias de las cámaras, para generar una copia tridimensional de la persona. La transformación se puede realizar, por ejemplo, de forma automática o a través de otra interacción por medio de acciones realizadas a través del objeto de puntero, virtualmente a través de la provisión con prendas de vestir ofrecidas, gafas u otros accesorios para crear a la persona la impresión de cómo se adaptaría este artículo para ella y darle motivos correspondientes para comprarlo. La transformación puede explicar productos a la persona o puede funcionar como vendedor virtual.
La transformación se puede representar en simetría de espejo. Puesto que muy poca gente es completamente simétrica, la visión propia habitual en la imagen del espejo es con frecuencia más auténtica que la visión lateral, como le transmiten otras personas y tomas de películas o fotográficas. Precisamente en una situación de prueba la representación en simetría de espejo puede evitar una irritación innecesaria de la persona.
Con preferencia están previstos medios de blindaje, a través de los cuales se pueden suprimir trayectorias ópticas hacia la cámara. Tales trayectorias ópticas no deseadas son, por ejemplo, reflexiones o radiación directa a través de luz solar o iluminación artificial. De esta manera, se reducen las falsificaciones de las imágenes tomadas por las cámaras y limitaciones de la zona dinámica.
En otra forma de realización, al menos un detector óptico y al menos un medio de iluminación están dispuestos de tal forma que al menos una trayectoria óptica se extiende por medio de reflexión total entre las superficies del cristal transparente desde el medio de iluminación hacia el detector óptico, de manera que en el caso de contacto del cristal transparente con un objeto de puntero configurado como dedo se puede registrar a través de reflexión total impedida en el detector óptico una impresión digital. De esta manera, la persona puede ser identificada y reconocida de nuevo a través de su impresión digital. Además de la utilización para el perfil de un usuario o de funciones personalizadas, por ejemplo con una entrada de usuario, una disposición de interacción configurada de esta manera es adecuada para la supervisión y localización de personas.
Una distancia del objeto de puntero con respecto al cristal transparente se puede calcular también a través de detección de una imagen de espejo de la zona de interacción con el objeto de puntero en simetría de imagen en el cristal transparente y determinación de la distancia del objeto de puntero desde el objeto de puntero reflejado en el espejo. En el caso de un objeto de puntero móvil, que es conducido, por ejemplo, para pulsar una tecla hacia el cristal, se puede calcular la dirección del movimiento a partir de tomas sucesivas de manera sencilla, sin que la posición del objeto de puntero frente al cristal conduzca a determinaciones erróneas. Si la distancia del objeto de puntero desde la imagen de espejo es cero, se detecta con seguridad un contacto del cristal.
Con una resolución suficiente de las cámaras se puede prever un reconocimiento del iris de los ojos de la persona o un reconocimiento de un código de barras para la identificación o autentificación.
Se pueden prever instalaciones adicionales para la identificación de la persona. Por ejemplo, se pueden reconocer RFID-Chips activos o pasivos o teléfonos móviles. Además, se puede prever una entrada de nombres de usuarios y palabra de paso a través del mando interactivo de la pantalla.
Se puede prever una interacción acústica adicional a través de la entrada de voz y salida de sonido.
Se puede prever una interacción adicional con la pantalla a través de teléfonos móviles o PDA, por ejemplo a través de la emisión y/o recepción de mensajes cortos (SMS) y/o mensajes multimedia (MMS). Por ejemplo, se puede prever una instalación para la comunicación con un teléfono móvil de la persona, a través de la cual se pueden realizar procesos de pago sin dinero.
Las cámaras pueden estar dispuestas en la pantalla o por separado.
Para las cámaras, para fuentes de luz infrarroja y para la pantalla se pueden prever instalaciones de refrigeración, para posibilitar una duración larga de la vida útil de los componentes, también en el caso de fuerte radiación solar.
Las fuentes de luz infrarroja pueden ser fuentes de luz de banda estrecha, por ejemplo láser. Con una fuente de luz infrarroja de este tipo se pueden desviar rayos especialmente bien definidos a la zona de interacción. Por ejemplo, se puede proyectar luz a modo de una red de rejilla, con lo que se puede simplificar la determinación de la posición.
La disposición de interacción se puede emplear, por ejemplo, para la identificación y seguimiento de personas en comunidades virtuales (Comunidades en línea), agencias telefónicas de abonados y los llamados sistemas de guía de eventos, en los que los que sucede en un lugar de la celebración debe poder observarse en otro lugar de la celebración. La interacción puede servir en este caso para el intercambio de mensajes con otras personas en estas redes sociales.
imagen4
Se pueden prever adicionalmente medios para la interacción acústica. Por ejemplo, la persona pueda emitir respuestas u órdenes acústicas o el sistema de interacción hace referencia a posibilidades de interacción con medios acústicos, por ejemplo a través de conversación de personas que están delante de la ventana de observación. Los medios para la interacción acústica, en particular micrófonos y altavoces, pueden estar alojados en la unidad de desviación. No obstante, es posible una comunicación acústica sobre trayectos más cortos también a través del cristal transparente formado con preferencia de vidrio.
En la pantalla se pueden representar películas interactivas.
Los ejemplos de realización de la invención se explican en detalle a continuación con la ayuda de dibujos. En éstos:
La figura 1 muestra una disposición de interacción para la interacción entre una pantalla dispuesta detrás de un cristal transparente y un objeto de puntero que se encuentra delante del cristal, y
La figura 2 muestra un ciclo de movimiento del objeto de puntero frente al cristal transparente.
La figura 1 muestra una disposición de interacción 1 para la interacción entre una pantalla 3 dispuesta detrás de un cristal transparente 2 y un objeto de puntero 4 que se encuentra delante del cristal 2. Sobre la pantalla 3 se muestra a modo de ejemplo una selección de menú o un conmutador virtual (teclas), que debe activarse. Una persona 5 que se encuentra delante del cristal transparente 2, por ejemplo delante de una ventana de observación, utiliza un dedo como objeto de puntero 4. Detrás del cristal transparente 2 están dispuestas dos cámaras 6, 7, de manera que sus ejes ópticos 6.1, 7.1 están alineados esencialmente perpendiculares al cristal transparente 2, para mantener reducida la reflexión. A las cámaras 6, 7 está asociada en cada caso una unidad de desviación 8, 9, por medio de la cual se desvía la trayectoria óptica 10.1 desde una zona de interacción 11 en la proximidad inmediata del cristal 2 hacia la cámara 6, 7 respectiva.
Una unidad de cálculo 12, que está conectada con cada una de las cámaras 6, 7, sirve para la determinación de una posición del objeto de puntero 4 guiado de forma visible para las dos cámaras 6, 7. En la zona de las cámaras 6, 7 están previstas en cada caso unas fuentes de luz infrarroja 13, 14, con las que la zona de interacción 11 se puede iluminare estroboscópicamente con luz infrarroja. Las cámaras 6, 7 están configuradas de acuerdo con ello de forma sensible a luz infrarroja y están sincronizadas con iluminación estroboscópica. Las cámaras 6, 7 y las fuentes de luz infrarroja 13, 14 se pueden controlar a tal fin por la unidad de cálculo 12. La iluminación de la zona de interacción 11 se realiza por medio de desviación de al menos una parte de las trayectorias ópticas 10.2 a través de las unidades de desviación 8, 9. Para la determinación de la posición del objeto de puntero 4, en primer lugar una de las fuentes de luz infrarroja 13, 14 emite un impulso de luz e ilumina la zona de interacción 11 desde la visión de la cámara 6, 8 correspondiente. Esta cámara 6, 7 tiene abierto su cierre en este instante y lleva a cabo una toma de la zona de interacción 11 con el objeto de puntero 4. Cuando el cierre de esta cámara 6, 7 está cerrado de nuevo se abre el cierre de la otra cámara 7, 6 y se emite desde la fuente de luz infrarroja 14, 13 respectiva un impulso de luz correspondiente. En ambas imágenes se identifica el objeto de puntero 4, por ejemplo por medio de un procedimiento de reconocimiento de patrones, y se determina su posición, por ejemplo por medio de triangulación. La secuencia de las tomas debería realizarse, a ser posible, tan en tiempo real que la posición del objeto de puntero 4 sea detectada con suficiente exactitud también durante un movimiento rápido. Las tomas se pueden realizar, por ejemplo, en un intervalo de tiempo en el orden de magnitud de 40 ms. A partir de varias posiciones determinadas de forma sucesiva del objeto de puntero se puede calcular un movimiento. En la pantalla 3 se puede indicar una acción que corresponde a la posición o movimiento y se puede modificar de manera correspondiente un contenido representado.
Otras trayectorias ópticas 10.3 se pueden desviar desde una zona de residencia 15 delante del cristal transparente 2, que está más alejado del cristal 2 que la zona de interacción 11, por delante de la unidad de desviación 8, 9 hasta la cámara 6, 7, de manera que la persona 5 que se encuentra en la zona de residencia 15, se encuentra al menos parcialmente en la zona de visión de la cámara 6, 7. En la figura, la zona de residencia 15 está separada de la zona de interacción 11, por medio de una línea de trazos.
Las trayectorias ópticas 10.3 para el registro y/o reconocimiento de la persona se pueden conducir de manera alternativa también a través de la unidad de desviación 8, 9. La unidad de desviación 8, 9 puede estar configurada con esta finalidad como un divisor del haz. Otra posibilidad consiste en proveer la unidad de desviación 8, 9 con un espejo de dos o más partes, en el que una de las partes conduce la trayectoria óptica 10.3 desde la dirección de la zona de residencia 15 y una de las partes conduce la trayectoria óptica 10.1 desde la dirección de la zona de interacción 11 hacia la cámara 6, 7. La unidad de desviación 8, 9 puede contener otros componentes ópticos, por ejemplo lentes.
La disposición de interacción 1 se puede realizar también si la detección de personas 5 en la zona de residencia 15.
imagen5
Se puede prever otro número de cámaras 6, 7 con unidades de desviación 8, 9 respectivas. Por ejemplo, se pueden prever cámaras 6, 7 en cuatro esquinas de un cristal transparente 2 configurado como ventana de observación.
La imposición de interacción 1 es adecuada también para la utilización en máquinas automáticas de venta, como máquinas expendedoras de billetes de viaje.
La iluminación estroboscópica y la apertura del cierre de las cámaras 6, 7 pueden tener lugar de manera alternativa en el mismo instante, de manera que una determinación de la posición presenta la exactitud máxima posible.
Las unidades de desviación 8, 9 pueden comprender espejos o prismas.
Para la iluminación estroboscópica se utiliza en particular luz infrarroja en la zona infrarroja próxima.
Con preferencia, para cada una de las cámaras 6, 7 está previsto un filtro, que conduce a la cámara 6, 7 solamente longitudes de onda en la zona infrarroja. El filtro puede ser un filtro de transmisión infrarroja o una capa aplicada sobre la unidad de desviación, que refleja solamente luz infrarroja en la cámara 6, 7. El filtro puede estar configurado en particular de banda estrecha, por ejemplo de manera que solamente se desvía luz de las longitudes de onda de 870 nm a 880 nm de la cámara.
Las fuentes de luz infrarroja 13, 14 pueden estar dispuestas de manera alternativa en otro lugar, por ejemplo en la zona de las unidades de desviación 8, 9 delante del cristal transparente 2, de manera que sus trayectorias ópticas
10.2 no deben desviarse a través de las unidades de desviación.
Las cámaras 6, 7 son calibradas con preferencia, manteniendo, con la cámara 6, 7 montada, un brazo de marco u otro cuerpo de calibración en la zona de visión de la cámara 6, 7 o bien de la trayectoria óptica 10.1 desviada a través de la unidad de desviación 8, 9 en una posición definida y comunicando esta posición a la unidad de cálculo
12.
Las cámaras 6, 7 pueden estar acopladas con una FPGA (Field Programmable Gate Array), en la que se registran temporalmente imágenes de las cámaras 6, 7 en memorizas marco. La FPGA emite las imágenes correspondientes entre sí en el tiempo entonces hacia la unidad de cálculo 12, por ejemplo a través de una interfaz USB o IEEE 1394,
o lleva a cabo una especie de procesamiento previo de las imágenes, por ejemplo la identificación del objeto de puntero 4 o la determinación de la posición.
Se puede prever un reconocimiento óptico de la cara de una persona 5 en la unidad de cálculo 12. A partir de la cara reconocida se pueden extraer una serie de características, que pueden ser tenidas en cuenta en la representación interactiva de contenidos sobre la pantalla 12. Por ejemplo, con una cara reconocida en virtud de características biométricas y ya conocidas en la unidad de cálculo se aplica y se conserva un perfil de usuario, asociando los intereses y preferencias derivadas de las entradas de la persona 5 a la persona 5 reconocida y siento tenido en cuenta en el caso de un contacto posterior en la presentación de contenidos en la pantalla 12.
Como objeto de puntero 4 se puede reconocer también un objeto, como un lápiz o un paraguas. El objeto de puntero 4, en particular el dedo se puede identificar en la unidad de cálculo 12 por medio de reconocimiento de patrones. De la misma manera, se pueden identificar zonas en la imagen con alta intensidad con la ayuda de histogramas como lugar de residencia probable del objeto de puntero 4.
Si la persona 5 es registrada por medio de varias cámaras 6, 7, por medio de triangulación se puede cuantificar como propiedad una estatura de la persona 5.
A partir de la estatura se puede deducir, por ejemplo, si en la persona 5 se trata de un adulto o de un niño. Una edad de la persona 5 se puede estimar, además de a partir de la estatura, también con la ayuda de características de la cara.
Además, como propiedad se puede reconocer el sexo de la persona 5 con la ayuda de la cara y/o de la estatura. De esta manera, se posibilita una presentación de contenidos que es especifica del sexo y específica de la edad, por ejemplo ropa, cosméticos, artículos técnicos, etc.
Además, por ejemplo, existe la posibilidad de distinguir usuarios de gafas de no usuarios de gafas y de reaccionar de manera selectiva a través de contenidos correspondientes de la pantalla 12.
En el caso de una detección suficientemente precisa de la cara de la persona 5, se puede registrar una dirección de la visión de los ojos de la persona 5 con respecto a la pantalla 12 para determinar a qué contenidos de la pantalla 12 la persona 5 dirige su atención y se pueden adaptar de manera correspondiente los contenidos.
Se puede representar una transformación de la persona 5 en la pantalla 12, que se crea a partir de los registros de la persona 5. Esta transformación se puede realizar, por ejemplo, de forma automática o a través de otra interacción por medio de acciones realizadas a través del objeto de puntero 4, virtualmente a través de la provisión con prendas de vestir ofrecidas, gafas u otros accesorios. La transformación se puede representar en simetría de espejo.
imagen6
Se pueden prever medios de blindaje, a través de los cuales se pueden suprimir trayectorias ópticas a partir de reflexiones y radiación directa a través de luz solar o iluminación artificial hacia la cámara 6, 7.
Se puede prever un detector óptico y al menos un medio de iluminación que están dispuestos de tal forma que al menos una trayectoria óptica se extiende por medio de reflexión total entre las superficies del cristal transparente 2 desde el medio de iluminación hacia el detector óptico, de manera que en el caso de contacto del cristal transparente 2 con un objeto de puntero 4 configurado como dedo, se puede registrar a través de reflexión total impedida en el detector óptico una impresión digital. En particular, en el caso de utilización de más de dos cámaras 6, 7, puede estar previsto un reconocimiento simultáneo de la posición de más de un objeto de puntero 4, por ejemplo cuando varias personas 5 participan en la interacción o cuando una persona 5 utiliza dos dedos para la interacción. Un posicionamiento y separación de dos dedos puede ser interpretado, por ejemplo, por la unidad de cálculo 12 como requerimiento para la realización del zoom en el contenido representado.
Puede estar prevista más de una pantalla 3 detrás del cristal transparente 2, por ejemplo para la interacción de varias personas 5 detrás de una ventana de observación ancha. En este caso, no son necesarias dos cámaras 6, 7 para cada una de las pantallas 3. En su lugar, a través de la disposición selectiva de las cámaras 6, 7 se pueden detectar varios objetos de puntero 4 y/o personas 5 al mismo tiempo.
Las trayectorias ópticas 10.2 de las fuentes de luz infrarroja 13, 14 se pueden conducir también a la zona de residencia, para iluminar a la persona 5.
En la figura 2 se muestra un ciclo de movimiento posible del objeto de puntero 4 frente al cristal transparente 2 desde la visión de la cámara 6, 7. La cámara 6, 7 registra, condicionada por la unidad de desviación 8, 9, tanto la zona de interacción 11 como también su imagen de espejo 11’ en el cristal transparente 2, puesto que en el cristal 2 aparece reflexión total en virtud del ángulo de visión muy plano de la cámara 6, 7. Si el objeto de puntero 4 se encuentra en la zona de interacción 11, se puede ver un objeto de puntero 4’ en simetría de espejo también en la imagen de espejo 11’. Se puede calcular una distancia del objeto de puntero 4 con respecto al cristal transparente 2 a través de la determinación de una distancia del objeto de puntero 4 desde el objeto de puntero 4’ en simetría de espejo. La figura muestra uno y el mismo objeto de puntero 4 y su objeto de puntero 4’ en simetría de espejo sobre el tiempo t durante la aproximación al cristal 2 durante los instantes t1 a t3, el contacto del cristal 2 en el instante t4 y la distancia siguiente desde el espejo 2 durante los instantes t5 y t6. Si la distancia entre el objeto de puntero 4 y el objeto de puntero 4’ es cero, se detecta con seguridad un contacto del cristal 2. Por ejemplo, se puede reconocer una “pulsación” de una tecla, de un enlace o de otro contenido representado en la pantalla 3.
imagen7
Lista de signos de referencia
1 2
5 3 4 4’ 5 6, 7
10 6.1, 7.1 8, 9 10.1, 10.2, 10.3 11 11’
15 12 13, 14 15 Disposición de interacción Cristal transparente Pantalla Objeto de puntero Objeto de puntero en simetría de espejo Persona Cámara Eje óptico Unidad de desviación Trayectoria óptica Zona de interacción Imagen de espejo de la zona de interacción Unidad de cálculo Fuente de luz infrarroja Zona de residencia
imagen8

Claims (15)

  1. REIVINDICACIONES
    1.- Disposición de interacción (1) para la interacción entre al menos una pantalla (3) dispuesta detrás de un cristal transparente (2) y al menos un objeto de puntero (4) que se encuentra delante del cristal (2), que comprende al menos dos cámaras (6, 7) dispuestas detrás del cristal (2), en la que a cada una de las cámaras (6, 7) está asociada una unidad de desviación (8, 9), por medio de la cual se puede desviar una trayectoria óptica (10.1) desde una zona de interacción (11) en la proximidad y delante del cristal (2) hacia la cámara (6, 7) y que comprende una unidad de cálculo (12) conectada con cada una de las cámaras (6, 7) para la determinación de una posición del objeto de puntero (4) que está guiado para ser visible por al menos dos de las cámaras (4), caracterizada porque al menos una trayectoria óptica (10.3) se puede desviar desde una zona de residencia (15) delante del cristal (2), que está más alejada que la zona de interacción (11) desde el cristal (2), a través de la unidad de desviación (8, 9) o por delante de la unidad de desviación (8, 9) hacia la cámara (6, 7), de manera que una persona (5) que se encuentra en la zona de residencia (15) se encuentra, al menos parcialmente, en una zona de visión de la cámara (6, 7).
  2. 2.- Disposición de interacción (1) de acuerdo con la reivindicación 1, caracterizada porque al menos la zona de interacción (11) puede ser iluminada estroboscópicamente con luz infrarroja y las cámaras (6, 7) son sensibles a la luz infrarroja y están sincronizadas con la iluminación estroboscópica.
  3. 3.- Disposición de interacción (1) de acuerdo con la reivindicación 2, caracterizada porque para la iluminación estroboscópica está prevista luz infrarroja en la zona infrarroja próxima.
  4. 4.- Disposición de interacción (1) de acuerdo con la reivindicación 2 ó 3, caracterizada porque para cada una de las cámaras (6, 7) está previsto un filtro de transmisión infrarroja.
  5. 5.- Disposición de interacción (1) de acuerdo con una de las reivindicaciones anteriores, caracterizada porque la posición del objeto de puntero (4) se puede calcular por medio de triangulación.
  6. 6.- Disposición de interacción (1) de acuerdo con una de las reivindicaciones anteriores, caracterizada porque las cámaras (6, 7) están sincronizadas entre sí.
  7. 7.- Disposición de interacción (1) de acuerdo con una de las reivindicaciones anteriores, caracterizada porque la unidad de desviación (8, 9) está configurada como divisor del haz.
  8. 8.- Disposición de interacción (1) de acuerdo con una de las reivindicaciones anteriores, caracterizada porque está prevista una detección óptica del objeto de puntero (4) por medio de detección de muestras en la unidad de cálculo (12).
  9. 9.- Disposición de interacción (1) de acuerdo con una de las reivindicaciones anteriores, caracterizada porque como propiedad se puede cuantificar la estatura de la persona.
  10. 10.- Disposición de interacción (1) de acuerdo con una de las reivindicaciones anteriores, caracterizada porque está prevista una detección óptica de la cara de una persona (5) en la unidad de cálculo (12), de manera que, dado el caso, como propiedad se puede cuantificar la edad de una persona (5) con la ayuda de la cara y/o de la estatura, y en la que con preferencia se puede detectar como propiedad el sexo de la persona (5) con la ayuda de la cara y/o de la estatura.
  11. 11.- Disposición de interacción (1) de acuerdo con una de las reivindicaciones 8 a 10, caracterizada porque como propiedad se puede detectar unas gafas usadas por la persona (5).
  12. 12.- Disposición de interacción (1) de acuerdo con una de las reivindicaciones 8 a 11, caracterizada porque se puede detectar una dirección de la visión de los ojos de la persona (5) con respecto a la pantalla (12).
  13. 13.- Disposición de interacción (1) de acuerdo con una de las reivindicaciones anteriores, caracterizada parqueen función del comportamiento del objeto de puntero (4) y/o de la persona (5) y/o de las propiedades determinadas de la persona (5) se pueden modificar contenidos representados en la pantalla (12).
  14. 14.- Disposición de interacción (1) de acuerdo con una de las reivindicaciones 8 a 12, caracterizada porque se puede visualizar un cambio de la persona (5) sobre la pantalla, siendo representable el cambio con preferencia en simetría de imagen.
  15. 15.- Disposición de interacción (1) de acuerdo con una de las reivindicaciones anteriores, caracterizada porque están previstos medios de blindaje, a través de los cuales se pueden suprimir trayectorias ópticas no deseables hacia la cámara (6, 7).
ES07847835T 2007-12-05 2007-12-05 Disposición de interacción para la interacción entre una pantalla y un objeto de puntero. Active ES2366490T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2007/063340 WO2009071121A2 (de) 2007-12-05 2007-12-05 Interaktionsanordnung zur interaktion zwischen einem bildschirm und einem zeigerobjekt

Publications (1)

Publication Number Publication Date
ES2366490T3 true ES2366490T3 (es) 2011-10-20

Family

ID=39735312

Family Applications (1)

Application Number Title Priority Date Filing Date
ES07847835T Active ES2366490T3 (es) 2007-12-05 2007-12-05 Disposición de interacción para la interacción entre una pantalla y un objeto de puntero.

Country Status (11)

Country Link
US (1) US9582115B2 (es)
EP (1) EP2229617B1 (es)
JP (1) JP5060622B2 (es)
CN (1) CN101971128B (es)
AT (1) ATE509308T1 (es)
CA (1) CA2707993C (es)
DK (1) DK2229617T3 (es)
ES (1) ES2366490T3 (es)
HK (1) HK1153555A1 (es)
PL (1) PL2229617T3 (es)
WO (1) WO2009071121A2 (es)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587562B2 (en) * 2002-11-04 2013-11-19 Neonode Inc. Light-based touch screen using elliptical and parabolic reflectors
CN102160018B (zh) * 2008-09-15 2014-09-24 惠普开发有限公司 具有多个摄像机的触摸屏显示器
JP5527423B2 (ja) * 2010-11-10 2014-06-18 日本電気株式会社 画像処理システム、画像処理方法、及び画像処理プログラムを記憶した記憶媒体
CN102023760B (zh) * 2010-12-01 2012-10-17 广州市迪拓信息科技有限公司 一种多点触控感应方法及其设备
AT510692B1 (de) * 2011-03-04 2012-06-15 Isiqiri Interface Tech Gmbh Lichtvorhang sowie eine darauf basierende eingabevorrichtung für eine datenverarbeitungsanlage
CN107145264B (zh) * 2011-06-07 2020-05-15 上海科斗电子科技有限公司 一种光信号接收头及其应用
US9146665B2 (en) 2011-09-30 2015-09-29 Paypal, Inc. Systems and methods for enhancing user interaction with displayed information
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
AT512461B1 (de) * 2012-02-10 2018-02-15 Isiqiri Interface Tech Gmbh Vorrichtung für die eingabe von informationen an eine datenverarbeitungsanlage
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US10461743B2 (en) * 2013-01-11 2019-10-29 Imagesurge, Inc. Interactive display system and method for use with low emissivity glass using infrared illumination
EP2943863A4 (en) * 2013-01-14 2016-09-28 Imagesurge Inc INTERACTIVE DISPLAY SYSTEM AND METHOD FOR USE WITH GLASS WITH LOW EMISSIVITY ON INFRARED LIGHTING
US9325943B2 (en) 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
WO2014201466A1 (en) 2013-06-15 2014-12-18 The SuperGroup Creative Omnimedia, Inc. Method and apparatus for interactive two-way visualization using simultaneously recorded and projected video streams
US9402051B2 (en) * 2013-06-15 2016-07-26 The SuperGroup Creative Omnimedia, Inc. Apparatus and method for simultaneous live recording through and projecting live video images onto an interactive touch screen
US9883138B2 (en) 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience
EP3537269A1 (en) * 2015-02-09 2019-09-11 FlatFrog Laboratories AB Optical touch system
JP2016201002A (ja) * 2015-04-10 2016-12-01 船井電機株式会社 位置検出装置及び空間入力装置
US9819903B2 (en) 2015-06-05 2017-11-14 The SuperGroup Creative Omnimedia, Inc. Imaging and display system and method
US10606468B2 (en) 2015-11-20 2020-03-31 International Business Machines Corporation Dynamic image compensation for pre-touch localization on a reflective surface
US9823782B2 (en) * 2015-11-20 2017-11-21 International Business Machines Corporation Pre-touch localization on a reflective surface
KR102627244B1 (ko) * 2016-11-30 2024-01-22 삼성전자주식회사 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
CN108268227B (zh) 2017-01-04 2020-12-01 京东方科技集团股份有限公司 显示设备
US10152118B2 (en) * 2017-04-26 2018-12-11 The Virtual Reality Company Emotion-based experience freedback
US20190012552A1 (en) * 2017-07-06 2019-01-10 Yves Lambert Hidden driver monitoring
WO2021162602A1 (en) 2020-02-10 2021-08-19 Flatfrog Laboratories Ab Improved touch-sensing apparatus

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0380041U (es) * 1989-12-07 1991-08-15
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5731805A (en) * 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US6256046B1 (en) * 1997-04-18 2001-07-03 Compaq Computer Corporation Method and apparatus for visual sensing of humans for active public interfaces
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US6091378A (en) * 1998-06-17 2000-07-18 Eye Control Technologies, Inc. Video processing methods and apparatus for gaze point tracking
US7050177B2 (en) * 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US6700669B1 (en) * 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
DE10007891C2 (de) * 2000-02-21 2002-11-21 Siemens Ag Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung
ATE345525T1 (de) 2000-07-05 2006-12-15 Smart Technologies Inc Kamerabasiertes beruehrungssystem
US20050206610A1 (en) * 2000-09-29 2005-09-22 Gary Gerard Cordelli Computer-"reflected" (avatar) mirror
JP4624577B2 (ja) * 2001-02-23 2011-02-02 富士通株式会社 複数のセンサによるヒューマンインタフェースシステム
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7174029B2 (en) * 2001-11-02 2007-02-06 Agostinelli John A Method and apparatus for automatic selection and presentation of information
DE10163648A1 (de) 2001-12-21 2003-07-03 Klaus-Dieter Frank Interaktives Projektions- und Eingabesystem
US20030126013A1 (en) * 2001-12-28 2003-07-03 Shand Mark Alexander Viewer-targeted display system and method
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7225414B1 (en) * 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
US7466308B2 (en) * 2004-06-28 2008-12-16 Microsoft Corporation Disposing identifying codes on a user's hand to provide input to an interactive display application
JP4570145B2 (ja) * 2004-12-07 2010-10-27 株式会社シロク 位置検出平面外に撮像部を有する光学式位置検出装置
CA2613906A1 (en) * 2004-12-29 2006-07-06 Bernard Trest Dynamic information system
TW200627244A (en) * 2005-01-17 2006-08-01 Era Optoelectronics Inc Data input device
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
EP1821184A3 (en) * 2006-02-08 2007-11-14 Almeva AG System and method for interacting with a display through a shop window
US8725567B2 (en) * 2006-06-29 2014-05-13 Microsoft Corporation Targeted advertising in brick-and-mortar establishments
US20080004953A1 (en) * 2006-06-30 2008-01-03 Microsoft Corporation Public Display Network For Online Advertising
US8081158B2 (en) * 2007-08-06 2011-12-20 Harris Technology, Llc Intelligent display screen which interactively selects content to be displayed based on surroundings
JP5141878B2 (ja) * 2007-11-06 2013-02-13 株式会社デンソー タッチ式操作入力装置

Also Published As

Publication number Publication date
EP2229617A2 (de) 2010-09-22
DK2229617T3 (da) 2011-08-29
ATE509308T1 (de) 2011-05-15
JP2011505639A (ja) 2011-02-24
CN101971128B (zh) 2013-07-17
PL2229617T3 (pl) 2011-12-30
US20110102320A1 (en) 2011-05-05
EP2229617B1 (de) 2011-05-11
CA2707993C (en) 2015-06-23
WO2009071121A2 (de) 2009-06-11
WO2009071121A3 (de) 2009-08-13
US9582115B2 (en) 2017-02-28
JP5060622B2 (ja) 2012-10-31
CN101971128A (zh) 2011-02-09
CA2707993A1 (en) 2009-06-11
HK1153555A1 (en) 2012-03-30

Similar Documents

Publication Publication Date Title
ES2366490T3 (es) Disposición de interacción para la interacción entre una pantalla y un objeto de puntero.
US10949643B2 (en) On-LCD screen optical fingerprint sensing based on optical imaging with lens-pinhole module and other optical designs
CN110520863A (zh) 利用屏下光学传感器模块对指纹进行三维光学形貌感测
CN109154959A (zh) 具有非接触成像能力的光学指纹传感器
EP1341119B1 (en) Iris recognition system
WO2017026609A1 (ko) 복수의 카메라를 구비한 다트 게임 장치 및 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램
CN109791325A (zh) 具有***任务栏显示区的设备和用于屏上指纹感测的lcd屏下光学传感器模块
WO2016183537A1 (en) Handheld biometric scanner device
BR112012023787B1 (pt) Sistema para rastrear o ponto de olhar de um observador observando um objeto e método para rastrear o ponto de olhar de um observador observando um objeto
CN106999034A (zh) 用于输出虚拟图像的可穿戴设备和方法
KR20130113341A (ko) 환자의 내부 체온을 측정하기 위한 방법 및 디바이스
JPS6258380A (ja) 識別装置
TW294778B (en) Scanning optical rangefinder
CN103530623A (zh) 信息观察方法及信息观察装置
CN105303155A (zh) 虹膜识别设备及其操作方法
EP3360075A1 (en) Iris recognition
US20220179207A1 (en) Holographic Eye Imaging Device
JP2005198743A (ja) 三次元視点計測装置
CN102956090A (zh) 双镜头图像传感防近视提醒器
KR101064621B1 (ko) 홍채 인식 장치 및 방법
EP3360076A2 (en) Iris recognition
KR20190003617A (ko) 자외선 차단제의 커버리지를 평가하기 위한 이미징 장치
CN109151119A (zh) 具有全面屏的移动装置
CN209046680U (zh) 具有全面屏的移动装置
RU2289834C1 (ru) Устройство обнаружения оптоэлектронных объектов (варианты)