ES2233127B1 - Sistema de informacion interactivo inteligente (kiosko inteligente). - Google Patents

Abstract

Sistema de Información Interactivo Inteligente. (Kiosco Inteligente). Es un sistema inteligente interactivo que físicamente se asemeja a un kiosco autónomo, que puede utilizarse para proporcionar distintos servicios de información, telemáticos, así como integrarse con un sistema de vending. El producto permite la comunicación natural, mediante voz e imagen, con el usuario/cliente que puede efectuarse en varios idiomas además de permitir movimientos de adaptación autónoma de la pantalla informativa a distintas alturas. Además aporta la posibilidad de comunicación natural, simple y directa con el usuario/cliente. Incorporan al sistema cualidades "humanas" como actitud amigable y simpática. Su arquitectura la constituyen tres bloques: módulo perceptual, realiza tareas de entrada de señales visuales, auditivas y otras; módulo cognitivo, realiza el análisis de datos sensoriales y genera las acciones efectoras; módulo efector, gestiona la acción sobre los efectores que pueden ser físicas, de acción sobre otro software de tercera fuente, y sobre otros recursos.

Description

Sistema de Información Interactivo Inteligente. (Kiosco Inteligente).

Sector de la técnica

Informática, interfaz hombre-máquina multimodal, sistemas autónomos inteligentes, visión por computador, multimedia interactiva.

Antecedentes de la invención

La interacción hombre-máquina está basada actualmente en el uso como herramientas de comunicación de ciertos dispositivos que no son naturales al ser humano y su evolución. El acceso a éstos medios de comunicación hombre-máquina exige entrenamiento y, en general, su uso no es próximo y puede provocar rechazo, pese a que su desarrollo ha estado marcado por una clara intención de facilitar justamente la interacción. Se presenta la paradoja de que máquinas elaboradas para facilitar la relación no se adaptan al ser humano, y es éste quien debe adaptarse para obtener sus ventajas, originando una variedad más del denominado analfabetismo funcional.

Durante la evolución histórica del desarrollo de las interfaces hombre-máquina se han utilizado diferentes metáforas:

- Años 70, Metáfora: Máquina de Escribir. Implementación: Interfaces de línea de comandos.

- Años 80, Metáfora: Escritorio, Implementación: GUI/WIMP.

- Años 2000-... Metáfora: Comunicación Natural, Implementación: PUI-entrada salida multimodal.

Sin embargo las actuales interfaces de los computadores, o en general las relacionadas con las tecnologías de la información y de sus aplicaciones en general, son básicamente más funcionales que sociales o naturales, desarrolladas en principio para aplicaciones relacionadas con la productividad en procesamiento en oficinas y concebidas en su momento (por causas puramente tecnológicas) con la idea de superar el abismo semántico que separa a personas de máquinas.

Las últimas dos décadas no han visto cambios fundamentales en lo que a Interacción hombre-máquina se refiere. La mayoría de los usuarios se limitan aún a interactuar con los computadores a través de teclados, monitores y ratones. La utilización de sistemas de interfaces que posibilitan la interacción con el usuario según estos paradigmas tradicionales ha sido objeto de patente, entre ellas cabe destacar las siguientes, por su relación con la invención que se
propone:

a)

Arquitectura Multimedia para Publicidad Interactiva: Se trata de un sistema multimedia interactivo que tiene un servidor de vídeo para proporcionar un programa de vídeo primario intercalado con programación de multimedia secundaria, y una base de datos para almacenar información sobre el espectador y el contenido del programa de vídeo primario. La programación de multimedia secundaria tiene un contenido variable determinado por los datos de la base de datos, y como tal, puede cambiarse sobre la base de una demografía del espectador individual en conjunción con el tema presentado por el programa de vídeo primario. Preferentemente, se accede al sistema a través de Internet, donde la casa del abonado esta conectado a una cabeza de red de Internet o nodo mediante un módem de cable.

b)

Sistema Instantáneo de Información: que incluye una pantalla táctil en la que se exhibe un menú de selección con soporte gráfico y un teclado simulado; un microordenador no accesible desde el exterior que puede incluir tarjetas de comunicaciones especificas; un teclado de servicio inaccesible por el usuario; una impresora que proporciona la documentación solicitada y un mueble que engloba a todos los elementos anteriores. El sistema instantáneo de información es particularmente adecuado como punto de información convencional, punto de autoservicio de impresos y punto de autoservicio de tramites.

c)

Sistema de Publicidad Interactiva para Terminales en Línea: Se trata de un sistema para proporcionar información de avisos en un sistema interactivo que tiene una pluralidad de terminales remotamente localizados. Cada terminal incluye una unidad de representación de vídeo, lógica y un medio de almacenamiento de vídeo tal como un disco duro en adición a las funciones normales del sistema interactivo del cual es un ejemplo un atril. Un computador comercial remoto, localizado centralmente, capaz de transmitir señales digitalizadas que representan ofertas comerciales y comprenden señales de vídeo digitalizadas para representar sobre la unidad de vídeo comunica con cada uno de los terminales remotamente localizados. Las señales de vídeo digitalizadas comprimidas son almacenadas sobre el disco duro de cada terminal para representar sobre la unidad de vídeo en determinados momentos mediante el uso del terminal. El usuario selecciona los servicios o bienes ofrecidos por el terminal en la manera convencional. Durante el tiempo de espera inherente a la operación del terminal un mensaje de aviso de vídeo de alta calidad es representado sobre la unidad de vídeo desde el disco duro. El mensaje durara menos de 15 segundos y el usuario selecciona función de continuar a la conclusión del mensaje. El mensaje de aviso se cambia, actualiza y varia directamente desde el ordenador central.

d)

Poste Publicitario-Informativo: caracterizado por presentar una estructura de soporte fija en la que se aloja un equipo informático compuesto por un ordenador al que se encuentran conectados varios monitores para la presentación cíclica de una serie de spots publicitarios y un panel exterior de control con unos pulsadores que permiten al usuario seleccionar dentro de la información disponible en el equipo, aquella que desea visualizar en un determinado monitor; encontrándose repartidos los monitores sobre la superficie lateral del poste, de forma que al menos uno de ellos pueda ser visualizado desde cualquier punto periférico.

Estos equipos presentan similitud con la invención que se propone, pero no aportan la diferencia sustantiva que es la integración de módulos y una arquitectura de procesos que gestiona imágenes y sonidos del entorno, permitiendo la localización e identificación de gestos del usuario combinadas con fuentes sonoras y producir, a través de un núcleo cognitivo, como se explica en el apartado de descripción, acciones motoras, generación de gestos sobre un carácter sintético y la emisión de mensajes sonoros.

Recientemente, se ha planteado el desarrollo de las técnicas de interfaz e interacción post-WIMP, incluyéndose entre ellas, tanto las soluciones de escritorio que soporten gráficos en 3D, como las interfaces multimodales, la realidad virtual o la realidad aumentada. Todas ellas precisan el soporte de técnicas de interacción naturales potentes, flexibles, eficientes y expresivas entre las que se sitúa esta invención. El paradigma de interfaces que reúne las aproximaciones tecnológicas que exploran el acercamiento a la interacción es precisamente el de las Interfaces Perceptuales de Usuario (PUI), es decir, aquellas que tiene en consideración las habilidades naturales de comunicación así como nuestra tendencia a interactuar con la tecnología de manera social, para modelar la interacción hombre-máquina.

El uso de sistemas de visión para identificación, interpretación gestual y/o posicional, de sistemas de percepción auditiva con reconocimiento de voz y/o sonidos, para la ubicación o localización o para la recepción de órdenes, comandos e información de naturaleza verbal proveniente del entorno, así como sistemas de generación de voz para suministrar información auditiva o de generación gestual real a partir de mecanismos físicos o gráficos sintéticos.

Explicación

El "Kiosco Inteligente" se trata de un sistema inteligente interactivo que físicamente se asemeja a un pequeño kiosco autónomo, y que puede utilizarse para proporcionar información u otros servicios, así como integrarse con un sistema de vending.

Está basado en la aplicación de tecnologías de Inteligencia Artificial en la interacción hombre-máquina.

El producto aporta, frente a las tradicionales interfaces de comunicación con un ordenador, la posibilidad de comunicación natural, simple y directa con el usuario/cliente. Gracias a las tecnologías de Inteligencia Artificial se incorpora al sistema cualidades "humanas" como una actitud amigable y simpática en la interacción utilizando para ello un carácter sintético o software con capacidad de gesticular. Es precisamente esta capacidad de disponer de aspecto y reacciones humanas lo que marca una diferencia de competitividad al ser más aceptado por el usuario.

Lo significativo y diferenciador de este kiosco inteligente con otros productos similares es que permite la comunicación natural, es decir mediante voz e imagen, con el usuario/cliente que puede efectuarse en varios idiomas además de permitir movimientos de adaptación autónoma de la pantalla informativa a usuarios de distintas alturas.

El sistema en su conjunto constituye el marco para la comunicación natural basado en el paradigma de los agentes inteligentes percepto-efectores, con capacidad para la adquisición de información multimodal (sonido, imagen, iluminación y presencia) del entorno y la producción multimodal de acciones (sobre el carácter sintético, los parámetros de las cámaras, los motores de actuación, los dispositivos de comunicaciones y el contenido de la pantalla táctil). El control de actividad lo ejecutará un módulo cognitivo que combinará adecuadamente las funciones de carácter reactivo con las de carácter deliberativo y proporcionará la "inteligencia" al sistema.

Descripción de los dibujos

Figura 1: Diagrama simplificado de los bloques del sistema.

Esta figura muestra esquemáticamente la organización modular que permite la realización del sistema y le posibilita una interacción con el usuario desde imágenes y sonidos. En la arquitectura del sistema se distinguen tres bloques básicos: Módulos perceptuales generales, Módulo o sistema cognitivo y Módulos Efectores generales.

Figura 2: Esquema del sistema cognitivo.

Esta figura ilustra esquemáticamente la organización interna del módulo cognitivo (1) que permite la incorporación de capacidades inteligentes al sistema.

Figura 3: Esquema representativo del hardware utilizado.

En esta figura se muestra esquemáticamente la arquitectura hardware mínimo para la realización del sistema.

Figura 4: Prototipo con el esquema de los dispositivos que lo integran.

En esta figura se muestra una posible realización física del dispositivo funcionando como punto de información inteligente en una estructura clásica de peana y soporte.

Modo de realización A) Desarrollo de los módulos perceptuales generales (1) (figura 1)

Sus entradas son señales provenientes de sensores (imágenes (6), sonido (7), o señales provenientes de otro tipo de sensores) y realizan tareas correspondientes a modalidades perceptuales:

-

Visuales: Incluye el desarrollo de una adaptación y encapsulado de módulo de seguimiento visual de personas u objetos (2) y el desarrollo del módulo de Reconocimiento y Extracción de Gestos (3), que incluye la detección, reconocimiento y el seguimiento gestual.

-

Auditivos: Que consiste en la adaptación y encapsulado de dos módulos, uno de reconocimiento de Localización de Fuentes de Sonido(4) y otro de Reconocimiento de Voz (5).

-

Otros: incluyen información proveniente de otro tipo de sensores (detectores de presencia e iluminación).

Estos módulos se integran en el sistema mediante el desarrollo de las plantillas (templates) de software que son genéricas para los Módulos sensoriales.

B) Desarrollo del módulo o sistema cognitivo (8)

Realiza el análisis de los datos sensoriales y genera las acciones efectoras con una arquitectura interna que permite mostrar comportamientos de Carácter Creíble para la Interacción Natural. Se distinguen en él tres elementos constructivos:

1. Desarrollo del módulo de integración multimodal (9)

Orientado a la integración para la desambiguación y el robustecimiento de la información aferente por fusión a nivel semántico. Este desarrollo incluye:

- El Desarrollo de las técnicas de integración multimodal que permiten la conjunción simultánea de imagen y sonido procedente de los módulos visual y auditivos.

- La realización de un test de funcionamiento del módulo, donde se comprueba la bondad del mismo con un caso ejemplo en el que se combinan la detección de caras en movimiento con la localización de dos fuentes de sonido. Superado este test deberá procederse a la realización del siguiente elemento.

2. Desarrollo del núcleo cognitivo (10) (figura 2)

Permite los procesos de atención de alto nivel controlados por los mecanismos manejadores del comportamiento de un carácter sintético en cada instante, modulando, inhibiendo o incentivando los comportamientos en función de la evolución de la interacción a través de mecanismos homeostáticos y emocionales. En este núcleo se define la agenda y la secuencia principal activaciones. Su estructura interna de procesos se sintetiza con los desarrollos siguientes:

-

Desarrollo de la infraestructura de soporte el núcleo Cognitivo que consiste en la definición e implementación de las estructuras de datos y comunicaciones entre los subsistemas.

-

Desarrollo de la infraestructura de comunicaciones con el módulo de integración multimodal de entrada y el módulo decodificador de acciones de salida.

-

Desarrollo del software del Subsistema de Comportamientos (SSC): se corresponde con la red de comportamientos del sistema.

-

Desarrollo del software de Selección de Acciones (SA) que determina la siguiente acción a tomar en cada momento.

-

Desarrollo del software del Subsistema de Motivaciones (SSM) que se corresponde con los mecanismos manejadores del comportamiento del carácter sintético en cada instante, modulando, inhibiendo o incentivando los comportamientos en función de la evolución de la interacción a través de mecanismos homeostáticos y emocionales. En este subsistema se define la agenda (SSP) y la secuencia principal activaciones.

-

Desarrollo del software Subsistema Planificador. (SSP) que permite la selección de planes desde la agenda.

-

Desarrollo del software Gestión de Percepciones (SPG) y de Acciones (SGA): actúan como enlace de entrada y salida del núcleo.

-

Desarrollo del software del Subsistema de Atención (SSA) responsable de activar inicialmente los mecanismos de atención de alto nivel por la fijación de la mirada sobre el usuario cada vez que este se encuentra delante del sistema.

3. Desarrollo del módulo de decodificación de acciones (11)

Cuyo objeto es la traducción de las acciones seleccionadas por el selector de acciones en conjuntos de acciones concretas sobre los diferentes efectores (Emisión de sonidos, movimiento de la plataforma o gestos del carácter sintético animado). Por ejemplo, una acción de saludo alegre con una cara sintética implica la generación vocal del saludo además de la generación de la gestualidad correspondiente en la cara. Para su realización de este modulo se debe realizar los siguientes puntos:

-

Desarrollar las estructuras de datos correspondientes a las tablas de decodificación y de los procedimientos de decodificación.

-

Desarrollo de la plantilla de la interfaz del módulo decodificador con los módulos efectores para que cada acción relacionada se transforme en una secuencia de comandos sobre los distintos módulos efectores.

C) Desarrollo de los módulos efectores (12) (figura 1)

Análogamente a los correspondientes a los Módulos Perceptuales generales, estos módulos gestionan la acción sobre los efectores, según lo generado por las tablas del Módulo Decodificador de Acciones (11). Éstas pueden ser físicas, como la interacción con la tarjeta de control de motores del soporte (13), otras pueden ser de acción sobre otro software de tercera fuente, como puede ser la generación de voz y mensajes sonoros (14) y otras sobre recursos, como una acción gráfica animada con el gestor del carácter sintético (15).

El comportamiento completo del sistema se controlará a través de un Núcleo Cognitivo, (10), que gestionará el análisis y la integración de la actividad perceptual y la síntesis de la actividad efectora.

El sistema incluye además la arquitectura de procesos software y los mecanismos de gestión de las distintas pautas de comportamiento a seguir en los eventos relacionales con el medio, intentando en todo momento proporcionar una imagen lo más próximo posible a una conducta "humanizada". Se incluyen aquí la preparación de mensajes de diálogo y el diseño y programación de una interfaz software multimodal que permitirá la interpretación y emulación gestual para el intercambio de información (verbal y gestual) entre las personas y el sistema.

Su realización incluye por tanto:

-

Desarrollo de las plantillas y cápsulas de los Módulos Efectores.

-

Desarrollo del módulo de control de Carácter Sintético Animado con integración de las acciones de movimiento vocal de CSLU Toolkit.

-

Adaptación y Encapsulado del Módulo de Síntesis de Voz.

-

Pruebas parciales de integración con sincronización de acciones animadas y voz.

Con respecto a la arquitectura hardware mínima necesaria para la realización del sistema (figura 3), la invención se articula, sobre la integración de un Ordenador tipo PC (16) de dos tarjetas, una de adquisición y proceso de imágenes con un multiplexor de vídeo (17) y otra de control de motores con sus respectivos elementos (18) que permite controlar la inclinación de una plataforma (22) con un grado de libertad. Además las ópticas de las cámaras (21) pueden controlarse desde una placa de cuatro puertos serie (20). El hardware se completa con la integración de una tarjeta de sonido (19) que permite utilizar un par estéreo de micrófonos (24), un sensor de presencia (23) conectado a la placa de puertos serie (20) y un módem para facilitar las comunicaciones remotas y su interconexión con otros equipos. El conjunto se ubica en una estructura de soporte rígida de diseño tipo peana (véase figura 4) en cuya base se sitúa el PC y los accesos para las comunicaciones y la alimentación.

Finalmente, tal y como se representa en la figura 4, se presenta un prototipo con el esquema de los dispositivos que lo integran, en donde se muestra una posible realización física del dispositivo funcionando como punto de información inteligente en una estructura clásica de peana y soporte. El producto dispone de un par estéreo de cámaras (27), un par de micrófonos y un par de altavoces (28) ubicados en un soporte multimedia abatible y móvil (25), que se sujeta a una plataforma (29), además de otros sensores menores como son un detector de nivel lumínico o un detector de presencia. El sistema contará con una pantalla táctil (26) donde se visualizará un carácter sintético que imita los gestos de la cara de una persona y se reservará una zona para confirmar ciertas órdenes por parte del usuario. Esta pantalla estará ubicada sobre un soporte motorizado (25), con un grado de libertad para permitir la variación de su inclinación y adaptación ante variaciones en la luminosidad externa (para facilitar la visión al observador) o en el punto de visión del observador (si este se aleja o si tiene una altura pequeña). La adaptación de alturas se establece de forma automática en función de decisiones internas que se establecen a partir de la información sensorial proporcionada por las cámaras.

El sistema podrá ser utilizado industrialmente de la siguiente forma:

a) Modo 1: "Standalone" Se puede utilizar aislado como punto de información individual.

b) Modo 2: "Interconected" Puede utilizarse como interface de entrada o salida de voz e imagen conectado bien a un equipo local o remoto. Para aplicaciones de reservas de hoteles, servicios telemáticos, compras a distancia, etc. Además se admite la opción de interconectar varios "Kioscos Inteligentes", con lo cual se abre un abanico importante de posibles aplicaciones.

c) Modo 3: "Embebed" Como interface puede usarse "empotrado" con un sistema de vending (por ejemplo), donde la tecnología de la comunicación inteligente aporta los elementos de interacción "amigable" y "humanizada" con el dispositivo expendedor. Puede acoplarse e integrase con otros dispositivos (lectores de tarjetas, impresoras, máquinas expendedoras, etc.).

Para aplicaciones de:

a) Puntos de Información Inteligentes, con posibilidad de comunicación con otros sistemas y con capacidad de visualizar de forma remota imágenes on-line.

b) Promociones de productos. Estas pueden se estáticas o dinámicas, permitiendo la reserva o compra on-line de productos y servicios.

c) Educación y Entretenimiento. El "Kiosco Inteligente" es una interface que puede emplearse en el desarrollo de demostraciones para cursos y seminarios, de entrenamiento.

d) Vending. Acoplado o empotrado en un sistema tradicional de vending, aporta la interface humanizada que simplifica el uso de una forma más atractiva al posible consumidor.

e) Servicios telemáticos. Las posibilidades de interconexión del dispositivo lo convierten en un agente inteligente que puede prestar servicios telemáticos diversos.

Claims (2)

1. Un Sistema de Información Interactivo Inteligente, caracterizado por la integración de módulos y una arquitectura de procesos que gestiona imágenes y sonidos del entorno, permitiendo la localización e identificación de gestos del usuario combinadas con fuentes sonoras y producir, a través de un núcleo cognitivo, acciones motoras, generación de gestos sobre un carácter sintético y la emisión de mensajes sonoros.

2. Un Sistema de información interactivo inteligente de acuerdo con las reivindicaciones anteriores caracterizado por una arquitectura que integra dos tipos de módulos perceptuales: a.1) De localización e identificación de caras y gestos desde imágenes, que capta desde un par de cámaras estéreo situadas en una plataforma móvil oscilante con un grado de libertad, b.1) De identificación y localización de fuentes de sonido y tres tipos de módulos de acción: a.2) De gestión de carácter sintético animado b.2) De control de los motores del soporte, c.2) De generación de mensajes sonoros.