ES2938576A1 - Metodo para evaluar la atencion de un sujeto que transita por una determinada zona y programas de ordenador del mismo - Google Patents

Abstract

Se propone un método y programas de ordenador para evaluar la atención de un sujeto que transita por una determinada zona. El método comprende recibir imágenes que incluyen un sujeto y un entorno de una zona de interés con objetos; y calcular la atención prestada por el sujeto a un objeto mediante procesamiento. El procesamiento calcula una trayectoria del sujeto; para cada uno de los puntos de la trayectoria calcula un modelo de visión del ojo del sujeto; un parámetro relativo a una densidad de foco de atención en el objeto tomando en consideración el modelo de la visión del ojo calculado; y transforma el parámetro a un sistema de referencia de la zona de interés, proporcionando un parámetro relativo a la densidad de foco de atención transformado; y calcula un parámetro relativo a un foco de atención visual de la trayectoria, sumando cada uno de los parámetros relativos a la densidad de foco de atención transformados.

Description

DESCRIPCIÓN

MÉTODO PARA EVALUAR LA ATENCIÓN DE UN SUJETO QUE TRANSITA POR UNA

DETERMINADA ZONA Y PROGRAMAS DE ORDENADOR DEL MISMO

Campo de la técnica

La presente invención concierne a un método, y programas informáticos, para evaluación de la atención de uno o más sujetos.

Antecedentes de la invención

Disponer de un método para determinar a qué prestan atención los sujetos (o personas) es algo muy buscado desde hace algún tiempo. Esta necesidad se agudiza con la llegada de Internet donde se traza el comportamiento humano a partir de búsquedas y acciones que se realizan en la web.

Sin embargo, cuando las personas se mueven por recintos cerrados, no existe en la actualidad una forma bien establecida para poder asociar las preferencias, o mejor poder comparar qué productos o señales llaman la atención de las personas.

En el estado de la técnica actual existen diferentes algoritmos para la identificación de personas u objetos. La mayoría de las referencias conocidas detectan objetos estáticos. Por ejemplo, en [1] se reconocen caras, personas y coches estáticos presentando un sistema de clasificación y reconocimiento de patrones con porcentajes de acierto altos. Algunas técnicas están orientadas a extraer la silueta perfecta lo cual puede ser complicado en función de la escena, debido a que la misma presente variaciones de iluminación, un suelo que dificulte el reconocimiento de las personas por problema de contraste o por ejemplo confusión con sombras. Otras técnicas se basan en la detección de regiones de la persona o características, y en aplicar modelos de clasificación sobre ellas o aprendizaje supervisado [2]. Estos sistemas no necesitan la obtención de una forma muy definida, sino que con una buena aproximación es suficiente. En [3] para la detección de las personas utilizan cuatro detectores, uno para: la cabeza, las piernas, el brazo izquierdo y el brazo derecho, manejando una arquitectura de clasificación jerárquica, en la que el aprendizaje ocurre en más de dos niveles. Presentan resultados que muestran que su sistema tiene un rendimiento significativamente mejor que un detector de personas de cuerpo completo. Su sistema es más robusto para localizar vistas parciales de personas y personas cuyas partes del cuerpo tienen poco contraste con el fondo.

Otros métodos dan a conocer la detección de objetos o personas en movimiento utilizando secuencias de vídeo [4-8].

Por otro lado, según sea la aplicación requerida, lo que interesa es detectar a la persona y saber trazar su trayectoria [9].

Para detectar a personas, otras investigaciones se basan en detectar la cara de las mismas. Por ejemplo, [10] cuenta la gente que pasa a través de una puerta detectando las caras. La tecnología de seguimiento ocular se ha utilizado para analizar la dirección de la mirada del usuario y determinar si él/ella está mirando activamente a un determinado producto o señal. En [11] investigan la prominencia visual en una tienda de sus productos y cómo esta prominencia afecta a las decisiones del cliente. El análisis se realiza mediante el uso de datos de seguimiento visual y datos de ventas en la tienda de comestibles. También se utiliza el seguimiento ocular y se pueden ubicar cámaras frontales en o cerca del producto o señal para tener una vista frontal del cliente. En esta posición frontal, la cara y los ojos de las personas pueden ser detectados, haciendo posible un análisis fino de la dirección de la mirada. Como inconveniente, se necesita una cámara para cada producto analizado.

En [12] se estudia la atención que los transeúntes prestan a un anuncio al aire libre usando una sola cámara de video. Se analiza el foco de atención visual (VFOA) para un número variable de personas (logran hasta tres) sin movimiento restringido. Su método consta de dos componentes: una red bayesiana dinámica, que rastrea simultáneamente personas en la escena y estima su pose de cabeza, y dos modelos VFOA para múltiples personas basados en modelos de mezcla gaussiana (GMM) y modelos ocultos de Markov (HMM), que infieren VFOA de un sujeto desde su ubicación y pose de cabeza. En [13] proponen un método para que la información de la postura de la cabeza se utilice para producir mejores alineaciones faciales para el reconocimiento de expresiones o rostros invariantes en las posturas. Se trata de un enfoque actual basado en el aprendizaje profundo supervisado.

Asimismo, se conocen algunas patentes y/o solicitudes de patente que dan a conocer métodos y sistemas en base en la detección y análisis del movimiento de al menos un individuo dentro de un recinto, sala o espacio público, mediante cámaras cenitales de visión artificial, capturando la información del espacio y procesando la misma para estimar la trayectoria del movimiento de dicho individuo.

Por ejemplo, el documento EP 3096263 B1 divulga un método y sistema de reconocimiento de la orientación del cuerpo humano basado en una cámara de dos lentes. El método comprende las etapas de recibir una imagen en escala de grises o en color y un mapa de profundidad correspondiente; proyectar una imagen tridimensional para obtener una vista superior; rastrear una trayectoria de movimiento del cuerpo humano; determinar si la velocidad de movimiento del cuerpo humano es mayor que un umbral; si la velocidad de movimiento del cuerpo humano es mayor que el umbral, reconocer una dirección de la trayectoria de movimiento del cuerpo humano como una orientación del cuerpo humano; si la velocidad de movimiento del cuerpo humano es menor o igual que el umbral, realizar la clasificación para adquirir un par inicial de direcciones relativas; realizar una proyección hacia atrás para adquirir información bidimensional de una región de la cabeza; y realizar la clasificación para obtener la orientación del cuerpo humano.

El documento US 9672634 B2 describe un método para el seguimiento de objetos de vídeo, comprendiendo los pasos de: recibir una secuencia de imágenes estereoscópicas; recibir un mapa de profundidad para cada imagen estereoscópica de la secuencia; calcular un histograma de primer eje para cada mapa de profundidad; aplicar un primer método de detección de objetos para rastrear objetos basándose en el contenido de las imágenes y/o los mapas de profundidad; aplicar, en paralelo al primer método de detección de objetos, un segundo método de detección de objetos para rastrear objetos basándose en el contenido de los histogramas de los mapas de profundidad; y determinar ubicaciones de objetos rastreados basándose en la comparación de los resultados del primer método de detección de objetos y el segundo método de detección de objetos.

El documento WO 2018235923 A1 describe un dispositivo de estimación de posición. El dispositivo acepta datos de imágenes en movimiento, incluida una serie de fotogramas obtenidos al capturar imágenes de un sujeto en una trayectoria de movimiento mientras se mueve, extrae un punto característico relacionado con el sujeto capturado en cada fotograma incluido en los datos de imagen en movimiento y crea una reconfiguración mapa en el que el punto característico está asociado con coordenadas en un espacio de reconfiguración, que es un espacio tridimensional virtual prescrito. Asimismo, el dispositivo recupera un punto característico de referencia correspondiente al punto característico en los datos de imagen de referencia asociados con la información de posición, adquiere una relación de transformación entre un sistema de coordenadas mundial y un sistema de coordenadas de la coordenada asociado con el punto característico, y utiliza la relación de transformación para corregir el mapa de reconfiguración realizando la corrección a escala de una cantidad de movimiento de una cámara que capturó los datos de la imagen en movimiento, mientras que suprime un cambio en un resultado estimado de una posición y actitud de la cámara, representada usando las coordenadas en el espacio de reconfiguración, y realizando la corrección de manera que la posición y actitud de la cámara se acerquen a la información de posición asociada con los datos de imagen de referencia.

Los documentos del estado de la técnica no dan a conocer como obtener información adicional acerca del foco de atención, estimada únicamente a partir de la información de la posición de la cabeza, hombros y cuerpo de un individuo.

Por lo tanto, se necesitan nuevos sistemas/métodos que permitan evaluar la atención prestada por uno o más sujetos que pasen por una zona/recinto (zona de análisis) utilizando un número reducido de cámaras y respetando la privacidad de dicho(s) sujeto(s).

Referencias:

[1] C. Papageorgiou and T. Poggio, “A Trainable System for Object Detection,” Int. J. Comput. Vis., vol. 38, no. 1, pp. 15-33, Jun. 2000.

[2] A. Broggi, A. Fascioli, I. Fedriga, A. Tibaldi, and M. Del Rose, “Stereo-based preprocessing for human shape localization in unstructured environments,” in IEEE Intelligent Vehicles Symposium, Proceedings, 2003.

[3] A. Mohan, C. Papageorgiou, and T. Poggio, “Example-based object detection in images by components,” IEEE Trans. Pattern Anal. Mach. Intell., 2001.

[4] A. Datta, M. Shah, and N. Da Vitoria Lobo, “Person-on-person violence detection in video data,” Proc. - Int. Conf. Pattern Recognit., 2002.

[5] P. Viola, M. J. Jones, and D. Snow, “Detecting pedestrians using patterns of motion and appearance,” Int. J. Comput. Vis., 2005.

[6] N. Dalal, B. Triggs, and C. Schmid, “Human detection using oriented histograms of flow and appearance,” in Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2006.

[7] M. D. Breitenstein, F. Reichlin, B. Leibe, E. Koller-Meier, and L. Van Gool, “Robust tracking-by-detection using a detector confidence particle filter,” in Proceedings of the IEEE International Conference on Computer Vision, 2009.

[8] H. Cho, Y. W. Seo, B. V. K. V. Kumar, and R. R. Rajkumar, “A multi-sensor fusion system for moving object detection and tracking in urban driving environments,” in Proceedings -IEEE International Conference on Robotics and Automation, 2014.

[9] M. Andriluka, S. Roth, and B. Schiele, “People-tracking-by-detection and peopledetection-by-tracking,” in 26th IEEE Conference on Computer Vision and Pattern Recognition, CVPR, 2008.

[10] T. Y. Chen, C. H. Chen, D. J. Wang, and Y. L. Kuo, “A people counting system based on face-detection,” in Proceedings - 4th International Conference on Genetic and Evolutionary Computing, ICGEC 2010, 2010.

[11] J. Clement, J. Aastrup, and S. Charlotte Forsberg, “Decisive visual saliency and consumers' in-store decisions,” J. Retail. Consum. Serv., vol. 22, pp. 187-194, Jan. 2015.

[12] M. Farenzena, L. Bazzani, V. Murino, and M. Cristani, No Title, vol. 5716 LNCS. Springer, Berlin, Heidelberg, 2009, pp. 481-489.

[13] F. Kuhnke and J. Ostermann, “Deep head pose estimation using synthetic images and partial adversarial domain adaption for continuous label spaces,” in Proceedings of the IEEE International Conference on Computer Vision, 2019, vol. 2019-Octob, pp. 10163-10172.

Exposición de la invención

A tal fin, ejemplos de realización de la presente invención aportan, de acuerdo a un primer aspecto, un método para evaluar la atención de un sujeto que transita por una determinada zona. El método comprende recibir, por una unidad de procesamiento, una secuencia de imágenes obtenidas por una o más cámaras 3D dispuestas en posición cenital dentro de una zona de interés durante un determinado intervalo de tiempo, en donde la secuencia de imágenes incluye al menos un primer sujeto y un entorno de la zona de interés que incluye una pluralidad de objetos; y calcular, por la unidad de procesamiento, la atención prestada por el primer sujeto a un determinado objeto de la pluralidad de objetos mediante procesamiento de unos fotogramas de la secuencia de imágenes.

Según la presente invención, el procesamiento incluye calcular una trayectoria del primer sujeto mediante el cálculo de una posición y de unos ángulos de la cabeza del primer sujeto en relación con unas coordenadas espaciales de las superficies que delimitan al menos parte de la zona de interés. Asimismo, para cada uno de los puntos de la trayectoria calculada se calcula:

- un modelo de visión de un ojo del primer sujeto con base en la determinación de una superficie ocupada por el objeto mirado en la retina y durante qué tiempo, y en el cálculo de una distancia del primer sujeto al objeto; y

- un parámetro relativo a una densidad de foco de atención del primer sujeto en el objeto tomando en consideración el modelo de la visión del ojo calculado.

El parámetro relativo a la densidad de foco de atención se transforma a un sistema de referencia de la zona de interés, proporcionando un parámetro relativo a la densidad de foco de atención transformado. Finalmente, se calcula un parámetro relativo a un foco de atención visual de la trayectoria, sumando cada uno de los parámetros relativos a la densidad de foco de atención transformados.

En un ejemplo de realización, la superficie ocupada por el objeto en la retina se determina mediante el cálculo de un ángulo sólido relativo al objeto mirado. El parámetro relativo a la densidad de foco de atención puede ser proporcional al ángulo sólido e inversamente proporcional al cuadrado de la distancia.

En un ejemplo de realización, el parámetro relativo a la densidad de foco de atención se calcula, además, tomando en consideración una función coseno del ángulo normal a la superficie donde reside el objeto.

Particularmente, los ángulos de la cabeza comprenden un ángulo de inclinación, un ángulo de giro horizontal y un ángulo de alabeo de la cabeza.

En un ejemplo de realización, la secuencia de imágenes comprende una pluralidad de sujetos. En este caso, la unidad de procesamiento, previamente al cálculo de la atención, ejecuta un algoritmo de segmentación sobre uno o más fotogramas de la secuencia de imágenes para detectar y diferenciar los distintos sujetos.

El área de interés puede comprender un recinto cerrado. Asimismo, la superficie donde reside el objeto puede comprender un suelo, una pared, una mesa, una estantería o una silla, entre otros.

Otras realizaciones de la invención que se desvelan en el presente documento incluyen también productos de programas de ordenador, o informáticos, para realizar las etapas y operaciones del método propuesto en el primer aspecto de la invención. Más particularmente, un producto de programa de ordenador es una realización que tiene un medio legible por ordenador que incluye instrucciones de programa informático codificadas en el mismo que cuando se ejecutan en al menos un procesador de un sistema informático producen al procesador realizar las operaciones indicadas en el presente documento como realizaciones de la invención.

En un ejemplo de realización, las instrucciones de código están configuradas para calcular la superficie ocupada por el objeto en la retina con base en un ángulo sólido relativo al objeto mirado.

En un ejemplo de realización, las instrucciones de código están configuradas para calcular el parámetro relativo a la densidad de foco de atención de manera proporcional al ángulo sólido e inversamente proporcional al cuadrado de la distancia.

En un ejemplo de realización, las instrucciones de código están configuradas, además, para calcular el parámetro relativo a la densidad de foco de atención tomando en consideración una función coseno de un ángulo normal a la superficie donde reside el objeto.

Por tanto, la presente invención proporciona una nueva metodología/estrategia para cuantificar la atención prestada por las personas en los diferentes objetos de su entorno. La nueva métrica modeliza el sistema como si fuera el ojo para determinar la atención prestada y cuantifica dicha atención en todos los puntos de una zona de interés. Para el cálculo de dicha atención se introduce el concepto de trayectoria orientada como el conjunto de posiciones y de ángulos de orientación de la cabeza, de cada persona de interés y en el tiempo que sea de interés.

Breve descripción de los dibujos

Las anteriores y otras características y ventajas se comprenderán más plenamente a partir de la siguiente descripción detallada de unos ejemplos de realización, meramente ilustrativa y no limitativa, con referencia a los dibujos que la acompañan, en los que:

La Fig. 1 es un diagrama de flujo que ilustra un método para evaluar la atención de un sujeto que transita por una determinada zona, según un ejemplo de realización de la presente invención.

La Fig. 2 muestra la distribución de nube de puntos de la zona de análisis. El cuadro gris central muestra la zona capturada por la cámara, que dispone de alta densidad de puntos, mientras que las paredes y el suelo tienen una densidad reducida. Los objetivos de análisis están en la zona de cámara, y en las paredes, fuera de ella.

La Fig. 3 muestra esquemáticamente un ejemplo de un observador que mira un objeto, indicándose la inclinación (pitch), giro vertical alabeo (roll) y giro horizontal (yaw).

Las Figs. 4 y 5 muestran esquemáticamente un sistema de coordenadas de una sala respecto al sistema de referencia del ojo.

Descripción detallada de la invención y de unos ejemplos de realización

La presente invención proporciona un método, y programas informáticos, para evaluar la atención de un sujeto que transita por una determinada zona. Para ello, se utiliza un sistema de visión, preferiblemente 3D, con una o más cámaras en posición cenital. La invención permite detectar un sujeto que se mueve por un espacio mirando hacia objetos que le resulten atractivos (es decir, foco de atención). Asimismo, la invención permite realizar el seguimiento de la trayectoria de dicho sujeto midiendo los ángulos de la cabeza, secuencia a secuencia.

Para realizar la cuantificación se propone un método que genera una magnitud en cada punto de las superficies a analizar. Dicha magnitud indica si este punto ha sido observado y en qué cantidad. Es decir, dicha magnitud es proporcional al tiempo de observación e inversamente proporcional al cuadrado de la distancia a la que se encuentra el punto observado por el sujeto. De hecho, la citada magnitud está relacionada con la zona del fondo de ojo que ha sido utilizada para observar el objeto y el tiempo que se ha observado. Por tanto, se utiliza la sensibilidad en función de la zona en la que se encuentra el objeto respecto al sujeto (es decir, el observador). La trayectoria orientada del sujeto se calcula determinando la posición de la cabeza y la dirección de visionado. Se supone que la dirección natural del ojo coincide con la dirección de la cabeza.

En cada punto de la trayectoria se utiliza un modelo de la visión del ojo que transforma la zona de la retina asociada a una magnitud en la superficie. Dicha magnitud se denomina densidad de foco y se calcula utilizando una nube de puntos PCL (Point Cloud Library) 3D de las superficies a analizar, ya sean interiores o exteriores a la zona de captura de la trayectoria. La densidad de foco se acumula en cada fotograma de la trayectoria. Finalmente, se determina la atención en los objetos sumando la densidad de foco en cada punto de la superficie. Los que tengan mayor densidad de foco serán los que han generado mayor interés. Dichas magnitudes, no tienen un valor absoluto sino un valor de comparación entre diferentes objetos de interés.

Con referencia a la Fig. 1, en la misma se muestra un ejemplo de realización del método propuesto. Según este ejemplo de realización, una unidad de procesamiento (o un procesador) recibe una secuencia de imágenes obtenidas por una o más cámaras 3D dispuestas en posición cenital dentro de una zona de interés durante un determinado intervalo de tiempo. La secuencia de imágenes incluye uno o más sujetos y un entorno de la zona de interés que incluye una serie de objetos. Asimismo, la unidad de procesamiento calcula la atención prestada por al menos uno de los sujetos a un determinado objeto mediante procesamiento de unos fotogramas de la secuencia de imágenes. En este caso, el citado procesamiento comprende calcular la trayectoria del sujeto mediante el cálculo de la posición y de los ángulos de la cabeza en relación con las coordenadas espaciales de las superficies que delimitan al menos parte de la zona de interés. Para cada uno de los puntos de la trayectoria se calcula un modelo de visión del ojo del sujeto con base a la determinación de la superficie ocupada por el objeto mirado en la retina y del tiempo de observación, y en el cálculo de una distancia del sujeto al objeto. También se calcula un parámetro relativo a una densidad de foco de atención del sujeto en el objeto tomando en consideración el modelo de la visión del ojo calculado; y transformar el parámetro relativo a la densidad de foco de atención a un sistema de referencia de la zona de interés, proporcionando un parámetro relativo a la densidad de foco de atención transformado. Finalmente se calcula un parámetro relativo al foco de atención visual de la citada trayectoria, sumando cada uno de los parámetros relativos a la densidad de foco de atención transformados.

Las dimensiones de la zona de interés, la zona que capta la cámara cenital (donde hay imagen), y los objetos de interés, se convierten en una nube de puntos donde se realiza el análisis (Fig. 2). Tal y como puede observarse en la Fig. 2, hay zonas con mayor densidad de puntos que otras. Esto se hace así para acelerar el tiempo de procesado, que depende del número de puntos. Sin embargo, aunque haya zonas con menor densidad de puntos se mantiene un detalle aceptable de la zona a analizar. Obsérvese que la densidad de puntos es mayor en la zona de captura de la cámara (zona gris central) y menor en la zona externa. Hay objetos de análisis situados en una zona bastante densa y otros, los de las paredes, en una zona con menor densidad de puntos.

En la presente invención la trayectoria se define por la secuencia temporal de la posición de la cabeza y los ángulos que determinan la dirección de visionado. Por tanto, dicha trayectoria se caracteriza por una sucesión ordenada de posiciones y ángulos, que localizan la cabeza en el espacio y la orientan respecto a su entorno:

donde

(x, y, Z) es su posición y el segundo término son los tres ángulos: inclinación (pitch), alabeo (roll) y giro horizontal (yaw).

Para obtener el foco de atención en 2D se ha de tener en cuenta sólo el ángulo de giro horizontal (yaw). Sin embargo, si es 3D se han de considerar los ángulos de giro horizontal y de inclinación (pitch). Únicamente se tienen en cuenta estos ángulos porque son los que interesan para poder determinar el foco de atención de la gente en un recinto. El objeto de atención puede estar a diferentes alturas, así como los sujetos pueden tener diferentes alturas, por tanto, si se analiza el ángulo de inclinación se está introduciendo otro grado de libertad que permitirá aumentar el rango de aplicaciones del sistema.

Método de cálculo 3D:

En el método de cálculo 3D, para determinar la atención que un sujeto presta a un objeto se analiza cómo trabaja el sistema visual humano, más concretamente los ojos. El ojo humano dispone de un sensor, la retina, donde se forman las imágenes proyectadas a través de una lente, el cristalino. Para determinar cuál es la atención de un objeto se debe determinar qué porcentaje está ocupando dicho objeto en la retina y durante cuánto tiempo. La zona ocupada en la retina se medirá en ángulo sólido (estereorradianes) relativo al foco. Esta zona ocupada en la retina dependerá de la superficie del objeto en el mundo real y de su distancia al ojo.

La relación de ángulo sólido constante viene dada por:

donde A es el área del objeto y d la distancia al ojo. Por tanto, para mantener la misma atención en el ojo el tamaño del objeto debe crecer con el cuadrado de la distancia. Además, la atención humana tiene dependencia angular horizontal y vertical. Esta dependencia angular se indica mediante una función multiplicativa dependiente del ángulo. En el caso del ojo el foco de atención se puede definir:

Donde a y Q son los ángulos con el eje x e y, respectivamente, en el sistema de referencia del ojo, Ox y Oy son las desviaciones típicas asociadas a los ángulos del campo de visión (horizontal y vertical).

Así, por ejemplo, si el interés es analizar cuál ha sido la atención con capacidad de lectura, el ángulo sería de ±10° y ^o =10.

Si en lugar del ojo se utilizase una cámara,

( ^{. _ [} 0 ^, si ángulo > ángulomáximo

ángulo a> ) enotroscasos

Para evaluar la densidad de foco de atención del observador (es decir del sujeto) al objeto, hay que dividir el objeto en píxeles o elementos mínimos de superficie del objeto orientado al sujeto. En la Fig. 4 se puede ver que la distancia del observador al píxel considerado vale d (es el módulo del vector rd). Proyectando el objeto y el píxel considerado en el plano ZX se puede ver la proyección del vector rd, d y el ángulo Qx que representa el ángulo horizontal de la visión. Al proyectar sobre el plano ZY se ve el vector rdy y el ángulo Qy que representa el ángulo vertical.

Como se ha comentado anteriormente, el foco de atención es proporcional al ángulo sólido del objeto proyectado en la retina del ojo. Por tanto, una parte de la función densidad de atención será una función proporcional a dicho ángulo. Dado que la Fánguio está relacionada con la superficie del objeto proyectada en la retina, la densidad de foco será proporcional a Fángulo e inversamente proporcional al cuadrado de la distancia d, tal como indica la ecuación del ángulo sólido. Por último, hay que considerar que, si la visión no es frontal, la información de la atención se debe penalizar con la función coseno del ángulo normal a la superficie, es decir, Qn. Con todas estas consideraciones la función de densidad de foco de atención (DFOA) en un punto determinado P se define de la siguiente manera:

donde K es la constante de normalización, Fángulo la función descrita en las ecuaciones anteriores, d la distancia desde el ojo al punto P y Qⁿ el ángulo con la normal a la superficie donde reside el punto P. Si bien se puede complementar los factores con funciones que premien la dirección de movimiento, así como la posición relativa de la cabeza, en posiciones naturales o forzadas, desgraciadamente no son medibles de forma objetiva; por lo que no serán utilizadas por el método propuesto.

Se puede calcular la DFOA (P) en cualquier punto P perteneciente a una superficie (suelo, paredes, mesa, etc.) o a un objeto presente en la zona de análisis. La función DFOA (P) valdrá cero en puntos de objetos ocultos para el sujeto (observador) y en los puntos que el sujeto no ha mirado durante el tiempo de análisis.

La DFOA (P) calculada hasta ahora está basada en el sistema de referencia del ojo, y puesto que la posición y ángulo del ojo está cambiando en cada posición de la trayectoria es muy complicado de manejar. Para solventar este punto se realiza una transformación ([7]) al sistema de referencia de la sala (X’Y’Z’), ver Fig. 5.

DFOA(P') = [T] ■ DFOAlocal(P)

donde DFOAlocal(P) es la DFOA calculada en el sistema de referencia del ojo del sujeto, y DFOA(P’) es la DFOA transformando el punto P del sistema de referencia del ojo al punto P’ del sistema de referencia de la sala.

Sin embargo, la DFOA(P’) solo indica el foco de atención de un sujeto desde un punto determinado. Para calcular el foco de atención visual en un punto (VFOA: Visual Focus of Attention) se tiene que realizar la suma de todas las DFOA(P’) en todos los puntos de la trayectoria (7) del sujeto. Además, se puede añadir una suma de todos los sujetos de un colectivo (C) considerados en el análisis. Para normalizar la VFOA(P’), se multiplican las sumas por una constante N:

La normalización se realiza calculando la suma de todas las VFOA(P’) de todos los puntos P’ de los objetos y superficies de la zona de análisis, y ajustando N para que esa suma valga 1:

La expresión VFOA es una nube de puntos de intensidad que, por ejemplo, se puede representar mediante un código de colores. Por ejemplo, un determinado color se puede utilizar para representar máxima atención y otro color diferente para indicar poca atención.

La ecuación VFOA(P’) anterior no incluye el tiempo, sin embargo, este se tendría que tener en cuenta cuando se consideran múltiples trayectorias simultáneas. Si se tiene en cuenta la variable tiempo la ecuación VFOA(P’) quedaría:

La VFOA(P’, t) expresa la dependencia temporal de la VFOA, donde los sumatorios se realizan en un colectivo determinado de las DFOA que coincidan con el tiempo t. Naturalmente, esto solo tiene aplicaciones no triviales en el caso de que existan múltiples trayectorias simultáneas. En estas trayectorias las sumas se realizan dentro de todos los elementos que en el instante de tiempo t hayan estado en la zona de tránsito.

La expresión de la VFOA acumulada, puede también restringirse a un intervalo, entre t i y t2:

VFOA{P, t ( t l , f2 )) = N V VFOA(P,t)

t l,t2

La principal función de esta dependencia temporal es la sincronización de la función de foco de atención con eventos ocurridos en la zona de análisis, de forma que se pueda determinar qué evento ha producido más atención.

Método de cálculo 2D:

El método de cálculo 2D es una simplificación del anterior método 3D. Se basa en utilizar, únicamente, la información contenida en la proyección de los objetos de la sala y de la trayectoria de los observadores sobre el plano X ’Y del sistema de coordenadas de la sala que se muestra en la Fig. 5. Por tanto, en lugar de la posición (x ’,y’,z’) y los tres ángulos de Euler (yaw, pitch, rolí), se usa la posición (x’,y’) y un solo ángulo de Euler (yaw). Para el cálculo de la DFOA(K) en el sistema de coordenadas del ojo se usa solo la proyección sobre el plano ZX del sistema de coordenadas del observador que se muestra en la Fig. 4. Posteriormente se realiza el cambio de variables al sistema X ’Y’ de la sala. Los cálculos con estas trayectorias 2D son más fáciles de conseguir, aunque también tienen limitaciones en las informaciones que se podrán extraer y en el ámbito de utilización.

Para el análisis de los tiempos de visualización se pueden considerar tres definiciones de tiempo de las trayectorias orientadas:

• Tiempo de permanencia (Dweíí time): tiempo total que la persona es visible por una cámara en el punto de interés

• Tiempo de visualización (In-View time): tiempo total que la persona ve la cámara del punto de interés en un ángulo del cono de visión (45°) • Tiempo de atención (Attention Time): tiempo total que la persona ve la cámara del punto de interés en un ángulo del cono de atención (25°).

Para cada punto p se genera la secuencia X }¡ con el ángulo al punto p en cada fotograma k de la trayectoria i. Con {Xk}i se extraen las secuencias que cumplen Xk < tiempo de visualización y Xk < tiempo de atención.

Las citadas secuencias se denominan {xÁ} para tiempo de visualización y {Xkat} para tiempo de atención. Asimismo, se buscan las secuencias j de duración mayor a 1 segundo:

T? ⁼ 'Y ^j lo n g itu d d X f t i j ) ^■ tf

j

Al sumar todas las trayectorias, se pueden calcular los valores finales de los tiempos de atención y visualización:

Asimismo, en algunos ejemplos de realización, la invención proporciona un sistema para evaluar la atención de un sujeto que transita por una determinada zona. El sistema o dispositivo puede estar formado por dos partes: una unidad de adquisición de imágenes y un módulo DSP (Digital Signal Processing) de personas/sujetos, y un dispositivo o servidor de computación.

La unidad de adquisición de imágenes particularmente consiste en una o más cámaras, por ejemplo, 3D, con un CODEC y un DSP capaz de gestionar el rastreo de los objetos. Además, esta unidad emite paquetes de datos al dispositivo o servidor (local o en la nube).

En un ejemplo de realización, el servidor consiste en un procesador múltiple con capacidad de realizar operaciones matemáticas, de procesado digital de señal y de representación gráfica, en la que se ejecutan los algoritmos de detección FOA y los algoritmos de detección de trayectorias y de presencia.

La invención propuesta puede implementarse en hardware, software, firmware o cualquier combinación de los mismos. Si se implementa en software, las funciones pueden almacenarse en o codificarse como una o más instrucciones o código en un medio legible por ordenador.

El medio legible por ordenador incluye medio de almacenamiento informático. El medio de almacenamiento puede ser cualquier medio disponible que pueda accederse mediante un ordenador. A modo de ejemplo, y no de limitación, tal medio legible por ordenador puede comprender RAM, ROM, EEPROM, CD-ROM u otro almacenamiento de disco óptico, almacenamiento de disco magnético o de estado sólido, u otros dispositivos de almacenamiento magnético, o cualquier otro medio que pueda usarse para llevar o almacenar código de programa deseado en la forma de instrucciones o estructuras de datos y que pueda accederse mediante un ordenador. Disco (disk) y disco (disc), como se usan en el presente documento, incluyen discos compactos (CD), láser disc, disco óptico, disco versátil digital (DVD), disco flexible y disco de Blu-ray donde los discos (disks) reproducen normalmente datos de forma magnética, mientras que los discos (discs) reproducen datos de forma óptica con láseres. Deberían incluirse también combinaciones de los anteriores dentro del alcance de medio legible por ordenador. Cualquier procesador y el medio de almacenamiento pueden residir en un ASIC. El ASIC puede residir en un terminal de usuario. Como alternativa, el procesador y el medio de almacenamiento pueden residir como componentes discretos en un terminal de usuario.

Como se usa en el presente documento, los productos de programa de ordenador que comprenden medios legibles por ordenador incluyen todas las formas de medio legible por ordenador excepto, hasta el punto de que ese medio se considere que no son señales de propagación transitorias no establecidas.

El alcance de la presente invención está definido en las reivindicaciones adjuntas.

Claims (12)

REIVINDICACIONES

1. Método para evaluar la atención de un sujeto que transita por una determinada zona, el método comprende:

recibir, por una unidad de procesamiento, una secuencia de imágenes obtenidas por una o más cámaras 3D dispuestas en posición cenital dentro de una zona de interés durante un determinado intervalo de tiempo, en donde la secuencia de imágenes incluye al menos un primer sujeto y un entorno de la zona de interés con una pluralidad de objetos; y calcular, por la unidad de procesamiento, la atención prestada por el primer sujeto a un determinado objeto de dicha pluralidad de objetos mediante procesamiento de unos fotogramas de la secuencia de imágenes, en donde el procesamiento incluye las siguientes etapas:

- calcular una trayectoria del primer sujeto mediante el cálculo de una posición y de unos ángulos de la cabeza del primer sujeto en relación con unas coordenadas espaciales de unas superficies que delimitan al menos parte de la zona de interés;

- para cada uno de los puntos de la trayectoria calculada:

- calcular un modelo de visión de un ojo del primer sujeto con base en la determinación de una superficie ocupada por el objeto mirado en la retina y durante qué tiempo, y en el cálculo de una distancia del primer sujeto al objeto;

- calcular un parámetro relativo a una densidad de foco de atención del primer sujeto en el objeto tomando en consideración el modelo de la visión del ojo calculado; y

- transformar dicho parámetro relativo a la densidad de foco de atención a un sistema de referencia de la zona de interés, proporcionando un parámetro relativo a la densidad de foco de atención transformado; y

- calcular un parámetro relativo a un foco de atención visual de dicha trayectoria, sumando cada uno de los parámetros relativos a la densidad de foco de atención transformados.

2. Método según la reivindicación 1, en donde la superficie ocupada por el objeto en la retina se determina con base en el cálculo de un ángulo sólido relativo al objeto mirado.

3. Método según la reivindicación 2, en donde el parámetro relativo a la densidad de foco de atención es proporcional al ángulo sólido e inversamente proporcional al cuadrado de la distancia.

4. Método según una cualquiera de las reivindicaciones anteriores, en donde el parámetro relativo a la densidad de foco de atención se calcula, además, tomando en consideración una función coseno de un ángulo normal a la superficie donde reside el objeto.

5. Método según una cualquiera de las reivindicaciones anteriores, en donde los ángulos de la cabeza comprenden un ángulo de inclinación, un ángulo de giro horizontal y un ángulo de alabeo de la cabeza.

6. Método según la reivindicación 1, en donde la secuencia de imágenes comprende una pluralidad de sujetos, y en donde la unidad de procesamiento, previamente al cálculo de la atención, ejecuta un algoritmo de segmentación sobre uno o más fotogramas de la secuencia de imágenes para detectar y diferenciar los distintos sujetos.

7. Método según una cualquiera de las reivindicaciones anteriores, en donde el área de interés comprende un recinto cerrado.

8. Método según la reivindicación 4, en donde la superficie donde reside el objeto comprende un suelo, una pared, una mesa, una estantería o una silla.

9. Producto de programa de ordenador que incluye instrucciones de código que cuando se ejecutan por un sistema de computación implementan un método para evaluar la atención de un sujeto que transita por una determinada zona de acuerdo a la reivindicación 1.

10. Producto de programa de ordenador según la reivindicación 9, en donde las instrucciones de código están configuradas para calcular la superficie ocupada por el objeto en la retina con base en un ángulo sólido relativo al objeto mirado.

11. Producto de programa de ordenador según la reivindicación 10, en donde las instrucciones de código están configuradas para calcular el parámetro relativo a la densidad de foco de atención de manera proporcional al ángulo sólido e inversamente proporcional al cuadrado de la distancia.

12. Producto de programa de ordenador según la reivindicación 9, 10 u 11, en donde las instrucciones de código están configuradas, además, para calcular el parámetro relativo a la densidad de foco de atención tomando en consideración una función coseno de un ángulo normal a la superficie donde reside el objeto.