ES2964759T3

ES2964759T3 - Determinación de una parte del cuerpo actualmente tratada de un usuario

Info

Publication number: ES2964759T3
Application number: ES15184240T
Authority: ES
Inventors: Ingo Vetter; Carl Stückrath; Hansjörg Reick; Jens-Uwe Garbas; Jochen Seitz; Andreas Ernst; Marcus BOCKSCH
Original assignee: Braun GmbH
Current assignee: Braun GmbH
Priority date: 2015-09-08
Filing date: 2015-09-08
Publication date: 2024-04-09
Anticipated expiration: 2035-09-08
Also published as: JP2019500632A; CA2996918C; US10702191B2; EP3141151B1; CA2996918A1; US20170069083A1; WO2017042673A1; EP3141151A1; JP6549316B2; CN107949298A

Abstract

Una representación pictórica del usuario mientras trata su parte del cuerpo usando un dispositivo de higiene personal combinada con datos de sensor obtenidos de al menos un sensor inercial que reside en el dispositivo de higiene personal, se usa para determinar una parte del cuerpo actualmente tratada usando el dispositivo de higiene personal. dispositivo higiénico. La provisión de una cámara y un sensor inercial se puede lograr a bajo costo. La combinación de las dos fuentes para determinar la parte del cuerpo del usuario actualmente tratada se complementan entre sí en el sentido de que una fuente compensa las debilidades de la otra fuente y viceversa. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Determinación de una parte del cuerpo actualmente tratada de un usuario

Campo de la invención

La presente invención se refiere a un concepto para determinar una parte del cuerpo de un usuario tratada por el usuario utilizando un dispositivo de higiene personal tal como, por ejemplo, un cepillo de dientes.

Antecedentes de la invención

Es sabido que, por varias razones, existe un creciente interés en el mercado por los “ dispositivos inteligentes” que ayudan al usuario a manejar el respectivo dispositivo correctamente. Un “ cepillo de dientes inteligente” , por ejemplo, podría aliviar a los padres de la tarea de tener que vigilar si sus hijos se cepillan los dientes adecuadamente. Por ejemplo, los seres humanos deben cepillarse los dientes frecuentemente desde un punto de vista de calendario y frecuencia, y correctamente en términos de la correcta técnica de cepillado y cobertura, tal como dos veces al día durante 2 minutos cubriendo, cada vez, todos los dientes y cepillando los dientes de forma uniforme durante los 2 minutos.

En consecuencia, existe la necesidad de conceptos que permitan la provisión de dispositivos de higiene personal tales como cepillos de dientes, afeitadoras o similares, con funciones inteligentes. Sin embargo, para encontrar la suficiente aceptación del mercado, el concepto debe permitir una implementación fácil y económica. Los dispositivos de higiene personal tales como un cepillo de dientes están ocultos una buena parte del tiempo cuando se observa al usuario durante el tratamiento utilizando los respectivos dispositivos de higiene personal, lo que supone un problema para los sistemas de seguimiento basados en vídeo, como por ejemplo en [13]. Además, los sistemas de determinación de la ubicación que pueden incorporarse al dispositivo de higiene personal bien son caros o no determinan la ubicación del respectivo dispositivo de higiene personal de manera suficiente como para determinar la parte de la cabeza del usuario actualmente tratada mediante el dispositivo.

Naturalmente, las necesidades y exigencias recién explicadas también aparecen respecto de otros dispositivos de higiene personal que se usan en otras partes del cuerpo -no solo la cabeza o la cara.

El documento WO 2014/103412 describe un sistema cosmético que tiene un dispositivo de visualización que adquiere información relativa al cambio de estado del aparato cosmético basado en el funcionamiento en el que el estado de funcionamiento de la parte de la cabeza del usuario varía.

El documento WO 2014/202438 describe un sistema que comprende un dispositivo procesador, en particular un dispositivo móvil de usuario, como p. ej. un teléfono móvil, que preferiblemente comprende al menos un dispositivo de detección óptica, en particular una cámara, para detectar datos de al menos un parámetro de movimiento, en particular la dirección de movimiento o rotación, la aceleración, la trayectoria recorrida y/o la velocidad de un medio de tratamiento dental y un dispositivo de procesamiento de datos para, en particular, la separación de las imágenes del medio de tratamiento dental de al menos otro componente de imagen grabada registrada por el dispositivo de detección óptica y para la determinación de al menos un patrón de movimiento que corresponda al parámetro de movimiento. La técnica anterior describe el uso de un sensor de posición, velocidad y/o aceleración o un sistema de seguimiento de vídeo para la determinación de un patrón de movimiento de un medio de tratamiento dental que se produce durante un tratamiento dental.

El documento US 2011/010875 describe un cepillo de dientes eléctrico con CPU que cambia modos operativos tales como la dirección de rotación y la velocidad de rotación del motor según la región de cepillado que se estima dependiendo de la información de la posición detectada de la parte del cepillo.

Por tanto, existe la necesidad de un concepto para determinar la parte del cuerpo de un usuario tratada por el usuario utilizando un dispositivo de higiene personal, en donde el concepto permita una implementación económica. El conocimiento acerca de la parte de la cabeza tratada por el usuario puede permitir al usuario, por ejemplo, ayudar al usuario a realizar el tratamiento.

Sumario de la invención

Según un aspecto, se proporciona un aparato para determinar una parte del cuerpo de un usuario tratada por el usuario utilizando un dispositivo de higiene personal según se define en la reivindicación 1.

Según otro aspecto, se proporciona un sistema que comprende un aparato mencionado anteriormente y el dispositivo de higiene personal.

Según otro aspecto, se proporciona un método para determinar una parte del cuerpo de un usuario tratada por el usuario utilizando un dispositivo de higiene personal según se define en la reivindicación 14.

Según otro aspecto, se proporciona un programa informático como se define en la reivindicación 15 para realizar el método de la reivindicación 14.

Las realizaciones preferidas se definen en las reivindicaciones dependientes.

Breve descripción de las figuras

Las implementaciones ilustrativas de la presente solicitud son el objeto de las reivindicaciones dependientes. Además, las realizaciones ilustrativas de la presente solicitud se describen más adelante detalladamente con respecto a las figuras, entre las cuales

La Fig. 1 muestra un aparato para determinar una parte de la cabeza de un usuario actualmente tratada por el usuario utilizando un dispositivo higiénico junto con el dispositivo higiénico según una realización;

la Fig. 2 muestra una posible implementación del dispositivo higiénico y el aparato de la Fig. 1;

la Fig. 3 muestra una vista instantánea de vídeo de un vídeo que podría utilizarse para enseñar a las personas a realizar la recopilación de datos para entrenar el analizador según una realización;

la Fig. 4 muestra un diagrama esquemático que ilustra una secuencia de etapas realizadas por un analizador para obtener una clasificación de sectores de cepillado basada en una cámara según una realización;

la Fig. 5a muestra una vista seccional de un cepillo de dientes perpendicular a un eje longitudinal del cepillo de dientes, registrada de forma que el vector de gravedad terrestre esté orientado verticalmente, para ilustrar un ángulo de balanceo;

la Fig. 5b muestra una vista lateral del usuario y del cepillo de dientes para ilustrar la posición del ángulo de inclinación;

la Fig. 6 muestra un ejemplo de una gráfica de dispersión de los ángulos de balanceo e inclinación estimados para las dieciocho clases/sectores de la Tabla 1 que se han obtenido utilizando los datos de entrenamiento de tres personas de prueba durante una fase de entrenamiento;

la Fig. 7 muestra esquemáticamente una posibilidad de realizar por separado la determinación basada en la cámara y basada en el sensor de inercia de la parte actualmente tratada y después combinar/fusionar ambas determinaciones para conseguir una determinación más fiable en la que las debilidades de las determinaciones individuales se compensen mutuamente;

la Fig. 8 muestra distribuciones de probabilidad en forma de una matriz de confusión: los datos de salida de vídeo ilustrativos para los 6 modelos de clase de la Tabla 2 finalizaron en dichas distribuciones, que se han dividido en contenedores para preparar un cálculo de probabilidades del resultado de clasificación basado en la cámara; las distribuciones de la diagonal representan las distribuciones de clasificación correctas; desde la parte superior a la inferior de la columna, las distribuciones se refieren al cepillado real de la clase Ninguno, Parte superior izquierda, Parte inferior izquierda, Parte superior derecha, Parte inferior derecha, Frente, y columna de la izquierda a la derecha, las distribuciones se refieren a las puntuaciones de Ninguno, Parte superior izquierda, Parte inferior izquierda, Parte superior derecha, Parte inferior derecha, Frente; cada distribución representa gráficamente 32 contenedores para las puntuaciones en unidades arbitrarias a lo largo del eje horizontal y el número asociado de veces/prueba para las que, en el respectivo cepillado real con la suposición respectiva del sector de cepillado, se ha obtenido la respectiva puntuación, a lo largo del eje vertical en unidades arbitrarias; cuanto mayor (positiva) es la puntuación, más probable es que la puntuación sugiera que el sector realmente cepillado es para el cuál se ha calculado la respectiva puntuación, es decir, a cual la distribución (o columna de distribuciones) pertenece según donde está comprendida la respectiva puntuación;

la Fig. 9 muestra una matriz de estimación de resultados en términos de velocidades reales para, de arriba hacia abajo, sensores de inercia (INS), cámara (SHORE) y fusión de sensores (DZM; DZM = monitorización de la zona dental) donde la clasificación se ha realizado usando, de izquierda a derecha, el modelo de 6 clases de la Tabla 2 (1 = arriba a la izquierda, 2 = arriba a la derecha, 3 = abajo a la izquierda, 4 = abajo a la derecha, 5 = frente), clasificación de la mandíbula superior e inferior (1 es igual a la mandíbula superior; 2 es igual a la mandíbula inferior) o clasificación de lado izquierdo y derecho (1 es igual al lado izquierdo; 2 es igual al lado derecho);

la Fig. 10 muestra una matriz de estimación de resultados usando datos recogidos para el sensor de inercia (INS), cámara (SHORE) y fusión de sensores (DZM) en la disposición de la matriz de la Fig. 9 y usando los modelos, con representación en forma de gráfico de barras y usando unidades arbitrarias para las velocidades reales/alturas de barra, las velocidades reales para las clases individuales;

la Fig. 11 muestra un diagrama esquemático que ilustra dos alternativas para realizar el análisis de evaluación basado en la cámara; y

la Fig. 12 muestra dos alternativas para realizar el análisis de evaluación basado en el sensor de inercia.

Descripción detallada de la invención

Las realizaciones de la presente solicitud descritas en lo sucesivo se centran ilustrativamente en determinar la parte del cuerpo de un usuario actualmente tratada, actualmente tratada por el usuario utilizando un dispositivo de higiene personal, sobre o dentro de la cabeza del usuario (donde en el interior significa dentro de una cavidad de la cabeza del usuario, p. ej. dentro de la cavidad oral). En consecuencia, las realizaciones se ilustran utilizando ejemplos como un cepillo de dientes, afeitadora o similares como el dispositivo de higiene personal, pero debería estar claro que todas estas realizaciones pueden modificarse fácilmente para que funcionen para otros dispositivos de higiene personal y, en consecuencia, otras porciones del cuerpo que se tratan actualmente. Simplemente de forma representativa, la siguiente descripción se centra en dispositivos de higiene personal relacionados con la cabeza del usuario.

Como se describe en la parte de introducción, existe la necesidad de un concepto para determinar una parte de la cabeza (donde la “ parte de la cabeza” se usa en la presente descripción, debe entenderse que esto se puede sustituir generalmente por “ parte del cuerpo” ) de un usuario tratada por el usuario utilizando un dispositivo de higiene personal, en donde el concepto permita una implementación económica. El conocimiento acerca de la parte de la cabeza tratada por el usuario puede permitir al usuario, por ejemplo, ayudar al usuario a realizar el tratamiento. Tal como se ilustra en las realizaciones explicadas posteriormente, este concepto se puede proporcionar, por ejemplo, aprovechando que un número creciente de usuarios ya poseen dispositivos que, a su vez, están provistos de una cámara y que permiten una adición suplementaria de funciones usando esta cámara. Los teléfonos inteligentes, por ejemplo, principalmente comprenden una cámara y permiten una instalación posterior de aplicaciones adicionales. Además, proporcionar un dispositivo tal como un dispositivo de higiene personal con un sensor de inercia supone simplemente costes moderados ya que estos sensores de inercia se utilizan de una manera extendida en un colector de dispositivos. Combinar una representación fotográfica del usuario mientras se trata la parte de la cabeza usando un dispositivo de higiene personal y los datos de medición de aceleración obtenidos de un sensor de inercia incluido en el dispositivo de higiene personal resulta ser económico. Sin embargo, la combinación de las dos fuentes para determinar la parte de la cabeza del usuario actualmente tratada se complementa entre sí en que una fuente compensa deficiencias de la otra y viceversa. Por ejemplo, debido a oclusiones del dispositivo de higiene personal en el campo de visión de la cámara, la cámara puede ser una fuente poco fiable para distinguir situaciones en que el usuario trata partes de la cabeza predeterminadas diferentes. Los datos de medición de aceleración, a su vez, permiten un reconocimiento bastante seguro de las situaciones donde normalmente se aplican. Lo mismo puede ser válido en sentido contrario: los datos de medición de aceleración pueden formar una fuente no fiable para distinguir ciertas partes de la cabeza actualmente tratadas, cuya distinción, sin embargo, puede lograrse con mayor seguridad sobre la base de la representación fotográfica adicionalmente provista del usuario mientras se trata la parte de la cabeza con el dispositivo de higiene personal.

La Fig. 1 muestra un aparato 10 para determinar una parte de la cabeza de un usuario tratada por el usuario utilizando un dispositivo de higiene personal, y la Fig. 1 también muestra el dispositivo 12 de higiene personal. El aparato 10 y el dispositivo 12 de higiene personal forman un sistema. En el ejemplo de la Fig. 1, el dispositivo 12 de higiene personal es un cepillo de dientes electrónico, es decir, un cepillo de dientes que comprende un cabezal basculante electrónico de cerdas 14, pero también como se indica más adelante, las realizaciones alternativas de la presente solicitud pueden derivarse fácilmente sobre la base de la descripción detallada a continuación transfiriendo los detalles de la misma relativos a un cepillo de dientes como el dispositivo de higiene personal a una combinación del aparato 10 con cualquier otro dispositivo de higiene personal, tal como un cepillo de dientes que no tiene un cabezal de cerdas electrónicamente accionado, o algún otro dispositivo de higiene personal para el tratamiento de una cabeza humana, tal como una afeitadora, una herramienta de masaje de cara o cualquier otro dispositivo higiénico facial.

El aparato de la Fig. 1 comprende una cámara 16 configurada para capturar una escena que muestra la cara del usuario con el usuario tratando actualmente una cierta parte de la cabeza usando un dispositivo 12 higiénico. La cámara 16 puede ser una cámara de imagen fija o una cámara de vídeo. Por tanto, la representación fotográfica que muestra al usuario mientras trata la parte de la cabeza usando un dispositivo 12 higiénico puede comprender una o más imágenes fijas o un vídeo compuesto por una secuencia de marcos/imágenes.

El aparato 10 comprende además una interconexión 18 configurada para recibir datos de medición de aceleración desde un sensor 20 de inercia que se encuentra, a su vez, en el dispositivo 12 higiénico. La interconexión 18 puede configurarse, como se ilustra en la Fig. 1, para recibir inalámbricamente los datos de medición de aceleración del sensor 20 de inercia. Para este fin, el dispositivo 12 higiénico puede estar provisto de una interconexión 22 de comunicaciones interconectada al sensor 20 de inercia para recibir los datos de medición de aceleración desde el sensor 20 de inercia y operativo para enviar de manera inalámbrica los datos de medición de aceleración a recibir por la interconexión 18 del aparato 10. Sin embargo, la interconexión 18 puede, alternativamente, usar una conexión cableada para recibir los datos de medición de aceleración desde el sensor 20 de inercia.

Además, el aparato 10 comprende un procesador 24 acoplado a la cámara 16 e interconexión 18 (inalámbrica) y suponiendo la tarea del analizador 26, cuya funcionalidad se describe más adelante. En particular, el analizador 26 analiza la representación fotográfica obtenida por la cámara 16 y los datos de medición de aceleración recibidos mediante la interconexión 18 desde el sensor 20 de inercia y determina, en función de los mismos, la parte de la cabeza actualmente tratada por el usuario que usa el dispositivo 12 de higiene personal.

Como se describe a continuación en la memoria, con respecto a un ejemplo concreto de una implementación de hardware del sistema y el aparato mostrado en la Fig. 1, el aparato 10 puede implementarse, por ejemplo, en un ordenador portátil o dispositivo de comunicación portátil, tal como un teléfono inteligente, que incluye la cámara 16, la interconexión 18 y el procesador 24. El procesador 24 puede ser, por ejemplo, un microprocesador con el analizador 26 implementado como una aplicación o programa informático que, cuando se ejecuta por el procesador 24, hace que el procesador 24 realice la funcionalidad del analizador 26 como se describe más detalladamente a continuación. Alternativamente, parte o todas las funcionalidades del analizador 26 pueden implementarse externamente, tal como externos al ordenador portátil o el dispositivo de comunicación portátil que incluye la cámara y la interconexión. Por ejemplo, dichas funcionalidades realizadas de forma externa al analizador 26 podrían ejecutarse en un servidor configurado para recibir la representación fotográfica y los datos de medición de aceleración mediante Internet o alguna otra red. Si se externalizan dichas funcionalidades al exterior del aparato 10, esto puede permitir una notable reducción del consumo de corriente del aparato 10, permitiendo así ahorrar batería.

Por claridad, se observa que la Fig. 1 muestra que el aparato 10 puede comprender opcionalmente un visualizador 28 para presentar al usuario la parte de la cabeza actualmente tratada o para presentar al usuario una información que indique, para cada parte de la cabeza candidata entre un conjunto de partes de la cabeza candidatas, la medición temporal o una medida de la demanda de tratamiento remanente para la respectiva parte de la cabeza candidata determinada en función de la medida temporal. Por ejemplo, el visualizador 28 puede comprender una pantalla o monitor. Además, el procesador 24 puede asumir, opcionalmente, la tarea de un módulo 30 de registro para iniciar sesión, para cada conjunto de partes de la cabeza candidatas que se acaba de citar, la medida temporal de durante cuánto tiempo se ha determinado que la parte de la cabeza candidata es la parte de la cabeza mediante el analizador 26, es decir, durante qué duración temporal.

Por lo tanto, el aparato 10 de la Fig. 1 puede determinar la parte de la cabeza de un usuario actualmente tratada por el usuario utilizando un dispositivo 12 higiénico. En el caso de que el dispositivo 12 higiénico sea un cepillo de dientes como se representa en la Fig. 1 y como es el caso ilustrativo de la descripción más detallada de realizaciones más específicas descritas más adelante, la parte de la cabeza actualmente tratada es, por ejemplo, una determinada parte de la dentadura del usuario tal como, por ejemplo, la parte lateral izquierda de la mandíbula inferior de la dentadura del usuario o similar. Si el dispositivo 12 higiénico es una afeitadora, la parte de la cabeza actualmente tratada, por ejemplo, puede ser cierta porción de la porción de la barba del usuario. Si el dispositivo 12 higiénico es, por ejemplo, un dispositivo de masaje facial, la parte de la cabeza que se trata actualmente es, por ejemplo, cualquier porción del rostro del usuario.

Como se describe en mayor detalle a continuación, el uso de la cámara 16 y del sensor 20 de inercia como fuente para determinar automáticamente la parte de la cabeza actualmente tratada lleva a una compensación mutua de las debilidades de ambas fuentes. Por ejemplo, la representación fotográfica obtenida con el uso de la cámara 16 permite que el analizador 26 determine de forma bastante fiable si la parte de la cabeza actualmente tratada se encuentra en el lado derecho o en el lado izquierdo del usuario, aunque la representación fotográfica es una fuente no fiable para que el analizador 26 localice la porción actualmente tratada en términos de su posición vertical. Al contrario, los datos de medición de aceleración obtenidos por el sensor 20 de inercia podrían proporcionar al analizador 26 la oportunidad de distinguir fiablemente situaciones donde la parte de la cabeza actualmente tratada difiere en su posición a lo largo del eje vertical, mientras que los datos de medición de aceleración pueden ser una fuente no fiable para determinar si la parte de la cabeza actualmente tratada está en el lado izquierdo o lado derecho. El analizador 26, combinando ambas fuentes de información, es decir, la representación fotográfica y los datos de medición de aceleración, puede determinar la parte de la cabeza actualmente tratada más fiablemente en términos de discriminación lateral izquierda/derecha y con respecto a una discriminación de diferentes posiciones a lo largo del eje vertical del usuario.

Según las realizaciones descritas más adelante, el analizador 26 está configurado para realizar la determinación de la parte actualmente tratada seleccionando la parte de la cabeza actualmente tratada entre un conjunto predeterminado de partes de cabeza candidatas. En una manera descrita en mayor detalle a continuación, por ejemplo, el analizador 26 debe “ entrenarse” para poder, cuando se alimente con la representación fotográfica procedente de la cámara 16 y los datos de medición de aceleración procedentes del sensor 20 de inercia, seleccionar la parte de la cabeza actualmente tratada entre un conjunto predeterminado de partes de la cabeza candidatas. El conjunto de partes de la cabeza candidatas puede coincidir con el conjunto de porciones de cabeza candidatas usadas para el entrenamiento. Alternativamente, el conjunto de partes de la cabeza candidatas entre las que el analizador 26 selecciona la parte de la cabeza actualmente tratada puede representar una partición más gruesa de una porción interesante de una cabeza humana. A continuación se describen detalles adicionales. Para entrenar el analizador 26, el analizador 26 puede implementarse como una red neural o puede haberse entrenado usando un método estadístico. En cualquier caso, el conjunto predeterminado de partes de la cabeza candidatas representa una partición de una porción interesante de una cabeza humana, es decir, una división que subdivide espacialmente una porción interesante de una cabeza humana en segmentos no solapantes. Por ejemplo, en el caso de un cepillo de dientes como dispositivo 12 higiénico, la porción interesante de la cabeza humana repartida entre el conjunto de partes de la cabeza candidatas entre las que el analizador 26 selecciona una parte de la cabeza actualmente tratada podría ser la dentadura del usuario. Si el dispositivo 12 higiénico es una afeitadora, el conjunto predeterminado de partes de la cabeza candidatas puede representar una parte del área de la barba del usuario. Si el dispositivo higiénico es un dispositivo de masaje facial, el conjunto predeterminado de partes de la cabeza candidatas entre las que el analizador 26 realiza la selección representa una parte de la cara del usuario.

Como se ha mencionado anteriormente, el efecto de determinar la parte de la cabeza tratada actualmente basándose en un análisis tanto de datos de representación fotográfica como de aceleración es la nivelación mutua de debilidades en términos de discriminación espacial izquierda/derecha y discriminación espacial a lo largo del eje vertical, respectivamente. Por tanto, el conjunto predeterminado de partes de cabeza candidatas puede por ejemplo dividir una parte interesante de una cabeza humana en cuatro o más partes de cabeza candidatas. Esto es, el conjunto de partes de la cabeza candidatas entre las que el analizador 26 realiza la selección puede comprender “ al menos” cuatro porciones de la cabeza candidatas, por ejemplo, concretamente: una primera parte de la cabeza candidata que se encuentra en el lado izquierdo del usuario, una segunda parte de la cabeza candidata que se encuentra en el lado izquierdo del usuario pero que está desplazada con respecto a la primera parte de la cabeza candidata a lo largo del eje vertical del usuario, una tercera parte de la cabeza candidata que se encuentra en el lado derecho del usuario, y una cuarta parte de la cabeza candidata que se encuentra en el lado derecho del usuario, pero que está desplazada con respecto a la tercera parte candidata a lo largo del eje vertical del usuario. Por ejemplo, si el dispositivo 12 higiénico es un cepillo de dientes, la primera parte de la cabeza candidata puede ser una porción lateral izquierda de la mandíbula superior de la dentadura del usuario, la segunda parte de la cabeza candidata puede ser una porción lateral izquierda de la mandíbula inferior de la dentadura del usuario, la tercera parte de la cabeza candidata puede ser una porción lateral derecha de la mandíbula superior de la dentadura del usuario y la cuarta parte de la cabeza candidata puede ser una porción lateral derecha de la mandíbula inferior de la dentadura del usuario. El conjunto de partes de cabeza candidatas entre las que el analizador 26 realiza la selección puede además comprender una quinta parte de la cabeza candidata, a saber, la parte delantera de la dentadura, o una quinta y sexta parte de la cabeza candidata, a saber, la parte delantera de la mandíbula superior y la parte delantera de la mandíbula inferior de la dentadura del usuario. Si el dispositivo 12 higiénico es una afeitadora, por ejemplo, la primera parte de la cabeza candidata puede ser la mejilla del lado izquierdo del usuario; la segunda parte de la cabeza candidata puede ser el lado izquierdo del mentón del usuario; la tercera parte de la cabeza candidata puede ser la mejilla del lado derecho del usuario y la cuarta parte de la cabeza candidata puede ser el lado derecho del mentón del usuario entrante. Una quinta parte puede entonces representar un lado delantero del mentón del usuario. Una sexta parte de la cabeza candidata puede representar la zona entre la nariz y la boca. Si el dispositivo 12 higiénico es un dispositivo de masaje facial, el conjunto de partes de cabeza candidatas, además de las partes mencionadas con respecto a la afeitadora como ejemplo del dispositivo 12 higiénico, puede comprender la frente como parte de la cabeza candidata.

La Fig. 2 muestra un ejemplo de implementación específica del sistema y del aparato mostrados y descritos con respecto a la Fig. 1. Como ya se ha indicado anteriormente, se supone que el dispositivo higiénico es un cepillo de dientes, pero la descripción que se realiza a continuación se puede modificar fácilmente para obtener otras implementaciones con un dispositivo 12 higiénico que no sea un cepillo de dientes.

La Fig. 2 muestra un dispositivo 12 higiénico como un cepillo de dientes accionado por baterías o un cepillo de dientes eléctrico, pudiéndose recargar el cepillo de dientes accionado por baterías colocando el cepillo de dientes 12 sobre un zócalo 32. El aparato 10 se representa gráficamente en la Fig. 2 como una cámara 16 incorporada a un teléfono inteligente, el procesador (no representado en la Fig. 2) y la interconexión 18. La interconexión 18 recibe datos de medición de aceleración desde la interconexión 22 análoga en el cepillo de dientes. El teléfono inteligente también comprende un visualizador 28 en forma de una pantalla.

El aparato 10 puede obtener información sobre qué sector de la boca o dentadura del usuario del cepillo de dientes 12 y el aparato 10 se está cepillando actualmente y durante cuánto tiempo. Además, el aparato podría acompañar la información obtenida de este modo con información sobre la presión de cepillado recogida, por ejemplo, por medio de un sensor de fuerza adicional en el cepillo de dientes 12 (no mostrado en la Fig. 1 o 2). El cepillo de dientes 12 provisto de un sensor de inercia no se representa en la Fig. 2 y puede colocarse en cualquier lugar dentro o sobre el alojamiento del cepillo de dientes 12. El sensor de inercia puede estar comprendido por una unidad de medición inercial IMU. En otras palabras, el sensor de inercia puede estar representado por una unidad de medición inercial IMU, que comprende sensores de aceleración y/o sensores de velocidad angular y, opcionalmente, sensores de campo magnético. Como ejemplo explícito, se puede usar un acelerómetro de 3 ejes como sensor 20, opcionalmente acompañado por uno o más giroscopios y uno o más magnetómetros. Como se representa gráficamente en la Fig. 2, puede usarse ilustrativamente una conexión de datos Bluetooth para interconectar las interconexiones 22 y 18.

Con respecto a los datos de medición de aceleración, se observa que la denominada fusión de sensores, es decir, la forma de agrupar todos los datos de sensor de los sensores de aceleración y/o sensores de velocidad angular en un conjunto de datos relativo a un sistema de coordenadas predeterminado no relacionado con el cepillado de los dientes tal como un sistema registrado respecto del eje vertical, puede realizarse dentro del cepillo de dientes 12 o dentro del analizador, es decir, dentro del aparato o teléfono inteligente 10, respectivamente. Además, la fusión de sensores también puede convertir las mediciones de aceleración en datos de velocidad o de ubicación mediante algún tipo de integración de manera que el término “ datos de medición de aceleración” se deberán entender como una forma de abarcar cualesquiera datos obtenidos mediante u originados en la medición de la aceleración usando el sensor 20 de inercia. Por ejemplo, un preprocesamiento de los datos realizado en el cepillo de dientes puede estar destinado a reducir la cantidad de datos que se transfieren a través de la interconexión 22. Alternativamente, la determinación de la clasificación/posición completa podría ejecutarse en el cepillo de dientes.

Los datos, es decir, la representación fotográfica y los datos de medición de aceleración, se recogen en el analizador 26 de forma sincronizada con la cámara 16 y el sensor 20 de inercia. Puede ser que los datos de las dos fuentes diferentes, a saber, la cámara 16 y el sensor 20, lleguen asíncronas al procesador 24 o analizador 26, y que el procesador 24 o analizador 26 asuma la responsabilidad para registrar correctamente la información temporal, o sincronización, de los dos tramos de información correspondiente, es decir, los datos de vídeo y del sensor para encajarlos entre sí.

Se puede usar algún proceso de recopilación de datos para entrenar el analizador 26. Por ejemplo, en un proceso de recopilación de datos, se puede mostrar un vídeo a los usuarios, pidiendo el vídeo al usuario respectivo que se cepille un sector de cepillado específico. El vídeo puede mostrar, por ejemplo, una pantalla tal como la que se visualiza en la Fig. 3. Se representa gráficamente una dentadura en 34 y parte de los resaltes 36 indican a la persona que realiza la prueba qué parte (sección) de la dentadura debe tratar, es decir, cepillar, usando el cepillo de dientes mientras se recogen los datos de la cámara 16 y el sensor 20 de inercia. Una duración del tiempo que queda durante el cual la porción actualmente resaltada se va a cepillar se puede indicar en una sección 38 de la pantalla de vídeo. En una parte 40, la pantalla de vídeo puede indicar el número de partes candidatas discriminadas de la dentadura a cepillar secuencialmente durante el proceso de recopilación de datos por la correspondiente persona que realiza la prueba, así como la parte candidata actual actualmente en línea durante el proceso de recopilación de datos. En el caso de la Fig. 3, por ejemplo, el vídeo actualmente muestra que la primera parte candidata de la dentadura de la persona de prueba es el lado exterior del lateral izquierdo de la mandíbula superior de la dentadura, siendo esta parte actualmente tratada la primera parte de las dieciocho partes candidatas, quedando ocho segundos hasta que la siguiente porción candidata esté en línea.

Los datos recopilados incluyen la representación fotográfica, a saber, la escena capturada por el vídeo 16 y los datos de medición de aceleración obtenidos por el sensor 20 de inercia, se usan después para el entrenamiento y pruebas de los algoritmos subyacentes del analizador 26, cuyas realizaciones se describen con mayor detalle más adelante. La Fig. 3 ilustra que se usan dieciocho sectores de cepillado lógicos para el entrenamiento, por ejemplo.

La estimación/determinación de la porción actualmente tratada/cepillada de un usuario se realiza, en una primera etapa, por separado sobre la base de la representación fotográfica por una parte, y los datos de medición de aceleración por la otra, y en una segunda etapa ambas determinaciones se combinan para determinar finalmente la porción tratada/cepillada de manera más fiable. Para este fin, los dieciocho sectores de cepillado de la fase de entrenamiento pueden, por ejemplo, usarse internamente para entrenar la determinación de la porción/sector actualmente tratado de la dentadura basándose en el sensor de inercia, es decir, para el entrenamiento del sector para su clasificación según el sensor de inercia.

Los dieciocho sectores de cepillado pueden definirse, por ejemplo, como se muestra en la Tabla 1.

N.° Sector 1 Sector 2 Sector 3

Mandíbula superior

Mandíbula inferior

exterior

La Tabla 1 contiene clases que representan un reparto de una dentadura humana y, por lo tanto, representa un ejemplo de un conjunto de clases de partes de cabeza candidatas que podrían utilizarse si el dispositivo de higiene personal es un cepillo de dientes.

Según la Tabla 1, los dieciocho sectores de cepillado están dispuestos lógicamente a lo largo de tres dimensiones, concretamente una dimensión discriminante entre mandíbula superior y mandíbula inferior, una dimensión discriminante entre los lados derecho e izquierdo de la dentadura y la parte frontal, y una dimensión discriminante entre la cara de los dientes orientada hacia el interior, es decir, la cara orientada hacia la lengua, la cara opuesta o cara orientada hacia el exterior de los dientes, y la superficie de masticación, respectivamente.

Por ejemplo, aunque la estimación de la parte actualmente tratada sobre la base de los datos de aceleración medidos se entrenan para discriminar entre los dieciocho sectores de cepillado, el entrenamiento puede estar relacionado con un reparto más grueso de la dentadura con respecto a la estimación/determinación de la porción actualmente cepillada sobre la base de la representación fotográfica obtenida por la cámara 16, tal como un reparto resultante de unificar los dieciocho sectores combinando sectores vecinos de los dieciocho sectores. Además, incluso el propio conjunto de sectores candidatos para el que la visualización se realiza más adelante con respecto al usuario, después de haber entrenado al analizador 26, puede diferir de los dieciocho sectores. Por ejemplo, la Tabla 2 ilustra un conjunto de sectores candidatos que podrían usarse más tarde para su visualización y el analizador, respectivamente, que se ha derivado sobre la base de los dieciocho sectores de cepillado mencionados anteriormente reduciendo los mismos a seis clases. Más allá de las cinco clases ya mencionadas anteriormente con respecto a la dentadura, se incluye una sexta clase que comprende “ sin cepillado” .

N.° de clase Descripción

6 Sin cepillado

La Tabla 2 muestra una tabla con un ejemplo de un conjunto reducido de clases o partes candidatas también relacionado con el caso de un dispositivo de higiene personal que es un cepillo de dientes;

Con respecto a la Fig. 4, se describe un modo operativo de cómo el aparato 10 de las Figs. 1 y 2 puede funcionar al realizar la clasificación del sector de cepillado, preliminarmente solo basándose en la cámara.

En una primera etapa del proceso general de clasificación del sector de cepillado, indicado en 40 de la Fig.4, el usuario 42 permanece delante del dispositivo de captura de vídeo, a saber la cámara 16, durante el cepillado de sus dientes y se captura mediante la cámara 16. Es decir, la escena 44 capturada por la cámara 16 comprende el usuario 42 cepillando sus dientes utilizando el cepillo de dientes 12. La representación fotográfica obtenida de esta manera usando la cámara 16 comprende una o más imágenes/marcos de vídeo capturados. En la Fig. 4 se muestra un marco 46 de vídeo capturado. La imagen 46 muestra la cara del usuario 42 sujetando el cepillo de dientes 12 de manera que este último se extiende al interior de la boca.

En particular, la Fig. 4 se concentra en la clasificación del sector de cepillado basándose en la cámara. Por tanto, el uno o más marcos 46 de vídeo, según la realización de la Fig. 4, se pasan a una unidad de detección y rastreo de cara para someterlo a un proceso de detección y rastreo de la cara que ubica la cara 48 del usuarioenla imagen o fotografía 46, indicándose esta etapa como 50 en la Fig. 4. Después de haber determinado una región 52 de la cara dentro de la Fig. 46 en la etapa 50, una unidad de localización de rasgos faciales del analizador 26 ubica en una etapa 54 los ojos 56 dentro de la región 52 de la cara. Después, una unidad de normalización de la región del rostro, en una etapa 58, rota y escala, es decir, inclina y recorta una región 60 de la imagen definida en la imagen 46; incluyendo y rodeando esta región la boca en la fotografía. La normalización de la región del rostro puede usar las posiciones 56 localizadas del ojo en la fotografía 46 como puntos de referencia. Finalmente, una unidad de clasificación del sector de cepillado del analizador 26 puede extraer en una etapa 62 rasgos de la región 64 de imagen normalizada, clasificar la imagen y proporcionar una clasificación para cada sector de cepillado que caracteriza la probabilidad de que el usuario esté cepillando actualmente el sensor asociado. La Fig. 4, por ejemplo, ilustra que la clasificación del sector de cepillado basándose en la cámara puede finalizar con una estimación de la porción actualmente cepillada seleccionada entre seis clases lógicas, a saber, las que se muestran en la Tabla 2.

En la Fig. 4, las etapas 50, 54, 58 y 62 se realizan por el analizador 26. Las etapas individuales descritas con respecto a la Fig. 4 se describen a continuación en mayor detalle.

Como ya se ha indicado anteriormente, la cámara 16 puede ser cualquier dispositivo que pueda capturar una escena. Puede ser, por ejemplo, una videocámara que puede capturar una secuencia de imágenes. La cámara de vídeo puede ser, por ejemplo, un teléfono móvil o una tableta, pero también una cámara conectada a un ordenador. El dispositivo 16 de captura de vídeo se puede colocar delante del usuario durante la clasificación del sector de cepillado basándose en la cámara de forma que la cámara 16 captura al usuario mientras se cepilla los dientes. Por ejemplo, el teléfono móvil mostrado en la Fig. 2 podría colocarse en un soporte para teléfono móvil de teléfono que está unido al espejo del cuarto de baño. El dispositivo de captura de vídeo también podría estar integrado en el espejo. Podría ser también cualquier otro tipo de dispositivo para llevar puesto que tenga una cámara, p. ej. gafas de datos (p. ej. Google Glass®) o relojes inteligentes. Captura al usuario y proporciona los marcos de imagen que luego se someten a la detección y rastreo de la cara en la etapa 50.

Durante la detección y rastreo de la cara en la etapa 50, los marcos de imagen del dispositivo 16 de captura de vídeo se procesan para localizar la cara del usuario en la imagen. La detección de la cara se puede implementar usando cualquiera de los métodos descritos en, por ejemplo, [3], [4] [5], [6], [9], [10]. La detección de la cara proporciona la región 52 de la cara del usuario 48 en la imagen 46 si la imagen 48 se puede detectar. Si la imagen muestra más de una cara, el detector de cara puede seleccionar la cara más prominente de la imagen 46 por medio de la posición o el tamaño de la cara en la imagen 46. Por ejemplo, la cara mayor en la imagen 46 se podría seleccionar como la cara del usuario. La detección de la cara también podría seleccionar la cara que es más similar a la cara de un usuario almacenada en una base de datos. La cara a identificar y rastrear podría, por ejemplo, enseñarse al analizador 26 en un proceso de configuración. La cara también podría estar caracterizada por sexo, o edad.

La detección de la cara también puede detectar incorrectamente la cara del usuario en la fotografía 46. Las causas del error pueden ser, por ejemplo, mala iluminación u oclusiones de la cara por la mano o el mango de cepillo de dientes durante el cepillado. Cuando la detección de la cara es errónea, frecuentemente la cara se puede seguir rastreando mediante el rastreo de la cara. Por ejemplo, la cara puede rastrearse al encontrar el aspecto de la región 52 de la cara del último marco dentro de un entorno de la ubicación de la cara en el marco actual como se describe en [8], por ejemplo. El rastreo de la cara se puede implementar usando cualquier otro método.

El rastreo de la cara no solo puede usarse para aumentar la solidez, sino también para reducir la potencia de procesamiento o consumo de energía necesarios. Esto puede lograrse aplicando la detección en la cara a marcos de imágenes ocasionales, y tendiendo puentes entre medias aplicando al último el rastreo de la cara. Se hace referencia a [11] a este fin, por ejemplo. El rastreo de la cara es opcional y se puede omitir si la detección de la cara, por ejemplo, ya satisface todos los requisitos.

La localización de los rasgos faciales en la etapa 54 ubica los ojos del usuario en la imagen 46. Esto usa la región 52 de la cara proporcionada por el proceso 50 de detección y seguimiento de la cara y busca los ojos solamente en la región superior de la cara, es decir, la mitad superior de la región 52. Esto reduce el espacio de búsqueda y la potencia de procesamiento necesaria y aumenta la solidez de la ubicación del ojo. La localización de los rasgos faciales se puede implementar utilizando cualquier método para localización de rasgos faciales y en particular puede adoptar los mismos algoritmos que se utilizan para detectar la región de la cara. Así, los algoritmos pueden estar entrenados para detectar el ojo izquierdo y derecho en lugar de toda la cara y se pueden aplicar solamente en un área definida respecto a la región superior de la cara detectada. También se puede utilizar cualquier otro método para localizar rasgos faciales. Por ejemplo, se puede usar un método que ajuste un modelo de forma 2D o 3D sobre la imagen 46, es decir parámetros del modelo de forma 3D 2D de una cara humana se adaptan de manera que la imagen de la misma, p. ej. la proyección, coincide con la imagen real de la cara en la fotografía 46.

A diferencia de la región de la boca, es improbable que la parte de la cara superior esté tapada por la mano del usuario durante el cepillado de los dientes. Por lo tanto, puede soportar el procedimiento descrito de usar rasgos faciales en la región superior de la cara y no en la región de boca. Otra implementación podría no solo ubicar las posiciones de los ojos 56, sino también otros rasgos faciales, por ejemplo, las cejas, la nariz o el contorno de la cara.

Los rasgos faciales frecuentemente permiten una localización más precisa de la cara que la región de la cara proporcionada por la detección y rastreo de la cara en la etapa 50 y una mejor alineación para la clasificación del sector de cepillado. Sin embargo, la localización de los rasgos faciales puede omitirse, alternativamente, si la detección de cara en la etapa 50 ya cumple las necesidades, por ejemplo.

El objetivo de la normalización 58 de la región de la cara consiste en girar, escalar y recortar una región 60 predefinida alrededor de la boca en la fotografía 46. Con este fin, los rasgos faciales 56 obtenidos mediante el proceso 54 de extracción/localización de rasgos faciales se pueden utilizar como puntos de referencia. En otras palabras, el objetivo de la normalización 58 de la región frontal es garantizar que su resultado, es decir, la región 60 de imagen normalizada, siempre muestre la misma parte de la cara y alrededor de la cabeza del usuario que es relevante para clasificar el sector de cepillado. El objetivo es eliminar al menos algunas de las variaciones en el aspecto de la cara del usuario en la imagen producidas por las rotaciones de la cabeza y los movimientos del usuario delante del dispositivo 16 de captura de vídeo. Basándose en los puntos de referencia, la normalización de la región de la cara implica la transformación de la región 60 de la imagen en el marco de imagen normalizada de manera que los rasgos faciales se cartografían a los puntos de referencia que están predefinidos dentro o fuera de la región de imagen normalizada. Puede utilizar solamente las ubicaciones de los ojos 56 como puntos de referencia, así como cualquier otra combinación de puntos de rasgos faciales para calcular la transformación. Además, solo se puede utilizar la región de la cara para la normalización si se omite la localización de los rasgos faciales.

La clasificación 62 del sector de cepillado utiliza la región 60 normalizada de la cara que muestra partes relevantes de la cara del usuario alrededor de la boca o alrededor de la cabeza y, durante el cepillado, habitualmente también partes del cepillo de dientes y la mano del usuario. Esto se ilustra en la Fig. 4. El aspecto de la región 60 normalizada de la cara depende del sector que actualmente se está cepillando, es decir la parte de la cabeza del usuario actualmente tratada. Por ejemplo, la región 60 parece diferente si el usuario cepilla el lado izquierdo o derecho de la dentadura. Lo mismo se mantiene para otros sectores de la dentadura. La clasificación del sector de cepillado se aprovecha de estas diferencias de aspecto para determinar el sector que actualmente se está cepillando. Las características de región 60 normalizada de la imagen se extraen, se clasifican y a continuación se proporciona una puntuación para cada sector de cepillado candidato del conjunto de sectores de cepillado candidatos asociados con la clasificación del sector de cepillado basada en la cámara. La puntuación caracteriza la probabilidad de que el usuario realice el cepillado del sector asociado con la puntuación respectiva.

Cualquier tipo de rasgo puede extraerse y usarse para clasificación: bordes, diferencias de brillo, censo de rasgos o características estructurales o una combinación de los mismos. Se hace referencia a [3], [4], [6], por ejemplo. La clasificación del sector de cepillado implementa uno o más métodos de aprendizaje automático que aprende cómo la región 60 normalizada de la cara aparece típicamente para cada sector de los dientes durante el cepillado mediante la evaluación de los rasgos extraídos. Se puede usar cualquier método de aprendizaje automático para entrenar la clasificación del sector de cepillado, por ejemplo, mediante refuerzo, máquinas de soporte vectorial o redes neuronales.

Por lo general, los métodos de aprendizaje automático requieren datos de entrenamiento anotados para el aprendizaje: aquí, pueden usarse muestras de la región normalizada de la cara con sectores de cepillado conocidos o anotados. Las muestras de entrenamiento se pueden generar grabando diversos usuarios mientras se cepillan los dientes y extrayendo las regiones normalizadas de la cara. Los sectores de cepillado mostrados en las muestras de entrenamiento se pueden determinar manualmente. También puede solicitarse a los usuarios cepillarse los sectores de los dientes en un orden predefinido, como se ilustró ilustrativamente con respecto a la Fig. 3, y el tiempo para permitir la asignación automática de los sectores de cepillado a los datos de entrenamiento.

La dentadura puede dividirse en dos sectores discriminantes, por ejemplo, simplemente entre izquierda y derecha o entre la parte superior e inferior, o en tres sectores, a saber, meramente entre izquierda, derecha y delante, o en cuatro sectores, a saber, los primeros cuatro sectores de la Tabla 2, o en cinco sectores, a saber, los primeros cinco sectores de la Tabla 2, o en seis sectores, a saber, los cinco sectores superiores de la Tabla 2, sin embargo, dividiendo el quinto sector entre la parte delantera de la mandíbula superior y de la mandíbula inferior, respectivamente. También se pueden utilizar cualquier otros sectores de número factible. Además, se puede definir y entrenar una clase definida, a saber, una clase (ninguna) que muestra que el usuario se está cepillando los dientes en forma alguna. Además, se puede entrenar otro clasificador para distinguir si el usuario se está cepillando los dientes con la mano izquierda o con la mano derecha.

Como resultado, la unidad de clasificación del sector de cepillado puede proporcionar el sector actualmente cepillado por el usuario. De forma adicional o alternativa, la clasificación del sector de cepillado basándose en la cámara puede proporcionar una puntuación para cada sector de cepillado que caracteriza la probabilidad de que el usuario esté cepillando actualmente el sector asociado.

Además de las etapas individuales que podrían realizar la clasificación del sector de cepillado basándose en la cámara, como se acaba de describir con respecto a la Fig. 4, puede ser un respaldo del procedimiento descrito estimar la situación de la cabeza del usuario delante de la cámara 16. Existen varias posibilidades para estimar la posición.

En un enfoque para el ajuste del modelo 3D, una cara modelo 3D se ajusta a la imagen 2D 46 de la cara. Por ejemplo, los parámetros de un modelo 3D están adaptados para que su proyección según los parámetros de proyección óptica de la cámara 16 se alineen con el aspecto de la cara del usuario en la fotografía 46. Por ejemplo, se puede usar un algoritmo como se describe en [1]. Debido a los altos requisitos de energía de procesamiento de estos métodos, a menudo se requiere adoptar algoritmos menos precisos pero más rápidos.

Un método bien conocido para estimar la posición 3D a partir de imágenes 2D es POSIT. El algoritmo POSIT se describe en [2], por ejemplo. POSIT requiere un modelo 3D aproximado del objeto, aquí la cara, y conocer los puntos del modelo correspondientes en la imagen 2D. POSIT requiere al menos 4 puntos correspondientes para funcionar. Debido a la posible oclusión de la boca durante el cepillado de los dientes, las esquinas de la boca no pueden, o no deben, utilizarse como puntos de rasgos fiables. Para utilizar el algoritmo POSIT, se pueden encontrar puntos de rasgos adecuados en la mitad superior de la cara. Estos puntos de rasgos se pueden determinar durante la localización 54 de rasgos faciales.

Otra posibilidad para realizar una estimación posterior es determinar la posición de la cabeza teniendo en cuenta solamente la posición y el tamaño de las regiones 56 de los ojos detectadas. Teniendo los parámetros de cámara y la distancia promedio entre los ojos humanos, la traslación en la dirección x, y, y z, así como la rotación alrededor del eje y (la flexión de la cabeza hacia el lado de la oreja) puede calcularse por medio de operaciones matemáticas convencionales, de forma más importante, el teorema de la intersección. La determinación del ángulo de rotación a lo largo del eje z (el giro de la cabeza a izquierda o derecha) puede utilizar las diferencias relativas entre el tamaño detectado para los ojos izquierdo y derecho para estimar el ángulo de rotación. Esto se basa en el hecho de que los ojos tienen diferentes tamaños en la imagen si la cabeza se gira.

Como se ha descrito anteriormente, por detección y rastreo de la cara, la región de la cara del usuario en el marco 46 de la imagen se puede determinar y usar para la clasificación del sector de cepillado basándose en la cámara. Sin embargo, también se puede utilizar la posición y el tamaño de la cabeza del usuario en el marco de imagen, por ejemplo, para comprobar si el usuario está colocado en la posición correcta delante del dispositivo 16 de captura de vídeo. Si es necesario, el sistema puede guiar al usuario nuevamente a la posición correcta del marco de imagen, por ejemplo, hacia el centro de la imagen o más cerca de la cámara 16. En otras palabras, el analizador 26 se puede configurar para supervisar permanente la posición de la cara 48 del usuario en un campo de visión de la cámara 16 y advertir al usuario si hay riesgo de abandonar el campo de visión de la cámara 16 o una región de interés predeterminada del mismo, tal como una cierta región del centro del campo de visión. Por ejemplo, la alarma puede comenzar una vez que el usuario llega cerca del borde izquierdo, derecho, superior o inferior del campo de visión de la cámara 16. De forma adicional o alternativa, la alarma puede comenzar una vez que el usuario está demasiado cerca o lejos de la cámara. De forma adicional o alternativa, el analizador también puede utilizar la región de la cara 48 en la imagen 46 para revisar la iluminación y optimizar la calidad de la imagen. Por ejemplo, se puede pedir al usuario que corrija la iluminación o la configuración de la cámara puede adaptarse dependiendo de las propiedades de la imagen dentro de la región de la cara. Una implementación podría adoptar el método descrito en [7].

Se recuerda que la clasificación del sector de cepillado basada en la cámara no solo se puede aplicar a los dispositivos de cepillado de dientes. De hecho, incluso el ejemplo de la Fig. 4 podría adaptarse también a otros dispositivos higiénicos, tales como clasificar la posición de una afeitadora en la cara o similares.

Después de haber descrito ejemplos para realizar la clasificación del sector de cepillado basándose en la cámara, los siguientes párrafos tratan de las posibilidades de realizar la clasificación del sector de cepillado sobre la base del sensor de inercia.

Según la Fig. 5, las características principales para la clasificación del sector de cepillado basándose en el sensor de inercia son los ángulos de balanceo y de paso calculados. El balanceo y la inclinación se calculan en función de las mediciones de aceleración mediante el sensor 20 de inercia y usando la dirección del vector de gravedad de la tierra como información adicional.

Como se puede ver Fig. 5a, el ángulo de balanceo © puede definirse como la medición de la inclinación actual del cepillo de dientes 12 alrededor de su eje longitudinal, midiendo la inclinación utilizando, por ejemplo el eje vertical 70 como referencia. En la Fig. 5a, el eje vertical 70 se ilustra o denota por un flecha indicada como “ 1g” , simbolizando esta flecha el vector de gravedad de la tierra. Por ejemplo, © = 0 puede definirse como una situación donde las cerdas del cepillo de dientes están orientadas hacia abajo, es decir, apuntando en la dirección del vector de gravedad de la tierra. En la Fig. 5a se ilustra un sistema de coordenadas específico del cepillo de dientes que utiliza un sistema de coordenadas cartesianas de ejes x, y, y z formando el eje y el eje longitudinal del cepillo de dientes 12, la rotación del cepillo de dientes alrededor del mismo se mide por ©, y el eje z apunta en dirección opuesta a la de las cerdas del cepillo de dientes.

La Fig. 5b utiliza la misma nomenclatura para ilustrar cómo se puede definir el ángulo de inclinación O. Es decir, el sistema de coordenadas x, y, y z es un sistema de coordenadas local del cepillo de dientes y el vector “ 1 g” corresponde a un vector que apunta a lo largo de la gravedad de la tierra. El plano horizontal, es decir el plano normal al vector de gravedad de la tierra, es decir un plano paralelo al horizonte, se representa como una línea discontinua en ambas Figs. 5a y 5B. Como puede verse en la Fig. 5b, el ángulo de inclinación O mide la inclinación del cepillo de dientes con respecto al plano horizontal o, hablando de forma alternativa, corresponde a una desviación angular 90° - O desde el eje a lo largo del cual apunta el vector de gravedad de la tierra 1g.

En una fase de entrenamiento mencionada anteriormente con respecto a la Fig. 3, los datos de medición marcados se recopilan, por ejemplo, en los dieciocho sectores de cepillado definidos. Utilizando los datos de entrenamiento, se calculan los ángulos de balanceo e inclinación y el modelo de 18 clases se entrena cartografiando los datos en el plano de balanceo e inclinación y la derivación de los valores característicos de las distribuciones resultantes para cada sector, p. ej. media y varianza. En la Fig. 8 se muestra un gráfico de dispersión ilustrativo. Es el resultado de cartografiar los datos en el plano de balanceo e inclinación. En la Fig. 6, el eje de balanceo corresponde al eje vertical, y el eje de inclinación corresponde al eje horizontal. Además del balanceo y la inclinación, se pueden utilizar otras características para la clasificación del sector basada en datos de medición de aceleración, como valores medios, varianzas, patrones de señal, espectro, etc. [13].

Así, según una realización, el analizador 26 realiza una clasificación del sector de cepillado basándose en los datos de medición de aceleración calculando los ángulos de balanceo e inclinación a partir de los datos de medición de aceleración. Alternativamente, los datos de medición de aceleración ya representan ángulos de balanceo e inclinación. El analizador 26 evalúa los ángulos de balanceo e inclinación basándose en los clasificadores entrenados. Para cada sector candidato, se calcula una probabilidad de que este sector candidato es el sector de cepillado actual. Alternativamente, se pueden utilizar además características adicionales de los datos de medición de aceleración, como valores medios, varianzas, patrones de señal, espectro, etc. [13] para calcular una probabilidad para cada sector.

Con respecto a las Figs. 4 y 5a,b, se han descrito las clasificaciones del sector de cepillado basándose en la cámara y en el sensor de inercia. El analizador 26 puede combinar ambas clasificaciones mediante un enfoque de sensor de fusión. El objetivo de aplicar la fusión de sensor es compensar la debilidad de un sistema con la fortaleza del otro sistema. El proceso de fusión de sensor se visualiza ilustrativamente en la Fig. 7. La forma más simple de fusión de sensor aplicada por el analizador 26 puede ser multiplicar las probabilidades que resultan de cada sector de cepillado a partir de las diferentes clasificaciones que están basadas en los diferentes sensores, es decir, la cámara y el sensor de inercia, respectivamente.

La Fig. 7 ilustra en 80 que el sector actualmente cepillado de la dentadura es el sector con índice 12 de la lista de la Tabla 1, es decir la cara interna del lateral izquierdo de la parte de la mandíbula superior. Como se ha descrito anteriormente, la representación fotográfica y los datos de medición de aceleración se reciben y registran mediante el analizador 26. A continuación se realiza la clasificación por separado en 8, dando como resultado valores de ponderación o probabilidad, concretamente uno por sector candidato del conjunto de sectores candidatos de la clasificación del sector de cepillado basándose en la cámara, estando este conjunto de valores de probabilidad indicados como 84 en la Fig. 7, y una tasa o valor de probabilidad por sector candidato del conjunto de sectores candidatos de la clasificación del sector de cepillado basándose en el sensor de inercia, estando esta último conjunto de datos indicado como 86 en la Fig. 7. Es decir, las clasificaciones del sector se realizan independientemente. La Fig. 7 ilustra el caso en que la clasificación del sector de cepillado basándose en la cámara determina un cepillado en la izquierda y que la clasificación del sensor de cepillado basándose en el sensor de inercia determina un cepillado en las secciones 3, 11 o 12, aplicando la nomenclatura del índice de la Tabla 1. Más allá de esto, entre los tres sectores determinados por la clasificación del sector de cepillado basándose en el sensor de inercia, el sector 3 recibe el valor de probabilidad más alto. Evidentemente, esto no es correcto, como se indica en 80. Sin embargo, por medio de la fusión 88 del sensor, los resultados 84 y las probabilidades 86 se combinan de tal manera que el resultado final de la determinación o el resultado fusionado es una clasificación correcta del sector 12 como se indica en 90.

Para habilitar la fusión de sensores de la clasificación del sector de cepillado basándose en la cámara y la clasificación del sensor de cepillado según el sensor de inercia, se calcularon los histogramas para el valor calculado de puntuación para una alta cantidad de datos de entrenamiento. Los histogramas resultantes se muestran en la Fig. 8 la sexta clase del modelo, es decir, el conjunto de partes candidatas disponibles para la selección después de fusión. La estimación de la densidad de grano se ha realizado basándose en los histogramas para calcular las distribuciones de probabilidad condicional de las matrices de confusión presentadas en la Fig. 8. Las entradas de la matriz se pueden leer de la siguiente manera: Si el sector de cepillado actual y la clase estimada son iguales, entonces se usa la distribución correspondiente de la diagonal de la matriz. Si el sector de cepillado actual y la clase estimada son diferentes, entonces la distribución correspondiente no se basa en la diagonal. La primera fila de la Fig. 8 muestra las distribuciones del sector de cepillado actual “ Sin cepillado” de la clase detectada (de izquierda a derecha): “ Ninguna” , “Arriba a la izquierda” , “Abajo a la izquierda” , “Arriba a la derecha” , “Abajo a la derecha” y “ Delante” .

Los resultados de la estimación se presentan en una forma de matriz como se ha definido en la Fig. 9. Se calcularon las tasas de clase verdaderas para las clases arriba-izquierda, arriba-derecha, abajo-izquierda, abajo-derecha y delante. Las tasas de clasificación independientes del uso de los sensores de inercia (INS) y el uso de la cámara (SHORE) se presentan junto con los resultados de la fusión de sensores (DZM). Para comparación y análisis, adicionalmente, se presentan las tasas de clasificación verdaderas de dos modelos simples: la distinción entre mandíbula superior y mandíbula inferior o distinguir entre lado izquierdo y derecho. Las tasas de clasificación globales de los modelos se muestran en los encabezados de la figura. En la Fig. 10 se presentan los resultados de la estimación global para el modelo de clase SHORE 6. La fusión de sensores mejora las tasas de clasificación de los sistemas individuales.

Así, resumiendo brevemente y generalizando la descripción anterior, se anota lo siguiente. El analizador 26 se puede configurar para someter la presentación de la fotografía procedente de la cámara a un primer análisis de evaluación. Este primer análisis de evaluación se ha denominado clasificaciones del sector de cepillado basándose en la cámara, o SHORE, pero si el dispositivo 12 higiénico no es un cepillo de dientes, esta nomenclatura evidentemente debe adaptarse en consecuencia. El primer análisis de evaluación da como resultado un primer valor de probabilidad para cada parte de la cabeza candidata de un primer conjunto de partes de la cabeza candidatas, indicando cada primer valor de probabilidad lo probable que es que la parte de la cabeza actualmente tratada sea la parte de la cabeza candidata respectiva del primer conjunto al que pertenece el respectivo primer valor de probabilidad. El primer análisis de evaluación se ilustra de nuevo con respecto a la Fig. 11. La Fig. 11 muestra en la parte superior de la misma la representación pictórica 92 que comprende una o más fotografías, cada una asociada con cierto sello de tiempo t. Debe mencionarse que bien cada fotografía capturada por la cámara debería ser sujeto de la primera evaluación o simplemente una fracción de la misma tal como cada segunda imagen. El primer análisis de evaluación, es decir, el basado en la cámara, puede tratar cada fotografía individualmente como se ha descrito anteriormente e ilustrado en la Fig. 11 para producir un conjunto de valores de probabilidad. La tasa de actualización del conjunto de valores de probabilidad, de este modo, coincidiría con la velocidad de los fotografías. Según un enfoque alternativo, una secuencia de fotografías se podría evaluar de forma común para producir un conjunto de valores de probabilidad. Las secuencias así sometidas al primer análisis de evaluación podrían solapar temporalmente o no. El solapamiento podría ser tal que dos secuencias analizadas consecutivamente estén meramente desplazadas una con respecto a la otra en una fotografía de manera que la tasa de actualización del conjunto de valores de probabilidad, de este modo, coincidiría con la velocidad de las fotografías. De forma alternativa, dos secuencias analizadas consecutivamente podrían estar desplazadas una con respecto a la otra de manera que se enlacen temporalmente entre sí sin ningún solapamiento, de modo que la tasa de actualización del conjunto de valores de probabilidad correspondería a la velocidad de las fotografías dividida por el número de fotografías por secuencia.

En la Fig. 11 se representan dos posibilidades para realizar el primer análisis de evaluación. La posibilidad ilustrada en el lado izquierdo corresponde a la Fig. 4: cada fotografía (alternativamente cada secuencia de fotografías) se somete a una extracción 94 de características seguido de un cartografiado 96 de las características resultantes en los valores de probabilidad mencionados anteriormente, a saber, un valor de probabilidad por sector candidato del conjunto 98 de sectores candidatos para el análisis de evaluación basado en la cámara. La extracción 94 de características incluye, por ejemplo, plegar la fotografía según ciertas plantillas de características para obtener un mapa de características a partir de la fotografía respectiva. Este mapa de características se puede cartografiar mediante el cartografiado 96 sobre los valores de probabilidad. El cartografiado 96 puede hacerse mediante una red neural o por algún otro medio, tal como determinar la distancia del mapa de características según alguna medida de distancia procedente de mapas de características representativos, siendo cada uno ellos representativo de un determinado sector candidato desplazado 98. Alternativamente, la respectiva fotografía (o la secuencia de fotografías) analizada actualmente puede someterse a la red neural directamente, proporcionando la red neural 98 un valor de puntuación/probabilidad por sector candidato del conjunto 98 directamente.

La Fig. 11 ya muestra que ambas alternativas para realizar el análisis de evaluación basado en la cámara, es decir, la extracción de características seguida por el cartografiado o alimentación de una red neural directamente, pueden comenzar con la ubicación y extracción de la región de boca. Por ejemplo, de la manera detallada anteriormente con respecto a la Fig. 4, concretamente utilizando las etapas 50, 54 y 58, la región de la boca se puede situar en, y extraerse de, una fotografía de la representación pictórica 92, incluyendo y rodeando la región de la boca del usuario. A continuación, la región de la boca se puede deformar dependiendo de la posición de la cara del usuario en la fotografía para corresponder a una posición predeterminada de la cara del usuario en el campo visual de la cámara. La determinación de la parte de la cabeza actualmente tratada del usuario sobre la base de la región de la boca deformada puede realizarse a continuación bien usando una alternativa que implica las etapas 94 y 96 o mediante el uso de la red neural 98.

La descripción señalada anteriormente reveló que el analizador 26 puede configurarse para, separadamente de aplicar el primer análisis de evaluación de la Fig. 11 sobre la representación pictográfica obtenida por la cámara 16, someter los datos de medición de aceleración del sensor 20 de inercia a un segundo análisis de evaluación. La Fig. 12 muestra nuevamente el análisis de evaluación realizado sobre los datos de medición de aceleración. Los datos de medición de aceleración representados en la Fig. 12 en 100 pueden representar, por ejemplo, una secuencia de conjuntos de parámetros de aceleración lineal y, opcionalmente, rotacional que miden la aceleración del dispositivo 12 higiénico a lo largo de/alrededor de los ejes locales x, y, y z específicos del dispositivo higiénico. La tasa de muestreo, por ejemplo, puede ser igual o diferente de la velocidad de las fotografías de la representación pictórica 92. Mediante la fusión de sensores 102, el analizador 26 puede convertir los valores de aceleración en una representación que comprende el balanceo © y la inclinación O relativa a un sistema de coordenadas global o específico del dispositivo. Así, puede producirse una secuencia de valores para el balanceo © y la inclinación O para una cierta tasa de muestreo. La fusión 102 puede alinear en el tiempo o al menos asociar temporalmente las fotografías de la representación fotográfica 92 y los pares de balanceo e inclinación, respectivamente, de manera que cada fotografía y una parte asociada de la información de balanceo/inclinación forme un artículo de datos por sello de tiempo.

Un cartografiado 104 puede después cartografiar los datos de balanceo/inclinación, es decir, los datos obtenidos por la medición de aceleración, sobre un valor de probabilidad para cada parte candidata del conjunto 106 de partes candidatas usadas para el análisis de evaluación basado en el sensor de inercia. El análisis de evaluación basado en el sensor de inercia se ha indicado anteriormente como una clasificación del sector de cepillado basada en el sensor de inercia o INS.

Debe observarse que el cartografiado 104 puede no aplicarse sobre un solo par de valores de balanceo e inclinación y posteriormente repetirse para cada par de muestras de balanceo/inclinación posteriores que describan una posición instantánea respectiva del cepillo de dientes. En este caso, a saber, para cada conjunto 98 de valores de probabilidad obtenidos mediante el primer análisis de evaluación, se determinaría un conjunto 106 de valores de probabilidad mediante el segundo análisis de evaluación determinado únicamente a partir de una muestra de balanceo e inclinación en un instante de tiempo cercano o en el sello temporal de la fotografía o secuencia de fotografías para la que se ha determinado el conjunto 98. Alternativamente, el cartografiado 104 puede realizarse para cada secuencia temporal de valores de balanceo/inclinación. Las secuencias se determinan temporalmente por sincronización con las fotografías de la representación pictórica, por ejemplo, es decir, de manera que en cada tiempo solapa con el sello de tiempo de una fotografía o secuencia de fotografías respectiva para la cual se realiza el primer análisis de evaluación.

De manera importante, las muestras instantáneas de las secuencias de valores de balanceo/inclinación, es decir, los intervalos temporales de balanceo/inclinación, en las unidades en las que puede realizar el cartografiado 104, se colocan temporalmente independientemente, es decir independientemente de, un contenido de la representación pictórica, p. ej. independientemente de si el usuario acaba de iniciar el cepillado de los dientes o no. Además, cartografiados 104 consecutivos aplicados a muestras consecutivas de balanceo/inclinación o intervalos temporales se realizan de manera mutuamente independiente ya que no necesitan “ rastrear” localmente una trayectoria a lo largo de la cual el cepillo de dientes se mueve en la boca. En su lugar, cada muestra instantánea de balanceo/inclinación se cartografía sobre el conjunto 106 de valores de probabilidad individualmente o cada secuencia temporal de valores de balanceo/inclinación se cartografían 104 sobre los valores de probabilidad para el conjunto 106 mediante el reconocimiento de ciertos patrones característicos asociados con las secciones del conjunto 106, independientemente de cualquier otra secuencia de valores de balanceo/inclinación.

El cartografiado 104 puede usar una red neural o algún otro método estadístico, tal como una técnica de agrupación o similares, es decir, puede realizarse como el cartografiado 96.

Análogamente a la descripción relativa a la Fig. 11, alternativamente, los datos 100 de medición de aceleración pueden someterse a una red neural 106 directamente, es decir, sin fusión 102.

Como se ilustra en las Figs. 11 y 12, los conjuntos de porciones candidatas 98 y 106 para el análisis de evaluación basado en la cámara y en el sensor de inercia pueden ser diferentes entre sí. Es decir, pueden representar diferentes repartos de una misma parte interesante de la cabeza del usuario, es decir, ilustrativamente en este punto, la dentadura. Sin embargo, alternativamente, los conjuntos son el mismo. Al multiplicar o combinar de cualquier otra forma los valores de probabilidad relativos a las partes candidatas colocalizadas del conjunto final de partes candidatas a partir de las cuales se puede seleccionar finalmente la parte de la cabeza actualmente tratada mediante el analizador 26, el analizador 26 puede fusionar/combinar los resultados de ambos análisis de evaluación, logrando así el efecto descrito anteriormente de compensar las debilidades de las fuentes individuales para determinar la parte de la cabeza actualmente tratada.

Por lo tanto, al realizar el primer y el segundo análisis de evaluación de la Fig. 11 y 12, así como la fusión/combinación de datos para cada elemento de datos alineados en el tiempo, es decir, la fotografía y el par de balanceo/inclinación asociado o la secuencia de pares de balanceo/inclinación, el analizador 26 actualiza continuamente la determinación de la parte actualmente tratada de manera que el módulo 30 de registro puede registrar, para cada parte de la cabeza candidata del conjunto final de partes de la cabeza candidatas, es decir, el conjunto relevante después de la fusión de datos, una medida temporal de durante cuánto tiempo se ha determinado que la parte de la cabeza candidata respectiva es la parte de la cabeza actualmente tratada. Además, el visualizador puede actualizar la visualización de la parte de la cabeza actualmente tratada y/o la visualización de las partes de la cabeza candidatas que necesitan más tratamiento o para actualizar la visualización de durante cuánto tiempo se ha tratado la parte de la cabeza candidata respectiva.

Debe observarse que el analizador 26, tal como la red neural del analizador, de existir, se puede enseñar en el campo. Es decir, el analizador 26 podría enseñarse localmente dentro del dispositivo del consumidor para optimizar el reconocimiento de su cara individual. Esto podría mejorar, por ejemplo, la solidez del seguimiento de la cara y la determinación de la posición. En un proceso de configuración, el usuario podría llevarse a través de un proceso de enseñanza similar a aquel con el que el sistema fue originalmente entrenado en los laboratorios antes del envío. El usuario ejecutaría el ciclo de aprendizaje en el hogar en su ambiente. El sistema aprende las características de la cara del usuario, su cuarto de baño, su cepillo de dientes e incluso su estilo de cepillado individual. El analizador se podría modificar después de forma local o en un servidor. La modificación podría hacerse simplemente para el usuario solamente, o parte o todos los datos de aprendizaje se podrían usar para mejorar la base de datos global. La base de datos global podría estar ubicada en un servidor desde donde cada analizador 26 utilizado por los usuarios descarga el software más moderno del analizador.

Por lo tanto, la descripción anterior reveló que los valores de las puntuaciones de salida de vídeo/cámara se pueden procesar para calcular las distribuciones de probabilidad de las clases definidas en una matriz de confusión y que estas distribuciones pueden usarse para la fusión de sensores. Los datos de entrenamiento pueden usarse para entrenar la clasificación basada en la cámara y el sensor de aceleración. Los resultados de clasificación se obtienen utilizando el sensor de inercia y la cámara y están sujetos a la fusión de sensores. Las realizaciones descritas anteriormente no necesitan ninguna posición de partida adicional para el cepillo de dientes. Es decir, el usuario no se ve obligado a iniciar el cepillado en un diente definido, ni tampoco se requiere la entrada de ninguna información para determinar automáticamente la parte actualmente tratada. La clasificación del sector de cepillado anteriormente descrita es, en lo que respecta a la parte basada en el sensor de inercia, aplicable en cualquier momento y no necesita rastrear la posición del dispositivo higiénico de manera continua en el caso de la navegación inercial. No son necesarios límites de integración. En su lugar, es posible utilizar la clasificación del sector para calcular la probabilidad de cada sector usando los datos de vista instantánea y los datos de vídeo al evaluar las mediciones reales con los clasificadores entrenados.

Además, no se aplican restricciones para el cepillado de dientes. El usuario puede cepillar sus dientes según prefiera y esté acostumbrado. Lo mismo se aplica en el caso de cualquier otro dispositivo higiénico. Esto se logra mediante la posible clasificación de vistas instantáneas.

Además, utilizando solamente los datos inerciales recogidos con un sensor del dispositivo higiénico, se puede calcular una clasificación rápida de la parte actualmente tratada con la clasificación del sensor de inercia. Esta clasificación se puede mejorar a continuación mediante fusión de sensores con la clasificación basada en la cámara. De la misma manera, es posible una clasificación rápida utilizando solamente la clasificación basada en la cámara, y mejorar esta clasificación mediante la clasificación del sensor de inercia, a su vez.

Debe observarse que la inclusión de otros sensores, tales como sensores de campo magnético (brújula) y sensores de velocidad angular pueden mejorar las realizaciones anteriormente mencionadas. El cálculo de la orientación (ángulos) del cepillo de dientes eléctrico puede mejorarse a continuación y se pueden agregar otras características como el ángulo azimutal para su uso de la misma forma que se ha hecho con los datos de aceleración. Mediante el uso de relaciones angulares adicionales, un filtro de altura, como uno basado en el filtro Kalman, se puede usar para estimar la altitud tridimensional del dispositivo higiénico respecto del sistema de coordenadas inerciales de la Tierra.

Aunque algunos aspectos se han descrito en el contexto de un aparato, es evidente que estos aspectos también representan una descripción del método correspondiente, en donde un bloque o dispositivo corresponde a una etapa del método o una característica de una etapa del método. Análogamente, los aspectos descritos en el contexto de una etapa del método también representan una descripción de un bloque o elemento o característica correspondiente de un aparato correspondiente. Algunas o todas las etapas del método pueden ejecutarse en (o usando) un aparato de hardware, como por ejemplo, un microprocesador, un ordenador programable o un circuito electrónico. En algunas realizaciones, una o más de las etapas del método más importantes pueden ejecutarse en un aparato de este tipo.

Dependiendo de ciertos requisitos de implementación, las realizaciones de la invención pueden implementarse como hardware o software. La implementación puede realizarse utilizando un medio de almacenamiento digital, por ejemplo, un disco flexible, un DVD, un Blu-Ray, un CD, una ROM, una PROM, una RAM, una EPROM, una EEPRo M o una memoria FLASH que tienen señales de control electrónicamente legible almacenadas en las mismas, que cooperan (o pueden cooperar) con un sistema informático programable para realizar el método respectivo. Por lo tanto, el medio de almacenamiento digital puede ser legible por ordenador.

Algunas realizaciones según la invención comprenden un soporte de datos que tienen señales de control electrónicamente legibles, que pueden cooperar con un sistema informático programable, de forma que se realiza uno de los métodos descritos en la presente descripción.

Generalmente, las realizaciones de la presente invención se pueden implementar como un producto de programa informático con un código de programación, siendo el código de programación operativo para realizar uno de los métodos cuando el producto de programa informático se ejecuta en un equipo. El código de programación puede almacenarse, por ejemplo, en un soporte legible automáticamente.

Otras realizaciones comprenden el programa informático para realizar uno de los métodos descritos en la presente descripción, almacenado en un soporte legible automáticamente.

En otras palabras, una realización del método de la invención es, por lo tanto, un programa informático que tiene un código de programación para realizar uno de los métodos descritos en la presente descripción, cuando el programa informático se ejecuta en un ordenador.

Una realización adicional de los métodos de la invención es, por lo tanto, un soporte de datos (o un medio de almacenamiento digital, o un medio legible por ordenador) que comprende, registrado en el mismo, el programa informático para realizar uno de los métodos descritos en la presente descripción. El soporte de datos, el medio de almacenamiento digital o el medio grabado son, por lo general, tangibles y/o no transitorios.

Una realización adicional del método de la invención es, por lo tanto, una corriente de datos o una secuencia de señales que representan el programa informático para realizar uno de los métodos descritos en la presente descripción. La corriente de datos o la secuencia de señales pueden configurarse, por ejemplo, para su transferencia a través de una conexión de comunicación de datos, por ejemplo, a través de Internet.

Una realización adicional comprende un medio de procesamiento, por ejemplo un ordenador, o un dispositivo lógico programable, configurado o adaptado para realizar uno de los métodos descritos en la presente descripción.

Una realización adicional comprende un ordenador que tiene instalado en el mismo el programa informático para realizar uno de los métodos descritos en la presente.

Una realización adicional según la invención comprende un aparato o sistema configurado para transferir (por ejemplo, electrónica u ópticamente) un programa informático para realizar uno de los métodos descritos en la presente descripción a un receptor. El receptor puede ser, por ejemplo, un ordenador, un dispositivo móvil, un dispositivo de memoria o similares. El aparato o sistema puede comprender, por ejemplo, un servidor de archivos para transferir el programa informático al receptor.

En algunas realizaciones, puede usarse un dispositivo lógico programable (por ejemplo, una matriz de puertas lógicas programable en campo) para realizar parte o todas las funcionalidades de los métodos descritos en la presente descripción. En algunas realizaciones, una matriz de puertas lógicas programable en campo puede cooperar con un microprocesador para realizar uno de los métodos descritos en la presente descripción. En general, los métodos pueden llevarse a cabo por cualquier aparato de hardware.

El aparato descrito en la presente descripción puede implementarse usando un aparato de hardware, o usando un ordenador, o utilizando una combinación de un aparato de hardware y un ordenador.

Los métodos descritos en la presente descripción se pueden realizar usando un aparato de hardware, o usando un ordenador, o utilizando una combinación de un aparato de hardware y un ordenador.

No debe entenderse que las dimensiones y los valores descritos en la presente memoria estén estrictamente limitados a los valores numéricos exactos mencionados. En vez de eso, a menos que se especifique lo contrario, se pretende que cada una de tales dimensiones signifique tanto el valor mencionado como un intervalo funcionalmente equivalente en torno a ese valor. Por ejemplo, se pretende que una dimensión descrita como “40 mm” signifique “ aproximadamente 40 mm” .

Las realizaciones anteriormente descritas son meramente ilustrativas de los principios de la presente invención. Se entiende que las modificaciones y variaciones de las disposiciones y los detalles descritos en la presente descripción serán evidentes para otros expertos en la técnica. Por lo tanto, el propósito está limitado solamente por el alcance de las reivindicaciones de patentes próximas y no por los detalles específicos presentados en forma de descripción y explicación de las realizaciones de la presente descripción.

Referencias bibliográficas

[1] J. Saragih, S. Lucey and J. Cohn, “ Deformable Model Fitting by Regularized Landmark Mean-Shifts” , International Journal of Computer Vision (IJCV), 2010.

[2] DeMenthon, D. & Davis, L. Sandini, G. (Ed.) “ Model-based object pose in 25 lines of code,” Computer Vision<e>C<c>V'92, Springer Berlin Heidelberg, 1992, pp. 335-343

[3] Christian Kueblbeck and Andreas Ernst: “ Face detection and tracking in video sequences using the modified census transformation” , Journal on Image and Vision Computing, vol. 24, issue 6, pp. 564-572, 2006, ISSN 0262-8856

[4] Christian Kueblbeck and Andreas Ernst: “ Fast face detection and species classification of African great apes” , AVSS 2011, IEEE 8th International Conference on Advanced Video and Signal-based Surveillance, Klagenfurt, 2011.

[5] US 6,519,579; Reliable identification with preselection and rejection class, P. Plankensteiner and U. Dieckmann.

[6] US8320682 B2; Evaluation of edge direction information, Bernhard Froeba and Christian Kueblbeck.

[7] EP1593001 B1; Adjustment of an image recorder with dynamic measuring fields, Christian Kueblbeck and Bernhard Froeba.

[8] EP2406697 A1; Verfahren und System zum Erkennen eines Objektes, und Verfahren und System zum Erzeugen einer Markierung in einer Bildschirmdarstellung mittels eines berührungslos Gestik-gesteuerten Bildschirmzeigers, Thomas Wittenberg and Christian MÜNZENMAYER and Christian KÜBLBECK and Andreas Ernst.

[9] DE102009048117 A1; Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild, Andreas Ernst and Christian KÜBLBECK and Tobias Ruf.

[10] DE102009048118 A1; Verfahren und Vorrichtung zum Verwalten von Objektansichtsdaten in einer Objektdatenbank, Andreas Ernst and Christian KÜBLBECK and Tobias Ruf.

[11] EP13178529.7; patente pendiente 2013/07/30, apparatus and method for resource-adaptive object detection and tracking, Anton Papst and Andreas Ernst and Tobias Ruf and Jens Garbas.

[12] Bocksch, Marcus; Seitz, Jochen; Jahn, Jasper: Pedestrian Activity Classification to Improve Human Tracking and Localization. En: Proceedings of the 4th International Conference on Indoor Positioning and Indoor Navigation (IPIN), Montbeliard, France, 2013, S. 667-671

[13] US 8.744.192 B2

Claims

REIVINDICACIONES

i. Un aparato para determinar una parte del cuerpo de un usuario tratada por el usuario utilizando un dispositivo (12) de higiene personal, que comprende

una cámara (16) configurada para capturar al usuario para obtener una representación pictórica del usuario mientras se trata la parte del cuerpo utilizando el dispositivo (12) de higiene personal, estando la cámara configurada para capturar una escena que muestra la cara del usuario con el usuario actualmente tratando una cierta parte de la cabeza usando el dispositivo (12) de higiene personal;

una interconexión (18) configurada para recibir datos del sensor de al menos un sensor (20) de inercia incluido en el dispositivo (12) de higiene personal; y

un analizador (26) configurado para analizar y combinar la representación pictórica y los datos del sensor para determinar la parte del cuerpo, en donde el analizador (26) está dispuesto para determinar primero por separado la parte del cuerpo tratada sobre la base de la representación pictórica por una parte y del sensor de inercia por la otra y después combinar ambas determinaciones para determinar finalmente la parte del cuerpo tratada.
2. El aparato según la reivindicación 1, en donde el analizador (26) está configurado para realizar la determinación seleccionando la parte del cuerpo de un conjunto predeterminado de partes de cuerpo candidatas.
3. El aparato según la reivindicación 2, en donde el conjunto de partes del cuerpo candidatas comprende al menos:

una primera parte de la cabeza candidata que se encuentra a la izquierda del usuario;

una segunda parte de la cabeza candidata que se encuentra a la izquierda del usuario, pero que está desplazada respecto de la primera parte de la cabeza candidata a lo largo del eje vertical del usuario;

una tercera parte de la cabeza candidata que se encuentra a la derecha del usuario; una cuarta parte de la cabeza candidata que se encuentra a la derecha del usuario, pero que está desplazada respecto de la tercera parte de la cabeza candidata a lo largo del eje vertical del usuario.
4. El aparato según la reivindicación 2, en donde el dispositivo (12) de higiene personal es un cepillo de dientes y el conjunto de partes de cuerpo candidatas al menos comprende

una parte lateral izquierda de la mandíbula superior de dentadura del usuario,

una parte lateral izquierda de la mandíbula inferior de dentadura del usuario,

una parte lateral derecha de la mandíbula superior de dentadura del usuario, y

una parte lateral derecha de la mandíbula inferior de dentadura del usuario.
5. El aparato según una cualquiera de las reivindicaciones 1 a 4, en donde la representación pictográfica comprende una o más fotografías, y el analizador está configurado para asociar una parte alineada en el tiempo de los datos del sensor a cada una de la una o más fotografías para obtener una mezcla de datos pictóricos/de aceleración alineados en el tiempo y determinar la parte de cuerpo tratada basándose en la mezcla de datos pictóricos/de aceleración alineados en el tiempo.
6. El aparato según una cualquiera de las reivindicaciones 1 a 5, en donde el analizador (26) está configurado para

someter la representación pictográfica del sujeto a un primer análisis de evaluación para obtener un primer valor de probabilidad para cada uno de un primer conjunto de partes del cuerpo candidatas que indique cómo es de probable que la parte del cuerpo sea la parte de cuerpo candidata respectiva del primer conjunto de partes del cuerpo candidatas,

someter los datos del sensor a un segundo análisis de evaluación para obtener un segundo valor de probabilidad para cada parte del cuerpo candidata de un segundo conjunto de partes del cuerpo candidatas que indique cómo es de probable que la parte del cuerpo sea la parte de cuerpo candidata respectiva del segundo conjunto de partes del cuerpo candidatas, y

seleccionar la parte de cuerpo entre un tercer conjunto de partes del cuerpo candidatas sobre la base de los primeros valores de probabilidad y de los segundos valores de probabilidad, en donde el primer, segundo y tercer conjuntos de partes del cuerpo candidatas representan una partición idéntica, o particiones diferentes de una parte de una cabeza humana.
7. El aparato según una cualquiera de las reivindicaciones 1 a 6, en donde la parte del cuerpo es una parte de la cabeza y el analizador (26) está configurado para

ubicar en una fotografía de la representación pictográfica, y extraer de la fotografía, una región de la boca, incluyendo y rodeando la región de la boca del usuario, y deformar (58) la región de la boca dependiendo de la posición de la cara del usuario en la fotografía para corresponder a una posición predeterminada de la cara del usuario, y

determinar (94; 96; 98) la parte del cuerpo sobre la base de la región de la boca deformada.
8. El aparato según una cualquiera de las reivindicaciones 1 a 7, en donde el analizador (26) está configurado para calcular un balanceo e inclinación del dispositivo de higiene personal sobre la base de los datos del sensor, y determinar la parte del cuerpo sobre la base del balanceo e inclinación.
9. El aparato según una cualquiera de las reivindicaciones 1 a 8, en donde la representación pictórica comprende una secuencia de imágenes cada una de ellas asociada a un sello temporal predeterminado y el analizador está configurado para asociar una parte de los datos del sensor alineados en el tiempo con cada una de las secuencias de fotografías para obtener una secuencia mixta de elementos de datos fotográficos/aceleración alineados en el tiempo que tienen un elemento de datos fotográficos/aceleración alineado en el tiempo por sello temporal y actualizar una determinación de la parte del cuerpo para cada elemento de datos fotográficos/aceleración alineados en el tiempo.
10. El aparato según una cualquiera de las reivindicaciones anteriores, en donde el analizador (26) está configurado para supervisar continuamente la posición del usuario en un campo de visión de la cámara y para advertir al usuario si hay riesgo de abandonar el campo de visión de la cámara o una región predeterminada de interés de la misma.
11. El aparato según una cualquiera de las reivindicaciones anteriores, que comprende además un visualizador (28) configurado para presentar al usuario la parte del cuerpo actualmente tratada.
12. El aparato según una cualquiera de las reivindicaciones anteriores, que comprende además

un módulo de registro (30) configurado para registrar, para cada parte del cuerpo candidata de un conjunto de partes del cuerpo candidatas, una medida temporal de cuánto tiempo la respectiva parte del cuerpo candidata se ha considerado como la parte del cuerpo mediante el analizador, y un visualizador (28) configurado para presentar al usuario, para cada parte del cuerpo candidata, la medida temporal o una medida de la demanda de tratamiento restante para la respectiva parte del cuerpo candidata determinada basándose en la medida temporal.
13. Un sistema que comprende

un aparato (10) según cualquiera de las reivindicaciones anteriores y

el dispositivo de higiene personal (12).
14. Un método para determinar una parte del cuerpo de un usuario tratada por el usuario utilizando un dispositivo de higiene personal, que comprende

capturar al usuario para obtener una representación pictórica del usuario mientras se trata la parte del cuerpo utilizando el dispositivo de higiene personal, mostrando la representación pictórica la cara del usuario con el usuario tratando actualmente una cierta parte de la cabeza usando el dispositivo de higiene personal;

recibir datos del sensor de al menos un sensor de inercia incluido en el dispositivo de higiene personal; y

analizar y combinar la representación pictórica y los datos del sensor para determinar la parte del cuerpo, en donde la etapa de analizar comprende primero por separado determinar la parte del cuerpo tratada sobre la base de la representación pictórica por una parte y los datos del sensor de inercia por la otra, y después combinar ambas determinaciones para determinar finalmente la parte del cuerpo tratada.
15. Un programa informático para realizar, cuando se ejecuta en un aparato según una cualquiera de las reivindicaciones 1 a 13, el método de la reivindicación 14.