ES2903076T3 - Controlador ponible en la muñeca - Google Patents

Controlador ponible en la muñeca Download PDF

Info

Publication number
ES2903076T3
ES2903076T3 ES17706700T ES17706700T ES2903076T3 ES 2903076 T3 ES2903076 T3 ES 2903076T3 ES 17706700 T ES17706700 T ES 17706700T ES 17706700 T ES17706700 T ES 17706700T ES 2903076 T3 ES2903076 T3 ES 2903076T3
Authority
ES
Spain
Prior art keywords
wrist
sensor
piezoelectric sensors
user
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17706700T
Other languages
English (en)
Inventor
Alfredo Belfiori
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flicktek Ltd
Original Assignee
Flicktek Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flicktek Ltd filed Critical Flicktek Ltd
Application granted granted Critical
Publication of ES2903076T3 publication Critical patent/ES2903076T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4523Tendons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3287Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0252Load cells
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/16Details of sensor housings or probes; Details of structural supports for sensors
    • A61B2562/166Details of sensor housings or probes; Details of structural supports for sensors the sensor is mounted on a specially adapted printed circuit board
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107Measuring contraction of parts of the body, e.g. organ, muscle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • G06F2218/10Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Un sensor que se lleva puesto en la muñeca para medir las fuerzas de los tendones de la muñeca correspondientes a movimientos específicos de los dedos que comprende: uno o más sensores piezoeléctricos (501, 502, 503, 504), en el que el uno o más sensores piezoeléctricos están configurados para emitir corrientes eléctricas generadas tras la presión de los tendones de la muñeca en el uno o más sensores piezoeléctricos; un miembro de soporte (4000) configurado para soportar el uno o más sensores piezoeléctricos en el miembro de soporte, en el que el miembro de soporte comprende una o más ranuras de montaje (4005) configuradas para recibir y soportar el uno o más sensores piezoeléctricos, estando la una o más ranuras dispuestas para soportar el uno o más sensores piezoeléctricos en un ángulo con respecto a una superficie (4002) del miembro de soporte de modo que, durante el uso, la punta del sensor piezoeléctrico o de cada uno de los sensores piezoeléctricos es adyacente a la muñeca de un usuario; y un módulo de procesamiento configurado para convertir en señales una corriente eléctrica generada por el uno o más sensores piezoeléctricos tras una presión de los tendones de la muñeca y para procesar las señales para la identificación de uno o más movimientos específicos de los dedos.

Description

DESCRIPCIÓN
Controlador ponible en la muñeca
ANTECEDENTES
Campo técnico
[0001] La presente descripción se refiere al campo de los dispositivos ponibles, el controlador biométrico y las interfaces y la ingeniería biomédica. Más específicamente, esta descripción hace referencia a un sensor que se lleva puesto en la muñeca que tiene un miembro de soporte para soportar uno o más sensores piezoeléctricos. Según un aspecto de la descripción, se describe un controlador, colocado alrededor de la muñeca, capaz de leer los movimientos de los dedos. La descripción también hace referencia a un procedimiento para enviar comandos a uno o más dispositivos informáticos por medio de un dispositivo ponible.
Descripción de la técnica relacionada
[0002] La tecnología que se ha utilizado como interfaz entre el ser humano y la máquina se había enfrentado hasta ahora a dos grandes revoluciones. Inicialmente, las grandes empresas electrónicas producían interfaces basadas en el uso de botones, tales como paneles de control, teclados y ratón. Esta tecnología fue reemplazada más tarde por la pantalla táctil, una solución innovadora que no requiere botones físicos, pero que responde al contacto de una parte del cuerpo tal como la yema del dedo. El siguiente paso en la evolución de la interfaz humano-máquina será la eliminación del contacto físico entre el usuario y el dispositivo controlado. Esto se logrará utilizando las señales corporales biométricas, tales como los fenómenos eléctricos, mecánicos o vibratorios relacionados con las contracciones musculares, para controlar cualquier dispositivo electrónico. El documento WO 2015/033327A1 describe una interfaz humano-ordenador que incluye un sensor que se lleva puesto en la muñeca.
RESUMEN
[0003] Esta descripción hace referencia a una interfaz humano-ordenador (HCI, por sus siglas en inglés) capaz de detectar e interpretar gestos con los dedos y enviar la información a cualquier dispositivo electrónico, particularmente un dispositivo informático. Más específicamente, la descripción se refiere a un controlador que consiste en una matriz de sensores piezoeléctricos en voladizo para detectar movimientos de los tendones en la muñeca correspondientes a gestos específicos con los dedos.
[0004] En las reivindicaciones adjuntas, se exponen aspectos y realizaciones de la presente invención. Estos y otros aspectos y realizaciones de la invención también se describen en esta invención.
[0005] La descripción enseña un sensor que se lleva puesto en la muñeca para medir las fuerzas de los tendones de la muñeca correspondientes a movimientos específicos de los dedos que incluye una matriz de sensores piezoeléctricos en voladizo donde los sensores piezoeléctricos emiten corrientes eléctricas generadas tras una presión de los tendones de la muñeca en la punta de los sensores piezoeléctricos, un módulo de procesamiento configurado para convertir las corrientes eléctricas en señales y procesar las señales para la identificación de uno o más movimientos específicos de los dedos, y una PCB flexible que conecta los sensores piezoeléctricos al módulo de procesamiento.
[0006] En un aspecto de la invención reivindicada, se proporciona un sensor que se lleva puesto en la muñeca para medir las fuerzas de los tendones de la muñeca correspondientes a movimientos específicos de los dedos que comprende: uno o más sensores piezoeléctricos, en el que el uno o más sensores piezoeléctricos emiten corrientes eléctricas generadas tras una presión de los tendones de la muñeca en el uno o más sensores piezoeléctricos; un miembro de soporte para soportar el uno o más sensores piezoeléctricos, en el que el miembro de soporte comprende una o más ranuras de montaje para el uno o más sensores piezoeléctricos, estando la una o más ranuras dispuestas para soportar el uno o más sensores piezoeléctricos en un ángulo con respecto a una superficie del miembro de soporte de modo que, durante el uso, la punta del sensor piezoeléctrico o cada uno de los sensores piezoeléctricos es adyacente a la muñeca de un usuario; y un módulo de procesamiento configurado para convertir en señales las corrientes eléctricas generadas tras una presión de los tendones de la muñeca y para procesar las señales para la identificación de uno o más movimientos específicos de los dedos.
[0007] Preferentemente, el uno o más sensores piezoeléctricos son sensores piezoeléctricos en voladizo, y el uno o más sensores piezoeléctricos preferentemente emiten corrientes eléctricas generadas tras una presión de los tendones de la muñeca en la punta del uno o más sensores piezoeléctricos. Se puede proporcionar una pluralidad de sensores piezoeléctricos dispuestos en una matriz. La matriz puede ser una matriz lineal. Los sensores piezoeléctricos están preferentemente separados en sus puntas por menos de 8 mm, más preferentemente por menos de 5 mm, y aún más preferentemente por menos de 2 mm. Los sensores piezoeléctricos se disponen preferentemente para superponerse parcialmente de modo que sus áreas de sensor se superpongan. En un aspecto de la descripción, la matriz de sensores piezoeléctricos está configurada para tener una resolución espacial de menos de 2 mm. En aún otro aspecto, los sensores en voladizo están configurados en una matriz lineal. En todavía otro aspecto, la matriz lineal comprende cuatro sensores piezoeléctricos con áreas de sensor parcialmente superpuestas. En aún otro aspecto, la matriz de sensores piezoeléctricos en voladizo se coloca proximalmente a un tendón del flexor cubital del carpo, tendón del flexor profundo de los dedos de la mano y tendón del flexor superficial de los dedos de la mano de un usuario. En otro aspecto de la descripción, la matriz de sensores piezoeléctricos en voladizo está configurada para capturar de manera óptima la tensión aplicada a cada tendón en la muñeca. En una realización de la descripción, los sensores se colocan en un ángulo superior a 10 grados con respecto a la PCB flexible.
[0008] En otro aspecto, los sensores piezoeléctricos están integrados en un material elastomérico. En un aspecto preferido, el material elastomérico se selecciona de la lista que consiste en caucho de silicona, espuma polimérica y elastómero polimérico. En un aspecto de la descripción, el material elastomérico filtra las señales de alta frecuencia y baja amplitud.
[0009] Preferentemente, el uno o más sensores piezoeléctricos pueden estar integrados en el miembro de soporte. El miembro de soporte puede estar formado por un material elastomérico. La una o más ranuras están dispuestas para soportar el uno o más sensores piezoeléctricos en un ángulo con respecto a una superficie del miembro de soporte de modo que preferentemente el ángulo está entre 5 grados y 45 grados, más preferentemente entre 5 grados y 20 grados, aún más preferentemente entre 8 grados y 12 grados, y lo más preferentemente 10 grados. Preferentemente, las ranuras terminan en una serie de hendiduras en una superficie del miembro de soporte, estando las hendiduras próximas a la muñeca de un usuario durante el uso de modo que las puntas de los sensores se colocan en dichas hendiduras. La una o más ranuras pueden extenderse a través del miembro de soporte. El miembro de soporte puede comprender uno o más cortes, que pueden extenderse en una o más ranuras, preferentemente en una ubicación cercana a un extremo de las ranuras. El uno o más cortes pueden proporcionarse en un lado opuesto del miembro de soporte a la muñeca de un usuario durante el uso, o alternativamente pueden proporcionarse en un lado del miembro de soporte cerca de la muñeca de un usuario durante el uso. Cada ranura puede comprender un rebaje para soportar un sensor piezoeléctrico. El miembro de soporte se forma preferentemente a partir de una porción superior y una porción inferior, en el que la una o más ranuras se forman cuando la porción superior se acopla con la porción inferior. Las porciones superior e inferior comprenden preferentemente una pluralidad de escalones en ángulo dispuestos para formar las ranuras cuando las porciones superior e inferior están alineadas entre sí. La porción superior puede estar conectada de forma giratoria a la porción inferior.
[0010] El uno o más sensores piezoeléctricos pueden disponerse de manera que, durante el uso, el uno o más sensores piezoeléctricos están próximos a uno o más de un tendón del flexor cubital del carpo, tendón del flexor profundo de los dedos de la mano y tendón del flexor superficial de los dedos de la mano de un usuario. El uno o más sensores piezoeléctricos pueden disponerse además de manera que, durante el uso, los sensores piezoeléctricos capturan sustancialmente la tensión aplicada a cualquiera o todos los tendones de la muñeca de un usuario. Preferentemente, el sensor comprende además una pCb flexible que conecta la matriz de sensores piezoeléctricos en voladizo al módulo de procesamiento.
[0011] En otro aspecto de la invención reivindicada, se proporciona un aparato que comprende el sensor que se lleva puesto en la muñeca como se describe en esta invención y un módulo controlador. El aparato puede comunicarse de forma inalámbrica con uno o más dispositivos informáticos. El aparato puede comprender además un botón para conmutar el dispositivo de un modo de suspensión y ahorro de energía a un modo de adquisición activa, en el que el botón puede estar dispuesto de modo que, durante el uso, el botón está en contacto con la muñeca de un usuario para ser activado por el usuario al flexionar la muñeca. El módulo controlador puede configurarse para provocar que uno o más dispositivos informáticos ejecuten automáticamente uno o más comandos específicos tras la identificación de uno o más de los movimientos específicos de los dedos.
[0012] En otro aspecto, se proporciona una pulsera que comprende el sensor que se lleva puesto en la muñeca como se describe en esta invención o el aparato como se describe en esta invención. En otro aspecto, se proporciona un reloj que comprende el sensor que se lleva puesto en la muñeca como se describe en esta invención o el aparato como se describe en esta invención.
[0013] En una realización de la interfaz humano-ordenador, un módulo controlador está configurado para provocar que uno o más dispositivos informáticos ejecuten automáticamente uno o más comandos específicos tras la identificación de uno o más de los movimientos específicos de los dedos. En otra realización, la interfaz de ordenador se comunica de forma inalámbrica con uno o más dispositivos informáticos. En aún otra realización, la interfaz humanoordenador incluye un botón colocado en contacto con la muñeca de un usuario para ser activado por el usuario al flexionar la muñeca y provoca la activación del dispositivo de un modo de suspensión y ahorro de energía a un modo de adquisición activa.
[0014] En otra realización, el sensor que se lleva puesto en la muñeca incluye un módulo controlador configurado para provocar que uno o más dispositivos informáticos ejecuten automáticamente uno o más comandos específicos tras la identificación de uno o más de los movimientos específicos de los dedos.
[0015] Más específicamente, se describe un controlador ponible en la muñeca que incluye una matriz de sensores piezoeléctricos en voladizo con el fin de controlar los movimientos de músculos, tendones y otros tejidos corporales, la combinación de sus movimientos en la muñeca y sus posiciones inicial y final.
[0016] La presente descripción proporciona una HCI cableada o inalámbrica para interactuar con sistemas informáticos y dispositivos unidos a través de señales eléctricas generadas por el movimiento específico de los dedos del usuario. Los movimientos específicos siguen un protocolo fijo. Después de un procedimiento de calibración inicial automatizado, la medición e interpretación de las señales generadas por los movimientos de los dedos se logra mediante señales de muestreo con los sensores piezoeléctricos en voladizo del controlador ponible que se lleva puesto en la muñeca. En funcionamiento, el usuario se pone el controlador ponible que se lleva puesto en la muñeca y lo coloca en una posición fija en la superficie de la piel de la muñeca del usuario. A continuación, se proporcionan avisos o instrucciones automatizados al usuario para el control de sintonización precisa del controlador ponible en la muñeca. Los ejemplos de controladores ponibles en la muñeca incluyen artículos de fabricación, tales como una correa, reloj de pulsera, o prendas de vestir que tienen una pluralidad de nodos de sensor piezoeléctrico integrados, y electrónica asociada.
[0017] Según un aspecto de la descripción, se proporciona una fase de calibración para la interfaz humanoordenador. La fase de calibración identifica automáticamente los parámetros necesarios para ejecutar un programa de software instalado en el módulo o en uno o más dispositivos informáticos externos. El software recibe las señales e identifica el parámetro para el entrenamiento siguiendo un protocolo de gestos específicos de los dedos. La fase de calibración de la interfaz humano-ordenador que se describe en esta invención implica que el usuario realice uno o más gestos específicos con los dedos como parte de una fase de entrenamiento para la fase de calibración. Esto permite ajustar con precisión el rendimiento de la interfaz a la biometría específica del usuario. Más específicamente, los sensores proporcionados en el dispositivo miden las señales que están asociadas con uno o más de los gestos específicos del usuario. Más específicamente, la interfaz humano-ordenador comprende además un módulo para determinar automáticamente la posición de la fuente de señal en la superficie de la piel de la muñeca del usuario, con el fin de identificar qué dedo se movió y cómo.
[0018] Según otro aspecto de la descripción, la interfaz humano-ordenador de la descripción se utiliza en un procedimiento para detectar movimientos específicos de los dedos en función de las fuerzas de los tendones de la muñeca, comprendiendo el procedimiento las etapas de:
a) detectar una o más señales eléctricas producidas por una matriz de sensores piezoeléctricos en voladizo a partir de la presión de los tendones de la muñeca aplicada a la punta de los sensores;
b) extraer un conjunto de atributos característicos de la señal eléctrica;
c) alimentar con los atributos característicos un clasificador entrenado;
d) identificar uno o más gestos específicos de los dedos asociados con clases específicas del clasificador entrenado; y
e) dirigir automáticamente uno o más dispositivos informáticos para ejecutar uno o más comandos correspondientes a uno o más de los gestos con los dedos identificados.
[0019] Según otro aspecto de la invención reivindicada, se proporciona un procedimiento para detectar movimientos específicos de los dedos en función de las fuerzas de los tendones de la muñeca, comprendiendo el procedimiento las etapas de: detectar una o más señales eléctricas producidas por uno o más sensores piezoeléctricos tras una presión de los tendones de la muñeca en los sensores; extraer un conjunto de atributos característicos de la una o más señales eléctricas producidas por el uno o más sensores piezoeléctricos; alimentar con los atributos característicos un clasificador entrenado; e identificar uno o más gestos específicos de los dedos asociados con clases específicas del clasificador entrenado.
[0020] Preferentemente, el uno o más sensores piezoeléctricos son uno o más sensores piezoeléctricos en voladizo. Preferentemente, el uno o más sensores piezoeléctricos producen señales eléctricas tras una presión de los tendones de la muñeca en la punta del uno o más sensores piezoeléctricos. Preferentemente, se proporciona una pluralidad de sensores piezoeléctricos en forma de una matriz.
[0021] En un aspecto de la descripción, el proceso y/o procedimiento incluye además la etapa de realizar una calibración inicial de los sensores que evalúa las señales generadas por gestos asociadas con un subconjunto de gestos con los dedos del usuario para determinar las señales esperadas durante la etapa de identificación de gestos con los dedos. Preferentemente, la evaluación de las señales generadas por gestos se basa en al menos uno de: la repetibilidad de un gesto específico, la similitud entre diferentes gestos, la magnitud de un gesto específico, la duración de un gesto específico y el ritmo de un gesto específico.
[0022] En otro aspecto de la descripción, el proceso y/o procedimiento incluye además la etapa de calibrar el controlador mediante la identificación automática de los parámetros necesarios para ejecutar un programa de software instalado en el módulo o en uno o más dispositivos informáticos externos, recibiendo el programa de software las señales e identificando el parámetro para el entrenamiento siguiendo un protocolo de gestos específicos con los dedos.
[0023] En aún otro aspecto de la descripción, la etapa de extracción de atributos incluye además las etapas de considerar todas las señales eléctricas que provienen de los sensores durante cada movimiento y gesto de los dedos, filtrar por banda de paso dichas señales para limitar los datos a una cantidad predeterminada y analizar las señales por medio de un extractor de atributos. En aún otro aspecto de la descripción, la etapa de extracción de atributos analiza adicionalmente las señales con el fin de obtener un conjunto de atributos que describen las señales a comparar con otros atributos de señal que provienen de otros movimientos y gestos con los dedos. En otro aspecto, los atributos se seleccionan de la lista que consiste en atributos de dominio del tiempo y atributos de dominio de frecuencia. En otro aspecto de la descripción, el proceso y/o procedimiento incluye además la etapa de una etapa de desactivar uno o más de los sensores durante la espera.
[0024] Preferentemente, el proceso y/o procedimiento comprende además una etapa de detectar cambios en la posición y/o apriete de la matriz de sensores piezoeléctricos en relación con los tendones de la muñeca. Preferentemente, el proceso y/o procedimiento comprende además una etapa de proporcionar retroalimentación a un usuario en relación con la detectabilidad del uno o más gestos específicos con los dedos que realiza.
[0025] Preferentemente, el proceso y/o procedimiento comprende además una etapa de dirigir automáticamente uno o más dispositivos informáticos para ejecutar uno o más comandos correspondientes a uno o más de los gestos con los dedos identificados.
[0026] Preferentemente, el procedimiento implica colocar el dispositivo ponible en contacto con la superficie de la piel de la muñeca de un usuario. A través de uno o más sensores piezoeléctricos en voladizo, se mide a continuación el estado y la actividad de los diferentes tejidos corporales en la muñeca del usuario. El procedimiento también implica evaluar automáticamente las señales generadas por gestos del usuario, que se miden a través del uno o más de los sensores piezoeléctricos en voladizo, con el fin de identificar automáticamente uno o más gestos específicos del usuario a partir de un conjunto predefinido de gestos.
[0027] Preferentemente, el procedimiento comprende además realizar una fase de calibración inicial que evalúa las señales generadas por gestos asociadas con un subconjunto de gestos con los dedos del usuario para determinar las señales esperadas durante la fase de evaluación automática. Según un atributo preferido, los comandos asociados con uno o más de los gestos del conjunto de gestos pueden ser definibles por el usuario.
[0028] En otro aspecto, se proporciona un procedimiento para detectar movimientos específicos con los dedos en función de las fuerzas de los tendones de la muñeca como se describe en esta invención usando un sensor que se lleva puesto en la muñeca como se describe en esta invención. En otro aspecto, se proporciona un procedimiento para detectar movimientos específicos con los dedos en función de las fuerzas de los tendones de la muñeca como se describe en esta invención usando un aparato como se describe en esta invención. El procedimiento puede comprender además una etapa de calibrar el controlador mediante la identificación automática de los parámetros necesarios para ejecutar un programa de software instalado en el módulo o en uno o más dispositivos informáticos externos, recibiendo el programa de software las señales e identificando el parámetro para el entrenamiento siguiendo un protocolo de gestos específicos con los dedos.
[0029] En otro aspecto, se proporciona un sistema que comprende un sensor que se lleva puesto en la muñeca como se describe en esta invención y un módulo controlador. En otro aspecto, se proporciona un sistema que comprende el aparato como se describe en esta invención y uno o más dispositivos informáticos; en el que el módulo controlador está configurado para provocar que uno o más dispositivos informáticos ejecuten automáticamente uno o más comandos específicos tras la identificación de uno o más de los movimientos específicos con los dedos. En otro aspecto, se proporciona un miembro de soporte para uno o más sensores piezoeléctricos como se describe en esta invención.
[0030] Según otro aspecto de la descripción, un sistema para proporcionar una interfaz humano-ordenador (HCI) comprende un dispositivo ponible en el usuario que tiene uno o más sensores piezoeléctricos en voladizo. El dispositivo ponible en el usuario está configurado para colocarse contra la superficie de la muñeca del usuario. El sistema también comprende un procedimiento de calibración automatizado que mapea las señales generadas por gestos con los dedos correspondientes a uno o más gestos específicos con los dedos del usuario a uno o más comandos específicos. Las señales generadas por los gestos con los dedos se miden mediante una matriz lineal o no lineal de sensores piezoeléctricos en voladizo. Además, el sistema comprende un procedimiento automatizado para desactivar algunos de dichos sensores durante la espera, y un procedimiento automatizado para evaluar uno o más gestos de usuario asociados con las señales capturadas por la matriz de sensores e identificar uno o más comandos asociados con esos gestos de usuario. El sistema también comprende un procedimiento para transmitir comandos específicos asociados con uno o más gestos específicos de usuario a uno o más dispositivos informáticos.
[0031] Preferentemente, el dispositivo ponible en el usuario del sistema mencionado anteriormente incluye una interfaz inalámbrica o cableada con el uno o más dispositivos informáticos.
[0032] La invención se extiende a un sensor que se lleva puesto en la muñeca, un procedimiento, un producto de programa informático, un sistema y un aparato sustancialmente como se describe en esta invención y/o como se ilustra con referencia a las figuras adjuntas. La invención también proporciona un programa informático o un producto de programa informático para llevar a cabo cualquiera de los procedimientos descritos en esta invención y/o para incorporar cualquiera de las características del aparato descritas en esta invención, y un medio legible por ordenador que tiene almacenado en él un programa para llevar a cabo cualquiera de los procedimientos descritos en esta invención y/o para incorporar cualquiera de las características del aparato que se describen en esta invención.
[0033] La invención también proporciona una señal que incorpora un programa informático o un producto de programa informático para llevar a cabo cualquiera de los procedimientos descritos en esta invención y/o para incorporar cualquiera de las características del aparato que se describen en esta invención, un procedimiento para transmitir dicha señal y un producto informático que tiene un sistema operativo que soporta un programa informático para llevar a cabo los procedimientos descritos en esta invención y/o para incorporar cualquiera de las características del aparato descritas en esta invención.
[0034] Cualquiera, algunas y/o todas las características en un aspecto se pueden aplicar a cualquiera, algunas y/o todas las características en cualquier otro aspecto, en cualquier combinación apropiada. En particular, los aspectos del procedimiento pueden aplicarse a los aspectos del aparato y viceversa. Como se usa en esta invención, los medios más las características de la función pueden expresarse alternativamente en términos de su estructura correspondiente, tal como un procesador adecuadamente programado y memoria asociada. Además, las características implementadas en hardware generalmente pueden implementarse en software, y viceversa. Cualquier referencia a las funciones de software y hardware en esta invención debe interpretarse en consecuencia.
[0035] También debe apreciarse que las combinaciones particulares de las diversas características descritas y definidas en cualquier aspecto de la invención pueden implementarse y/o suministrarse y/o utilizarse independientemente.
[0036] Tal como se usa en esta invención, la expresión «fuerzas de los tendones de la muñeca» se refiere preferentemente a o connota cualquier fuerza o presión ejercida por uno o más tendones (en la muñeca de un usuario) contra un objeto colocado adyacente a la piel cerca de uno o más de los tendones, cuyas «fuerzas» pueden incluir tensión, compresión y cualquier fuerza resultante del movimiento de uno o más de los tendones (laterales o de otro tipo). Como se usa en esta invención, la expresión «movimiento de los dedos» preferentemente se refiere a o connota un movimiento o gesto hecho por el usuario usando (o involucrando) sus dedos, mano o muñeca. Como se usa en esta invención, el término «ritmo» preferentemente se refiere a o connota la rapidez con que el usuario realiza una pluralidad de gestos, incluyendo cuánto tiempo deja el usuario entre un gesto inicial y un gesto posterior.
[0037] Al controlar un dispositivo usando el controlador descrito en esta invención, el contacto físico tal como controlar un teléfono inteligente a través de una pantalla táctil, por ejemplo, ya no se puede requerir (o al menos reducir). El movimiento de los dedos, realizado sin control visual, puede provocar que el controlador envíe una señal de control o algunos datos a otros dispositivos electrónicos.
[0038] En vista de las capacidades resumidas anteriormente, y en vista adicional de la siguiente descripción detallada, debe entenderse que el controlador puede proporcionar a los usuarios un mecanismo de entrada «universal» que puede usarse para controlar cualquier dispositivo informático, aplicaciones que se ejecutan en dispositivos informáticos, dispositivos electrónicos o mecánicos acoplados a un dispositivo informático, o cualquier otro dispositivo electrónico (televisión, radio, aparato eléctrico, interruptor de luz, etc.) que tenga una infraestructura o interfaz adecuada para recibir una entrada de un controlador cableado o inalámbrico. Tenga en cuenta también que el uso de un dispositivo ponible pequeño tal como el controlador, que puede estar debajo de la ropa del usuario, si se desea, puede proporcionar un mecanismo que es discreto (es decir, el usuario puede estar usando sus manos para realizar otras tareas mientras usa el controlador para proporcionar un control activo de uno o más dispositivos). Además, también debe apreciarse que las capacidades de control e interfaz proporcionadas por el controlador son potencialmente invisibles en el sentido de que un usuario que lleva puesto uno o más de dichos controladores puede interactuar de forma remota con varios dispositivos sin que nadie más pueda ver o escuchar cualquier acción manifiesta del usuario que indique que éste está interactuando con dichos dispositivos.
[0039] Algunas de las ventajas que ofrece el controlador son que éste permite que la señal generada por los movimientos de los dedos controle los dispositivos informáticos, aplicaciones y dispositivos conectados con poca preparación y configuración por parte del usuario. De hecho, en la realización más simple, el usuario puede simplemente colocar el controlador en la muñeca, cuya colocación no requiere experiencia o atención a la colocación específica del nodo de sensor. Además, el controlador puede permitir que los usuarios se muevan libremente como lo harían si no estuvieran llevando puesto el dispositivo.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
[0040] La descripción se describirá ahora con más detalle puramente a modo de ejemplo, con referencia a los dibujos adjuntos, que se proporcionan como ejemplos no limitativos, en los que:
La Figura 1 ilustra el efecto del movimiento de los dedos en el tendón asociado.
La Figura 2 es una ilustración del módulo sensor.
La Figura 3 ilustra el efecto de la contracción muscular en el tendón asociado.
La Figura 4 es una ilustración del sensor que se lleva puesto en la muñeca.
La Figura 5 es una ilustración del sensor piezoeléctrico en voladizo.
La Figura 6 es una ilustración de los tendones en relación con los movimientos de los dedos.
La Figura 7 es una ilustración de los tendones en relación con el módulo sensor.
La Figura 8 es una ilustración de las tensiones de los tendones en el sensor en voladizo.
La Figura 9 es una ilustración de una realización de la vista inferior del sensor.
La Figura 10 es una ilustración de una realización del sensor en voladizo.
La Figura 11 es una ilustración de una vista superior de una realización del sensor.
La Figura 12 es una ilustración del sensor que se lleva puesto en la muñeca incorporado en una correa de reloj. La Figura 13 es una ilustración de los sensores inclinados de la descripción.
La Figura 14 es una vista en perspectiva de una realización de PCB flexible de sensor.
La Figura 15 ilustra vistas superior y lateral de una realización de la PCB.
La Figura 16 ilustra la posición relativa del sensor en la muñeca.
La Figura 17 ilustra el efecto de la silicona en tensiones de alta frecuencia y baja amplitud.
La Figura 18 ilustra el efecto de la presión de los dedos sobre el sensor.
La Figura 19 ilustra el efecto de tensiones de alta amplitud y baja frecuencia en el sensor.
La Figura 20 ilustra el flujo de información de una señal biométrica en el sensor.
La Figura 21 ilustra un modelo 3D de las partes principales del módulo sensor.
La Figura 22 ilustra otra vista en 3D del módulo sensor.
La Figura 23 ilustra la posición de los módulos sensor con respecto a la muñeca.
La Figura 24 ilustra los elementos de procesamiento de datos del sensor.
La Figura 25 ilustra un procedimiento para la clasificación de los movimientos de los dedos.
La Figura 26 ilustra la medición de las tensiones de los tendones por el sensor.
La Figura 27 ilustra varias señales que resultan de movimientos específicos de los dedos.
La Figura 28 ilustra señales de varios sensores a partir de un gesto específico.
La Figura 29 ilustra una realización de la configuración del sensor.
La Figura 30 ilustra otra realización de un sensor con dos módulos sensor.
La Figura 31 muestra una primera realización del sensor.
La Figura 32 ilustra una realización del módulo sensor como parte de una correa de reloj.
La Figura 33 ilustra un procedimiento para calibrar el sensor usando una cámara.
La Figura 34 ilustra una realización del ensamble de electrónica y sensor.
La Figura 35 ilustra otra realización del ensamble de electrónica y sensor.
La Figura 36 ilustra diversas realizaciones de sensores en voladizo.
La Figura 37 ilustra una gráfica de las señales de golpeteo con el dedo índice para cada uno de los cuatro sensores. La Figura 38 ilustra una gráfica de las señales de golpeteo con el dedo anular para cada uno de los cuatro sensores. La Figura 39 ilustra una gráfica de las señales de movimiento rápido con el dedo índice para cada uno de los cuatro sensores.
Las Figuras 40a-d son varias vistas de un miembro de soporte para los sensores piezoeléctricos en voladizo. La Figura 41 es una vista inferior de un miembro de soporte alternativo.
La Figura 42 es una vista inferior de un miembro de soporte alternativo adicional.
La Figura 43 muestra el procedimiento para entrenar el clasificador y proporcionar retroalimentación al usuario.
DESCRIPCIÓN DETALLADA
[0041] Un controlador ponible como se describe en esta invención está configurado para medir la posición y actividad de los músculos, tendones y huesos del usuario en la muñeca para interactuar con y controlar uno o más dispositivos informáticos. Más específicamente, el controlador proporciona un dispositivo ponible que tiene una matriz lineal de sensores piezoeléctricos en voladizo para detectar el movimiento de los tendones en la muñeca, un módulo de adquisición, un módulo de procesamiento de señales y un módulo para interactuar con y/o controlar un dispositivo externo. El dispositivo externo puede ser dispositivos informáticos de uso general, aplicaciones de software que se ejecutan en dichos dispositivos informáticos, reproductores de música personales, dispositivos físicos acoplados a un dispositivo informático, dispositivos biónicos, consolas de juegos, televisores u otros dispositivos multimedia, dispositivos virtuales tales como un piano virtual o guitarra virtual implementados en un entorno informático.
[0042] El controlador se implementa en varios factores de forma. En diversas realizaciones, el controlador puede implementarse como una correa, un reloj de pulsera o cualquier otro dispositivo físico o colección de dispositivos que se llevan puestos en el usuario que tenga suficiente contacto con la superficie de la piel de la muñeca del usuario para medir la actividad de uno o más de los tendones, músculos y otros tejidos corporales del usuario, y sus combinaciones. Además, también debe entenderse que un usuario puede llevar puestos múltiples controladores, con cada uno de dicho controlador siendo utilizado para interactuar con el mismo o un dispositivo informático, aplicación u otro dispositivo conectado diferente.
[0043] Los movimientos voluntarios realizados con el dedo son generados por la contracción muscular en el antebrazo. Estos músculos transmiten la fuerza a través de los tendones. Por lo tanto, los tendones están sujetos a las fuerzas de tensión y a los movimientos dictados por la mecánica del esqueleto. Cada movimiento de los dedos tiene una fuerza y un patrón de movimiento particulares. Cada dedo tiene su propio conjunto particular de tendones que lo mueven, diferente de cualquier otro dedo. La trayectoria del tendón a lo largo de la muñeca no es rectilínea y no es estrictamente paralela al eje del antebrazo. El vector de fuerza que describe la dinámica de la fuerza generada por la contracción muscular que mueve el dedo, está formado por dos componentes: uno paralelo al eje del antebrazo y otro perpendicular. El tendón que tira del dedo mueve los tejidos corporales a su alrededor (tejidos corporales que comprenden vasos sanguíneos, grasa y piel).
[0044] El componente de la fuerza perpendicular al eje del antebrazo se puede estudiar indirectamente fuera de la muñeca uniendo un conjunto de sensores a la piel a nivel de la muñeca y midiendo la fuerza necesaria para equilibrar el vector de fuerza perpendicular. El controlador descrito en esta invención mide de diferentes maneras todos los movimientos en la muñeca causados por gestos con los dedos usando una matriz de sensores piezoeléctricos en voladizo. Las mediciones adquiridas de los sensores son combinadas y analizadas y clasificadas por el controlador y el comando de control es enviado a cualquier dispositivo electrónico.
[0045] La Figura 1 ilustra el efecto de los movimientos de los dedos en el tendón asociado. El tendón funciona como un elemento elástico, tal como un resorte. Con los dedos en una posición de reposo 110, el tendón 112 en el brazo 111 se puede representar como un resorte 120 sin tensión donde no se aplican fuerzas en ambas uniones del resorte. Con los dedos en una posición de cierre 130, el tendón 132 se estira al igual que el resorte 140 se estira cuando se aplica tensión. Es un objetivo de los sensores en voladizo en contacto con la piel en la muñeca medir la tensión aplicada al tendón.
[0046] Los sensores piezoeléctricos en voladizo detectan los movimientos de los tendones asociados con diversos gestos de los dedos. Un microcontrolador o un microprocesador y la electrónica relacionada reciben las señales de los sensores con el fin de procesarlas y enviar información, tal como comandos, a otros dispositivos.
[0047] La Figura 2 es una ilustración de los diferentes componentes del módulo sensor. Los movimientos de los tendones 201 ejercen presión sobre los tejidos corporales en la muñeca 202. El módulo sensor 204 comprende una capa de silicona 204 en la que se integra una pluralidad de sensores en voladizo 205. Los sensores 205 adquieren la información de presión 210 de los movimientos de los tendones y transmiten la información al microcontrolador 206. El microcontrolador 206, a su vez, transmite comandos a una unidad de comunicación 207 que controla un dispositivo externo 208. Los módulos y componentes funcionales descritos anteriormente se emplean para implementar diversas realizaciones del controlador. Tal como se resumió anteriormente, el controlador proporciona un dispositivo único para medir la actividad manual del usuario asociada con gestos o movimientos particulares del usuario para interactuar con y controlar uno o más dispositivos informáticos.
[0048] La Figura 3 ilustra el efecto de la contracción muscular en el tendón asociado. El tendón se puede representar como un elemento elástico, tal como un resorte. En la primera vista, con los dedos 310 en reposo, el músculo 313 en el brazo 311 está relajado y no aplica tensión al tendón 312. El tendón 312 en el brazo 311 está en estado de reposo debido a la posición del dedo 310. En este caso, el tendón puede representarse como un resorte 320 donde no se aplican fuerzas en ambas uniones del resorte, por lo tanto sin tensión. En la segunda vista, el tendón 332 se estira por la contracción del músculo 333, mientras que la posición del dedo permanece igual. Esto es similar a la situación donde el resorte 340 se estira y la tensión aplicada es mayor. Por lo tanto, es un objetivo los sensores en voladizo, indirectamente en contacto con los tendones a través de la piel para medir el aumento de la tensión de los tendones.
[0049] La Figura 4 es una ilustración de una realización de un sensor que se lleva puesto en la muñeca. En esta realización, el controlador 402 está unido a la correa 404 de un reloj de pulsera 401.
[0050] La Figura 5 es una ilustración de una realización del módulo sensor piezoeléctrico en voladizo. En esta realización, cuatro elementos piezoeléctricos en voladizo parcialmente superpuestos 501, 502, 503 y 504 están integrados en un módulo de silicona y conectados eléctricamente a una PCB de película delgada 505.
[0051] La Figura 6 es una ilustración de los tendones cuya tensión está configurada para medir el controlador. Los seis tendones son tendón del flexor superficial de los dedos de la mano 601, tendón del flexor profundo de los dedos de la mano 602, tendón del flexor cubital del carpo 603, tendón del flexor radial del carpo 604, tendón del flexor largo del pulgar en bolsa radial 605 y tendón del palmar largo 606. Los tendones más informativos en relación con los gestos de los dedos son 601,602 y 603.
[0052] La Figura 7 es una ilustración de los tendones en relación con el módulo sensor. El módulo controlador comprende dos elementos conectados 701. Este módulo aprovecha la configuración anatómica de la muñeca y en particular de la disposición del conjunto de tendones que van a los dedos. Hay tres tendones principales que están directamente correlacionados con el movimiento del dedo índice, corazón y anular, respectivamente, el tendón del flexor cubital del carpo 703, el tendón del flexor profundo de los dedos de la mano 704 y el tendón del flexor superficial de los dedos de la mano 705. El elemento sensor del módulo controlador se encuentra próximo a estos tendones para medir con precisión las fuerzas de tensión aplicadas a ellos con el fin de obtener información sobre los movimientos de los dedos. El módulo controlador 701 reside cerca de estos tres tendones evitando el contacto directo con los huesos con el fin de ser lo más cómodo posible. El módulo controlador está configurado para tener en cuenta la variabilidad de la posición de los tendones en la muñeca entre diferentes personas. En una realización preferida, se colocan cuatro sensores en voladizo para captar las señales de fuerza aplicadas a los tendones.
[0053] La Figura 8 es una ilustración del efecto de la tensión aplicada a los tendones en el sensor en voladizo. Cuando el tendón 801 está relajado, puede representarse como un resorte relajado 800. El sensor en voladizo 802 medirá la tensión del tendón. Si no se aplica tensión, entonces no se produce ninguna flexión del sensor en voladizo y, por lo tanto, no se produce ninguna señal.
[0054] Cuando el tendón 811 en su lugar se estira, se aprieta y se alarga y se puede representar como un resorte estirado 810. En esta situación, el sensor en voladizo 812 está doblado. Cuanta más tensión se aplica al tendón, más se dobla el sensor y, por lo tanto, se produce más señal.
[0055] La Figura 9 es una ilustración de una realización de la vista inferior del sensor. En una realización preferida, los sensores en voladizo 904 están integrados en un elemento de silicona 901. Una PCB de película delgada 903 está unida a la base del elemento de silicona 901, se conecta a los sensores 904 e incluye un microcontrolador 902 que procesa la señal adquirida de los sensores en voladizo. Un conector 905 unido a la PCB 903 transmite la información procesada a un módulo de comunicación.
[0056] La Figura 10 es una ilustración de una realización del módulo sensor en voladizo. En una vista superior, una pluralidad de sensores circulares 1001, 10021003 y 1004 se colocan en un patrón lineal dentro de una matriz de silicona y se disponen de manera que las áreas del sensor se superponen entre sí. En una vista lateral, se puede observar que los sensores están en voladizo en un ángulo de tal manera que solo la punta del sensor está unida a la PCB 1012.
[0057] La Figura 11 es una ilustración de una vista superior de una realización del sensor con la silicona retirada. Una pluralidad de sensores 1104 están colocados en un patrón lineal, conectados a una PCB 1102 que comprende un microcontrolador 1103 y un conector 1101.
[0058] La Figura 12 es una ilustración del sensor que se lleva puesto en la muñeca incorporado en una correa de reloj. Un módulo controlador que comprende un sensor inferior y una unidad de comunicación 1207, un conector 1206 y un módulo de batería lateral 1203 está unido a una cara de reloj 1201 con dos correas 1201 y 1208. En una realización, las clavijas laterales para cargar 1204 y un botón de control 1205 están dispuestos en el módulo de batería 1203.
[0059] La Figura 13 es una ilustración del efecto de los sensores en voladizo inclinados de la descripción. Los sensores piezoeléctricos, dependiendo de dónde son sometidos a tensión, crean diferentes señales. En las disposiciones de sensor de la técnica anterior, las grandes áreas de detección crean incertidumbre en la ubicación de la fuente de tensión en los tendones y, por lo tanto, en la medida de los movimientos reales de los tendones, músculos y dedos. En el diseño del sensor en voladizo de la descripción, solo se puede tensar la punta de cada sensor, lo que hace que la detección de la fuente de la señal sea altamente precisa y más específica en cuanto a qué tendón se está tensando. El diseño de configuración del sensor en voladizo y superpuesto también permite que se empaquen más sensores en un espacio limitado, lo que aumenta la sensibilidad del sensor a pequeños cambios en las tensiones de los tendones.
[0060] La Figura 14 es una vista en perspectiva de una realización del circuito electrónico del sensor de la descripción. El circuito electrónico comprende una PCB de película delgada flexible 1403, un microcontrolador 1402, un conector 1401 y aletas en ángulo 1404 que penetran la silicona y a las que se unen los sensores piezoeléctricos en voladizo.
[0061] La Figura 15 ilustra las aletas en ángulo 1502 en la vista superior 1501 de la PCB y las mismas aletas 1504 en la vista lateral 1503 de la PCB.
[0062] La Figura 16 ilustra cómo el módulo sensor 1602 se coloca contra la muñeca 1601 para capturar de manera óptima la tensión aplicada a los tendones de la muñeca.
[0063] La Figura 17 ilustra el efecto del material de silicona en tensiones de alta frecuencia y baja amplitud. El material de silicona 1701 filtra las tensiones mecánicas de alta frecuencia y baja amplitud 1703 de la fuente 1702 evitando que lleguen a los materiales piezoeléctricos. En este caso, la presión 1704 se amortigua y filtra y no se produce señal alguna en la salida.
[0064] La Figura 18 ilustra el efecto de la presión de los dedos sobre el sensor. El dedo 1801 aplica una presión en el módulo sensor 1803. La pluralidad de sensores en voladizo permite que el sensor detecte la ubicación 1802 de la presión aplicada sobre el sensor 1803.
[0065] La Figura 19 ilustra el efecto de tensiones de alta amplitud y baja frecuencia en el sensor. Los sensores están integrados en un material de silicona 1904, con una composición química, forma y tamaño especificados para no amortiguar la señal generada por una fuente de tensión de baja frecuencia y alta amplitud 1903 tal como la producida por la presión 1902 de un dedo 1901.
[0066] La Figura 20 ilustra el flujo de información de una señal biométrica en el sensor. Una señal biométrica analógica 2002 se transmitirá desde el módulo sensor 2001 a una unidad de acondicionamiento de señales 2003 donde la amplitud de señal se ajustará antes de la transmisión adicional a una unidad de cálculo que realiza conversión analógica a digital y procesamiento de señales digitales en comandos antes de la transmisión final a una unidad de comunicación 2005 donde los comandos se difundirán a un dispositivo externo.
[0067] La Figura 21 ilustra una ilustración en 3D de las partes electrónicas principales del controlador. El controlador comprende el módulo sensor 2101, la unidad de comunicación 2102 y la batería 2103.
[0068] La Figura 22 ilustra una vista en 3D del controlador con el módulo lateral 2201 que comprende la batería y los controles externos y el módulo inferior 2202 con los sensores y la electrónica. La matriz de sensores dentro del controlador se puede apagar automáticamente con el fin de ahorrar energía. El microcontrolador se puede configurar en modo de suspensión al mismo tiempo. Esto es particularmente útil en implementaciones inalámbricas del controlador donde se usa una batería integrada (reemplazable o recargable), celda de combustible, celda de energía fotovoltaica, etc., para energizar los nodos de sensor seleccionados y el conjunto de circuitos asociados.
[0069] Para que un usuario lleve puesto el módulo, el mismo se puede unir a una correa de reloj o pulsera existente. Esto mejora la usabilidad del controlador, ya que no se solicita al usuario que reemplace su reloj de pulsera, puesto que solo puede unir el módulo a su propio reloj de pulsera y ocultarlo debajo de su correa de reloj. La Figura 23 ilustra la posición de los módulos lateral e inferior con respecto a la muñeca. El módulo inferior 2305 y el módulo lateral 2304 se unen mediante el conector 2303 y se mantienen además contra la muñeca 2302 con una correa de reloj 2301.
[0070] La Figura 24 ilustra los elementos de procesamiento de datos del sensor. El sensor de presión 2401 comprende una matriz de silicona con una matriz lineal de cuatro elementos de sensores piezoeléctricos integrados en el interior. El controlador realiza las siguientes etapas de procesamiento:
a) la matriz lineal produce cuatro señales analógicas en bruto;
b) un circuito de acondicionamiento ajusta la señal en bruto para mejorar la relación señal a ruido;
c) una unidad de conversión analógica a digital convierte la señal analógica ajustada en una señal digital y produce resultados elaborados;
d) un módulo de memoria almacena las señales de entrada y los resultados elaborados;
e) una unidad de cálculo ejecuta un algoritmo de clasificación y produce resultados de los parámetros de clasificación y diagnóstico;
f) una unidad de comunicación envía los resultados a un dispositivo externo para su comunicación.
[0071] En implementaciones inalámbricas del controlador, la comunicación entre el controlador y uno o más sistemas informáticos se logra mediante protocolos de comunicación inalámbrica convencionales tales como, por ejemplo, comunicaciones de radiofrecuencia (RF), comunicaciones basadas en infrarrojos (IR), Bluetooth, etc. En este caso, el controlador incluye uno o más transmisores inalámbricos, y opcionalmente uno o más receptores, para interconectarse directamente con uno o más dispositivos informáticos, o interconectarse con uno o más «concentradores» que sirven como intermediarios para interconectar el controlador con uno o más dispositivos informáticos. En una realización preferida, un módulo de Bluetooth de baja energía, capaz de difundir de forma inalámbrica la información se utiliza para la comunicación con dispositivos externos.
[0072] En otras realizaciones del controlador, las comunicaciones se implementan utilizando conectores cableados, tales como, por ejemplo, mediante la inclusión de un USB integrado que proporciona la energía para los nodos de sensor y proporciona una vía de comunicaciones entre el controlador y uno o más dispositivos externos. Al igual que en las realizaciones inalámbricas, en realizaciones cableadas, el controlador se comunica directamente con los dispositivos informáticos o con esos dispositivos informáticos a través de un concentrador intermedio.
[0073] Además, dadas las diversas configuraciones cableadas e inalámbricas del controlador descritas anteriormente, debe entenderse que las realizaciones híbridas que utilizan varios elementos de las configuraciones cableadas e inalámbricas están habilitadas. Por ejemplo, en una realización, un cable de alimentación proporciona energía operativa, mientras que las comunicaciones inalámbricas a continuación son habilitadas por uno o más transmisores/receptores integrados en, o acoplados al controlador. Por ejemplo, en estos tipos de realizaciones híbridas, el cable de alimentación (por ejemplo, un cable de alimentación conectado a un transformador u otra fuente de alimentación, o un cable de alimentación USB conectado a un dispositivo informático o transformador, etc.) proporciona energía operativa al controlador, mientras que los transmisores/receptores inalámbricos proporcionan comunicaciones entre el controlador y uno o más dispositivos informáticos o concentradores intermedios dentro del alcance inalámbrico del controlador.
[0074] La Figura 25 ilustra un procedimiento para la clasificación de los movimientos de los dedos.
a) Un módulo de reconocimiento de eventos comprueba el flujo de señal hasta que detecta que ha ocurrido un evento. Un evento es algo diferente del ruido base.
b) Cuando se detecta un evento, el módulo envía el registro del evento a un módulo de extracción de características y vuelve a comprobar el flujo de señal.
c) El módulo de extracción de características extrae parámetros significativos de las señales.
d) Un módulo de calibración reúne todos los parámetros procedentes del módulo de extracción de características y crea otro conjunto de parámetros que permite a un módulo clasificador clasificar el evento.
e) El módulo clasificador es capaz de reconocer a qué clase pertenecen los parámetros entrantes. Para ello necesita otro conjunto de parámetros procedentes del módulo de calibración. El resultado de la clasificación es el nombre de la clase.
[0075] Debido a la amplia heterogeneidad del cuerpo humano, una fase de calibración típicamente precede al uso del dispositivo. La calibración se repite periódicamente, con el fin de garantizar las mejores prestaciones. En el caso de que el clasificador necesite realizar una calibración, primero se inicia un procedimiento de calibración. El módulo de memoria almacena los eventos antiguos registrados durante la calibración. Cuando el módulo de extracción de características lo solicita, el módulo de memoria recuerda los eventos anteriores.
[0076] La Figura 26 ilustra la medición de las tensiones de los tendones por la matriz de sensores. La matriz de sensores mientras está indirectamente en contacto con los tendones mantiene un equilibrio dinámico de las tensiones aplicadas a los tendones de la muñeca. De la misma manera que un dedo puede sentir cuánto se estira una cuerda de guitarra tocando la cuerda, la matriz de sensores mide constantemente la tensión de los tendones y los cambios en la tensión debido a los movimientos y gestos de los dedos. Cada tendón crea presión en diferentes partes del sensor causando un patrón particular de señales. La matriz de sensores típicamente recopila información de cuatro tendones principales que incluyen el tendón del flexor cubital 2603, el tendón del flexor profundo de los dedos de la mano 2604, el tendón del flexor de los dedos de la mano 2605 y el tendón del palmar largo 2606.
[0077] La Figura 27 ilustra varios patrones de señal que resultan de movimientos específicos de los dedos. El primer gráfico 2701 ilustra el patrón de señal 2702 de uno de los sensores del dedo índice que se mueve hacia arriba y hacia abajo 2703. El segundo gráfico ilustra el patrón de señal 2704 de uno de los sensores de un movimiento de pinza entre el dedo pulgar y el índice. El tercer gráfico ilustra el patrón de señal 2706 de uno de los sensores de los dedos que están quietos.
[0078] La Figura 28 ilustra señales de múltiples sensores en la matriz de un gesto de pinzado 2801 entre el dedo pulgar y el índice. Los cuatro gráficos ilustran cómo cada sensor en la matriz de sensores 2810 se ve afectado por las fuerzas de tensión de los tendones. La vista en sección de la muñeca 2808 ilustra cómo un tendón aplica presión sobre un sensor particular 2809 de la matriz de sensores 2810.
[0079] La Figura 29 ilustra una realización de la configuración del sensor. Una primera capa 2901 hecha de un material elastomérico tal como caucho de silicona filtra las señales de baja amplitud y proporciona comodidad contra la piel. Cuando la matriz de sensores toca la muñeca, el material elastomérico bloquea el ruido para que no llegue a la matriz de sensores y se dobla ligeramente y cambia de forma para asegurar un contacto cercano con la muñeca. La segunda capa comprende elementos piezoeléctricos integrados en un material elastomérico que proporciona una estructura de detección robusta (el material piezoeléctrico está hecho de cerámica y es realmente frágil solo). La tercera capa consiste en una PCB de película delgada típicamente hecha de un material flexible delgado de plástico o lámina metálica. Las tres capas se combinan para formar un módulo sensor compacto y flexible.
[0080] La Figura 30 ilustra otra realización de un controlador con dos o más módulos sensor, un módulo para los tendones de muñeca 3002 y un segundo módulo sensor 3004 para los tendones que controlan la extensión del dedo. También se puede proporcionar un tercer sensor lateral 3003 para una precisión adicional.
[0081] La Figura 31 ilustra una primera realización del módulo sensor. Una batería 3102 está unida a un primer circuito electrónico 3104 que comprende un módulo Bluetooth, una antena Bluetooth y otros componentes electrónicos, a través de la conexión 3100. El sensor 3106 está unido al circuito electrónico 3104 a través de una PCB de película fina 3105. Una pinza 3101 permite que el módulo sensor se conecte a una correa de reloj o pulsera de actividad. Todo el sensor puede estar integrado en una silicona u otro material elastomérico 3103 para mayor resistencia al agua y mayor comodidad.
[0082] La Figura 32 ilustra una realización del módulo sensor como parte de una correa de reloj. El módulo de sensor que comprende la matriz de sensores 3212, PCB de película fina 3211 y microcontrolador 3210 integrado en el material elastomérico 3213 se conecta directamente a un reloj inteligente a través de una conexión cableada 3208, lo que elimina la necesidad de una fuente de alimentación separada. El sensor y la electrónica están montados directamente en un lado de una correa de reloj 3207. Un conector personalizado 3206 al reloj inteligente comprende una conexión a tierra 3202, una conexión de fuente de alimentación 3203 y conexiones de canal de comunicación 3204 y 3205.
[0083] La Figura 33 ilustra un medio para calibrar el módulo sensor usando visión por ordenador. Dicho procedimiento de calibración puede recopilar más información sobre cómo el usuario está realizando los gestos y sobre las características de la mano del usuario aprovechando la cámara de otro dispositivo, tal como una cámara de teléfono inteligente con el fin de controlar la mano mientras realiza la calibración.
[0084] La Figura 34 ilustra una realización de la electrónica del módulo sensor. La PCB flexible 3410 conecta los elementos piezoeléctricos 3413 integrados en el material elastomérico 3411 al conector 3412. El microcontrolador 3421, el chip Bluetooth 3423, la antena Bluetooth 3424 están conectados a una PCB delgada rígida 3422 y al conector 3420.
[0085] La Figura 35 ilustra otra realización del ensamble de sensor y electrónica con microcontrolador 3534 montado en la PCB flexible de película delgada 3530 junto con la matriz de sensores 3533 integrada en el material elastomérico 3531 y unida al conector 3502. El chip Bluetooth 3511, la antena Bluetooth 3513 y el conector electrónico 3510 están montados en la PCB rígida y delgada 3512.
[0086] La Figura 36 ilustra diversas realizaciones de sensores en voladizo. Una característica clave presente en todos estos dibujos es la línea recta en la parte inferior. Esta forma proporciona una fuerte estabilidad a la capa de PCB debajo, mayor precisión para el ensamble y mayor facilidad de fabricación. Todos los sensores están hechos de dos capas: una capa de metal y la capa de cerámica piezoeléctrica. El ancho típico de los sensores es de 12 mm, aunque la descripción contempla otros anchos. La versión del sensor 3601 es similar al sensor piezoeléctrico listo para usar, preservando un borde de metal liso que permite una buena colocación del pegamento que une las dos capas. La versión de sensor 3603 comprende una placa de cerámica ampliada, para mayores aumentos de sensibilidad. La versión de sensor 3604 conserva la forma habitual de la placa de cerámica unida a una placa metálica más grande y estable. La versión de sensor 3605 es una variación de 3603 donde la curvatura en las esquinas superiores es menor, lo que permite una placa de cerámica más ancha. La versión de sensor 3606 tiene la mitad del ancho del ancho del sensor 3605 de 12 mm. Esta versión tiene una sensibilidad más baja para el mismo ángulo de flexión, aunque la forma alargada permite una mayor flexión, lo que resulta en la misma amplitud de señal para la misma presión aplicada. Su menor dimensión permite una mayor cantidad de sensores en una matriz de tamaño dado que mejora la resolución espacial de la matriz de sensores. El sensor 3607 es una variación del sensor 3604. Los dos orificios a lo largo de la parte inferior hacen que el sensor sea más fácil de manejar durante la fabricación y proporcionan una fijación más estable al dispositivo final.
[0087] Tal como se analiza en esta invención, los sensores del controlador se aplican toscamente, sin la presencia de un experto para garantizar una colocación precisa. Por ejemplo, en la configuración de correa mencionada anteriormente, un usuario final une el brazalete en la muñeca, de modo que los sensores estén ubicados junto a la piel de la muñeca. Dada esta estrategia, el procedimiento básico de «instalar» el controlador puede implementarse de varias maneras sencillas. En una realización, el posicionamiento inicial del controlador se logra usando un procedimiento tal como el procedimiento simple de tres etapas ilustrado a continuación: 1) El usuario coloca toscamente la correa, el reloj de pulsera u otro controlador en un lugar aproximado donde se pretende colocar el dispositivo. Por ejemplo, se colocaría toscamente en algún lugar de la muñeca del usuario. El sistema se activaría o encendería (a menos que el sistema ya estuviera activado o encendido); 2) El usuario a continuación haría manipulaciones toscas al posicionamiento inicial del dispositivo, tal como, por ejemplo, girar la pulsera, mientras recibe retroalimentación simple sobre la calidad de la señal (tal como un simple «medidor» en una pantalla de ordenador, un sonido que emana del dispositivo o avisos de voz para indicar al usuario con respecto a movimientos específicos); 3) Finalmente, el usuario haría ajustes finos a la posición u orientación del dispositivo (por ejemplo, girar y/o mover la posición del controlador) hasta que se logre un objetivo simple, tal como «el medidor supera el nivel 5», «el sonido se detiene», «la vibración se detiene», etc.
[0088] En diversas realizaciones, la retroalimentación proporcionada al usuario durante este procedimiento de ajuste simple es visual (por ejemplo, una barra o medidor en una pantalla de ordenador, en un reproductor de música portátil, o en una pequeña pantalla LCD integrada o serie de uno o más LED o luces), auditiva (por ejemplo, un ruido que se vuelve más silencioso a medida que aumenta la calidad de la señal, o una voz que dice «¡siga girando, siga girando, perfecto!»), o háptica (por ejemplo, el controlador vibra o estimula eléctricamente una o más áreas de la piel del usuario mientras el usuario debe continuar ajustando el dispositivo y deja de vibrar o estimular eléctricamente la piel del usuario cuando la calidad de la señal es adecuada.
[0089] El controlador que se lleva puesto en la muñeca proporciona capacidades de HCI basadas en señales generadas por el cuerpo en respuesta a la contracción de uno o más tendones conectados a los dedos. Como tal, debe quedar claro que el controlador puede usarse para cualquiera de una serie de propósitos. Por ejemplo, estos propósitos incluyen la interacción con una aplicación convencional, tal como interactuar con un sistema operativo informático moviendo un cursor y dirigiendo operaciones simples de selección de objetos (similares al uso de un ratón para ordenador para seleccionar un objeto), controladores de juegos cableados o inalámbricos para interactuar con consolas de juegos o con videojuegos que funcionan en dichas consolas, control de cámaras de paneo-inclinaciónzoom, interacción con sistemas domóticos, tales como controles de audio, vídeo o iluminación, etc.
[0090] Otros usos obvios para el controlador incluyen el control local o remoto de robots o dispositivos robóticos, tales como, por ejemplo, el uso de un guante con nodos de sensor integrados en la muñeca para controlar una mano robótica remota que maneja herramientas o instrumentos médicos.
[0091] El controlador se puede equipar con un acelerómetro adicional con el fin de medir los movimientos de toda la mano en el espacio, con el fin de tener más información para enviar. El controlador descrito en esta invención es operativo para interconectar, controlar o interactuar de otro modo con numerosos tipos de entornos o configuraciones de sistemas informáticos de uso general o uso especial, o con dispositivos unidos o acoplados a dichos dispositivos informáticos. Por ejemplo, el reloj de pulsera puede actuar como un «concentrador» en el caso, como un intermediario inalámbrico entre uno o más de los nodos de sensor y un segundo dispositivo.
[0092] En una realización, el controlador se comunica con un dispositivo informático. Dichos dispositivos informáticos incluyen, pero no se limitan a, ordenadores personales, ordenadores servidor, dispositivos informáticos portátiles, portátiles, ordenadores móviles, dispositivos de comunicación tales como teléfonos celulares y PDA, sistemas multiprocesadores, sistemas basados en microprocesadores, descodificadores, electrónica de consumo programable, PC de red, miniordenadores, ordenadores centrales, reproductores de vídeo, sistemas informáticos para vehículos (por ejemplo, sistema informático para automóviles), etc.
[0093] Como se señaló anteriormente, los dispositivos informáticos tales como los descritos en esta invención funcionan ya sea en respuesta a los gestos del usuario reconocidos a través de uno o más controladores. Sin embargo, en diversas realizaciones, dichos dispositivos informáticos también proporcionan potencia de cálculo para operaciones tales como la calibración inicial. Además, dichos dispositivos informáticos también pueden actuar como concentradores o intermediarios para facilitar las comunicaciones entre el controlador y uno o más dispositivos informáticos o mecanismos unidos. En general, dichos dispositivos informáticos incluyen al menos alguna capacidad computacional mínima junto con alguna forma de enviar y recibir datos. En particular, la capacidad computacional generalmente viene dada por una o más unidades de procesamiento, y también puede incluir una o más GPU. Cabe señalar que la(s) unidad(es) de procesamiento del dispositivo informático general puede(n) ser microprocesadores especializados, tales como un dSp , una VLIW u otro microcontrolador, o pueden ser CPU convencionales que tienen uno o más núcleos de procesamiento, que incluyen núcleos basados en GPU especializados en una CPU de múltiples núcleos.
[0094] Además, el dispositivo informático también puede incluir otros componentes, tales como, por ejemplo, una interfaz de comunicaciones. El dispositivo informático también puede incluir uno o más dispositivos de entrada informática convencionales (tales como un micrófono o una matriz de micrófonos para recibir entradas de voz). El dispositivo informático simplificado también puede incluir otros componentes opcionales, tales como, por ejemplo, uno o más dispositivos de salida informáticos convencionales (tales como dispositivos de salida de audio y/o vídeo). Finalmente, el dispositivo informático también puede incluir almacenamiento que es extraíble y/o no extraíble. Cabe señalar que las interfaces de comunicaciones típicas, los dispositivos de entrada, los dispositivos de salida y los dispositivos de almacenamiento para ordenadores de uso general son bien conocidos por los expertos en la materia y no se describirán en detalle en esta invención.
[0095] Después del filtrado por paso de banda de las señales, en caso de que la cantidad de datos sea demasiado grande, éstas pueden ser analizadas por un PCA en tiempo real. El PCA permite reducir la cantidad de datos y centrarse en las señales pertinentes. A continuación, las señales son analizadas por un extractor de características. El extractor de características analiza las señales con el fin de obtener un conjunto de características que describen de forma robusta las señales y que pueden compararse con otras características de señal que provienen de otros movimientos y gestos de los dedos. La comparación generalmente se realiza a fin de clasificar la señal y reconocer el gesto del dedo asociado. La característica puede ser una característica de dominio del tiempo (amplitud, relación entre la amplitud de señal y otras amplitudes de señales pregrabadas, número de lóbulos, número de cruces por cero, intervalo de tiempo de cada lóbulo, intervalo de tiempo de cada movimiento, correlación con otras señales pregrabadas, diferencia entre la señal y otras señales pregrabadas). La característica puede ser una característica de dominio de frecuencia (potencia del espectro, potencia de un intervalo de frecuencias, relación entre la amplitud de cierto intervalo de frecuencias, características de ondículas).
[0096] Un sistema preferido para la gestión de energía se describe a continuación. La realización se establece normalmente en modo de suspensión, la adquisición de señal no está activa, el microcontrolador se establece en bajo consumo de energía. El microcontrolador se despierta del modo de suspensión gracias a una señal externa activada por un botón mecánico, que se coloca preferentemente en la parte del dispositivo que está en contacto con la muñeca. Cuando la muñeca del usuario se flexiona, dicho botón es presionado y activa la señal. El movimiento de flexión de la muñeca del usuario aumenta la presión del propio dispositivo sobre la piel de la muñeca, provocando la activación del botón. Con dicho sistema de gestión de energía se evitan dos problemas: un alto consumo de energía y gestos accidentales que el usuario podría realizar involuntariamente y que podrían causar comandos incorrectos.
[0097] La descripción anterior del controlador se ha presentado con fines ilustrativos y de descripción. No se pretende ser exhaustivo ni limitar la materia objeto reivindicada a la forma precisa descrita. Son posibles muchas modificaciones y variaciones a la luz de la enseñanza anterior. Además, cabe señalar que cualquiera o todas las realizaciones alternativas mencionadas anteriormente se pueden utilizar en cualquier combinación deseada para formar realizaciones híbridas adicionales del controlador. Se pretende que el alcance de la descripción no esté limitado por esta descripción detallada, sino más bien por las reivindicaciones adjuntas a la presente.
CALIBRACIÓN
[0098] En general, se asume que los usuarios del controlador no colocarán el dispositivo (o nodos de sensor individuales) exactamente en el mismo lugar con respecto a tendones específicos cada vez que el usuario lleve puesto el controlador. Además, cada individuo tiene una anatomía diferente. Un aspecto del controlador es la propia capacidad de calibrarse rápidamente para cualquier usuario individual.
[0099] La calibración se puede lograr de varias maneras. Por ejemplo, en una realización, la calibración se logra conectando el controlador a una estación principal tal como un ordenador o un teléfono inteligente, con el programa de software de calibración instalado. El programa de software le pide al usuario que haga algunos gestos con los dedos mientras lleva puesto el controlador, y recopila los parámetros útiles para que el dispositivo reconozca los gestos. Una vez finalizada la calibración, el controlador recibe los parámetros y por lo tanto está listo para trabajar.
[0100] Cabe señalar que en el entrenamiento o reentrenamiento del sistema de clasificación, dada la cantidad limitada de músculos involucrados en dichos gestos, en varias realizaciones, el sistema de clasificación se entrena o calibra utilizando solo un subconjunto de gestos o movimientos reconocidos con el fin de encontrar puntos coincidentes de modelos construidos previamente.
[0101] Además, en diversas realizaciones, esta calibración se realiza continua o periódicamente a medida que el sistema observa las acciones del usuario. Tenga en cuenta que la realización periódica o continua de la calibración sirve al menos para dos propósitos. En primer lugar, repetir el procedimiento de calibración puede ayudar a refinar aún más el modelo de gestos, y en segundo lugar, repetir el procedimiento de calibración ayudará a ajustar los movimientos posicionales menores del controlador en el cuerpo del usuario.
[0102] Además, dado que el usuario lleva puesto el controlador, se pueden recopilar datos de calibración incluso cuando el usuario no participa activamente en el uso del controlador para fines de HCI. Esta recopilación de datos de calibración adicional permite al sistema modelar estadísticamente los gestos o movimientos probables, y dado el tiempo suficiente, el sistema puede deducir los gestos o movimientos que está realizando el usuario.
[0103] El controlador presenta un microcontrolador y electrónica relacionada capaz de leer la señal de los sensores, filtrarla y analizarla con el fin de realizar el reconocimiento y clasificación de gestos. El microcontrolador recibe el parámetro para la clasificación durante la calibración. La calibración se puede realizar por el propio microcontrolador o por otro dispositivo informático conectado al microcontrolador.
[0104] El propósito de la unidad de procesamiento de señales es clasificar las señales de entrada. La clasificación se basa en un conjunto de señales dadas durante la calibración. La calibración involucrada en el entrenamiento del clasificador tiene tres fases diferentes:
• Primera fase llamada calibración dura
• Segunda fase llamada calibración suave
• Tercera fase llamada calibración continua
[0105] Durante la calibración dura, se le pide al usuario que repita 4 veces cada gesto. Este procedimiento es largo, dura de 30 a 60 segundos y es muy preciso. Durante la calibración suave, se le pide al usuario que repita cada gesto solo una vez. Utiliza una calibración dura almacenada en la memoria. Actualiza la calibración dura almacenada para ajustar los parámetros. Es más rápida que la calibración dura y tarda menos de 10 segundos en realizarse. Durante la calibración continua a medida que el clasificador se ejecuta y reconoce un gesto, el mismo gesto también se utiliza para recalibrar el algoritmo del clasificador en sí. Esta calibración continua permite tener en cuenta los cambios mínimos del módulo desde la posición inicial. Cambio tras cambio, el módulo puede cambiar la posición de la muñeca cuando se utiliza con un reloj. Esta calibración evita pedir al usuario que repita una calibración suave/dura.
Esta calibración está completamente automatizada y no involucra al usuario.
[0106] En una calibración alternativa, se le pide al usuario que mueva el dedo delante de una cámara que reconoce el movimiento de las puntas de los dedos y a continuación calibra automáticamente el algoritmo en función de los movimientos de los dedos. Este procedimiento libera al usuario de seguir el procedimiento de calibración habitual.
[0107] El procedimiento de calibración habitual requiere que el usuario siga un conjunto de instrucciones sobre cómo realizar el gesto que a veces puede ser mal interpretado por el usuario. Por lo tanto, el algoritmo se divide en dos partes principales: la calibración y la ejecución. La calibración se inicia si el bloque «Calibración necesaria» recibe un valor inferior a un umbral predefinido. La primera vez que este algoritmo ejecuta el resultado es siempre positivo porque el valor recibido «calidad de la clasificación» es cero. Por lo tanto, el reconocimiento de Eventos del lado de calibración está activo y analiza la señal de entrada en espera de recibir una señal que supera un cierto umbral que activa el reconocimiento. La señal de entrada se almacena dentro de este bloque en una memoria FIFO. Cuando se activa el bloque de reconocimiento de eventos, mueve la memoria FIFO a la salida. También cuenta cuántas veces se activa el evento. La FIFO contiene una sección del flujo de señal de entrada, llamada señal con ventana. Esta señal con ventana se almacena en la memoria en una ranura decidida por el valor de recuento.
[0108] Cuando el valor de recuento alcanza un determinado valor predefinido «calibración final», se activa el bloque de extracción de Características. El bloque de extracción de características va a la memoria y analiza todas las señales grabadas y devuelve un conjunto de valores de plantilla que se guardan directamente en la memoria. Estos valores recopilan la información significativa extraída de las señales almacenadas. Esta información se utiliza a continuación para entrenar el clasificador.
[0109] El bloque de entrenamiento del Clasificador devuelve un índice que representa la calidad de esa calibración. Si este índice está por encima de un umbral predefinido, la fase de ejecución puede comenzar. La primera etapa de la fase de ejecución es el bloque de reconocimiento de eventos, bloque idéntico al de la fase de calibración excepto por la falta del contador. El reconocimiento de eventos recibe y almacena una señal en una memoria FIFO. Cuando la señal supera un umbral predefinido, el módulo se activa y devuelve el contenido de la memoria FIFO. Este conjunto de datos va al módulo de extracción de características, cuyo propósito es extraer los atributos más característicos de la señal y evitar la información inútil. Esta parte de información útil finalmente se envía al clasificador entrenado que es capaz de reconocer a qué clase pertenece la señal de entrada. Las clases se definen durante el entrenamiento de clasificación. El resultado final de la clasificación es el nombre de la clase. También devuelve el índice de la calidad de la clasificación.
RECONOCIMIENTO DE GESTOS
[0110] En diversas realizaciones, al usuario se le proporcionan mecanismos para realizar gestos o secuencias de gestos definidos por el usuario, y a continuación asignar acciones particulares a esos gestos, ya sea de una lista predefinida de acciones, o de acciones o macros definidas por el usuario. En este caso, el entrenamiento descrito anteriormente es el mismo, con la diferencia de que simplemente es el comando o macro particular que se está asignando al gesto predefinido o definido por el usuario.
[0111] En diversas realizaciones, un gesto importante de los dedos tal como la acción de golpear un dedo contra el pulgar, será proporcionado por un protocolo. Tal gesto es reconocido por la matriz de sensores. Detecta que el gesto ha sido realizado, y la posición del tendón involucrado en la acción, con el fin de identificar el movimiento de los dedos. Estos elementos de información son proporcionados por un clasificador entrenado después de un breve filtrado de señal. El clasificador se entrena durante la calibración.
[0112] Con el fin de aplicar el algoritmo SVM para el reconocimiento de gestos, se deben establecer algunos elementos:
1. características
2. dimensión del conjunto de datos
3. condición de parada
[0113] Se han analizado diferentes características relacionadas con diferentes estrategias: diferencias, características del dominio del tiempo. Se han obtenido mejores resultados a través de las diferencias, es decir, la diferencia entre las señales después de la alineación utilizando una estrategia de convolución. Cada característica representa la diferencia entre una señal y una plantilla relacionada con el mismo micrófono. Así que el número mínimo de características es 4 igual al número de sensores. Una clasificación binaria hace necesario definir dos plantillas diferentes: una para cada objetivo. De esta manera, el número de características aumenta a 8.
[0114] Con respecto a la dimensión del conjunto de datos, la dimensión mínima que no modifica la calidad de la clasificación es de 4 repeticiones para cada clase, de modo que la matriz de características tiene 8 filas y 8 columnas.
De la columna 1 a la 4 se calculan las diferencias con respecto a una plantilla del primer gesto. De la columna 5 a la 8, las características se calculan como diferencias del segundo gesto como plantilla. De la fila 1 a la 4 las señales están relacionadas con el primer gesto, mientras que de la fila 5 a la 8 están relacionadas con el segundo gesto. Por lo tanto, se obtiene una matriz de características con 4 submatrices. De hecho, las diferencias realizadas dentro del mismo gesto son menores en comparación con la diferencia entre diferentes gestos. Estos resultados se obtienen en un análisis con dos gestos en comparación con los resultados del algoritmo basado en las diferencias implementadas en Arduino.
[0115] En términos de condición de parada, se define a través de la tolerancia de cada SVM que es un parámetro de inicialización. Una vez realizado el entrenamiento, si se dan los mismos ejemplos de entrenamiento como entradas, se podría verificar que no dan salidas distribuidas simétricamente alrededor de cero. Ocurre con más frecuencia con un pequeño conjunto de datos en lugar de con más ejemplos. Así que el signo de la salida no se evalúa alrededor de cero. Un nuevo umbral se calcula como el valor medio entre salidas de una única SVM cuando recibe como entrada el conjunto de entrenamiento.
PROCESAMIENTO DE SEÑALES
[0116] Se pueden realizar algunos análisis en las señales del sensor en bruto para determinar el sistema de reconocimiento de gestos. Estos análisis son en general computacionalmente simples, y por lo tanto son adecuados para ser realizados en los microprocesadores que están integrados en cada nodo de sensor inalámbrico o en un dispositivo integrado tal como la correa mencionada anteriormente. Sin embargo, como se analizó anteriormente, dicho procesamiento de señales en bruto también puede estar en un receptor o procesador aguas abajo durante una fase inicial de calibración de alta potencia. Los ejemplos de análisis de señales en bruto que pueden proporcionar indicaciones de relevancia de la señal incluyen medidas de amplitud de RMS de las señales generadas por los dedos y bandas de potencia medidas.
[0117] Las señales dentro de un intervalo conocido de amplitud tienen más probabilidades de ser informativas. En este caso, se puede incluir una prueba lógica muy simple para determinar si una señal medida se encuentra dentro de un intervalo simple en los nodos de sensor individuales, tal como, por ejemplo, mediante la adición de una puerta lógica simple al convertidor analógico a digital o al módulo de procesamiento de señales digitales. De manera similar, también se puede realizar un análisis de bandas de frecuencia individuales de señales medidas utilizando capacidades computacionales muy simples. Por ejemplo, en el caso de que una señal particular donde una o más bandas de frecuencia individuales queden fuera de un intervalo «razonable» o esperado en bandas de frecuencia conocidas es poco probable que sea informativa. El análisis de gestos ha subrayado que la frecuencia mínima de la muestra para la señal es de aproximadamente 200 Hz en el dominio del tiempo, mientras que es de aproximadamente 800 Hz para la señal derivada. Ambas señales producen resultados iguales en términos de precisión en el reconocimiento de gestos. La única diferencia está representada por el tamaño de la memoria intermedia. De hecho, en el primer caso, se necesitan al menos 150 muestras mientras que la señal derivada requiere 100 muestras. El principal beneficio en el uso de la señal derivada está relacionado con el uso de pocas muestras. Como consecuencia, solo se pueden reconocer gestos con una variación rápida en la magnitud relacionada con cada sensor.
EJEMPLOS DE SEÑALES
[0118] Las siguientes gráficas muestran tres gestos que se pueden reconocer con alta precisión a través de una SVM basada en 3 gestos y características basadas en las diferencias que involucran la señal derivada. La Figura 37 ilustra una gráfica de las señales de golpeteo con el dedo índice para cada uno de los cuatro sensores. La Figura 38 ilustra una gráfica de las señales de golpeteo con el dedo anular para cada uno de los cuatro sensores. La Figura 39 ilustra una gráfica de las señales de movimiento rápido con el dedo índice para cada uno de los cuatro sensores.
[0119] Las matrices de características se informan a continuación:
1) SVM1: golpeteo con dedo índice (1) VS golpeteo con dedo anular (2)
feat matrix1 2 =
0,4141 0,2749 0,5097 0,3342 0,8855 0,0417 1,0000 0,6329
0,3365 0,3008 0,6740 0,2497 0,9227 0,8402 1,0000 0,7243
0,4217 0,3470 0,6115 0,3768 1,0000 0,9446 0,9632 1,0000
0,4096 0,3182 0,5400 0,3752 0,9369 1,0000 1,0000 0,9177
1,0000 0,7955 0,8323 0,7154 0,6900 0,2657 0,2770 0,5050
1,0000 0,9049 0,9932 0,7662 0,5258 0,2769 0,2729 0,3981
0,9527 1,0000 0,9399 0,8243 1,0000 0,3831 0,4399 0,5798
1,0000 0,9832 1,0000 1,0000 0,7608 0,3542 0,4191 0,6541
2) SVM2 golpeteo con índice (1) VS movimiento rápido (3)
feat matrix1 3 =
0,1180 0,1786 0,1438 0,1976 1,0000 0,9643 0,9263 0,8468
0,0991 0,2021 0,1966 0,1526 1,0000 1,0000 1,0000 1,0000
0,1068 0,2005 0,1533 0,1980 1,0000 0,9598 0,9932 0,8216
0,1078 0,1911 0,1407 0,2049 1,0000 0,9425 0,9329 0,9430
1,0000 0,8719 1,0000 0,8268 0,1586 0,2474 0,2176 0,3160
1,0000 1,0000 0,8214 1,0000 0,3333 0,4002 0,3821 0,6115
1,0000 0,9389 0,9411 0,7452 0,4535 0,5030 0,5294 0,7724
1,0000 0,7426 0,9175 0,6921 0,3121 0,4510 0,5444 0,4226
3) SVM3 golpeteo con índice (2) VS movimiento rápido (3)
feat matrix2 3 =
0,2024 0,2978 0,1122 0,4444 1,0000 0,9744 0,9515 0,9310
0,1376 0,2769 0,0986 0,3125 1,0000 1,0000 1,0000 1,0000
0,2169 0,3175 0,1317 0,3772 1,0000 0,8644 0,8960 0,8750
0,1686 0,2999 0,1282 0,4348 1,0000 0,9150 0,9529 0,9186
1,0000 0,9186 1,0000 0,8523 0,1350 0,3248 0,2516 0,2532
1,0000 0,9637 0,7673 1,0000 0,2838 0,5257 0,4421 0,4905
1,0000 1,0000 0,8948 0,9539 0,3780 0,6468 0,5995 0,6065
1,0000 0,7280 0,9629 0,7493 0,2654 0,5918 0,6290 0,3385
[0120] Como ya se ha descrito, es posible distinguir cuatro submatrices en términos de magnitud de la diferencia. Los valores en la matriz se han normalizado dos veces. Primero cada fila y a continuación cada columna, es decir, cada característica (como lo requiere SVM). En resumen, la fase de entrenamiento de cada SVM requiere dos plantillas relacionadas con dos gestos diferentes para cada sensor y cuatro repeticiones de cada gesto para cada micrófono.
RESULTADOS PARA 10 SUJETOS
[0121] En cuanto al reconocimiento de 3 gestos, se han analizado 10 (5 M, 5 H) sujetos diferentes en 15 repeticiones de cada gesto para el procedimiento de validación. La siguiente tabla muestra los resultados y algunas observaciones:
Figure imgf000017_0001
MIEMBRO DE SOPORTE
[0122] La Figura 40a es una vista en perspectiva desde la parte superior de una realización de un miembro de soporte de silicona 4000 para los sensores piezoeléctricos en voladizo. Una primera superficie 4002 del miembro de soporte colinda con la piel de un usuario cuando el módulo de sensor está in situ alrededor de la muñeca de un usuario. Varias hendiduras 4004 se extienden a través de un ancho de la superficie superior 4002.
[0123] La Figura 40b es una vista en sección transversal lateral del miembro de soporte 4000. Las hendiduras 4004 conducen a ranuras en ángulo 4005, que se extienden generalmente en un ángulo a través del miembro de soporte 4000 a una segunda superficie 4006. La segunda superficie 4006 se orienta lejos de la piel de un usuario durante el funcionamiento del sensor, y se pone en contacto (o alternativamente se proporciona en estrecha comunicación con) la PCB. Las ranuras 4005 están alineadas a aproximadamente 10 grados con respecto a las superficies primera y segunda y están dispuestas para superponerse verticalmente. Las secciones de corte se proporcionan cerca del extremo de cada una de las ranuras en la segunda superficie 4006, de modo que una abertura relativamente amplia 4008 de cada una de las ranuras se forma en la segunda superficie (en el otro extremo de las ranuras 4005 a las hendiduras 4004). Las ranuras en los bordes externos del miembro de soporte 4000 pueden extenderse cerca, o dentro, de un borde del miembro de soporte.
[0124] Los sensores en voladizo (no mostrados) están dispuestos para encajar y ser soportados en las ranuras 4005, de modo que los extremos de los sensores en voladizo se extienden cerca de (pero no más allá de) las superficies primera y segunda 4002, 4006. Esto puede permitir que las puntas de los sensores se extiendan cerca de la piel en las hendiduras 4004, mientras que permite que un otro extremo del sensor en voladizo entre en contacto (o se extienda cerca de) la PCB. Como se mencionó, el miembro de soporte está dispuesto para no amortiguar la señal generada por una fuente de tensión de baja frecuencia y alta amplitud. El miembro de soporte también está dispuesto para permitir que la presión se transmita a través de los sensores piezoeléctricos. Como tal, el miembro de soporte debe ser blando, para permitir que los sensores piezoeléctricos se deformen bajo presión de los tendones, así como elásti
[0125] La Figura 40c es una vista en perspectiva desde la cara inferior del miembro de soporte 4000. Como se muestra en la figura, los cortes (u orificios) 4010 se proporcionan en el miembro de soporte, lo que puede ayudar a proporcionar las propiedades requeridas. Cada corte 4010 se extiende a través de la segunda superficie 4006 y una superficie de una ranura 4005 (en la abertura 4008). Las aberturas 4008 se extienden solo en parte a través de un ancho de la segunda superficie 4006, y se proporcionan generalmente de forma central a lo largo del ancho de la segunda superficie 4006. Se proporcionan dos cortes generalmente rectangulares a través de cada ranura (aparte de la ranura que se proporciona hacia el borde de la segunda superficie). Los cortes están dispuestos para extenderse en la ranura que se proporciona verticalmente por encima de la ubicación del corte en la segunda superficie y la abertura 4008. Como tal, se proporcionan dos cortes adicionales en el borde del miembro de soporte, cerca de un miembro de enlace 4012, de modo que se extiendan dentro de la ranura que está cerca del miembro de enlace (y que no tiene una abertura de otra ranura proporcionada verticalmente debajo de esta). En una realización alternativa, los cortes se extienden desde la primera superficie 4002 hacia las ranuras 4005.
[0126] Los cortes 4010 pueden mejorar la flexibilidad del miembro de soporte 4000, a costa de reducir la elasticidad del miembro de soporte. Por lo tanto, el área y la ubicación de los cortes 4010 se seleccionan para proporcionar el equilibrio requerido entre elasticidad y flexibilidad. En particular, la ubicación de corte se selecciona para proporcionar una flexibilidad variable a lo largo de la longitud de un sensor en voladizo, que puede permitir que la presión varíe a lo largo de la longitud de un sensor en voladizo y/o permitir que el sensor en voladizo se doble bajo presión. Como tal, los cortes se proporcionan cerca de un extremo de la ranura.
[0127] La Figura 40d muestra el miembro de soporte 4000 en diferentes estados. En un estado desplegado, el miembro de soporte comprende una parte inferior 4014 y una parte superior 4016, que están conectadas alrededor del miembro de enlace 4012. Como se indica en la figura, la parte superior está dispuesta para girar en relación con la parte inferior alrededor del miembro de enlace, de modo que cuando se giran entre sí (o, alternativamente, cuando se giran en la proximidad) se forma el miembro de soporte ensamblado 4000 (como se muestra en la Figura 40). El miembro de soporte se puede mantener en el estado ensamblado mediante el uso de un adhesivo o un manguito de retención, por ejemplo.
[0128] Cada una de las partes superior e inferior 4014, 4016 tiene una pluralidad de escalones en ángulo 4018 en las superficies de cada parte que giran una hacia la otra, de modo que cuando se forma el miembro de soporte ensamblado, los escalones en ángulo 4018 se combinan para formar las ranuras 4005. Los cortes 4004 se extienden a lo largo de la parte inferior 4014, de modo que su profundidad se define por el espesor de la parte inferior. La parte superior 4016 tiene rebajes 4020 para retener los sensores en voladizo en su lugar. La parte superior 4016 puede corresponder a la primera capa 2901 descrita con referencia a la Figura 29, mientras que la parte inferior 4016 puede corresponder a la segunda capa descrita con referencia a la Figura 29.
[0129] Proporcionar una estructura plegable al miembro de soporte 4000 puede permitir una mejor capacidad de fabricación del miembro de soporte, en particular las ranuras 4005, que pueden ser difíciles de fabricar de forma fiable y repetible debido a su pequeño tamaño. La estructura plegable también puede permitir que los sensores en voladizo se coloquen más fácilmente en las ranuras.
[0130] Las Figuras 41 y 42 son vistas inferiores de realizaciones alternativas de un miembro de soporte 4100, 4200 para los sensores piezoeléctricos en voladizo. En las Figuras 41 y 42, los números de referencia similares indican características de los miembros de soporte 4100, 4200 correspondientes a las descritas anteriormente con referencia al miembro de soporte 4000 representado en la Figura 40. Los cortes pueden disponerse en varias configuraciones diferentes mientras se logra un efecto sustancialmente similar.
RETROALIMENTACIÓN DURANTE LA CALIBRACIÓN
[0131] Como se mencionó, una fase de calibración (que puede repetirse periódicamente) típicamente precede al uso del dispositivo. En esta fase, el sistema puede adquirir información relacionada con los gestos realizados por el usuario, que se utiliza para entrenar el clasificador. El clasificador es entonces capaz de reconocer gestos que hacen que los sensores en voladizo produzcan una señal lo suficientemente similar a la información adquirida durante la calibración. Durante la fase de calibración, los usuarios también aprenden a realizar gestos adecuados para el reconocimiento en función de la retroalimentación (como se describió anteriormente) y las instrucciones, de modo que si se realiza un gesto inadecuado, se indica al usuario que cambie sus acciones, mientras que si se realiza un gesto adecuado, se le indica al usuario que sus acciones producen un gesto adecuado.
[0132] La Figura 43 muestra el procedimiento para entrenar el clasificador y proporcionar retroalimentación al usuario. En la etapa 4302, el usuario realiza un gesto. En la etapa 4304, los sensores en voladizo producen una señal basada en el gesto. A continuación, la señal se compara con los datos almacenados previamente (que se pueden almacenar en el módulo de memoria) y se genera retroalimentación (por ejemplo, «no lo suficientemente similar a los gestos anteriores») (etapa 4306) sobre la base de una serie de parámetros calculados. Los parámetros, junto con la señal en sí, pueden almacenarse en la memoria y utilizarse para entrenar el clasificador (etapa 4308). La retroalimentación también se proporciona al usuario (como se describió anteriormente). El usuario puede entonces repetir una versión ajustada del gesto según la retroalimentación, que, si se ejecuta según la retroalimentación, puede ser más detectable. Entrenar el clasificador y proporcionar retroalimentación al usuario al mismo tiempo puede mejorar la experiencia del usuario al mejorar la velocidad de la fase de calibración.
[0133] En general, los gestos adecuados para su uso con el sistema son repetibles, cortos y producen una señal que es detectable de forma fiable. El sistema está dispuesto para evaluar gestos durante la fase de calibración mediante la comparación de un gesto contra datos prealmacenados en función de una cantidad de parámetros, donde la retroalimentación relacionada con cada uno de los parámetros puede proporcionarse a un usuario en consecuencia. A continuación se describen algunos ejemplos de los parámetros.
Repetibilidad
[0134] El sistema está dispuesto para calcular la similitud de dos gestos iguales. Para calcular la repetibilidad de cualquier nuevo gesto introducido durante la fase de calibración, se realiza el siguiente procedimiento:
1. Un primer y un segundo conjunto de datos se generan en función de un primer y un segundo gesto.
2. La covarianza máxima de los conjuntos de datos se calcula de modo que los conjuntos de datos estén alineados.
3. Se calculan las diferencias entre los conjuntos de datos.
4. Los conjuntos de datos se normalizan y se calcula la diferencia entre los conjuntos de datos.
5. Se calcula la varianza y la correlación de la diferencia de los conjuntos de datos normalizados.
6. Se calcula un único índice de repetibilidad basado en la varianza y la correlación.
[0135] Se indica al usuario que maximice la repetibilidad de un gesto en particular durante la fase de calibración. Similitud
[0136] El sistema está dispuesto para calcular la similitud entre dos gestos diferentes, lo que es principalmente útil cuando el usuario introduce nuevos gestos. En general, la similitud entre los gestos debe ser baja, de modo que se puedan distinguir diferentes gestos entre sí. Cuando el usuario introduce un nuevo gesto, se realiza el siguiente procedimiento:
1. Se produce un primer conjunto de datos basado en un nuevo gesto, y un segundo conjunto de datos basado en un gesto existente (diferente) se recupera de la memoria.
2. La covarianza máxima de los conjuntos de datos se calcula de modo que los conjuntos de datos estén alineados.
3. Se calculan las diferencias entre los conjuntos de datos.
4. Los conjuntos de datos se normalizan y se calcula la diferencia entre los conjuntos de datos.
5. Se calcula la varianza y la correlación de la diferencia de los conjuntos de datos normalizados.
6. Se calcula un único índice de similitud basado en la varianza y la correlación.
7. El procedimiento se repite para que se calcule un índice de similitud entre el nuevo gesto y todos los gestos existentes en la memoria.
8. Si el índice mínimo de similitud está por debajo de un umbral predeterminado, entonces el nuevo gesto puede ser lo suficientemente diferente de los gestos existentes para que pueda ser reconocido de manera fiable, por lo que el nuevo gesto puede ser aprobado.
[0137] Se indica al usuario que minimice la similitud entre los gestos durante la fase de calibración. Se apreciará que el procedimiento anterior se puede adaptar para calcular la similitud entre los gestos existentes, o entre un gesto realizado y un gesto guardado existente (para permitir que el gesto realizado se clasifique como un gesto existente). Magnitud
[0138] El sistema está dispuesto para calcular la fuerza de un gesto utilizando el siguiente procedimiento: 1. Se calcula el valor de pico a pico de una señal relacionada con un gesto particular.
2. Se calcula la suma del valor absoluto de los puntos de datos individuales en una señal relacionada con un gesto particular.
3. Un índice de magnitud se calcula basándose en el valor pico a pico de la señal y la suma de los valores absolutos.
4. El índice de magnitud se puede comparar contra un umbral predeterminado. Si el índice está por encima de este umbral, esto puede indicar que la señal es lo suficientemente fuerte como para ser detectada de manera fiable y, por lo tanto, puede ser aprobada.
[0139] Se indica al usuario que realice el gesto para que no produzca una señal de una magnitud detectable de forma fiable.
Duración
[0140] El sistema está dispuesto para calcular el tiempo necesario para realizar un gesto en particular utilizando el siguiente procedimiento:
1. Cuando se recibe un nuevo punto de datos en una señal, se calcula el valor absoluto entre el punto de datos y un valor medio (o promedio variable) de puntos de datos anteriores.
2. El valor absoluto se compara con un umbral predeterminado y, si se excede el umbral, se genera un indicador.
3. Las etapas anteriores se repiten para puntos de datos posteriores, y si se detecta una secuencia de indicadores, donde los indicadores se producen en un período de tiempo predeterminado (en una escala de milisegundos), esto puede ser indicativo de un gesto que ocurre.
4. El número de repeticiones de las etapas anteriores puede contarse mediante un contador hasta que no se genere ningún indicador adicional en un período de tiempo predeterminado, lo que puede indicar que el gesto ha terminado.
5. El contador puede entonces proporcionar un índice indicativo de la duración del gesto.
[0141] El cálculo de la duración del gesto puede ser principalmente útil para determinar cuándo tienen lugar los gestos. Al usuario también se le puede indicar que acelere la realización de un gesto y/o modifique el gesto para reducir el número de movimientos, ambos de los cuales pueden mejorar la fiabilidad de la detección del gesto. Ritmo
[0142] El sistema está dispuesto para detectar el ritmo al que el usuario realiza los gestos y que se realiza mediante el siguiente procedimiento:
1. Cuando se detecta un nuevo gesto, un contador comienza a contar cuánto tiempo transcurre entre el gesto y un gesto posterior.
2. Si el contador es menor que un umbral predeterminado, se envía una retroalimentación negativa al usuario.
[0143] Se puede indicar al usuario que aumente el tiempo entre gestos posteriores, lo que puede mejorar la detectabilidad de cada gesto.
[0144] Para una detección fiable, el módulo sensor debe estar en la posición correcta y el apriete correcto con respecto a la muñeca. Por lo tanto, el sistema puede ser capaz de proporcionar retroalimentación al usuario en relación con la posición y el apriete del usuario durante la fase de calibración, así como durante el funcionamiento normal, por ejemplo, si el módulo sensor cambia durante el funcionamiento. Esto puede ayudar a evitar la necesidad de realizar frecuentes recalibraciones completas del sistema.
Posición
[0145] El sistema está dispuesto para detectar cambios en la posición del módulo sensor de la posición original mediante el siguiente procedimiento:
1. Los índices de similitud entre una señal generada en respuesta al gesto realizado se calculan (como se describió anteriormente) en relación con todos los gestos existentes en la memoria.
2. Si un índice de similitud excede un umbral predeterminado, lo que indica que el gesto preformado coincide con un dato existente en la memoria, se genera el índice de magnitud de la señal (u opcionalmente, el índice de magnitud con respecto a una señal producida por un solo sensor en voladizo).
3. Si el índice de magnitud está por debajo de una magnitud predeterminada (pero aún se reconoce un gesto), esto puede indicar que el módulo sensor se ha deslizado con respecto a su posición inicial.
4. Los índices de magnitud relativa de los sensores en voladizo y las posiciones relativas de las puntas de los sensores en voladizo se pueden comparar con el fin de dar una dirección del desplazamiento.
[0146] Si se detecta un cambio en la posición, se indica al usuario a través de la retroalimentación que reposicione el módulo del sensor. Apriete
[0147] El sistema está dispuesto para detectar si cambia el apriete del módulo sensor con respecto a la muñeca. El módulo sensor debe proporcionarse con un apriete suficiente para que los sensores en voladizo estén cerca de la piel, pero no tan apretado que se ejerza una presión significativa sobre los sensores en voladizo en una posición neutra, lo que puede reducir la sensibilidad de los sensores en voladizo. Durante un período de calibración o durante el funcionamiento normal, se puede solicitar al usuario, a través de retroalimentación, que realice uno o más gestos predeterminados, tales como un gesto de golpeteo y un gesto de movimiento rápido. Los datos de referencia relacionados con los índices de magnitud de estos gestos cuando el módulo sensor se lleva puesto con el apriete preferido sobre la muñeca se pueden guardar en la memoria. Los índices de magnitud de los gestos predeterminados se pueden calcular como se describió anteriormente y, si estos se encuentran fuera de un intervalo determinado con referencia a los datos de referencia, esto puede indicar que el dispositivo está demasiado apretado o demasiado flojo. A continuación, se le puede indicar al usuario que apriete o afloje el dispositivo. La solicitud para que el usuario realice uno o más gestos predeterminados se puede realizar en respuesta a una disminución detectada en el índice de magnitud entre gestos posteriores, por ejemplo.
[0148] Cuando se utilizan gestos adecuados y el módulo sensor se mantiene en la posición y el apriete correctos, el sistema puede ser capaz de reconocer gestos con un alto grado de precisión (que, en algunos casos, puede ser de hasta el 99 % de precisión).
[0149] Se entenderá que la presente invención se ha descrito anteriormente únicamente a modo de ejemplo, y se pueden realizar modificaciones de detalles dentro del alcance de la invención.
[0150] Cada característica descrita en la descripción y (cuando corresponda) las reivindicaciones y dibujos se pueden proporcionar de forma independiente o en cualquier combinación adecuada.
[0151] Los números de referencia que aparecen en las reivindicaciones tienen únicamente fines ilustrativos y no tendrán ningún efecto de limitación sobre el alcance de las reivindicaciones.

Claims (15)

REIVINDICACIONES
1. Un sensor que se lleva puesto en la muñeca para medir las fuerzas de los tendones de la muñeca correspondientes a movimientos específicos de los dedos que comprende:
uno o más sensores piezoeléctricos (501, 502, 503, 504), en el que el uno o más sensores piezoeléctricos están configurados para emitir corrientes eléctricas generadas tras la presión de los tendones de la muñeca en el uno o más sensores piezoeléctricos;
un miembro de soporte (4000) configurado para soportar el uno o más sensores piezoeléctricos en el miembro de soporte, en el que el miembro de soporte comprende una o más ranuras de montaje (4005) configuradas para recibir y soportar el uno o más sensores piezoeléctricos, estando la una o más ranuras dispuestas para soportar el uno o más sensores piezoeléctricos en un ángulo con respecto a una superficie (4002) del miembro de soporte de modo que, durante el uso, la punta del sensor piezoeléctrico o de cada uno de los sensores piezoeléctricos es adyacente a la muñeca de un usuario; y
un módulo de procesamiento configurado para convertir en señales una corriente eléctrica generada por el uno o más sensores piezoeléctricos tras una presión de los tendones de la muñeca y para procesar las señales para la identificación de uno o más movimientos específicos de los dedos.
2. El sensor que se lleva puesto en la muñeca de la reivindicación 1, en el que el uno o más sensores piezoeléctricos (501, 502, 503, 504) son sensores piezoeléctricos en voladizo; en el que el uno o más sensores piezoeléctricos están configurados para emitir corrientes eléctricas generadas tras una presión de los tendones de la muñeca en la punta del uno o más sensores piezoeléctricos.
3. El sensor que se lleva puesto en la muñeca de la reivindicación 2, en el que el sensor que se lleva puesto en la muñeca comprende una pluralidad de sensores piezoeléctricos (501, 502, 503, 504) dispuestos en una matriz; preferentemente en el que la matriz es una matriz lineal; más preferentemente en el que los sensores piezoeléctricos están separados en sus puntas por menos de 8 mm; aún más preferentemente por menos de 5 mm; lo más preferentemente por menos de 2 mm.
4. El sensor que se lleva puesto en la muñeca de cualquiera de las reivindicaciones anteriores, en el que el miembro de soporte (4000) se forma a partir de un material elastomérico; preferentemente en el que el material elastomérico se selecciona de la lista que consiste en silicona, caucho de silicona, espuma de polímero y elastómero de polímero; más preferentemente en el que el material elastomérico filtra las señales de alta frecuencia y baja amplitud.
5. El sensor que se lleva puesto en la muñeca según cualquiera de las reivindicaciones anteriores, en el que el ángulo está entre 5 grados y 45 grados; preferentemente entre 5 grados y 20 grados; más preferentemente entre 8 grados y 12 grados; y aún más preferentemente 10 grados.
6. El sensor que se lleva puesto en la muñeca según cualquiera de las reivindicaciones anteriores, en el que las ranuras (4005) terminan en una serie de hendiduras (4004) en una superficie (4002) del miembro de soporte (4000), estando las hendiduras próximas a la muñeca de un usuario durante el uso de manera que las puntas de los sensores (501, 502, 503, 504) se colocan en dichas hendiduras.
7. El sensor que se lleva puesto en la muñeca de cualquiera de las reivindicaciones anteriores, en el que la una o más ranuras (4005) se extienden a través del miembro de soporte (4000).
8. El sensor que se lleva puesto en la muñeca de cualquiera de las reivindicaciones anteriores, en el que el miembro de soporte (4000) comprende uno o más cortes (4010); preferentemente en el que el uno o más cortes se extienden en la una o más ranuras (4005); más preferentemente en el que el uno o más cortes se extienden en la(s) ranura(s) en una ubicación cercana a un extremo de la una o más ranuras.
9. El sensor que se lleva puesto en la muñeca de cualquiera de las reivindicaciones anteriores, en el que cada ranura (4005) comprende un rebaje (4020) configurado para soportar un sensor piezoeléctrico (501, 502, 503, 504).
10. El sensor que se lleva puesto en la muñeca de cualquiera de las reivindicaciones anteriores, en el que el miembro de soporte (4000) está formado por una porción superior (4016) y una porción inferior (4014), en el que una o más ranuras (4005) están formadas cuando la porción superior está acoplada con la porción inferior; preferentemente en el que las porciones superior e inferior comprenden una pluralidad de escalones en ángulo (4018) dispuestos para formar la una o más ranuras cuando las porciones superior e inferior están alineadas entre sí; más preferentemente en el que la porción superior está conectada de forma giratoria a la porción inferior.
11. Un aparato que comprende el sensor que se lleva puesto en la muñeca de cualquiera de las reivindicaciones anteriores y un módulo controlador; preferentemente en el que el aparato se comunica de forma inalámbrica con uno o más dispositivos informáticos; más preferentemente en el que el aparato comprende además un botón configurado para conmutar el dispositivo de un modo de suspensión y ahorro de energía a un modo de adquisición activa; aún más preferentemente en el que el botón está dispuesto de modo que, durante el uso, el botón está en contacto con una muñeca de un usuario para ser activado por el usuario al flexionar la muñeca.
12. Un procedimiento para detectar movimientos específicos de los dedos en función de las fuerzas de los tendones de la muñeca utilizando un sensor que se lleva puesto en la muñeca según cualquiera de las reivindicaciones 1 a 10, comprendiendo el procedimiento las etapas de:
detectar una o más señales eléctricas producidas por uno o más sensores piezoeléctricos (501, 502, 503, 504) tras una presión de los tendones de la muñeca en los sensores;
extraer un conjunto de atributos característicos de la una o más señales eléctricas producidas por el uno o más sensores piezoeléctricos;
alimentar con los atributos característicos un clasificador entrenado; y
identificar uno o más gestos específicos de los dedos asociados con clases específicas del clasificador entrenado.
13. El procedimiento de la reivindicación 12, que comprende además la etapa de realizar una calibración inicial de los sensores (501,502, 503, 504) que evalúa las señales generadas por gestos asociadas con un subconjunto de gestos con los dedos del usuario para determinar las señales esperadas durante la etapa de identificación de gestos con los dedos; preferentemente en el que la evaluación de las señales generadas por gestos se basa en al menos uno de: la repetibilidad de un gesto específico, la similitud entre diferentes gestos, la magnitud de un gesto específico, la duración de un gesto específico y el ritmo de un gesto específico.
14. El procedimiento de la reivindicación 12 o 13, que comprende además una etapa de detectar cambios en la posición y/o apriete del uno o más sensores piezoeléctricos (501, 502, 503, 504) en relación con los tendones de la muñeca.
15. El procedimiento de cualquiera de las reivindicaciones 12 a 14, que comprende además una etapa de proporcionar retroalimentación a un usuario en relación con la detectabilidad del uno o más gestos específicos con los dedos que realiza.
ES17706700T 2016-02-03 2017-02-03 Controlador ponible en la muñeca Active ES2903076T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/014,021 US20170215768A1 (en) 2016-02-03 2016-02-03 Wearable controller for wrist
EP16275066.5A EP3203350A1 (en) 2016-02-03 2016-04-26 Wearable controller for wrist
PCT/EP2017/052473 WO2017134283A1 (en) 2016-02-03 2017-02-03 Wearable controller for wrist

Publications (1)

Publication Number Publication Date
ES2903076T3 true ES2903076T3 (es) 2022-03-31

Family

ID=55854738

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17706700T Active ES2903076T3 (es) 2016-02-03 2017-02-03 Controlador ponible en la muñeca

Country Status (4)

Country Link
US (1) US20170215768A1 (es)
EP (2) EP3203350A1 (es)
ES (1) ES2903076T3 (es)
WO (1) WO2017134283A1 (es)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6170973B2 (ja) * 2015-09-29 2017-07-26 レノボ・シンガポール・プライベート・リミテッド 携帯情報端末、情報処理方法、及び、プログラム
US11281301B2 (en) 2016-02-03 2022-03-22 Flicktek Ltd Wearable controller for wrist
CN109579689B (zh) * 2017-09-29 2020-12-08 西门子公司 曲率测量装置
CN108196696B (zh) * 2018-01-02 2022-02-22 京东方科技集团股份有限公司 一种可穿戴输入装置、主机、输入方法及电子***
CN108536291A (zh) * 2018-03-29 2018-09-14 努比亚技术有限公司 一种应用操作方法、可穿戴设备及存储介质
WO2019200295A1 (en) 2018-04-13 2019-10-17 Tactual Labs Co. Interior sensing
EP3781903A4 (en) * 2018-04-19 2022-04-20 Texavie Technologies Inc. METHODS AND SYSTEMS FOR ESTIMATING A TOPOGRAPHY OF AT LEAST TWO PARTS OF A BODY
TWI672611B (zh) * 2018-07-23 2019-09-21 宏碁股份有限公司 使用仿生韌帶之觸覺回饋系統
WO2020033110A1 (en) * 2018-08-05 2020-02-13 Pison Technology, Inc. User interface control of responsive devices
US11099647B2 (en) * 2018-08-05 2021-08-24 Pison Technology, Inc. User interface control of responsive devices
US10802598B2 (en) * 2018-08-05 2020-10-13 Pison Technology, Inc. User interface control of responsive devices
CN110327049B (zh) * 2018-08-22 2021-11-30 宁波送变电建设有限公司永耀科技分公司 一种电击手环在监控电力抢修现场的应用
JP6750768B1 (ja) * 2018-11-29 2020-09-02 株式会社村田製作所 筋活動観測装置、および、筋活動観測方法
US11720649B2 (en) * 2019-04-02 2023-08-08 Edgeverve Systems Limited System and method for classification of data in a machine learning system
CN110083247A (zh) * 2019-04-30 2019-08-02 努比亚技术有限公司 控制可穿戴设备操作方法、装置、可穿戴设备及存储介质
FR3096484A1 (fr) 2019-05-22 2020-11-27 Victor DE BONO Dispositif de reconnaissance des mouvements des doigts d’un porteur
US10860114B1 (en) * 2019-06-20 2020-12-08 Bose Corporation Gesture control and pulse measurement through embedded films
CN110308796B (zh) * 2019-07-08 2022-12-02 合肥工业大学 一种基于腕部pvdf传感器阵列的手指运动识别方法
US11178342B2 (en) 2019-07-18 2021-11-16 Apple Inc. Camera systems for bendable electronic devices
CN111098323B (zh) * 2020-01-19 2024-06-18 浙江工业大学 一种基于力与位移模糊混合控制的五指灵巧手及其控制方法
US11199908B2 (en) 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
US11157086B2 (en) 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
CN111462464A (zh) * 2020-02-21 2020-07-28 山东超越数控电子股份有限公司 一种基于Arduino的红外遥控装置,方法,终端
US20230297167A1 (en) * 2022-03-15 2023-09-21 Port 6 Oy Detecting user input from multi-modal hand bio-metrics

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7032454B2 (en) * 2004-03-05 2006-04-25 Agilent Technologies, Inc. Piezoelectric cantilever pressure sensor array
WO2013109925A1 (en) * 2012-01-19 2013-07-25 Nike International Ltd. Wearable device assembly having antenna
EP2698686B1 (en) * 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
WO2015033327A1 (en) * 2013-09-09 2015-03-12 Belfiori Alfredo Wearable controller for wrist

Also Published As

Publication number Publication date
EP3203350A1 (en) 2017-08-09
WO2017134283A1 (en) 2017-08-10
EP3411772A1 (en) 2018-12-12
EP3411772B1 (en) 2021-10-06
US20170215768A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
ES2903076T3 (es) Controlador ponible en la muñeca
US11281301B2 (en) Wearable controller for wrist
US11045117B2 (en) Systems and methods for determining axial orientation and location of a user's wrist
US9612661B2 (en) Closed loop feedback interface for wearable devices
US9681840B2 (en) Wearable mobile device and method of measuring biological signal with the same
US9037530B2 (en) Wearable electromyography-based human-computer interface
US8170656B2 (en) Wearable electromyography-based controllers for human-computer interface
US8447704B2 (en) Recognizing gestures from forearm EMG signals
US20160313801A1 (en) Method and apparatus for a gesture controlled interface for wearable devices
EP2678757B1 (en) Gesture recognition system
WO2015033327A1 (en) Wearable controller for wrist
CN107427239A (zh) 将压力换能到非侵入性脉搏的传感器
JP7265741B2 (ja) ウェアラブルデバイス
WO2015143729A1 (zh) 一种脉象检测装置及测量方法、相关装置和通信***
US20210173481A1 (en) Body motion and position sensing, recognition and analytics from an array of wearable pressure sensors
US11803246B2 (en) Systems and methods for recognizing gesture
US10814166B1 (en) System and method for developing core muscle usage employing music
Martin Comparison of machine learning models: Gesture recognition using a multimodal wrist orthosis for tetraplegics
Akumalla Evaluating appropriateness of EMG and flex sensors for classifying hand gestures
TWI640899B (zh) 用於穿戴裝置之非接觸式手勢判斷系統及其判斷方法
WO2019159951A1 (ja) 運動評価改善システム及び運動評価改善方法
Rohit et al. Development of Capacitive Wearable Patches and Bands for Data Fusion in Complex Physical Activities