FR3091606A1 - An interaction process and an interactive system of a smart watch - Google Patents
An interaction process and an interactive system of a smart watch Download PDFInfo
- Publication number
- FR3091606A1 FR3091606A1 FR1904179A FR1904179A FR3091606A1 FR 3091606 A1 FR3091606 A1 FR 3091606A1 FR 1904179 A FR1904179 A FR 1904179A FR 1904179 A FR1904179 A FR 1904179A FR 3091606 A1 FR3091606 A1 FR 3091606A1
- Authority
- FR
- France
- Prior art keywords
- signal
- vibration signals
- smart watch
- algorithm
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003993 interaction Effects 0.000 title claims abstract description 20
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 7
- 230000008569 process Effects 0.000 title description 2
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
- Electric Clocks (AREA)
Abstract
Un procédé d'interaction et un système interactif d’une montre intelligente La présente invention décrit un procédé d'interaction d’une montre intelligente comprenant les étapes suivantes: S1. transmettre des signaux de vibration basés sur un corps humain, et collecte les signaux de vibration d'un accéléromètre et d'un gyroscope d'une montre intelligente; S2. identification des signaux de vibration avec un algorithme de détection d’anomalie; S3. prétraitement des signaux de vibration et application d’un algorithme amélioré par la méthode des K plus proches voisins pour classifier et identifier les signaux de vibration; S4. analyse le retour d’un utilisateur, et application d’ajustement à temps opportun pour conserver précision d’identification. En outre, l'invention décrit un système d'interaction d'une montre intelligente, comprenant un module de détection de signal, un module d’identification et de classification, et un module de retour en temps réel. Les signaux de vibration sont transmis en fonction du corps humain, les parties du corps sont utilisées comme écran virtuel et l'algorithme d'apprentissage automatique amélioré est combiné, ce qui élargit les moyens d'interaction des montres et améliore l'expérience de l'utilisateur. Le procédé d'interaction de la présente invention est nouveau et intéressant, et capable de répondre aux demandes des utilisateurs et d'être largement utilisé dans la saisie de texte et les jeux vidéo sur des montres, ect. (Fig. 1)An interaction method and an interactive system of a smart watch The present invention describes a method of interacting with a smart watch comprising the following steps: S1. transmitting vibration signals based on a human body, and collecting the vibration signals of an accelerometer and a gyroscope of a smart watch; S2. identification of vibration signals with an anomaly detection algorithm; S3. preprocessing the vibration signals and applying an improved K nearest neighbor algorithm to classify and identify the vibration signals; S4. analyzes user feedback, and applies timely adjustment to maintain identification accuracy. Further, the invention describes an interaction system of a smart watch, comprising a signal detection module, an identification and classification module, and a real-time feedback module. The vibration signals are transmitted according to the human body, the body parts are used as a virtual screen, and the improved machine learning algorithm is combined, which expands the ways of interaction of watches and improves the experience of l 'user. The interaction method of the present invention is new and interesting, and capable of meeting user demands and being widely used in text input and video games on watches, ect. (Fig. 1)
Description
DescriptionDescription
Titre de l'invention : Un procédé d'interaction et un système interactif d’une montre intelligenteTitle of the invention: An interaction method and an interactive system of a smart watch
Domaine techniqueTechnical area
[0001] L’invention concerne le domaine du mode d'interaction d'un dispositif intelligent, en particulier un procédé d'interaction et un système d'interaction basé sur une montre intelligente.The invention relates to the field of interaction mode of a smart device, in particular an interaction method and an interaction system based on a smart watch.
Technique antérieurePrior art
[0002] Actuellement, les dispositifs de détection intelligents portables se développent rapidement, notamment les montres intelligentes. Cependant, comme les montres intelligentes sont portées au poignet sans pouvoir être équipées d'un écran suffisamment grand, les personnes ne peuvent pas entrer comme elles le font sur les téléphones mobiles. Il existe trois principaux modes de saisie des montres intelligentes, à savoir le toucher simple, le suivi du doigt et la reconnaissance vocale. La méthode du toucher simple et du suivi des doigts sont limités par l'écran, et la reconnaissance vocale est encore plus limitée en raison de la sensibilité des informations. Afin de remédier à la difficulté de saisie des montres intelligentes, de nombreuses équipes de recherche ont également effectué des recherches. La plupart du temps, des périphériques supplémentaires sont nécessaires à cet effet et, en raison des coûts d’achat et d’apprentissage des périphériques supplémentaires, ils ne sont pas largement acceptés.[0002] Currently, portable intelligent detection devices are developing rapidly, in particular smart watches. However, since smart watches are worn on the wrist without being able to have a sufficiently large screen, people cannot enter as they do on mobile phones. There are three main modes for entering smart watches, namely single touch, finger tracking and voice recognition. The simple touch and finger tracking method is limited by the screen, and voice recognition is even more limited due to the sensitivity of the information. In order to remedy the difficulty of entering smart watches, numerous research teams have also carried out research. Most of the time, additional peripherals are required for this purpose and, due to the cost of purchasing and learning additional peripherals, they are not widely accepted.
Exposé de l'inventionStatement of the invention
[0003] Compte tenu des problèmes techniques susmentionné, la présente invention propose un procédé d'interaction et un système interactif d'une montre intelligente transmettant un signal de vibration basé sur le corps humain. Sous la condition de l’adaptation des habitudes d’utilisation des utilisateurs, un nouveau moyen d’interaction d'une montre intelligente est développé, ce qui résout le problème du manque de moyens d’interaction d'une montre intelligente. L'invention adopte les solutions techniques suivantes:Given the technical problems mentioned above, the present invention provides an interaction method and an interactive system of a smart watch transmitting a vibration signal based on the human body. Under the condition of adapting the usage habits of users, a new means of interaction for a smart watch is developed, which solves the problem of the lack of means of interaction of a smart watch. The invention adopts the following technical solutions:
[0004] Un procédé d'interaction d’une montre intelligente, caractérisé en ce qu’il comprend les étapes suivantes:A method of interacting with a smart watch, characterized in that it comprises the following steps:
[0005] SI : transmettre des signaux de vibration basés sur un corps humain, et collecte les signaux de vibration d'un accéléromètre et d'un gyroscope d'une montre intelligente;SI: transmit vibration signals based on a human body, and collect vibration signals from an accelerometer and a gyroscope from a smart watch;
[0006] S2 : identification des signaux de vibration avec un algorithme de détection d’anomalie;S2: identification of the vibration signals with an anomaly detection algorithm;
[0007] S3 : prétraitement des signaux de vibration et application d’un algorithme amélioré par la méthode des K plus proches voisins pour classifier et identifier les signaux de vibration;S3: preprocessing of vibration signals and application of an improved algorithm by the method of K nearest neighbors to classify and identify the vibration signals;
[0008] S4 : analyse le retour d’un utilisateur, et application d’ajustement à temps opportun pour conserver précision d’identification.S4: analyzes the feedback from a user, and application of timely adjustment to maintain identification accuracy.
[0009] En outre, les signaux de vibration sur les axes X, Y et Z de l'accéléromètre et du gyroscope sont respectivement collectés.In addition, the vibration signals on the X, Y and Z axes of the accelerometer and the gyroscope are respectively collected.
[0010] En outre, avec application un algorithme de détection d'anomalie, l'étape S2 d’identification des signaux de vibration comprend:In addition, with application of an anomaly detection algorithm, step S2 of identification of the vibration signals comprises:
[0011] S21: collecte des données de l'axe Z de l’accéléromètre;S21: collecting data from the Z axis of the accelerometer;
[0012] S22: filtrage les données de l'axe Z de l'accéléromètre en application d’un filtre passe-haut;S22: filtering the data of the Z axis of the accelerometer in application of a high-pass filter;
[0013] S23: réglage d’une valeur de seuil de signal de prise effectif et d’une valeur de seuil de signal de bruit;S23: setting of an effective tap signal threshold value and a noise signal threshold value;
[0014] S24: lecture d’un segment de signal dont l'amplitude est inférieure à la valeur de seuil de signal de bruit en tant que premier état;S24: reading of a signal segment whose amplitude is less than the noise signal threshold value as a first state;
[0015] S25: poursuite de surveiller, en attente de lire un signal dont l'amplitude est supérieure à la valeur de seuil de signal de prise effectif, la position dont l'amplitude est supérieure à la valeur de seuil de signal de prise effectif étant X, et la position de départ de signal étant fixée à (X-L), position de L avant la position X;S25: continuation of monitoring, waiting to read a signal whose amplitude is greater than the threshold value of actual tap signal, the position whose amplitude is greater than the threshold value of actual tap signal being X, and the signal start position being fixed at (XL), position of L before position X;
[0016] S26: poursuite de surveiller en attendant de lire un signal continu dont l'amplitude est inférieure à la valeur de seuil de signal de bruit, lorsque l'amplitude continue est inférieure à la valeur de seuil de signal de bruit, définit la position finale du signal une position actuelle;S26: continuation of monitoring while waiting to read a continuous signal whose amplitude is less than the noise signal threshold value, when the continuous amplitude is less than the noise signal threshold value, defines the final position of the signal a current position;
[0017] S27: acquisition des données de signal par la position de départ et d'arrêt de signal, déterminer si la longueur de signal respect une plage de longueur, sinon, revenir à l'étape S25, si oui, passer à l'étape suivante;S27: acquisition of the signal data by the signal start and stop position, determining whether the signal length respects a length range, if not, return to step S25, if yes, go to next step;
[0018] S28: application d’un filtrage passe-haut sur les données, calculation respectivement les énergies des m premiers points de signal et les énergies des points de signal après les m points, déterminer si le signal est supérieur à la valeur de seuil d’un signal àrapport de bruit, si oui, déterminant le signal en tant que signal effectif, sinon, déterminant le signal en tant que signal de bruit et revenant à S25.S28: application of high-pass filtering on the data, respectively calculation of the energies of the first m signal points and the energies of the signal points after the m points, determining whether the signal is greater than the threshold value of a noise signal, if yes, determining the signal as an effective signal, otherwise, determining the signal as a noise signal and returning to S25.
[0019] En outre, l'étape S3 comprend spécifiquement:In addition, step S3 specifically includes:
[0020] S31: prétraitement le signal avec une normalisation, déduction une valeur moyenne du signal et le diviser par une variance;S31: preprocessing the signal with normalization, deducting an average value of the signal and dividing it by a variance;
[0021] S32: lors d'une étape d'initialisation d'un modèle d'apprentissage, stockant les données traitées à l'étape S31 en tant qu'échantillon d'apprentissage dans une base de données; dans la phase d'utilisation réelle, application de l’algorithme amélioré par la méthode des K plus proches voisins pour classifier et identifier les signaux de vibration.S32: during a step of initializing a learning model, storing the data processed in step S31 as a learning sample in a database; in the real use phase, application of the algorithm improved by the method of K nearest neighbors to classify and identify the vibration signals.
[0022] En outre, l'algorithme amélioré par la méthode des K plus proches voisins est spécifiquement: basé sur l'algorithme de déformation temporelle dynamique, le signal réel et le signal d'apprentissage sont appariés en unités de frame et la distance de Manhattan la plus courte entre eux est calculée et appliquée comme base pour la classification et la reconnaissance de la méthode des K plus proches voisins.In addition, the algorithm improved by the method of K nearest neighbors is specifically: based on the dynamic time distortion algorithm, the real signal and the training signal are paired in frame units and the distance from The shortest Manhattan between them is calculated and applied as the basis for the classification and recognition of the method of K nearest neighbors.
[0023] En outre, l'étape S4 comprend:In addition, step S4 includes:
[0024] S41: après la collecte du résultat de la classification obtenu à l'étape 3, correction du résultat de la saisie utilisateur;S41: after collecting the classification result obtained in step 3, correcting the result of user input;
[0025] S42: après la correction, effectue une correction dans une certaine mesure sur l'échantillon d'apprentissage, en maintenant ainsi la stabilité de la précision.S42: after the correction, makes a correction to a certain extent on the training sample, thereby maintaining the stability of the precision.
[0026] En outre, l'étape S41 corrige la saisie réelle en fournissant une clé candidate ou par un résultat de corrélation dans la méthode de saisie.In addition, step S41 corrects the actual entry by providing a candidate key or by a correlation result in the entry method.
[0027] En outre, l'étape S42 comprend spécifiquement:In addition, step S42 specifically includes:
[0028] S421: si le résultat de la correction est cohérent avec le résultat de la classification, n'effectuant aucune opération;S421: if the result of the correction is consistent with the result of the classification, performing no operation;
[0029] S422: si le résultat de la correction est incompatible avec le résultat de la classification, pour l'échantillon d'apprentissage de la même catégorie que le résultat de la classification, supprimer de l'échantillon avec la distance la plus grande calculée par l'algorithme amélioré par la méthode des K plus proches voisins, puis remplacer de l'échantillon supprimé par l'échantillon actuel.Un système interactif pour une montre intelligente, comprenant:S422: if the result of the correction is incompatible with the result of the classification, for the training sample of the same category as the result of the classification, delete from the sample with the greatest calculated distance by the algorithm improved by the method K nearest neighbors, then replace the deleted sample by the current sample.An interactive system for a smart watch, comprising:
[0030] un module de détection de signal, transmettre des signaux de vibration basés sur le corps humain, et collecte les signaux de vibration d'un accéléromètre et d'un gyroscope d'une montre intelligente;A signal detection module, transmitting vibration signals based on the human body, and collecting the vibration signals from an accelerometer and a gyroscope from a smart watch;
[0031] un module d’identification de classification qui applique un algorithme de détection d'anomalie pour identifier les signaux de vibration, prétraite les signaux de vibration et applique un algorithme amélioré par méthode des K plus proches voisins pour classifier et identifier les signaux de vibration;A classification identification module which applies an anomaly detection algorithm to identify the vibration signals, preprocesses the vibration signals and applies an algorithm improved by the method of K nearest neighbors to classify and identify the signals of vibration;
[0032] un module de retour en temps réel qui analyse le retour d’un utilisateur, et applique d’ajustement au moment opportun pour conserver la précision d’identification.A real-time feedback module that analyzes the feedback from a user, and applies adjustments at the right time to maintain identification accuracy.
[0033] Programme destiné à exécuter le procédé d'interaction de ladite montre intelligente.Program for executing the interaction process of said smart watch.
[0034] Par rapport à l’art antérieure, les avantages de la présente invention sont les suivants:Compared to the prior art, the advantages of the present invention are as follows:
les signaux de vibration sont transmis en fonction du corps humain, des parties du corps (comme le dos de la main) sont utilisées comme écran virtuel et l'algorithme modifié d'apprentissage automatique est combiné, ce qui élargit les moyens d'interaction des montres et améliore l'expérience de l'utilisateur. Le procédé d'interaction de la présente invention est nouveau et intéressant, et capable de répondre aux demandes des utilisateurs et d'être largement utilisé dans la saisie de texte et les jeux vidéo sur des montres, ect.vibration signals are transmitted according to the human body, parts of the body (like the back of the hand) are used as a virtual screen and the modified machine learning algorithm is combined, which widens the means of interaction of watches and improves the user experience. The interaction method of the present invention is new and interesting, and capable of responding to user requests and of being widely used in text entry and video games on watches, ect.
Brève description des dessinsBrief description of the drawings
[0035] La figure 1 est un ordinogramme du procédé d'interaction de la présente invention;Figure 1 is a flowchart of the interaction method of the present invention;
[0036] La figure 2 est un ordinogramme montrant le fonctionnement d’un module de détection de signal de la présente invention;Figure 2 is a flowchart showing the operation of a signal detection module of the present invention;
[0037] La figure 3 est un ordinogramme montrant le fonctionnement d’un système de retour de la présente invention;Figure 3 is a flow chart showing the operation of a return system of the present invention;
[0038] La figure 4 est un schéma structurel de la présente invention;Figure 4 is a structural diagram of the present invention;
[0039] La figure 5 est le résultat correspondant de signal de l'algorithme de déformation temporelle dynamique original de la présente invention;Figure 5 is the corresponding signal result of the original dynamic time distortion algorithm of the present invention;
[0040] La figure 6 est le résultat correspondant de signal de l'algorithme de déformation temporelle dynamique exécuté en unités de frame après l'amélioration de la présente invention (le décalage de frame est égal à 1 et la longueur de frame est égale à 3);FIG. 6 is the corresponding signal result of the dynamic time distortion algorithm executed in frame units after the improvement of the present invention (the frame offset is equal to 1 and the frame length is equal to 3);
[0041] Description détaillée d’exemples de réalisation de l’inventionDetailed description of exemplary embodiments of the invention
[0042] La présente invention sera décrite plus en détail ci-dessous en se référant aux dessins et modes de réalisation annexés. Il est entendu que les modes de réalisation spécifiques décrits ici sont simplement illustratifs de l'invention et ne sont pas destinés à limiter la présente invention.The present invention will be described in more detail below with reference to the accompanying drawings and embodiments. It is understood that the specific embodiments described here are merely illustrative of the invention and are not intended to limit the present invention.
[0043] Le mode de réalisation préféré de la présente invention sera décrit plus en détail cidessous en se référant aux dessins annexés.The preferred embodiment of the present invention will be described in more detail below with reference to the accompanying drawings.
[0044] L'invention concerne un procédé d'interaction et un système interactif d’une montre intelligente basés sur des signaux de vibration transmis par le corps humain et l’apprentissage automatique. Comme décrit sur la figure 1, le procédé d'interaction de la présente invention comprend les étapes suivantes:The invention relates to an interaction method and an interactive system of a smart watch based on vibration signals transmitted by the human body and machine learning. As described in FIG. 1, the interaction method of the present invention comprises the following steps:
[0045] SI: transmettre des signaux de vibration basés sur un corps humain, les signaux de vibration, le programme commande l'accéléromètre et le gyroscope d’une montre intelligente pour collecter les signaux de vibration de l'accéléromètre et du gyroscope d’une montre intelligente.IF: transmitting vibration signals based on a human body, the vibration signals, the program controls the accelerometer and the gyroscope of a smart watch to collect the vibration signals from the accelerometer and the gyroscope a smart watch.
[0046] Spécifiquement, les signaux de vibration des axes X, Y et Z de l'accéléromètre et du gyroscope sont respectivement collectés;Specifically, the vibration signals of the X, Y and Z axes of the accelerometer and the gyroscope are respectively collected;
[0047] S2: identification des signaux de vibration avec un algorithme de détection d’anomalie;S2: identification of the vibration signals with an anomaly detection algorithm;
[0048] S3: prétraitement des signaux de vibration et application d’un algorithme amélioré par la méthode des K plus proches voisins pour classifier et identifier les signaux de vibration;S3: pretreatment of the vibration signals and application of an improved algorithm by the method of K nearest neighbors to classify and identify the vibration signals;
[0049] S4: analyse le retour d’un utilisateur, et application d’ajustement à temps opportun pour conserver précision d’identification.S4: analyzes the feedback from a user, and application of timely adjustment to maintain identification accuracy.
[0050] Comme le montre la figure 2, l'étape S2 applique l’algorithme de détection d'anomalie pour identifier le signal. Les étapes spécifiques sont les suivantes:As shown in Figure 2, step S2 applies the anomaly detection algorithm to identify the signal. The specific steps are as follows:
[0051] Tout d'abord, les données sur l'axe Z de l'accéléromètre sont collectées, le signal de passe-haut de 40hz est sélectionné, et un signal d'amplitude inférieureà la valeur de seuil du signal de bruit est lu en même temps, une longueur de signal est de préférence 10 points de signal, et la valeur de seuil du signal de bruit est 0,015, à ce moment, un premier état de détection de signal est obtenu; poursuite de surveiller, en attente de lire un signal dont l'amplitude est supérieure à la valeur de seuil de signal de prise effectif, la position dont l'amplitude est supérieure à la valeur de seuil de signal de prise effectif étant X, et la position de départ de signal étant fixée à (X-L), position de L avant la position X, et la valeur de seuil du signal de prise effectif est de préférence 2. Après avoir reçu le signal cible, poursuite de surveiller en attendant de lire un signal continu dont l'amplitude est inférieure à la valeur de seuil de signal de bruit, lorsque l'amplitude continue est inférieure à la valeur de seuil de signal de bruit, définit la position finale du signal une position actuelle, et de préférence, la longueur de signal est de 10 points et la valeur de seuil du signal de bruit est de 0.015. Après avoir détecté le segment de signal obtenu entre la valeur de seuil du signal de bruit et la valeur de seuil du signal de prise effectif, la longueur du signal et le rapport signal sur bruit sont limités. De préférence, la longueur du signal L satisfait 37 < L < 60. Lorsque la longueur du signal satisfait à la condition de contrainte, calcule respectivement les énergies des m premiers points de signal et les énergies des points de signal après les m points, déterminer si le signal est supérieur à la valeur de seuil d’un signal à rapport de bruit, si oui, déterminant le signal en tant que signal effectif, sinon, déterminant le signal en tant que signal de bruit et la valeur de seuil de rapport signal sur bruit est S10, jusqu'à présent, le signal est détecté.First, the data on the Z axis of the accelerometer are collected, the 40hz high-pass signal is selected, and a signal of amplitude lower than the threshold value of the noise signal is read at the same time, a signal length is preferably 10 signal points, and the threshold value of the noise signal is 0.015, at this time, a first signal detection state is obtained; continuation of monitoring, waiting to read a signal whose amplitude is greater than the actual tap signal threshold value, the position whose amplitude is greater than the actual tap signal threshold value being X, and the signal start position being fixed at (XL), position of L before position X, and the threshold value of the actual tap signal is preferably 2. After receiving the target signal, continue monitoring while waiting to read a continuous signal whose amplitude is less than the noise signal threshold value, when the continuous amplitude is less than the noise signal threshold value, defines the final position of the signal a current position, and preferably the signal length is 10 points and the threshold value of the noise signal is 0.015. After detecting the signal segment obtained between the threshold value of the noise signal and the threshold value of the actual tap signal, the signal length and the signal to noise ratio are limited. Preferably, the length of the signal L satisfies 37 <L <60. When the length of the signal satisfies the constraint condition, calculate respectively the energies of the m first signal points and the energies of the signal points after the m points, determine if the signal is greater than the threshold value of a noise signal, if so determining the signal as an effective signal, otherwise determining the signal as a noise signal and the signal ratio threshold value on noise is S10, so far the signal is detected.
[0052] Dans ce mode de réalisation, les signaux de vibration est prétraité à l'étape S3 et est en outre classé et identifié par l'algorithme amélioré par la méthode des K plus proches voisins. Les étapes spécifiques sont les suivantes:In this embodiment, the vibration signals is preprocessed in step S3 and is further classified and identified by the algorithm improved by the method of K nearest neighbors. The specific steps are as follows:
[0053] Tout d'abord, les signaux de vibration sur les trois axes X, Y et Z de chaque échantillon de l'accéléromètre et des gyroscopes sont épissés par type de capteur et le traitement de normalisation global est effectué sur les données à 3 axes du capteur correspondant. Spécifiquement, une valeur moyenne est soustraite des données et divisée par une variance des données. Ensuite, lors d'une étape d'initialisation d'un modèle d'apprentissage, stockant les données traitées en tant qu'échantillon d'apprentissage dans une base de données; dans la phase d'utilisation réelle, application de l’algorithme amélioré par la méthode des K plus proches voisins pour classifier et identifier les signaux de vibration, en particulier sur la base de l'algorithme de la déformation temporelle dynamique, calcule la distance entre l'échantillon à tester/la saisie et l'échantillon d'apprentissage, un résultat de classification est obtenu en fonction de la distance.First of all, the vibration signals on the three axes X, Y and Z of each sample of the accelerometer and gyroscopes are spliced by type of sensor and the global normalization processing is performed on the data at 3 axes of the corresponding sensor. Specifically, an average value is subtracted from the data and divided by a variance of the data. Then, during a step of initializing a training model, storing the processed data as a training sample in a database; in the phase of real use, application of the algorithm improved by the method of K nearest neighbors to classify and identify the vibration signals, in particular on the basis of the algorithm of the dynamic temporal deformation, calculates the distance between the sample to be tested / the input and the training sample, a classification result is obtained according to the distance.
[0054] Parmi ceux-ci, l'algorithme de la déformation temporelle dynamique est basé sur le principe de la programmation dynamique. L'objet de la déformation temporelle dynamique est étendu du point unidimensionnel d'origine au cadre tridimensionnel (trois axes) et la distance entre eux est calculée, ce qui permet de mesurer plus précisément le degré de similarité entre les deux signaux. L’algorithme permet en même temps d’ajuster la longueur et le décalage de la frame en fonction de la fréquence d’échantillonnage réelle et de la demande, afin de réduire la consommation d’énergies de l’algorithme, offrant ainsi les performances souhaitées. Le problème que deux signaux ne peuvent pas être comparés en raison du décalage d'alignement est résolu et la différence entre les deux est quantifié. La distance n'est pas limitée à la distance de Manhattan ou à la distance d'Euler.Among these, the algorithm of dynamic time distortion is based on the principle of dynamic programming. The object of dynamic temporal distortion is extended from the original one-dimensional point to the three-dimensional frame (three axes) and the distance between them is calculated, which allows to measure more precisely the degree of similarity between the two signals. The algorithm allows at the same time to adjust the length and the offset of the frame according to the actual sampling frequency and the demand, in order to reduce the energy consumption of the algorithm, thus offering the desired performances . The problem that two signals cannot be compared due to the alignment offset is resolved and the difference between the two is quantified. The distance is not limited to the distance from Manhattan or the distance from Euler.
[0055] La figure 5 est un résultat d'appariement de signal de l'algorithme de la déformation temporelle dynamique d'origine; La figure 6 est un résultat d'appariement de l'algorithme de la déformation temporelle dynamique en unités de frame après l'amélioration de la présente invention (le décalage de frame est égal à 1 et la longueur de frame est égale à 3); On peut constater qu'après l'augmentation de la contrainte de longueur de frame et du décalage de frame dans l'algorithme de déformation temporelle dynamique, le mode de correspondance de signal a été modifié.FIG. 5 is a result of signal pairing of the original dynamic time distortion algorithm; FIG. 6 is a result of pairing of the algorithm of the dynamic temporal distortion in units of frame after the improvement of the present invention (the frame offset is equal to 1 and the frame length is equal to 3); It can be seen that after the increase in the frame length constraint and the frame offset in the dynamic time distortion algorithm, the signal matching mode was changed.
[0056] Comme le montre la figure 3, à l'étape S4 du mode de réalisation, après avoir obtenu le résultat de la classification à l'étape S2, le résultat est envoyé à l'application, et en même temps, le nouvel échantillon X et la distance de l'échantillon d'apprentissage obtenus dans l'algorithme de l’étape S3 sont enregistrés et le retour de l’application est surveillé. Après avoir reçu le retour d'information sur le résultat de la classification, une opération est effectuée sur l'échantillon d'apprentissage conformément à la stratégie de remplacement d'échantillons prédéterminée, obtenant ainsi une robustesse supérieure. Plus précisément, après avoir collecté le résultat de classification obtenu à l'étape 3, le résultat de saisie utilisateur est corrigé et la saisie réelle est corrigée en fournissant la clé candidate ou par le résultat de corrélation dans le procédé de saisie; après la correction, l'échantillon d'apprentissage est corrigé dans une certaine mesure, par conséquent, maintenant ainsi la stabilité de la précision. Plus précisément, si le résultat de la correction est cohérent avec le résultat de la classification, n'effectuant aucune opération; si le résultat de la correction est incompatible avec le résultat de la classification, pour l'échantillon d'apprentissage de la même catégorie que le résultat de la classification, supprimer de l'échantillon avec la distance la plus grande calculée par l'algorithme amélioré par la méthode des K plus proches voisins, puis remplacer l'échantillon supprimé par l'échantillon actuel.As shown in Figure 3, in step S4 of the embodiment, after obtaining the result of the classification in step S2, the result is sent to the application, and at the same time, the new sample X and the distance of the training sample obtained in the algorithm of step S3 are recorded and the return of the application is monitored. After receiving feedback on the classification result, an operation is performed on the training sample in accordance with the predetermined sample replacement strategy, thereby obtaining superior robustness. More precisely, after having collected the classification result obtained in step 3, the user input result is corrected and the actual input is corrected by providing the candidate key or by the correlation result in the input method; after the correction, the training sample is corrected to some extent, therefore, maintaining the stability of the accuracy. More precisely, if the result of the correction is consistent with the result of the classification, performing no operation; if the result of the correction is incompatible with the result of the classification, for the training sample of the same category as the result of the classification, delete from the sample with the greatest distance calculated by the improved algorithm by the K nearest neighbor method, then replace the deleted sample with the current sample.
[0057] Comme le montre la figure 4, la structure de la mise en œuvre spécifique de cet exemple comprend trois modules, à savoir, un module de détection de signal, un module d’identification et de classification, et un module de retour en temps réel. Le module de détection de signal détecte le signal, puis le normalise, la valeur moyenne est soustraite des données et divisée par la variance des données, utilisée comme entrée du module d’identification et de classification; la phase d'apprentissage (initialisation) du module d’identification et de classification est une simple opération de stockage de signal, qui est mise en œuvre une fois la formation terminée, implémentera l’algorithme de classification amélioré. Les résultats de la classification seront transmis au module de retour en temps réel.As shown in FIG. 4, the structure of the specific implementation of this example comprises three modules, namely, a signal detection module, an identification and classification module, and a feedback module. real time. The signal detection module detects the signal, then normalizes it, the average value is subtracted from the data and divided by the variance of the data, used as input to the identification and classification module; the learning phase (initialization) of the identification and classification module is a simple signal storage operation, which is implemented after the training is completed, will implement the improved classification algorithm. The classification results will be transmitted to the feedback module in real time.
[0058] Les descriptions ci-dessus sont illustrations détaillées de la présente invention en combinaison avec des modes de réalisation spécifiques/préférés, et il ne doit pas être compris que les modes de réalisation spécifiques de la présente invention sont limités à ces descriptions. Pour l'homme du métier, plusieurs variantes ou modifications peuvent être apportées aux modes de réalisation décrits sans sortir du concept inventif, qui doivent toutes être considérées comme entrant dans le cadre de protection de la présente invention.The above descriptions are detailed illustrations of the present invention in combination with specific / preferred embodiments, and it should not be understood that the specific embodiments of the present invention are limited to these descriptions. For those skilled in the art, several variants or modifications can be made to the embodiments described without departing from the inventive concept, which must all be considered to fall within the scope of protection of the present invention.
Claims (1)
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910013634.3A CN109840480B (en) | 2019-01-04 | 2019-01-04 | Interaction method and interaction system of smart watch |
| CN201910013634.3 | 2019-01-04 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3091606A1 true FR3091606A1 (en) | 2020-07-10 |
| FR3091606B1 FR3091606B1 (en) | 2021-09-24 |
Family
ID=66476790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1904179A Active FR3091606B1 (en) | 2019-01-04 | 2019-04-19 | A method of interaction and an interactive system of a smart watch |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN109840480B (en) |
| FR (1) | FR3091606B1 (en) |
| NL (1) | NL2022916B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110169723A (en) * | 2019-06-27 | 2019-08-27 | 九阳股份有限公司 | A kind of food processor |
| CN111221420B (en) * | 2020-01-13 | 2021-07-30 | 深圳大学 | 2D movement track identification method and system based on smart watch |
| CN111752388A (en) * | 2020-06-19 | 2020-10-09 | 深圳振科智能科技有限公司 | Application control method, device, equipment and storage medium |
| CN113741703A (en) * | 2021-11-08 | 2021-12-03 | 广东粤港澳大湾区硬科技创新研究院 | Non-contact intelligent earphone or glasses interaction method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105810214B (en) * | 2014-12-31 | 2019-11-05 | 展讯通信（上海）有限公司 | Voice-activation detecting method and device |
| EP3065043A1 (en) * | 2015-03-02 | 2016-09-07 | Nxp B.V. | Mobile device |
| CN107300971B (en) * | 2017-06-09 | 2019-04-02 | 深圳大学 | The intelligent input method and system propagated based on osteoacusis vibration signal |
-
2019
- 2019-01-04 CN CN201910013634.3A patent/CN109840480B/en active Active
- 2019-04-10 NL NL2022916A patent/NL2022916B1/en active
- 2019-04-19 FR FR1904179A patent/FR3091606B1/en active Active
Non-Patent Citations (4)
| Title |
|---|
| CHEN WENQIANG ET AL: "ViType: A Cost Efficient On-Body Typing System through Vibration", 2018 15TH ANNUAL IEEE INTERNATIONAL CONFERENCE ON SENSING, COMMUNICATION, AND NETWORKING (SECON), IEEE, 11 June 2018 (2018-06-11), pages 1 - 9, XP033367932, DOI: 10.1109/SAHCN.2018.8397098 * |
| HONGYI WEN ET AL: "Serendipity", HUMAN FACTORS IN COMPUTING SYSTEMS, ACM, 2 PENN PLAZA, SUITE 701 NEW YORK NY 10121-0701 USA, 7 May 2016 (2016-05-07), pages 3847 - 3851, XP058257548, ISBN: 978-1-4503-3362-7, DOI: 10.1145/2858036.2858466 * |
| MAOTIAN ZHANG ET AL: "iDial", PROCEEDINGS OF THE ACM ON INTERACTIVE, MOBILE, WEARABLE AND UBIQUITOUS TECHNOLOGIES, ACM, 2 PENN PLAZA, SUITE 701NEW YORKNY10121-0701USA, vol. 2, no. 1, 26 March 2018 (2018-03-26), pages 1 - 20, XP058396468, DOI: 10.1145/3191787 * |
| WENQIANG CHEN ET AL: "Virtual Keyboard for Wearable Wristbands", EMBEDDED NETWORK SENSOR SYSTEMS, ACM, 2 PENN PLAZA, SUITE 701NEW YORKNY10121-0701USA, 6 November 2017 (2017-11-06), pages 1 - 2, XP058396661, ISBN: 978-1-4503-5459-2, DOI: 10.1145/3131672.3136984 * |
Also Published As
| Publication number | Publication date |
|---|---|
| NL2022916B1 (en) | 2020-01-31 |
| CN109840480B (en) | 2021-08-13 |
| FR3091606B1 (en) | 2021-09-24 |
| CN109840480A (en) | 2019-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR3091606A1 (en) | An interaction process and an interactive system of a smart watch | |
| EP2483758B1 (en) | System and method for recognizing gestures | |
| US10353476B2 (en) | Efficient gesture processing | |
| CN109815795A (en) | Classroom student's state analysis method and device based on face monitoring | |
| KR101573196B1 (en) | Systems, methods, and apparatuses for classifying user activity using combining of likelihood function values in a mobile device | |
| CN106778477B (en) | Tennis racket action recognition method and device | |
| CN103345627B (en) | Action identification method and device | |
| JP2021144250A5 (en) | ||
| US8301578B2 (en) | System and method for tagging signals of interest in time variant data | |
| EP2946311A2 (en) | Accumulation of real-time crowd sourced data for inferring metadata about entities | |
| WO2008069519A1 (en) | Gesture/speech integrated recognition system and method | |
| CN111885375A (en) | Method, device, server and system for testing double-recorded video | |
| Killian et al. | Learning to Detect Heavy Drinking Episodes Using Smartphone Accelerometer Data. | |
| KR20190113252A (en) | Method for eye-tracking and terminal for executing the same | |
| EP2917868B1 (en) | Method of identification | |
| US10192118B2 (en) | Analysis device, recording medium, and analysis method | |
| Wei et al. | SVSV: Online handwritten signature verification based on sound and vibration | |
| CN107170447B (en) | Sound processing system and sound processing method | |
| CN106326672B (en) | Sleep detection method and system | |
| Ge et al. | CRUFT: Context recognition under uncertainty using fusion and temporal learning | |
| US20160310788A1 (en) | Analysis device, recording medium, and analysis method | |
| US11270109B2 (en) | Interactive method and interactive system for smart watch | |
| US20230011547A1 (en) | Optimizing continuous media collection | |
| US20210233533A1 (en) | Smart device input method based on facial vibration | |
| WO2024115462A1 (en) | Method for detecting a golf motion using an electronic device such as a watch |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200710 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |