FR2942896A1 - Removable computerized electronic device for use with e.g. fountain pen to automatically recognize handwritten text, has orifice covered with flexible polyurethane or silicone for permitting fixation of end of existing writing unit - Google Patents

Abstract

The device (1) has an orifice covered with flexible polyurethane or silicone for permitting sliding and fixation of an end of an existing writing unit e.g. fountain pen (2). Micro-electronic type analog-to-digital conversion devices assure sampling of measurements of displacement sensors to reproduce writing gestures/movements. A sensitive element wirelessly transmits electrical energy, and another sensitive element wirelessly transmits handwritten text (3) to a computing system (5) through Bluetooth, wireless fidelityor radio-frequency identification technology.

Description

-1- Dispositif électronique informatisé, adaptable sur de multiples moyens d'écriture, destiné à la reconnaissance de l'information manuscrite et à la manipulation d'objets dans les environnements virtuels. Domaine technique de l'invention L'invention concerne un dispositif électronique doté d'un traitement informatisé permettant de mesurer, grâce à des moyens de détection embarqués, les mouvements subis par le dit dispositif. Le dispositif est placé sur un support ou un axe dont on pourra, par calcul, évaluer avec précision les déplacements dans l'espace. L'objectif principal du dispositif décrit est relatif à la conception d'un dispositif amovible autonome, adaptable à de multiples moyens d'écriture classiques tels que stylos, crayons, feutres et capable de convertir les mouvements détectés lors de la manipulation du moyen d'écriture en vue d'une exploitation ou d'un stockage numérique pour interprétation. -1- Computerized electronic device, adaptable to multiple writing means, for the recognition of handwritten information and the manipulation of objects in virtual environments. TECHNICAL FIELD OF THE INVENTION The invention relates to an electronic device provided with a computerized processing for measuring, using on-board detection means, the movements undergone by said device. The device is placed on a support or an axis which one can, by calculation, evaluate with precision the displacements in the space. The main objective of the device described relates to the design of an autonomous removable device, adaptable to multiple conventional writing means such as pens, pencils, markers and capable of converting the movements detected during the manipulation of the means of writing for exploitation or digital storage for interpretation.

Etat de la technique antérieure De nombreux brevets font état de dispositifs imaginés pour numériser l'écriture manuscrite ou les gestes graphiques. A cette fin, les inventeurs ont conçu ou décrivent des dispositifs souvent électroniques et informatisés basés soit : - sur des capteurs d'efforts (brevet 2888528 CEA û Vassilev et Ittel û 12.07.2005) - sur des mesures de signaux acoustiques (brevets WO2008/041234A2 û Pegasus Tech. Ltd 05.10.2006 Zlotter-Shenolz ou PCT/IL2008/000005) - sur des mesures d'accélérations, de rotations à l'aide de micro capteurs implantés sur des supports qui se substituent aux stylos, crayons, moyens d'écriture (brevets 09/829230 IC Technologies 04.09.2001 Vardi ou US005981884A Ricoh Co. 23.12.1998 Yasuhiro Sato et al.) STATE OF THE PRIOR ART Many patents mention devices designed to digitize handwriting or graphic gestures. To this end, the inventors have designed or describe often electronic and computerized devices based either on: - stress sensors (patent 2888528 CEA - Vassilev and Ittel - 12.07.2005) - on acoustic signal measurements (WO2008 / 041234A2 - Pegasus Tech Ltd. 05.10.2006 Zlotter-Shenolz or PCT / IL2008 / 000005) - on acceleration measurements, rotations using micro-sensors installed on substrates that replace pens, pencils, d (Patent 09/829230 IC Technologies 04.09.2001 Vardi or US005981884A Ricoh Co. 23.12.1998 Yasuhiro Sato et al.)

Par ailleurs, pour améliorer les différentes interfaces homme-machine nécessaires à la communication avec les applications de type réalité virtuelle ou réalité augmentée, plusieurs brevets décrivent des systèmes d'aide à la navigation dans les environnements informatisés (brevets WO2005/114624A2 18.05.2004 Daniel Simon ou WO01/43063A1 Electrotextiles Co Ltd 06.12.1999 Chapman et al.) Moreover, to improve the various human-machine interfaces necessary for communication with virtual reality or augmented reality applications, several patents describe navigation aid systems in computerized environments (patents WO2005 / 114624A2 18.05.2004 Daniel Simon or WO01 / 43063A1 Electrotextiles Co Ltd 06.12.1999 Chapman et al.)

Pour ce qui est des applications visant à numériser l'écriture manuscrite ou les gestes graphiques de tels dispositifs présentent l'inconvénient de ne pas utiliser les moyens traditionnels de l'écriture. Ce sont des dispositifs à part entière qui se substituent aux moyens classiques d'écriture. Ils ne permettent pas de travailler sur les stylos plumes, les stylos feutre, les stylos à bille, les crayons à papier, les pinceaux, les fusains. For applications to digitize handwriting or graphic gestures such devices have the disadvantage of not using the traditional means of writing. These are full-fledged devices that replace conventional writing methods. They do not allow to work on fountain pens, felt pens, ballpoint pens, pencils, brushes, charcoals.

Objet de l'invention û exposé de l'invention L'invention décrite a pour but de permettre à son utilisateur de conserver les moyens d'écriture manuscrite classiques tout en lui offrant la possibilité de numériser les documents qu'il rédige. OBJECT OF THE INVENTION - DESCRIPTION OF THE INVENTION The purpose of the invention described is to enable the user to keep the conventional handwriting means while offering him the possibility of digitizing the documents he writes.

L'objet de l'invention est caractérisé en ce que le dispositif est embarqué sur les moyens traditionnels d'écriture. The object of the invention is characterized in that the device is embedded on the traditional means of writing.

Des capteurs d'accélérations et de rotations basés sur les technologies récentes des microcomposants électroniques de type gyroscopes et accéléromètres Murata sont reliés à un microcontrôleur et dotés de moyens 2942896 -2- de communications et d'alimentation sans fil (technologie Bluetooth, Wifi, Rfid). Cet ensemble constitue un système de mesures de déplacements tridimensionnels pouvant fonctionner en temps réel. Acceleration and rotation sensors based on recent technologies of electronic microcomponents such as Murata gyroscopes and accelerometers are connected to a microcontroller and equipped with 2942896 -2- communications and wireless power supply (Bluetooth, Wifi, Rfid technology). ). This set constitutes a three-dimensional displacement measurement system that can operate in real time.

Les différents éléments constituent donc un système informatisé capable de détecter, de numériser, d'enregistrer et 5 de convertir en écriture numérique les gestes graphiques réalisés lors de la manipulation des moyens traditionnels d'écriture sur lesquels le dit système informatisé est disposé. The various elements therefore constitute a computerized system capable of detecting, digitizing, recording and converting into digital writing the graphic gestures made during the manipulation of the traditional writing means on which the said computerized system is arranged.

Description sommaire des dessins 10 D'autres avantages et caractéristiques ressortiront plus clairement de la description qui va suivre de modes particuliers de réalisation de la présente invention donnés à titre d'exemples non limitatifs et représentés aux dessins annexés, dans lesquels : Other advantages and features will become more clearly apparent from the following description of particular embodiments of the present invention given by way of nonlimiting example and represented in the accompanying drawings, in which:

La figure 1 est une vue en perspective partielle de la présente invention (1) ici décrite et embarquée par exemple sur 15 un stylo plume (2). Figure 1 is a partial perspective view of the present invention (1) here described and embedded for example on a fountain pen (2).

La figure 2 est une vue représentant un repère orthogonal accompagné des symboles des différents vecteurs accélération, rotation et angles entrant dans la composition d'un déplacement. FIG. 2 is a view showing an orthogonal coordinate system accompanied by the symbols of the various vectors of acceleration, rotation and angles involved in the composition of a displacement.

20 La figure 3 est une vue partielle en coupe d'un mode particulier de réalisation de la présente invention (100). La présente invention (100) est équipée d'au moins un accéléromètre et d'un gyroscope ou d'au moins deux accéléromètres s'il est dépourvu de gyroscope. Figure 3 is a partial sectional view of a particular embodiment of the present invention (100). The present invention (100) is equipped with at least one accelerometer and a gyroscope or at least two accelerometers if it is devoid of a gyroscope.

La figure 4 est un schéma logique montrant les circuits électroniques intervenants dans un mode particulier de 25 réalisation de la présente invention équipée d'un processeur et de dispositifs micro-électroniques de conversions analogiques-numériques. Les déplacements dans l'espace de la présente invention sont évalués à partir de l'échantillonnage des mesures de tout ou partie des capteurs de déplacements. Cet échantillonnage pourra contribuer à restituer les gestes d'écriture. Figure 4 is a logic diagram showing the electronic circuits involved in a particular embodiment of the present invention equipped with a processor and micro-electronic devices for analog-to-digital conversions. The space displacements of the present invention are evaluated from the sampling of the measurements of all or part of the displacement sensors. This sampling can help to restore the gestures of writing.

30 Les figures 5.a, 5.b, et 5.c sont des vues successives d'un mode particulier de réalisation de la présente invention (201) lors d'une opération d'étalonnage. La figure 5.d représente l'organigramme qui peut être mis en oeuvre pour un étalonnage. Figures 5.a, 5.b, and 5.c are successive views of a particular embodiment of the present invention (201) in a calibration operation. Figure 5.d shows the flowchart that can be implemented for calibration.

La figure 6 est une vue de principe d'un mode particulier de réalisation de la présente invention (300 et 301) dans un 35 cas où elle opère comme interface homme-machine avec un environnement de réalité virtuelle ou de réalité augmentée. 2942896 -3- La figure 7 est une vue de principe d'un mode particulier de réalisation de la présente invention (400 et 401) dans un cas où elle opère comme capteur de déplacement et de détection de mouvements. 5 Description de modes particuliers de réalisation Sur la figure 1, le dispositif (1) représentant un mode particulier de la présente invention est plus particulièrement destiné à être utilisé dans la reconnaissance de l'écriture manuelle ou dans la mémorisation numérique des gestes graphiques. Le dispositif (1) est positionné sur le moyen traditionnel d'écriture (2) et permet de reconnaître et de mémoriser, par exemple, le texte manuscrit (3). Le dispositif (1) est équipé d'au moins un accéléromètre et d'un 10 gyroscope ou d'au moins deux accéléromètres s'il est dépourvu de gyroscope. Des dispositifs micro-électroniques de conversions analogiques-numériques embarqués dans le dispositif (1) permettent l'échantillonnage des mesures de tout ou partie des capteurs de déplacements dans l'espace, également embarqués dans le dispositif (1), en vue de restituer les mouvements ou les gestes d'écriture. Le texte manuscrit (3) est transmis après décodage au système informatisé (5) et peut être par exemple affiché 15 selon (4). Le dispositif (1) de la figure 1 représentant un mode particulier de la présente invention sera pour plus de fluidité dans la suite de l'exposé dénommé la "balle". 20 La "balle" comporte un orifice recouvert d'un matériau du type polyuréthane souple ou du type silicone qui permet de glisser et de fixer l'extrémité du moyen traditionnel d'écriture (2). La figure 2 représente un plan orthogonal sur lequel sont repérés les trois axes X,Y et Z, les vecteurs accélérations respectifs y , y et Y le long des axes X,Y, Z et les rotations ûx, ûy et Qz, respectivement autour des axes x y 25 X,Y, Z. Sur la figure 3 la "balle" (100) est une représentation partielle en coupe d'un mode particulier de la présente invention. La "balle" (100) est de géométrie sensiblement sphérique mais pas exclusivement. La "balle" (100) comporte trois accéléromètres (112), (114) et (116) et trois gyroscopes (113), (115) et (117) qui constituent un 30 ensemble destiné à mesurer les déplacements de la "balle" (100) fixée sur le moyen traditionnel d'écriture (123). Les éléments (112), (113), (114), (115), (116), (117) sont connectés par un circuit électronique (111) qui relie le microcontrôleur (109) aux éléments constitutifs de la "balle" (100). Un élément sensible (107) est placé en surface de la "balle" (100) à l'intersection de l'axe de symétrie X et dans l'alignement de l'orifice (108). 35 Sur la figure 3, dans le mode particulier de la présente invention, la "balle" (100) comporte par exemple deux éléments sensibles (102) et (101), diamétralement opposés et qui permettent d'interagir, dans un contexte donné, par pression sur la "balle" (100) en envoyant un signal sur le circuit électronique (111) aussi appelé bus. 2942896 -4- Sur la figure 3, dans le mode particulier de la présente invention, la "balle" (100) comporte un élément sensible (103) qui permet d'une part une transmission d'énergie électrique sans fil fournie par un dispositif extérieur adapté et d'autre part, de délivrer cette énergie à l'élément (110). L'élément (110) stocke l'énergie transmise et la distribue aux composants à travers le circuit électronique (111). Sur la figure 3, dans le mode particulier de la présente invention, la "balle" (100) comporte par exemple trois éléments (104), (105) et (106) qui permettent de transmettre et de recevoir des données par rayonnement. FIG. 6 is a basic view of a particular embodiment of the present invention (300 and 301) in the case where it operates as a man-machine interface with a virtual reality or augmented reality environment. FIG. 7 is a basic view of a particular embodiment of the present invention (400 and 401) in a case where it operates as a displacement and motion detection sensor. DESCRIPTION OF PARTICULAR EMBODIMENTS In FIG. 1, the device (1) representing a particular embodiment of the present invention is more particularly intended to be used in the recognition of manual writing or in the digital memorization of graphic gestures. The device (1) is positioned on the traditional means of writing (2) and makes it possible to recognize and store, for example, the handwritten text (3). The device (1) is equipped with at least one accelerometer and one gyroscope or at least two accelerometers if it is devoid of a gyroscope. Micro-electronic devices for analog-to-digital conversions embedded in the device (1) allow the sampling of measurements of all or part of the space displacement sensors, also embedded in the device (1), in order to restore the movements or gestures of writing. The handwritten text (3) is transmitted after decoding to the computerized system (5) and can for example be displayed according to (4). The device (1) of Figure 1 representing a particular embodiment of the present invention will be for more fluidity in the following description called the "ball". The "ball" comprises an orifice covered with a flexible polyurethane or silicone-type material which makes it possible to slide and fix the end of the traditional writing means (2). FIG. 2 represents an orthogonal plane on which the three axes X, Y and Z are located, the respective accelerating vectors y, y and Y along the axes X, Y, Z and the rotations ûx, ûy and Qz, respectively around X, Y, Z axes. In FIG. 3 the "ball" (100) is a partial sectional representation of a particular embodiment of the present invention. The "ball" (100) is of substantially spherical geometry but not exclusively. The "ball" (100) comprises three accelerometers (112), (114) and (116) and three gyroscopes (113), (115) and (117) which constitute an assembly for measuring the movements of the "ball" (100) fixed on the traditional writing means (123). The elements (112), (113), (114), (115), (116), (117) are connected by an electronic circuit (111) which connects the microcontroller (109) to the constituent elements of the "ball" ( 100). A sensing element (107) is placed on the surface of the "ball" (100) at the intersection of the axis of symmetry X and in alignment with the orifice (108). In FIG. 3, in the particular embodiment of the present invention, the "ball" (100) comprises, for example, two diametrically opposed sensitive elements (102) and (101) that make it possible to interact, in a given context, with by pressing the "ball" (100) by sending a signal to the electronic circuit (111) also called bus. In FIG. 3, in the particular embodiment of the present invention, the "ball" (100) comprises a sensitive element (103) which allows, on the one hand, wireless electric power transmission supplied by a device externally adapted and secondly, to deliver this energy to the element (110). The element (110) stores the transmitted energy and distributes it to the components through the electronic circuit (111). In FIG. 3, in the particular embodiment of the present invention, the "ball" (100) comprises for example three elements (104), (105) and (106) which make it possible to transmit and receive data by radiation.

Sur la figure 3, dans le mode particulier de la présente invention, la "balle" (100) comporte un élément sensible (118) 10 qui permet de convertir les signaux élaborés par le microcontrôleur (109), routés à travers le bus électronique (111) et de les transmettre. In FIG. 3, in the particular embodiment of the present invention, the "ball" (100) comprises a sensitive element (118) which makes it possible to convert the signals produced by the microcontroller (109), routed through the electronic bus ( 111) and to transmit them.

Sur la figure 3, dans le mode particulier de la présente invention, la "balle" (100) comporte un élément sensible (118) qui permet de convertir les signaux à un système informatisé émetteur externe reçus par les éléments sensibles 15 (104), (105) et (106) pour les transmettre au microcontrôleur (109) à travers un bus électronique (111). In FIG. 3, in the particular embodiment of the present invention, the "ball" (100) includes a sensing element (118) for converting the signals to an external transmitter computer system received by the sensing elements (104), (105) and (106) for transmitting them to the microcontroller (109) through an electronic bus (111).

Sur la figure 3, dans le mode particulier de la présente invention, grâce à un logiciel embarqué exécuté par le microcontrôleur (109] et à l'aide du convertisseur (118) et des éléments sensibles (104), (105) et (106) une transmission sans fil est établie vers un système informatisé émetteur/récepteur externe ou une autre balle de même 20 nature que la balle (100). In FIG. 3, in the particular embodiment of the present invention, thanks to embedded software executed by the microcontroller (109) and using the converter (118) and the sensitive elements (104), (105) and (106) ) a wireless transmission is established to an external transmitter / receiver computer system or other ball of the same nature as the ball (100).

Sur la figure 3, dans le mode particulier de la présente invention, la "balle" (100) comporte un élément sensible (122) (compatible avec par exemple, le standard USB "Universal Serial Bus") qui permet une alimentation électrique et un échange de données numériques à travers le bus électronique (111). Sur les figures 5a, 5.b et 5.c la procédure de détermination automatique de la distance entre les plans (204) et (205) est décrite. Une fois la distance (204-205) déterminée en pressant sur le contacteur (202), la "balle" (201) peut repérer les déplacements du moyen traditionnel d'écriture (200) sur le plan d'écriture (203). In FIG. 3, in the particular embodiment of the present invention, the "ball" (100) comprises a sensitive element (122) (compatible with, for example, the "Universal Serial Bus" USB standard) which allows a power supply and a power supply. digital data exchange through the electronic bus (111). In FIGS. 5a, 5.b and 5.c the procedure for automatically determining the distance between the planes (204) and (205) is described. Once the distance (204-205) is determined by pressing on the switch (202), the "bullet" (201) can locate the displacements of the traditional writing means (200) on the writing plane (203).

30 La figure 6 est un schéma partiel d'un mode particulier de la présente invention dans un contexte d'utilisation avec un ensemble informatisé destiné à manipuler des données dans un environnement virtuel. Le déplacement de la 'balle' est enregistré et transmis au calculateur qui utilise ces informations comme entrées dans le logiciel pour manipuler les objets virtuels. La figure 6 représente un exemple d'application dans laquelle plusieurs "balles" (300) et (301) communiquent entre elles ou par l'intermédiaire d'un ensemble informatisé. Un opérateur ou des opérateurs 35 équipé(s) de plusieurs "balles" peuvent, notamment grâce aux mains (302), (303) déplacer, modifier, transformer un ou des objets informatiques (305) dans un environnement informatisé (304) autour et le long des axes (305), (306) et (307). Un dispositif vibreur peut entrer en action pour simuler un retour d'effort. 5 25 2942896 -5- La figure 7 est un schéma partiel d'un mode particulier de la présente invention dans un contexte d'utilisation en vue de détecter la chute d'une personne. Plusieurs "balles" (400) et (401) équipées d'un logiciel de communication embarqué pour échanger des informations entre elles, sont placées sur le corps ou les vêtements de la personne (402) dont les déplacements sont ainsi surveillés. Un système informatisé reçoit, éventuellement en temps réel, les 5 informations de déplacement pour détecter des anomalies sur la marche ou la chute possible de la personne. Figure 6 is a partial schematic of a particular embodiment of the present invention in a context of use with a computerized set for manipulating data in a virtual environment. The movement of the 'bullet' is recorded and transmitted to the computer which uses this information as inputs to the software to manipulate the virtual objects. FIG. 6 represents an example of application in which several "balls" (300) and (301) communicate with each other or via a computerized assembly. An operator or operators equipped with several "balls" can, in particular thanks to the hands (302), (303) move, modify, transform one or more computer objects (305) in a computer environment (304) around and along the axes (305), (306) and (307). A vibrating device can come into action to simulate a force feedback. Figure 7 is a partial schematic of a particular embodiment of the present invention in a context of use for detecting the fall of a person. Several "balls" (400) and (401) equipped with embedded communication software for exchanging information between them are placed on the body or clothing of the person (402) whose movements are thus monitored. A computer system receives, possibly in real time, the movement information to detect abnormalities in walking or possible fall of the person.

Claims (1)

REVENDICATIONS1 Dispositif électronique et informatisé, amovible et adaptable à tous les types de moyens d'écriture traditionnels et comprenant des capteurs de mouvements, de déplacements, de transmission et de réception d'informations caractérisé en ce qu'il est équipé d'un orifice destiné à permettre la fixation d'un moyen traditionnel d'écriture. 2 Dispositif selon la revendication 1 caractérisé en ce qu'il est équipé d'organes faisant office de contacteurs électriques. 3 Dispositif selon l'une quelconque des revendications de 1 à 2 caractérisé en ce qu'il est équipé d'au moins un 10 accéléromètre et d'un gyroscope ou d'au moins deux accéléromètres s'il est dépourvu de gyroscope. 4 Dispositif selon l'une quelconque des revendications de 1 à 3 caractérisé en ce qu'il est équipé d'un processeur et de dispositifs micro-électroniques de conversions analogiques-numériques. 15 5 Dispositif selon l'une quelconque des revendications de 1 à 4 caractérisé en ce qu'il est équipé d'un logiciel embarqué de gestion du processeur et de ses périphériques pour reconstruire à partir des échantillonnages des mesures des capteurs de déplacements, les gestes d'écriture 6. Dispositif selon l'une quelconque des revendications de 1 à 5 caractérisé en ce qu'il est équipé d'organe de 20 transmission et de réception d'informations. 7 Dispositif selon l'une quelconque des revendications de 1 à 6 caractérisé en ce qu'il est équipé d'un logiciel embarqué permettant d'établir une transmission sans fil entre le dit dispositif et une station de traitement informatisé déportée. 8 Dispositif selon l'une quelconque des revendications de 1 à 7 caractérisé en ce qu'il peut être équipé d'une transmission d'énergie sans fil. 9 Dispositif selon l'une quelconque des revendications de 1 à 8 caractérisé en ce que la forme du dispositif est 30 préférentiellement sphérique. 10 Dispositif selon l'une quelconque des revendications de 1 à 9 caractérisé en ce qu'il peut être équipé d'un logiciel de communication avec un autre dispositif de même nature. 25 35 CLAIMS1 Electronic and computerized device, removable and adaptable to all types of traditional writing means and comprising sensors for movements, displacements, transmission and reception of information, characterized in that it is equipped with an orifice for to allow the fixation of a traditional means of writing. 2 Device according to claim 1 characterized in that it is equipped with bodies acting as electrical contactors. 3 Device according to any one of claims 1 to 2 characterized in that it is equipped with at least one accelerometer and a gyroscope or at least two accelerometers if it is devoid of gyroscope. 4 Device according to any one of claims 1 to 3 characterized in that it is equipped with a processor and micro-electronic devices of analog-digital conversions. 5 Apparatus according to any one of claims 1 to 4 characterized in that it is equipped with an embedded software for managing the processor and its peripherals for reconstructing from the measurements measurements of the displacement sensors, the gestures Writing device 6. Device according to any one of Claims 1 to 5, characterized in that it is equipped with an information transmission and reception device. 7 Device according to any one of claims 1 to 6 characterized in that it is equipped with an embedded software for establishing a wireless transmission between said device and a remote computerized processing station. 8 Device according to any one of claims 1 to 7 characterized in that it can be equipped with a wireless energy transmission. 9 Device according to any one of claims 1 to 8 characterized in that the shape of the device is preferably spherical. 10 Apparatus according to any one of claims 1 to 9 characterized in that it can be equipped with a communication software with another device of the same kind. 25 35